Inteligencia artificialNoticias

Wikipedia: comprimen 1 GB sin pérdidas usando inteligencia artificial

Un nuevo desarrollo experimental logró comprimir un 1 GB de Wikipedia en solo 105.39 MB sin pérdida de datos, según una publicación de investigación sobre tufazip.

Wikipedia comprimida a 105MB con inteligencia artificial

El proyecto, bautizado como tufazip y desarrollado por Tommy He de Tufa Labs, utiliza un modelo de IA Transformer de 163 millones de parámetros como único predictor neuronal, distanciándose de los sistemas híbridos tradicionales que combinan redes con métodos manuales.

El proceso de compresión y descompresión requiere dos potentes tarjetas gráficas Nvidia B200 y dos CPU Intel Xeon Platinum 8570 trabajando durante aproximadamente una semana para completar la tarea en el banco de pruebas de textos largos. En concreto, la máquina de prueba necesitó más de 630.000 segundos tanto para empaquetar como para desempaquetar la información, lo que equivale a unos siete días de procesamiento continuo con un pico significativo de uso de memoria VRAM y RAM total.

Wikipedia

El paquete optimizado incluye un modelo inicial preentrenado de 4.33 MB almacenado a baja precisión que es indispensable para poder desempaquetar correctamente la información comprimida. Este modelo inicial se encarga de almacenar etapas ya entrenadas que luego se replican en la memoria para alimentar al modelo completo de 12 capas que aprende sobre la marcha.

Te recomendamos nuestra guía sobre las mejores tarjetas gráficas del mercado

A pesar de su impresionante eficiencia en el benchmark de compresión, los tiempos de procesamiento superan los seiscientos mil segundos por operación, lo que evidencia que actualmente se trata de una investigación puramente académica y no de un producto que podría considerarse como comercial. Doce compresores híbridos logran superar su puntuación en la lista, pero ninguna otra alternativa depende exclusivamente de una red neuronal sin asistencia de modelos tradicionales construidos a mano.

Los experimentos adicionales demostraron que las optimizaciones complejas pueden resultar costosas y poco eficientes, ya que ampliar la ventana de texto procesado aumenta los requerimientos de computación con beneficios mínimos. Los investigadores concluyeron que el tamaño más grande no siempre garantiza mejores resultados en este tipo de pruebas de rendimiento textual, pero la compresión conseguida es bastante espectacular.

Fuente
tomshardware

Gustavo Gamarra

Soy operador de PC e instalador de redes informáticas , redactor y escritor en mis ratos libres. Amante de la tecnología, el cine, el fútbol y los videojuegos.
Los datos de carácter personal que nos facilite mediante este formulario quedarán registrados en un fichero de Miguel Ángel Navas Carrera, con la finalidad de gestionar los comentarios que realizas en este blog. La legitimación se realiza a través del consentimiento del interesado. Si no se acepta no podrás comentar en este blog. Puedes consultar Política de privacidad. Puede ejercitar los derechos de acceso, rectificación, cancelación y oposición en info@profesionalreview.com
Botón volver arriba