Inteligencia artificial

Wikipedia: comprimen 1 GB sin pérdidas usando inteligencia artificial

Un nuevo desarrollo experimental logró comprimir un 1 GB de Wikipedia en solo 105.39 MB sin pérdida de datos, según una publicación de investigación sobre tufazip.

Wikipedia comprimida a 105MB con inteligencia artificial

El proyecto, bautizado como tufazip y desarrollado por Tommy He de Tufa Labs, utiliza un modelo de IA Transformer de 163 millones de parámetros como único predictor neuronal, distanciándose de los sistemas híbridos tradicionales que combinan redes con métodos manuales.

El proceso de compresión y descompresión requiere dos potentes tarjetas gráficas Nvidia B200 y dos CPU Intel Xeon Platinum 8570 trabajando durante aproximadamente una semana para completar la tarea en el banco de pruebas de textos largos. En concreto, la máquina de prueba necesitó más de 630.000 segundos tanto para empaquetar como para desempaquetar la información, lo que equivale a unos siete días de procesamiento continuo con un pico significativo de uso de memoria VRAM y RAM total.

El paquete optimizado incluye un modelo inicial preentrenado de 4.33 MB almacenado a baja precisión que es indispensable para poder desempaquetar correctamente la información comprimida. Este modelo inicial se encarga de almacenar etapas ya entrenadas que luego se replican en la memoria para alimentar al modelo completo de 12 capas que aprende sobre la marcha.

Te recomendamos nuestra guía sobre las mejores tarjetas gráficas del mercado

A pesar de su impresionante eficiencia en el benchmark de compresión, los tiempos de procesamiento superan los seiscientos mil segundos por operación, lo que evidencia que actualmente se trata de una investigación puramente académica y no de un producto que podría considerarse como comercial. Doce compresores híbridos logran superar su puntuación en la lista, pero ninguna otra alternativa depende exclusivamente de una red neuronal sin asistencia de modelos tradicionales construidos a mano.

Los experimentos adicionales demostraron que las optimizaciones complejas pueden resultar costosas y poco eficientes, ya que ampliar la ventana de texto procesado aumenta los requerimientos de computación con beneficios mínimos. Los investigadores concluyeron que el tamaño más grande no siempre garantiza mejores resultados en este tipo de pruebas de rendimiento textual, pero la compresión conseguida es bastante espectacular.

Recent Posts

  • Procesadores

Nova Lake-H: filtran las especificaciones del procesador de portátiles de Intel

Una filtración reciente dejó al descubierto las primeras especificaciones de los próximos CPU Nova Lake-H,…

2 horas atrás
  • Tarjetas gráficas

AMDLSS5 2.5 reduce el consumo de VRAM en juegos compatibles

La comunidad de modder sigue encontrando formas de exprimir el hardware y, recientemente, se lanzó…

3 horas atrás
  • Procesadores

Intel Nova Lake-S: descubren nueva muestra de 28 núcleos y 5.2 GHz

Un nuevo procesador de arquitectura Nova Lake-S filtrado en una plataforma de pruebas reveló detalles…

4 horas atrás