Chinchilla 70B è un modello linguistico di grandi dimensioni, noto anche come LLM, addestrato su un enorme set di dati di testo e immagini. Gli scienziati di DeepMind hanno riproposto questo modello per la compressione, sfruttando le sue capacità predittive per identificare i dati non necessari nelle immagini e nei file audio.
I risultati sono a dir poco spettacolari. Utilizzando un algoritmo di compressione specializzato, i ricercatori sono riusciti a ridurre le dimensioni delle immagini ad appena il 43,4% e i file audio ad appena il 16,4% delle loro dimensioni originali. Questi risultati superano di gran lunga le capacità degli algoritmi di compressione standard, come PNG per le immagini, che le riduce solo al 58,5%, e FLAC per l’audio, che le comprime al 30,3%.
La chiave di questa innovazione sta nel riconoscere la connessione tra modelli predittivi e compressione. Gli scienziati di DeepMind hanno sfruttato le capacità predittive di Chinchilla 70B e hanno riformulato la sfida come un “problema di previsione” nel contesto della compressione dei file. Questo approccio ha rivelato che qualsiasi compressore può fungere da modello generativo condizionale e viceversa, sfumando di fatto i confini tra i due mondi.
Sebbene questo risultato sia notevole, ci sono anche dei limiti. I risultati della compressione potrebbero non essere pratici per i file molto grandi. I ricercatori di DeepMind hanno sottolineato che i loro modelli possono ottenere una compressione impressionante solo fino a una certa soglia di dimensioni dei file. Oltre questa soglia, i metodi di compressione tradizionali come 7zip possono rimanere più efficienti e veloci.
Tuttavia, anche con questi limiti, la scoperta di DeepMind con Chinchilla 70B è un importante passo avanti nella compressione dei dati. Questo lavoro dimostra il potenziale dell’intelligenza artificiale per rivoluzionare il modo in cui archiviamo e condividiamo i contenuti digitali.
Post Correlati:
