Meta publie un nouveau modèle de langage LLaMA pour la recherche en IA

L'importance des modèles de base dans l'espace des grands modèles de langage

Les modèles de base tels que LLaMA sont préférables dans l'espace des grands modèles de langage car ils nécessitent beaucoup moins de puissance de calcul et de ressources pour tester de nouvelles approches, valider le travail des autres et explorer de nouveaux cas d'utilisation. Les modèles de base s'entraînent sur un grand ensemble de données non étiquetées, ce qui les rend idéaux pour le réglage fin pour une variété de tâches.

Les avantages des modèles de langage de grande taille

Les grands modèles de langage - des systèmes de traitement du langage naturel (NLP) avec des milliards de paramètres - ont montré de nouvelles capacités pour générer du texte créatif, résoudre des théorèmes mathématiques, prédire des structures de protéines, répondre à des questions de compréhension de lecture, et bien plus encore. Ils offrent des avantages potentiels considérables à l'échelle de milliards de personnes.

Cependant, malgré toutes les avancées récentes dans les grands modèles de langage, l'accès complet à ces modèles reste limité en raison des ressources nécessaires pour les entraîner et les exécuter. Cette limitation d'accès a limité la capacité des chercheurs à comprendre comment et pourquoi ces grands modèles de langage fonctionnent, entravant ainsi les progrès dans les efforts visant à améliorer leur robustesse et à atténuer les problèmes connus tels que le biais, la toxicité et la potentialité de générer de la désinformation.

La formation de LLaMA

Meta a formé LLaMA en utilisant du texte dans les 20 langues les plus parlées, en se concentrant sur celles avec des alphabets latin et cyrillique. LLaMA est disponible en plusieurs tailles (7B, 13B, 33B et 65B paramètres) et Meta partage également une fiche de modèle LLaMA qui détaille la façon dont Meta a construit le modèle en conformité avec ses pratiques d'IA responsable.

Les limites de LLaMA

Comme d'autres grands modèles de langage, LLaMA présente des défis tels que les risques de biais, de commentaires toxiques et d'hallucinations. En tant que modèle de base, LLaMA est conçu pour être polyvalent et peut être appliqué à de nombreux cas d'utilisation différents. En partageant le code pour LLaMA, d'autres chercheurs peuvent plus facilement tester de nouvelles approches pour limiter ou éliminer ces problèmes dans les grands modèles de langage. Meta encourage ainsi la recherche et le développement d'approches pour améliorer la fiabilité et l'éthique des grands modèles de langage.

La responsabilité dans la recherche en IA

La publication de LLaMA s'inscrit dans l'engagement de Meta envers la science ouverte et la responsabilité dans la recherche en IA. Meta reconnaît que les grands modèles de langage ont le potentiel d'avoir un impact considérable sur la société et s'engage à travailler pour atténuer les risques et maximiser les avantages pour tous. Meta encourage les autres à adopter des pratiques similaires en matière de transparence, de responsabilité et de collaboration dans leur propre travail en IA.

Conclusion

LLaMA est un modèle de base polyvalent qui peut être utilisé pour une variété de tâches de traitement du langage naturel. En partageant le modèle et la fiche de modèle, Meta espère encourager la recherche et le développement de modèles de langage de grande taille plus responsables et plus robustes. Meta est convaincu que la collaboration et la transparence sont essentielles pour progresser de manière responsable dans ce sous-domaine de l'IA, et Meta s'engage à continuer à travailler en ce sens.

‍

‍

‍