Présentation des deux modèles
- Gemma 2
Gemma 2 27B, le dernier-né de Google, se distingue par sa légèreté et son efficacité.
Il offre des capacités avancées en génération de texte, compréhension multilingue et gestion de grandes quantités de données avec une longueur de contexte allant jusqu'à 8 000 tokens.
Google, avec son historique de succès en génération de texte, continue de briller avec Gemma 2, offrant une prose de haute qualité et une excellente gestion des langues régionales.
- Llama 3
Llama 3 70B, développé par Meta, est un modèle open-source de grande envergure, connu pour sa robustesse en matière de raisonnement et de suivi des instructions.
Il gère efficacement de larges volumes de données textuelles, avec une longueur de contexte similaire à celle de Gemma 2.
Grâce à ses 70 milliards de paramètres, Llama 3 offre des performances remarquables, particulièrement en raisonnement et en précision.
Comparatif Gemma 2 VS Llama 3
Premier comparatif : La Création Littéraire
Pour évaluer leurs capacités créatives, nous avons demandé aux deux modèles d'écrire une histoire courte sur la relation entre la lune et le soleil.
Gemma 2 s'est démarqué avec une prose enchanteresse et captivante, tandis que Llama 3, bien qu'efficace, semblait un peu mécanique et moins inspiré.
Gagnant : Gemma 2
Second comparatif : Le Test Multilingue
Nous avons testé les capacités multilingues des modèles en leur demandant de traduire un paragraphe en hindi, puis en bengali.
Les deux modèles ont bien réussi, démontrant une formation solide sur les langues régionales indiennes.
Gagnant : Égalité
Troisième comparatif : Test de Raisonnement
Nous avons soumis les deux modèles à des tests de raisonnement de base.
Llama 3 a surpassé Gemma 2, répondant correctement à deux questions sur trois, alors que Gemma 2 a eu du mal à en obtenir une seule correcte.
Gagnant : Llama 3
Quatrième comparatif : Suivi des Instructions
Nous avons demandé aux modèles de générer 10 mots se terminant par "NPU".
Llama 3 a réussi parfaitement avec 10/10, tandis que Gemma 2 n'a réussi qu'à générer 7 mots corrects.
Gagnant : Llama 3
Cinquième comparatif : Recherche de Texte
Pour ce test, nous avons inséré une déclaration aléatoire dans un long texte de "Pride and Prejudice".
Les deux modèles ont trouvé rapidement la déclaration, démontrant de solides capacités de gestion de la mémoire à long terme.
Gagnant : Égalité
Sixième comparatif : Test d'Hallucination
Nous avons vérifié si les modèles fabriquaient des informations en leur fournissant un nom de pays inventé.
Les deux modèles ont bien réagi, ne produisant pas d'hallucinations, ce qui montre une formation rigoureuse pour rester factuels.
Gagnant : Égalité
