Une nouvelle ère pour Llama
Le 5 avril 2025, Meta a lancé Llama 4, sa première famille de modèles nativement multimodaux utilisant une architecture Mixture-of-Experts (MoE). Trois variants : Scout, Maverick et Behemoth.
Les modèles de la famille
| Modèle | Params actifs | Params total | Experts | Contexte |
|---|---|---|---|---|
| Scout | 17B | 109B | 16 | 10M tokens |
| Maverick | 17B | 400B | 128 | 1M tokens |
| Behemoth | 288B | ~2T | 16 | En cours |
Scout : le généraliste compact
Scout tient sur un seul GPU H100 (avec quantization Int4). Sa fenêtre de contexte de 10 millions de tokens est un record. Il excelle en image grounding et analyse de longs documents.
Maverick : le challenger
Maverick bat GPT-4o et Gemini 2.0 Flash sur de nombreux benchmarks. Performances comparables à DeepSeek v3 en raisonnement et code — avec moitié moins de paramètres actifs. Support de 12 langues.
Behemoth : le titan en préparation
Encore en entraînement lors du lancement, Behemoth (2T paramètres) surpasse déjà GPT-4.5, Claude Sonnet 3.7 et Gemini 2.0 Pro sur les benchmarks STEM. Score MATH-500 : 87,3%.
Innovations architecturales
- Early fusion : intégration native texte/vision/vidéo
- iRoPE : attention interleaved pour les contextes extrêmes
- MetaP : scaling fiable des hyperparamètres
- FP8 : 390 TFLOPs/GPU d'efficacité
La controverse
La communauté open source critique ce virage :
- Architecture fragmentée : trois tiers incompatibles vs la cohérence de Llama 3
- VRAM prohibitive : MoE exclut les utilisateurs "GPU-poor"
- Licence restrictive : limite à 700M utilisateurs, restrictions EU
- Lancement chaotique : samedi avant LlamaCon, variant non-distribué sur LMArena
Qwen 2.5 (0.5B à 72B, licence MIT) a repris la couronne du "standard ouvert".
Disponibilité
- Hugging Face, AWS Bedrock, Azure
- Intégré à Meta AI (WhatsApp, Messenger, Instagram)
- Llama 4 Community License (LLCLA)
Le verdict
Llama 4 impressionne techniquement mais questionne stratégiquement. Meta a-t-il abandonné la communauté open source pour concurrencer les labs frontier ? Le débat reste ouvert.