Sumário
Mixtral 8x22B é um modelo aberto da Mistral AI com arquitetura Mixture-of-Experts (141B parâmetros totais, 39B ativos). Oferece um dos melhores custos-benefício entre modelos abertos.
Capacidades (confidence: high)
- 39B parâmetros ativos de 141B totais (MoE esparso)
- Janela de contexto de 64K tokens
- Suporte nativo a function calling e saída constrained
- Supera Command R+ e llama 2 70B em MMLU, HellaSwag, TriviaQA, NaturalQA
- 90% no GSM8K (maj@8) na versão Instruct
- Licenciado sob Apache 2.0
llm-models-guide | mixtral | mistral-large
Sources
- raw/prompts/articles/promptingguide-pt-models-mixtral-8x22b.md