Update mixtral.ru.mdx

3 months ago · f29d151714
parent 25ade132c1
commit f29d151714
1 changed files with 2 additions and 0 deletions
--- a/pages/models/mixtral.ru.mdx
+++ b/pages/models/mixtral.ru.mdx
@ -23,4 +23,6 @@ Mixtral 8x7B представляет собой языковую модель S

 <Screenshot src={mixtralexperts} alt="Mixtral of Experts Layer" />

+Учитывая, что Mixtral является SMoE, он имеет в общей сложности 47 миллиардов параметров, но во время вывода использует только 13 миллиардов на токен. Преимущества этого подхода включают лучший контроль стоимости и задержки, поскольку он использует только часть общего набора параметров для каждого токена. Mixtral обучался на открытых веб-данных в размере контекста в 32 токена. Сообщается, что Mixtral превосходит Llama 2 80B с в 6 раз более быстрым выводом и соответствует или превосходит [GPT-3.5](https://www.promptingguide.ai/models/chatgpt) по нескольким критериям.
+
 This page needs a translation! Feel free to contribute a translation by clicking the `Edit this page` button on the right side.