Archives/Prompt-Engineering-Guide
2
0
Fork 0
mirror of https://github.com/dair-ai/Prompt-Engineering-Guide synced 2024-11-02 15:40:13 +00:00
Code Issues Packages Projects Releases Wiki Activity

Update mixtral.ru.mdx

Browse Source
This commit is contained in:
ThunderCat 2024-02-22 17:47:49 +03:00 committed by GitHub
parent 5c10c4245f
commit 132a6cdb9c
No known key found for this signature in database
GPG Key ID: B5690EEEBB952194
1 changed files with 4 additions and 0 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

4
pages/models/mixtral.ru.mdx
View File

@ -19,4 +19,8 @@ import mixtralchat from '../../img/mixtral/mixtral-chatbot-arena.png'
## Введение в Mixtral (Mixtral of Experts)
Mixtral 8x7B представляет собой языковую модель Sparse Mixture of Experts (SMoE). [выпущенную Mistral AI](https://mistral.ai/news/mixtral-of-experts/). Mixtral имеет схожую архитектуру с [Mistral 7B](https://www.promptingguide.ai/models/mistral-7b) но главное ращличие в том, что каждый слой в Mixtral 8x7B состоит из 8 блоков прямой связи (экспертов). Mixtral — это модель только для декодирования, в которой для каждого токена на каждом уровне сеть маршрутизаторов выбирает двух экспертов. (тоесть 2 группы из 8 различных групп параметров) для обработки токена объединяет их выходные данные путем сложения. Другими словами, выходные данные всего модуля MoE для данного входного сигнала получаются через взвешенную сумму выходных данных, произведенных экспертными сетями.
<Screenshot src={mixtralexperts} alt="Mixtral of Experts Layer" />
This page needs a translation! Feel free to contribute a translation by clicking the `Edit this page` button on the right side.