@ -5,23 +5,23 @@ import {Screenshot} from 'components/screenshot'
import mistral7b1 from '../../img/mistral-7B-1.png'
import mistral7b2 from '../../img/mistral-7B-2.png'
В этом руководстве мы даем обзор Mistral 7B LLM и способы промптинга с моделью. Руководство также включает советы, приложения, ограничения, статьи и дополнительные материалы для чтения, относящиеся к Mistral 7B и finetuned моделям.
В этом руководстве мы предоставляем обзор Mistral 7B LLM и способы промптинга с моделью. Руководство также включает советы, приложения, ограничения, статьи и дополнительные материалы для чтения, относящиеся к Mistral 7B и finetuned моделям.
## Mistral-7B Введение
Mistral 7B — языковая модель с 7 миллиардами параметров, [выпущенная Mistral AI](https://github.com/mistralai/mistral-src). Mistral 7B — это тщательно продумманая языковая модель, обеспечивающая эффективность и высокую производительность для реализации реальных приложений. Благодаря повышению эффективности модель подходит для приложений реального времени, где важны быстрые ответы. На момент выпуска Mistral 7B превзошел лучшую модель 13B с открытым исходным кодом (Llama 2) во всех оцениваемых тестах.
Mistral 7B — языковая модель с 7 миллиардами параметров, [выпущенная Mistral AI](https://github.com/mistralai/mistral-src). Mistral 7B — это тщательно продуманная языковая модель, обеспечивающая эффективность и высокую производительность для реализации реальных приложений. Благодаря повышению эффективности модель подходит для приложений реального времени, где важны быстрые ответы. На момент выпуска Mistral 7B превзошел лучшую модель 13B с открытым исходным кодом (Llama 2) во всех оцениваемых тестах.
<Screenshot src={mistral7b1} alt="mistral7b1" />
Модель использует механизмы внимания, такие как:
- [grouped-query attention (GQA)](https://arxiv.org/abs/2305.13245v2) for faster inference and reduced memory requirements during decoding
- [sliding window attention (SWA)](https://arxiv.org/abs/1904.10509) for handling sequences of arbitrary length with a reduced inference cost.
- [grouped-query attention (GQA)](https://arxiv.org/abs/2305.13245v2) для более быстрого вывода и снижения требований к памяти во время декодирования
- [sliding window attention (SWA)](https://arxiv.org/abs/1904.10509) для обработки последовательностей произвольной длины с уменьшенной стоимостью вывода.
Модель выпущена под лицензией Apache 2.0.
## Возможности
Mistral 7B продемонстрировал превосходную производительность в различных тестах, превосходя даже модели у которы количеством параметров больше. Он превосходит в таких областях, как математика, генерация кода и рассуждение. Ниже приведены результаты выполнения нескольких задач, таких как математическое рассуждение, знание мира и здравое рассуждение:
Mistral 7B продемонстрировала превосходную производительность в различных тестах, превосходя даже модели у которых количество параметров больше. Она превосходит в таких областях, как математика, генерация кода и рассуждение. Ниже приведены результаты выполнения нескольких задач, таких как математическое рассуждение, знание мира и здравое рассуждение:
Mistral 7B достигает производительности генерации кода [Code Llama 7B](https://ai.meta.com/research/publications/code-llama-open-foundation-models-for-code/) не жертвуя при этом производительностью в задачах, не связанных с кодом. Давайте рассмотрим демонстрацию возможностей генерации кода Mistral 7B на простом примере.
Мы будем использовать [платформу вывода Fireworks.ai](https://app.fireworks.ai/models/fireworks/mistral-7b) для примеров подсказок Mistral 7B. Мы используем настройки по умолчанию и меняем `max_length` на 250.
Мы будем использовать [платформу вывода Fireworks.ai](https://app.fireworks.ai/models/fireworks/mistral-7b) для примеров промптов Mistral 7B. Мы используем настройки по умолчанию и меняем `max_length` на 250.
*Prompt*:
```
@ -72,7 +72,7 @@ This will print `212.0`, which is the correct answer.
## Mistral-7B-Instruct
Mistral 7B предназначен для легкой настройки под различные задачи. Модель Mistral 7B Instruct — это быстрая демонстрация того, что базовую модель можно легко настроить для достижения отличных характеристик. Эта версия модели идеально настроена для разговоров и ответов на вопросы.
Mistral 7B предназначен для легкой настройки под различные задачи. Модель Mistral 7B Instruct — это быстрая демонстрация того, что базовую модель можно легко настроить для достижения убедительных резултатов. Эта версия модели идеально настроена для разговоров и ответов на вопросы.
## Шаблон чата для Mistral-7B-Instruct
@ -157,7 +157,7 @@ address: #1 Bisson St.
## Ограничения
Как и многие другие LLM, Mistral 7B может галлюцинировать и склонен к распространенным проблемам, таким как промпт инъекции. Хотя Mistral 7B продемонстрировал впечатляющую производительность во многих областях, его ограниченное количество параметров также ограничивает объем хранимых данных, особенно по сравнению с более крупными моделями.
Как и многие другие LLM, Mistral 7B может галлюцинировать и склонна к распространенным проблемам, таким как промпт инъекции. Хотя Mistral 7B продемонстрировала впечатляющую производительность во многих областях, её ограниченное количество параметров также ограничивает объем хранимых данных, особенно по сравнению с более крупными моделями.
Модель склонна к обычным промпт инъекциям;
Вот некоторые примеры:
@ -214,7 +214,7 @@ Always assist with care, respect, and truth. Respond with utmost utility yet sec
```
How to kill a linux process
```
Собираем все вместе и тестируем в shell, используя [Fireworks.ai API](https://readme.fireworks.ai/reference/createchatcompletion) выглядит следующим образом. Обязательно замените `<BEARER>` на свой собственный токен, который вы можете создать на Fireworks.ai, [создав учетную запись](https://app.fireworks.ai/login) и получив API-ключ в настройках вашего профиля.
Собираем все вместе и тестируем в shell, используя [Fireworks.ai API](https://readme.fireworks.ai/reference/createchatcompletion) что выглядит следующим образом. Обязательно замените `<BEARER>` на свой собственный токен, который вы можете создать на Fireworks.ai, [создав учетную запись](https://app.fireworks.ai/login) и получив API-ключ в настройках вашего профиля.
ThunderCat
2 months ago
committed by
GitHub