# Масштабирование языковых моделей с помощью обучения на инструкциях

import {Screenshot} from 'components/screenshot'
import FLAN1 from '../../img/flan-1.png'
import FLAN2 from '../../img/flan-2.png'
import FLAN3 from '../../img/flan-3.png'
import FLAN4 from '../../img/flan-4.png'
import FLAN5 from '../../img/flan-5.png'
import FLAN6 from '../../img/flan-6.png'
import FLAN7 from '../../img/flan-7.png'
import FLAN8 from '../../img/flan-8.png'
import FLAN9 from '../../img/flan-9.png'
import FLAN10 from '../../img/flan-10.png'
import FLAN11 from '../../img/flan-11.png'

## Что нового?

<Screenshot src={FLAN1} alt="FLAN1" />
Источник изображения: [Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)

В статье изучаются преимущества масштабирования обучения на инструкциях (instruction finetuning) и то, как это улучшает производительность на различных моделях (PaLM, T5), вариантах промптов (zero-shot, few-shot, CoT) и бенчмарках (MMLU, TyDiQA). Это определяется с помощью следующих аспектов: масштабирование количества задач (1,8 тыс. задач), масштабирование размера модели и обучение на данных цепи мыслей (используется 9 наборов данных).

**Процедура обучения на инструкциях:**
- 1,8 тыс. задач формулируются как инструкции и используются для дообучения модели
- Используются как с образцами, так и без образцов, а также с и без CoT

Примеры задач для обучения и задач для проверки показаны ниже:

<Screenshot src={FLAN11} alt="FLAN11" />

## Возможности и ключевые моменты

- Обучение на инструкциях масштабируется хорошо с увеличением количества задач и размера модели, что говорит о необходимости дальнейшего увеличения количества задач и размера модели
- Добавление данных цепи мыслей в обучение позволяет достичь хорошей производительности на задачах рассуждения
- Flan-PaLM обладает улучшенными мультиязычными возможностями; улучшение на 14,9% в тесте с одним шагом TyDiQA; улучшение на 8,1% в арифметическом рассуждении на недостаточно представленных языках
- Plan-PaLM также хорошо справляется с вопросами, требующими генерации открытых ответов, что является хорошим показателем улучшенной применимости
- Улучшает результаты на ответственных бенчмарках искусственного интеллекта (RAI)
- Модели, обученные с помощью инструкций на Flan-T5, проявляют сильные возможности few-shot и превосходят общедоступные контрольные точки, такие как T5

**Результаты при масштабировании количества задач обучения и размера модели:** масштабирование как размера модели, так и количества задач обучения ожидается, что продолжит улучшать производительность, хотя масштабирование количества задач имеет убывающую отдачу.

<Screenshot src={FLAN2} alt="FLAN2" />
Источник изображения: [Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)

**Результаты при обучении с использованием данных без CoT и с CoT:** Совместное обучение на данных без CoT и с CoT улучшает производительность на обеих оценках по сравнению с обучением только на одной из них.

<Screenshot src={FLAN3} alt="FLAN3" />
Источник изображения: [Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)

Кроме того, использование самоконсистентности в сочетании с данными цепи мыслей позволяет достичь лучших результатов на нескольких бенчмарках. Обучение с CoT + самоконсистентностью также значительно улучшает результаты на бенчмарках, связанных с математическими задачами (например, MGSM, GSM8K).

<Screenshot src={FLAN4} alt="FLAN4" />
Источник изображения: [Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)

Обучение с использованием данных цепи мыслей позволяет решать задачи рассуждения "шаг за шагом" в нулевом режиме на задачах BIG-Bench. В целом, модель Flan-PaLM с обучением на данных цепи мыслей в режиме нулевой настройки показывает лучшие результаты по сравнению с моделью PaLM без обучения на данных цепи мыслей.

<Screenshot src={FLAN6} alt="FLAN6" />
Источник изображения: [Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)

Ниже представлены некоторые демонстрации возможностей обучения на инструкциях для PaLM и Flan-PaLM на невиданных задачах.

<Screenshot src={FLAN5} alt="FLAN5" />
Источник изображения: [Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)

Ниже приведены дополнительные примеры нулевой настройки. Они показывают, как модель PaLM имеет проблемы с повторениями и неответом на инструкции в режиме нулевой настройки, в то время как модель Flan-PaLM показывает хорошие результаты. Несколько образцов в режиме few-shot могут смягчить эти ошибки.

<Screenshot src={FLAN7} alt="FLAN7" />
Источник изображения: [Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)

Ниже приведены некоторые примеры демонстрации возможностей модели Flan-PALM в режиме нулевой настройки на различных типах сложных вопросов с открытым ответом:

<Screenshot src={FLAN8} alt="FLAN8" />
Источник изображения: [Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)


<Screenshot src={FLAN9} alt="FLAN9" />
Источник изображения: [Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)

<Screenshot src={FLAN10} alt="FLAN10" />
Источник изображения: [Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)

Вы можете попробовать [модели Flan-T5 на Hugging Face Hub](https://huggingface.co/google/flan-t5-xxl).