You cannot select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
41 lines
2.5 KiB
Markdown
41 lines
2.5 KiB
Markdown
## LLaMA: Offene und Effiziente Basismodelle für Sprache
|
|
|
|
<Callout emoji="⚠️">
|
|
Dieser Abschnitt befindet sich in intensiver Entwicklung.
|
|
</Callout>
|
|
|
|
import {Screenshot} from 'components/screenshot'
|
|
import { Callout, FileTree } from 'nextra-theme-docs'
|
|
import LLAMA1 from '../../img/llama-1.png'
|
|
|
|
## Was gibt's Neues?
|
|
|
|
Dieses Paper führt eine Sammlung von Basismodellen für Sprache ein, die zwischen 7 Milliarden und 65 Milliarden Parameter variieren.
|
|
|
|
Die Modelle wurden mit Billionen von Tokens auf öffentlich verfügbaren Datensätzen trainiert.
|
|
|
|
Die Arbeit von [(Hoffman et al. 2022)](https://arxiv.org/abs/2203.15556) zeigt, dass Modelle mit kleinerer Anzahl von Parametern, die auf viel mehr Daten trainiert wurden, eine bessere Performance erreichen können als größere Pendants - und das bei niedrigerem Rechenbudget. Diese Arbeit empfiehlt das Training von 10-Milliarden-Parameter-Modellen auf 200 Milliarden Tokens. Die LLaMA-Studie jedoch findet heraus, dass die Performance eines 7-Milliarden-Parameter-Modells sogar nach 1 Billion Tokens weiterhin steigt.
|
|
|
|
<Screenshot src={LLAMA1} alt="LLAMA1" />
|
|
|
|
Diese Arbeit konzentriert sich darauf, Modelle (LLaMA) zu trainieren, die bei verschiedenen Inferenzbudgets die bestmögliche Leistung erzielen, indem auf mehr Tokens trainiert wird.
|
|
|
|
## Fähigkeiten & Wichtigste Ergebnisse
|
|
|
|
Insgesamt übertrifft LLaMA-13B GPT-3(175B) bei vielen Benchmarks, trotz einer 10x geringeren Größe und der Möglichkeit, auf einer einzelnen GPU betrieben zu werden. LLaMA 65B ist wettbewerbsfähig mit Modellen wie Chinchilla-70B und PaLM-540B.
|
|
|
|
*Paper:* [LLaMA: Open and Efficient Foundation Language Models](https://arxiv.org/abs/2302.13971)
|
|
|
|
*Code:* https://github.com/facebookresearch/llama
|
|
|
|
## Referenzes
|
|
|
|
- [Koala: A Dialogue Model for Academic Research](https://bair.berkeley.edu/blog/2023/04/03/koala/) (April 2023)
|
|
- [Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data](https://arxiv.org/abs/2304.01196) (April 2023)
|
|
- [Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality](https://vicuna.lmsys.org/) (März 2023)
|
|
- [LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention](https://arxiv.org/abs/2303.16199) (März 2023)
|
|
- [GPT4All](https://github.com/nomic-ai/gpt4all) (März 2023)
|
|
- [ChatDoctor: A Medical Chat Model Fine-tuned on LLaMA Model using Medical Domain Knowledge](https://arxiv.org/abs/2303.14070) (März 2023)
|
|
- [Stanford Alpaca](https://github.com/tatsu-lab/stanford_alpaca) (März 2023)
|
|
"pages/models/llama.en.mdx" [noeol] 43L, 2219B
|