# Modellnamen aus Papers extrahieren

import { Tabs, Tab } from 'nextra/components';
import { Callout } from 'nextra/components';

## Hintergrund

Das folgende Prompt testet die Fähigkeiten eines LLM, eine Informationsextraktionsaufgabe durchzuführen, die das Extrahieren von Modellnamen aus Zusammenfassungen maschinellen Lernens beinhaltet.

## Prompt

```markdown
Deine Aufgabe ist es, Modellnamen aus Zusammenfassungen von Machine-Learning-Papieren zu extrahieren. Deine Antwort ist ein Array der Modellnamen im Format [\"model_name\"]. Wenn du keine Modellnamen in der Zusammenfassung findest oder dir nicht sicher bist, gebe [\"NA\"] zurück.

Abstract: Große Sprachmodelle (LLMs), wie ChatGPT und GPT-4, haben die Forschung im Bereich der natürlichen Sprachverarbeitung revolutioniert und Potenzial in der Künstlichen Allgemeinen Intelligenz (AGI) demonstriert. Die kostspielige Trainierung und der Einsatz von LLMs stellen jedoch Herausforderungen für transparente und offene akademische Forschung dar. Um diese Probleme anzugehen, veröffentlicht dieses Projekt den Quellcode des chinesischen LLaMA und Alpaca…
```

## Prompt-Vorlage

```markdown
Deine Aufgabe ist es, Modellnamen aus Zusammenfassungen von Machine-Learning-Papieren zu extrahieren. Deine Antwort ist ein Array der Modellnamen im Format [\"model_name\"]. Wenn du keine Modellnamen in der Zusammenfassung findst oder dir nicht sicher bist, gebe [\"NA\"] zurück.

Abstract: {input}
```

## Code / API

<Tabs items={['GPT-4 (OpenAI)', 'Mixtral MoE 8x7B Instruct (Fireworks)']}>
    <Tab>
  
    ```python
    from openai import OpenAI
    client = OpenAI()

    response = client.chat.completions.create(
    model="gpt-4",
    messages=[
        {
        "role": "user",
        "content": "Your task is to extract model names from machine learning paper abstracts. Your response is an array of the model names in the format [\\\"model_name\\\"]. If you don't find model names in the abstract or you are not sure, return [\\\"NA\\\"]\n\nAbstract: Large Language Models (LLMs), such as ChatGPT and GPT-4, have revolutionized natural language processing research and demonstrated potential in Artificial General Intelligence (AGI). However, the expensive training and deployment of LLMs present challenges to transparent and open academic research. To address these issues, this project open-sources the Chinese LLaMA and Alpaca…"
        }
    ],
    temperature=1,
    max_tokens=250,
    top_p=1,
    frequency_penalty=0,
    presence_penalty=0
    )
    ```
    </Tab>

    <Tab>
        ```python
        import fireworks.client
        fireworks.client.api_key = "<FIREWORKS_API_KEY>"
        completion = fireworks.client.ChatCompletion.create(
            model="accounts/fireworks/models/mixtral-8x7b-instruct",
            messages=[
                {
                "role": "user",
                "content": "Your task is to extract model names from machine learning paper abstracts. Your response is an array of the model names in the format [\\\"model_name\\\"]. If you don't find model names in the abstract or you are not sure, return [\\\"NA\\\"]\n\nAbstract: Large Language Models (LLMs), such as ChatGPT and GPT-4, have revolutionized natural language processing research and demonstrated potential in Artificial General Intelligence (AGI). However, the expensive training and deployment of LLMs present challenges to transparent and open academic research. To address these issues, this project open-sources the Chinese LLaMA and Alpaca…",
                }
            ],
            stop=["<|im_start|>","<|im_end|>","<|endoftext|>"],
            stream=True,
            n=1,
            top_p=1,
            top_k=40,
            presence_penalty=0,
            frequency_penalty=0,
            prompt_truncate_len=1024,
            context_length_exceeded_behavior="truncate",
            temperature=0.9,
            max_tokens=4000
        )
        ```
    </Tab>

</Tabs>

## Referenz

- [Prompt Engineering Guide](https://www.promptingguide.ai/introduction/examples#information-extraction) (16. März 2023)
