You cannot select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
303 lines
29 KiB
Markdown
303 lines
29 KiB
Markdown
# ChatGPT Prompt-Engineering
|
|
|
|
import { Callout, FileTree } from 'nextra-theme-docs';
|
|
import { Screenshot } from 'components/screenshot';
|
|
import CHATGPT1 from '../../img/chatgpt-1.png';
|
|
import CHATGPTCLASSIC from '../../img/chatgpt-classic.png';
|
|
|
|
In diesem Abschnitt behandeln wir die neuesten Techniken des Prompt-Engineerings für ChatGPT, einschließlich Tipps, Anwendungen, Grenzen, wissenschaftlichen Arbeiten und weiterführenden Lesestoffen.
|
|
|
|
Themen:
|
|
|
|
- [Einführung in ChatGPT](#chatgpt-introduction)
|
|
- [Überprüfung der Konversationsaufgabe](#reviewing-the-conversation-task)
|
|
- [Gespräche mit ChatGPT](#conversations-with-chatgpt)
|
|
|
|
---
|
|
|
|
## Einführung in ChatGPT
|
|
|
|
ChatGPT ist ein neues Modell, [trainiert von OpenAI](https://openai.com/blog/chatgpt), das die Fähigkeit besitzt, auf konversationelle Weise zu interagieren. Dieses Modell wurde darauf trainiert, Anweisungen in einem Prompt zu folgen, um angemessene Antworten im Kontext eines Dialogs zu liefern. ChatGPT kann dabei helfen, Fragen zu beantworten, Rezeptvorschläge zu machen, Liedtexte in einem bestimmten Stil zu schreiben, Code zu generieren und vieles mehr.
|
|
|
|
ChatGPT wird mit Reinforcement Learning from Human Feedback (RLHF) trainiert. Obwohl dieses Modell viel leistungsfähiger als die vorhergehenden GPT-Iterationen ist (und auch darauf trainiert wurde, schädliche und unwahre Aussagen zu reduzieren), kommt es dennoch mit Einschränkungen. Lassen Sie uns einige der Fähigkeiten und Grenzen anhand konkreter Beispiele beleuchten.
|
|
|
|
Sie können die Forschungsvorschau von ChatGPT [hier](https://chat.openai.com) verwenden, aber für die nachfolgenden Beispiele werden wir den `Chat`-Modus im OpenAI Playground nutzen.
|
|
|
|
---
|
|
|
|
## Überprüfung der Konversationsaufgabe
|
|
|
|
In einem der vorhergehenden Leitfäden haben wir ein wenig über die Konversationsfähigkeiten und das Role Prompting gesprochen. Wir haben erörtert, wie man das LLM anweist, ein Gespräch in einem bestimmten Stil, mit einer bestimmten Absicht, Verhalten und Identität zu führen.
|
|
|
|
Lassen Sie uns unser vorheriges grundlegendes Beispiel überprüfen, in dem wir ein Konversationssystem erstellt haben, das in der Lage ist, auf Fragen technischere und wissenschaftlichere Antworten zu generieren.
|
|
|
|
_Prompt:_
|
|
|
|
```
|
|
Das Folgende ist ein Gespräch mit einem KI-Forschungsassistenten. Der Assistententen ist technisch und wissenschaftlich.
|
|
|
|
Mensch: Hallo, wer bist du?
|
|
KI: Grüße! Ich bin ein KI-Forschungsassistent. Wie kann ich Ihnen heute helfen?
|
|
Mensch: Kannst du mir über die Entstehung von schwarzen Löchern berichten?
|
|
KI:
|
|
```
|
|
|
|
Anhand des obigen Beispiels können Sie zwei wichtige Komponenten erkennen:
|
|
|
|
- die **Absicht** oder Erklärung, was der Chatbot ist
|
|
- die **Identität**, welche den Stil oder Ton instruiert, den der Chatbot zur Beantwortung verwenden wird
|
|
|
|
Das einfache Beispiel oben funktioniert gut mit den Text-Completion-APIs, die `text-davinci-003` benutzen. Neuerdings hat OpenAI die [ChatGPT-APIs angekündigt](https://openai.com/blog/introducing-chatgpt-and-whisper-apis), bei denen es sich um ein leistungsfähigeres und kostengünstigeres Modell handelt, genannt `gpt-3.5-turbo`, das speziell für diese Art der Funktionalität (Chat-Completion) entwickelt wurde. Tatsächlich empfiehlt OpenAI dies als ihr bestes Modell, auch für Nicht-Chat-Anwendungsfälle. Weitere Vorteile der Nutzung der ChatGPT-APIs sind signifikante Kostenreduktion (90%) und Effizienz.
|
|
|
|
Große Unternehmen wie Snap Inc. und Instacart integrieren bereits konversationelle Funktionen, die von ChatGPT angetrieben werden, in ihre Produkte, die von personalisierten Empfehlungen bis hin zu offenen Einkaufszielen reichen.
|
|
|
|
---
|
|
|
|
## Gespräche mit ChatGPT
|
|
|
|
### Mehrschrittige Konversationen
|
|
|
|
Um die Fähigkeiten von ChatGPT zu demonstrieren, werden wir das Chatbot-Assistenten-Beispiel von oben verwenden und die Ergebnisse diskutieren. Im Vergleich zu `text-davinci-003` verwendet das `gpt-3.5-turbo` Modell, das ChatGPT antreibt, ein Chat-Format als Eingabe. Das Modell erwartet eine Reihe von Nachrichten als Eingabe und verwendet diese, um eine Antwort zu generieren.
|
|
|
|
_Eingabe:_
|
|
|
|
```
|
|
SYSTEM: Du bist ein KI-Forschungsassistent. Du verwendest einen Ton, der technisch und wissenschaftlich ist.
|
|
BENUTZER: Hallo, wer bist du?
|
|
ASSISTENT: Grüße! Ich bin ein KI-Forschungsassistent. Wie kann ich Ihnen heute helfen?
|
|
BENUTZER: Kannst du mir über die Entstehung von schwarzen Löchern berichten?
|
|
```
|
|
|
|
_Ausgabe:_
|
|
|
|
```
|
|
ASSISTENT: Natürlich! Schwarze Löcher entstehen, wenn ein massiver Stern keinen Treibstoff mehr hat und unter seiner eigenen Gravitation kollabiert. Dieser Kollaps führt dazu, dass der Stern unglaublich dicht wird, mit einem Gravitationsfeld so stark, dass nicht einmal Licht ihm entkommen kann. Dieser Punkt ohne Wiederkehr ist als Ereignishorizont bekannt. Sobald ein Stern den Ereignishorizont überschreitet, wird er als schwarzes Loch betrachtet...
|
|
```
|
|
|
|
Beachten Sie, dass ich im obigen Beispiel die Eingabe und Ausgabe vereinfacht habe, aber die ChatGPT-Chat-Completion-API erfordert, dass Nachrichten in einem spezifischen Format vorliegen. Untenstehend habe ich eine Momentaufnahme hinzugefügt, wie dieses Beispiel im `Chat Mode` im OpenAI Playground aussehen würde:
|
|
|
|
<Screenshot src={CHATGPT1} alt="CHATGPT1" />
|
|
|
|
Der formellere API-Aufruf für unser Beispiel sähe etwa so aus wie das folgende Beispiel:
|
|
|
|
```python
|
|
import openai
|
|
|
|
openai.ChatCompletion.create(
|
|
model="gpt-3.5-turbo",
|
|
messages=[
|
|
{"role": "system", "content": "Du bist ein KI-Forschungsassistent. Du verwendest einen Ton, der technisch und wissenschaftlich ist."},
|
|
{"role": "user", "content": "Hallo, wer bist du?"},
|
|
{"role": "assistant", "content": "Grüße! Ich bin ein KI-Forschungsassistent. Wie kann ich Ihnen heute helfen?"},
|
|
{"role": "user", "content": "Kannst du mir über die Entstehung von schwarzen Löchern berichten?"}
|
|
]
|
|
)
|
|
```
|
|
|
|
Tatsächlich wird erwartet, dass die Art und Weise, wie Entwickler in Zukunft mit ChatGPT interagieren, über die [Chat Markup Language](https://github.com/openai/openai-python/blob/main/chatml.md) (kurz ChatML) erfolgen wird.
|
|
|
|
### Einzelschritt-Aufgaben
|
|
|
|
Das Chat-Format ermöglicht mehrschrittige Konversationen, aber es unterstützt auch Einzelschritt-Aufgaben, ähnlich wie wir es mit `text-davinci-003` verwendet haben. Das bedeutet, dass wir ChatGPT für ähnliche Aufgaben verwenden können, wie wir sie für die ursprünglichen GPT-Modelle demonstriert haben. Versuchen wir beispielsweise, die folgende Frage-Antwort-Aufgabe mithilfe von ChatGPT durchzuführen:
|
|
|
|
_Eingabe:_
|
|
|
|
```
|
|
BENUTZER: Beantworte die Frage basierend auf dem Kontext unten. Halte die Antwort kurz und prägnant. Antworte "Unsicher über Antwort", wenn du dir nicht sicher über die Antwort bist.
|
|
|
|
Kontext: Teplizumab hat seine Wurzeln in einem New Jerseyer Arzneimittelunternehmen namens Ortho Pharmaceutical. Dort erzeugten Wissenschaftler eine frühe Version des Antikörpers, den man OKT3 nannte. Ursprünglich aus Mäusen gewonnen, war das Molekül in der Lage, an die Oberfläche von T-Zellen zu binden und deren Zelltötungspotential zu begrenzen. Im Jahr 1986 wurde es zur Verhinderung der Abstoßung von Organen nach Nierentransplantationen zugelassen und war damit der erste für den Menschen zugelassene therapeutische Antikörper.
|
|
|
|
Frage: Woraus wurde OKT3 ursprünglich gewonnen?
|
|
|
|
Antwort:
|
|
```
|
|
|
|
_Ausgabe:_
|
|
|
|
```
|
|
ASSISTENT: Mäuse.
|
|
```
|
|
|
|
Beachten Sie, dass ich die `BENUTZER`- und `ASSISTENT`-Labels hinzugefügt habe, um besser zu demonstrieren, wie die Aufgabe mithilfe von ChatGPT durchgeführt werden kann. Hier ist das Beispiel unter Verwendung des OpenAI Playgrounds:
|
|
|
|
<Screenshot src={CHATGPTCLASSIC} alt="CHATGPTCLASSIC" />
|
|
|
|
Formeller ausgedrückt wäre dies der API-Aufruf (ich habe nur den Nachrichtenteil der Anforderung eingeschlossen):
|
|
|
|
```python
|
|
CONTENT = """Beantworte die Frage basierend auf dem Kontext unten. Halte die Antwort kurz und prägnant. Antworte \"Unsicher über Antwort\", wenn du dir nicht sicher über die Antwort bist.
|
|
|
|
Kontext: Teplizumab hat seine Wurzeln in einem New Jerseyer Arzneimittelunternehmen namens Ortho Pharmaceutical. Dort erzeugten Wissenschaftler eine frühe Version des Antikörpers, den man OKT3 nannte. Ursprünglich aus Mäusen gewonnen, war das Molekül in der Lage, an die Oberfläche von T-Zellen zu binden und deren Zelltötungspotential zu begrenzen. Im Jahr 1986 wurde es zur Verhinderung der Abstoßung von Organen nach Nierentransplantationen zugelassen und war damit der erste für den Menschen zugelassene therapeutische Antikörper.
|
|
|
|
Frage: Woraus wurde OKT3 ursprünglich gewonnen?
|
|
|
|
Antwort:
|
|
"""
|
|
|
|
response = openai.ChatCompletion.create(
|
|
model="gpt-3.5-turbo",
|
|
messages=[
|
|
{"role": "user", "content": CONTENT},
|
|
],
|
|
temperature=0,
|
|
)
|
|
```
|
|
|
|
### Anweisungen für Chat-Modelle
|
|
|
|
Laut der offiziellen OpenAI-Dokumentation werden auch Snapshots des `gpt-3.5-turbo`-Modells verfügbar gemacht. Wir können beispielsweise auf den Snapshot vom 1. März `gpt-3.5-turbo-0301` zugreifen. Dies erlaubt Entwicklern, spezifische Modellversionen zu wählen. Das bedeutet auch, dass sich die besten Praktiken für das Instruieren von Modellen von Version zu Version ändern können.
|
|
|
|
Die aktuelle Empfehlung für `gpt-3.5-turbo-0301` besteht darin, Anweisungen in der `user`-Nachricht hinzuzufügen, anstatt in der verfügbaren `system`-Nachricht.
|
|
|
|
---
|
|
|
|
## Referenzen
|
|
|
|
- [Column Type Annotation using ChatGPT](https://arxiv.org/abs/2306.00745) (Juni 2023)
|
|
- [Enhancing Programming eTextbooks with ChatGPT Generated Counterfactual-Thinking-Inspired Questions](https://arxiv.org/abs/2306.00551) (Juni 2023)
|
|
- [ChatGPT an ENFJ, Bard an ISTJ: Empirical Study on Personalities of Large Language Models](https://arxiv.org/abs/2305.19926) (Mai 2023)
|
|
- [A Systematic Study and Comprehensive Evaluation of ChatGPT on Benchmark Datasets](https://arxiv.org/abs/2305.18486) (Mai 2023)
|
|
- [Chatbots put to the test in math and logic problems: A preliminary comparison and assessment of ChatGPT-3.5, ChatGPT-4, and Google Bard](https://arxiv.org/abs/2305.18618) (Mai 2023)
|
|
- [GPT Models in Construction Industry: Opportunities, Limitations, and a Use Case Validation](https://arxiv.org/abs/2305.18997) (Mai 2023)
|
|
- [Fairness of ChatGPT](https://arxiv.org/abs/2305.18569) (Mai 2023)
|
|
- [Mapping ChatGPT in Mainstream Media: Early Quantitative Insights through Sentiment Analysis and Word Frequency Analysis](https://arxiv.org/abs/2305.18340) (Mai 2023)
|
|
- [A Survey on ChatGPT: AI-Generated Contents, Challenges, and Solutions](https://arxiv.org/abs/2305.18339) (Mai 2023)
|
|
- [Do Language Models Know When They're Hallucinating References?](https://arxiv.org/abs/2305.18248) (Mai 2023)
|
|
- [HowkGPT: Investigating the Detection of ChatGPT-generated University Student Homework through Context-Aware Perplexity Analysis]
|
|
- [Playing repeated games with Large Language Models](https://arxiv.org/abs/2305.16867) (Mai 2023)
|
|
- [Zero is Not Hero Yet: Benchmarking Zero-Shot Performance of LLMs for Financial Tasks](https://arxiv.org/abs/2305.16633) (Mai 2023)
|
|
- [Leveraging LLMs for KPIs Retrieval from Hybrid Long-Document: A Comprehensive Framework and Dataset](https://arxiv.org/abs/2305.16344) (Mai 2023)
|
|
- [Marked Personas: Using Natural Language Prompts to Measure Stereotypes in Language Models](https://arxiv.org/abs/2305.18189v1) (Mai 2023)
|
|
- [The Larger They Are, the Harder They Fail: Language Models do not Recognize Identifier Swaps in Python](https://arxiv.org/pdf/2305.15507v1.pdf) (Mai 2023)
|
|
- [InternGPT: Solving Vision-Centric Tasks by Interacting with ChatGPT Beyond Language](https://arxiv.org/abs/2305.05662v3) (Mai 2023)
|
|
- [Narrative XL: A Large-scale Dataset For Long-Term Memory Models](https://arxiv.org/abs/2305.13877) (Mai 2023)
|
|
- [Does ChatGPT have Theory of Mind?](https://arxiv.org/abs/2305.14020) (Mai 2023)
|
|
- [Can LLM Already Serve as A Database Interface? A BIg Bench for Large-Scale Database Grounded Text-to-SQLs](https://arxiv.org/abs/2305.03111v2) (Mai 2023)
|
|
- [ZeroSCROLLS: A Zero-Shot Benchmark for Long Text Understanding](https://arxiv.org/abs/2305.14196) (Mai 2023)
|
|
- [Navigating Prompt Complexity for Zero-Shot Classification: A Study of Large Language Models in Computational Social Science](https://arxiv.org/abs/2305.14310) (Mai 2023)
|
|
- [ChatGPT-EDSS: Empathetic Dialogue Speech Synthesis Trained from ChatGPT-derived Context Word Embeddings](https://arxiv.org/abs/2305.13724) (Mai 2023)
|
|
- [Can LLMs facilitate interpretation of pre-trained language models?](https://arxiv.org/abs/2305.13386) (Mai 2023)
|
|
- [Can ChatGPT Detect Intent? Evaluating Large Language Models for Spoken Language Understanding](https://arxiv.org/abs/2305.13512) (Mai 2023)
|
|
- [LLM-empowered Chatbots for Psychiatrist and Patient Simulation: Application and Evaluation](https://arxiv.org/abs/2305.13614) (Mai 2023)
|
|
- [ChatGPT as your Personal Data Scientist](https://arxiv.org/abs/2305.13657) (Mai 2023)
|
|
- [Are Large Language Models Good Evaluators for Abstractive Summarization?](https://arxiv.org/abs/2305.13091) (Mai 2023)
|
|
- [Can ChatGPT Defend the Truth? Automatic Dialectical Evaluation Elicits LLMs' Deficiencies in Reasoning](https://arxiv.org/abs/2305.13160) (Mai 2023)
|
|
- [Evaluating ChatGPT's Performance for Multilingual and Emoji-based Hate Speech Detection](https://arxiv.org/abs/2305.13276) (Mai 2023)
|
|
- [ChatGPT to Replace Crowdsourcing of Paraphrases for Intent Classification: Higher Diversity and Comparable Model Robustness](https://arxiv.org/abs/2305.12947) (Mai 2023)
|
|
- [Distilling ChatGPT for Explainable Automated Student Answer Assessment](https://arxiv.org/abs/2305.12962) (Mai 2023)
|
|
- [Prompt ChatGPT In MNER: Improved multimodal named entity recognition method based on auxiliary refining knowledge from ChatGPT](https://arxiv.org/abs/2305.12212) (Mai 2023)
|
|
- [ChatGPT Is More Likely to Be Perceived as Male Than Female](https://arxiv.org/abs/2305.12564) (Mai 2023)
|
|
- [Observations on LLMs for Telecom Domain: Capabilities and Limitations](https://arxiv.org/abs/2305.13102) (Mai 2023)
|
|
- [Bits of Grass: Does GPT already know how to write like Whitman?](https://arxiv.org/abs/2305.11064) (Mai 2023)
|
|
- [Are Large Language Models Fit For Guided Reading?](https://arxiv.org/abs/2305.10645) (Mai 2023)
|
|
- [ChatGPT Perpetuates Gender Bias in Machine Translation and Ignores Non-Gendered Pronouns: Findings across Bengali and Five other Low-Resource Languages](https://arxiv.org/abs/2305.10510) (Mai 2023)
|
|
- [BAD: BiAs Detection for Large Language Models in the context of candidate screening](https://arxiv.org/abs/2305.10407) (Mai 2023)
|
|
- [MemoryBank: Enhancing Large Language Models with Long-Term Memory](https://arxiv.org/abs/2305.10250) (Mai 2023)
|
|
- [Knowledge Graph Completion Models are Few-shot Learners: An Empirical Study of Relation Labeling in E-commerce with LLMs](https://arxiv.org/abs/2305.09858) (Mai 2023)
|
|
- [A Preliminary Analysis on the Code Generation Capabilities of GPT-3.5 and Bard AI Models for Java Functions](https://arxiv.org/abs/2305.09402) (Mai 2023)
|
|
- [ChatGPT-4 Outperforms Experts and Crowd Workers in Annotating Political Twitter Messages with Zero-Shot Learning](https://arxiv.org/abs/2304.06588) (April 2023)
|
|
- [ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large Language Models in Multilingual Learning](https://arxiv.org/abs/2304.05613) (April 2023)
|
|
- [Distinguishing ChatGPT(-3.5, -4)-generated and human-written papers through Japanese stylometric analysis](https://arxiv.org/abs/2304.05534) (April 2023)
|
|
- [Zero-shot Temporal Relation Extraction with ChatGPT](https://arxiv.org/abs/2304.05454) (April 2023)
|
|
- [Can ChatGPT and Bard Generate Aligned Assessment Items? A Reliability Analysis against Human Performance](https://arxiv.org/abs/2304.05372) (April 2023)
|
|
- [Are Large Language Models Ready for Healthcare? A Comparative Study on Clinical Language Understanding](https://arxiv.org/abs/2304.05368) (April 2023)
|
|
- [The Wall Street Neophyte: A Zero-Shot Analysis of ChatGPT Over MultiModal Stock Movement Prediction Challenges](https://arxiv.org/abs/2304.05351) (April 2023)
|
|
- [Toxicity in ChatGPT: Analyzing Persona-assigned Language Models](https://arxiv.org/abs/2304.05335) (April 2023)
|
|
- [Multi-step Jailbreaking Privacy Attacks on ChatGPT](https://arxiv.org/abs/2304.05197) (April 2023)
|
|
- [Is ChatGPT a Good Sentiment Analyzer? A Preliminary Study](https://arxiv.org/abs/2304.04339) (April 2023)
|
|
- [A Preliminary Evaluation of ChatGPT for Zero-shot Dialogue Understanding](https://arxiv.org/abs/2304.04256) (April 2023)
|
|
- [Extractive Summarization via ChatGPT for Faithful Summary Generation](https://arxiv.org/abs/2304.04193) (April 2023)
|
|
- [What does ChatGPT return about human values? Exploring value bias in ChatGPT using a descriptive value theory](https://arxiv.org/abs/2304.03612) (April 2023)
|
|
- [On the Evaluations of ChatGPT and Emotion-enhanced Prompting for Mental Health Analysis](https://arxiv.org/abs/2304.03347) (April 2023)
|
|
- [ChatGPT-Crawler: Find out if ChatGPT really knows what it's talking about](https://arxiv.org/abs/2304.03325) (April 2023)
|
|
- [Should ChatGPT be Biased? Challenges and Risks of Bias in Large Language Models](https://arxiv.org/abs/2304.03738) (April 2023)
|
|
- [Synthesis of Mathematical programs from Natural Language Specifications](https://arxiv.org/abs/2304.03287) (April 2023)
|
|
- [Large language models effectively leverage document-level context for literary translation, but critical errors persist](https://arxiv.org/abs/2304.03245) (April 2023)
|
|
- [Investigating Chain-of-thought with ChatGPT for Stance Detection on Social Media](https://arxiv.org/abs/2304.03087) (April 2023)
|
|
- [ChatGPT for Shaping the Future of Dentistry: The Potential of Multi-Modal Large Language Model](https://arxiv.org/abs/2304.03086) (April 2023)
|
|
- [Can Large Language Models Play Text Games Well? Current State-of-the-Art and Open Questions](https://arxiv.org/abs/2304.02868) (April 2023)
|
|
- [Human-like Summarization Evaluation with ChatGPT](https://arxiv.org/abs/2304.02554) (April 2023)
|
|
- [Evaluation of ChatGPT Family of Models for Biomedical Reasoning and Classification](https://arxiv.org/abs/2304.02496) (April 2023)
|
|
- [Comparative Analysis of CHATGPT and the evolution of language models](https://arxiv.org/abs/2304.02468) (April 2023)
|
|
- [Unleashing the Power of ChatGPT for Translation: An Empirical Study](https://arxiv.org/abs/2304.02182) (April 2023)
|
|
- [Geotechnical Parrot Tales (GPT): Overcoming GPT hallucinations with prompt engineering for geotechnical applications](https://arxiv.org/abs/2304.02138) (April 2023)
|
|
- [Unlocking the Potential of ChatGPT: A Comprehensive Exploration of its Applications, Advantages, Limitations, and Future Directions in Natural Language Processing](https://arxiv.org/abs/2304.02017) (April 2023)
|
|
- [Summary of ChatGPT/GPT-4 Research and Perspective Towards the Future of Large Language Models](https://arxiv.org/abs/2304.01852) (April 2023)
|
|
- [Is ChatGPT a Highly Fluent Grammatical Error Correction System? A Comprehensive Evaluation](https://arxiv.org/abs/2304.01746) (April 2023)
|
|
- [Safety Analysis in the Era of Large Language Models: A Case Study of STPA using ChatGPT](https://arxiv.org/abs/2304.01246) (April 2023)
|
|
- [Large language models can rate news outlet credibility](https://arxiv.org/abs/2304.00228) (April 2023)
|
|
- [Can AI Chatbots Pass the Fundamentals of Engineering (FE) and Principles and Practice of Engineering (PE) Structural Exams?](https://arxiv.org/abs/2303.18149) (April 2023)
|
|
- [Can AI Put Gamma-Ray Astrophysicists Out of a Job?](https://arxiv.org/abs/2303.17853) (März 2023)
|
|
- [Comparing Abstractive Summaries Generated by ChatGPT to Real Summaries Through Blinded Reviewers and Text Classification Algorithms](https://arxiv.org/abs/2303.17650) (März 2023)
|
|
- [HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace](https://arxiv.org/abs/2303.17580) (März 2023)
|
|
- [SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models](https://arxiv.org/abs/2303.08896) (März 2023)
|
|
- [WavCaps: A ChatGPT-Assisted Weakly-Labelled Audio Captioning Dataset for Audio-Language Multimodal Research](https://arxiv.org/abs/2303.17395) (März 2023)
|
|
- [How well do Large Language Models perform in Arithmetic tasks?](https://arxiv.org/abs/2304.02015) (März 2023)
|
|
- [Assessing Cross-Cultural Alignment between ChatGPT and Human Societies: An Empirical Study](https://arxiv.org/abs/2303.17466) (März 2023)
|
|
- [Yes but.. Can ChatGPT Identify Entities in Historical Documents?](https://arxiv.org/abs/2303.17322) (März 2023)
|
|
- [Evaluation of ChatGPT for NLP-based Mental Health Applications](https://arxiv.org/abs/2303.15727) (März 2023)
|
|
- [A Perspectival Mirror of the Elephant: Investigating Language Bias on Google, ChatGPT, Wikipedia, and YouTube](https://arxiv.org/abs/2303.16281) (März 2023)
|
|
- [ChatGPT or academic scientist? Distinguishing authorship with over 99% accuracy using off-the-shelf machine learning tools](https://arxiv.org/abs/2303.16352) (März 2023)
|
|
- [Zero-shot Clinical Entity Recognition using ChatGPT](https://arxiv.org/abs/2303.16416) (März 2023)
|
|
- [ChatGPT is a Knowledgeable but Inexperienced Solver: An Investigation of Commonsense Problem in Large Language Models](https://arxiv.org/abs/2303.16421) (März 2023)
|
|
- [ChatGPT4PCG Competition: Character-like Level Generation for Science Birds](https://arxiv.org/abs/2303.15662) (März 2023)
|
|
- [ChatGPT as a Factual Inconsistency Evaluator for Abstractive Text Summarization](https://arxiv.org/abs/2303.15621) (März 2023)
|
|
- [Chat-REC: Towards Interactive and Explainable LLMs-Augmented Recommender System](https://arxiv.org/abs/2303.14524) (März 2023)
|
|
- [A comprehensive evaluation of ChatGPT's zero-shot Text-to-SQL capability](https://arxiv.org/abs/2303.13547) (März 2023)
|
|
- [Towards Making the Most of ChatGPT for Machine Translation](https://arxiv.org/abs/2303.13780) (März 2023)
|
|
- [Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models: A Case Study on ChatGPT](https://arxiv.org/abs/2303.13809) (März 2023)
|
|
- [ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks](https://arxiv.org/pdf/2303.15056v1.pdf) (März 2023)
|
|
- [ChatGPT or Grammarly? Evaluating ChatGPT on Grammatical Error Correction Benchmark](https://arxiv.org/abs/2303.13648) (März 2023)
|
|
- [ChatGPT and a New Academic Reality: AI-Written Research Papers and the Ethics of the Large Language Models in Scholarly Publishing](https://arxiv.org/abs/2303.13367) (März 2023)
|
|
- [Are LLMs the Master of All Trades? : Exploring Domain-Agnostic Reasoning Skills of LLMs](https://arxiv.org/abs/2303.12810) (März 2023)
|
|
- [Is ChatGPT A Good Keyphrase Generator? A Preliminary Study](https://arxiv.org/abs/2303.13001) (März 2023)
|
|
- [MM-REACT: Prompting ChatGPT for Multimodal Reasoning and Action](https://arxiv.org/abs/2303.11381) (März 2023)
|
|
- [Large Language Models Can Be Used to Estimate the Ideologies of Politicians in a Zero-Shot Learning Setting](https://arxiv.org/abs/2303.12057) (März 2023)
|
|
- [Chinese Intermediate English Learners outdid ChatGPT in deep cohesion: Evidence from English narrative writing](https://arxiv.org/abs/2303.11812) (März 2023)
|
|
- [A Comprehensive Capability Analysis of GPT-3 and GPT-3.5 Series Models](https://arxiv.org/abs/2303.10420) (März 2023)
|
|
- [ChatGPT as the Transportation Equity Information Source for Scientific Writing](https://arxiv.org/abs/2303.11158) (März 2023)
|
|
- [Translating Radiology Reports into Plain Language using ChatGPT and GPT-4 with Prompt Learning: Promising Results, Limitations, and Potential](https://arxiv.org/abs/2303.09038) (März 2023)
|
|
- [ChatGPT Participates in a Computer Science Exam](https://arxiv.org/abs/2303.09461) (März 2023)
|
|
- [Consistency Analysis of ChatGPT](https://arxiv.org/abs/2303.06273) (Mar 2023)
|
|
- [Algorithmic Ghost in the Research Shell: Large Language Models and Academic Knowledge Creation in Management Research](https://arxiv.org/abs/2303.07304) (Mar 2023)
|
|
- [Large Language Models in the Workplace: A Case Study on Prompt Engineering for Job Type Classification](https://arxiv.org/abs/2303.07142) (März 2023)
|
|
- [Seeing ChatGPT Through Students' Eyes: An Analysis of TikTok Data](https://arxiv.org/abs/2303.05349) (März 2023)
|
|
- [Extracting Accurate Materials Data from Research Papers with Conversational Language Models and Prompt Engineering -- Example of ChatGPT](https://arxiv.org/abs/2303.05352) (Mar 2023)
|
|
- [ChatGPT is on the horizon: Could a large language model be all we need for Intelligent Transportation?](https://arxiv.org/abs/2303.05382) (Mar 2023)
|
|
- [Making a Computational Attorney](https://arxiv.org/abs/2303.05383) (Mar 2023)
|
|
- [Does Synthetic Data Generation of LLMs Help Clinical Text Mining?](https://arxiv.org/abs/2303.04360) (Mar 2023)
|
|
- [MenuCraft: Interactive Menu System Design with Large Language Models](https://arxiv.org/abs/2303.04496) (Mar 2023)
|
|
- [A Comprehensive Survey of AI-Generated Content (AIGC): A History of Generative AI from GAN to ChatGPT](https://arxiv.org/abs/2303.04226) (Mar 2023)
|
|
- [Exploring the Feasibility of ChatGPT for Event Extraction](https://arxiv.org/abs/2303.03836)
|
|
- [ChatGPT: Beginning of an End of Manual Annotation? Use Case of Automatic Genre Identification](https://arxiv.org/abs/2303.03953) (Mar 2023)
|
|
- [Is ChatGPT a Good NLG Evaluator? A Preliminary Study](https://arxiv.org/abs/2303.04048) (Mar 2023)
|
|
- [Will Affective Computing Emerge from Foundation Models and General AI? A First Evaluation on ChatGPT](https://arxiv.org/abs/2303.03186) (Mar 2023)
|
|
- [UZH_CLyp at SemEval-2023 Task 9: Head-First Fine-Tuning and ChatGPT Data Generation for Cross-Lingual Learning in Tweet Intimacy Prediction](https://arxiv.org/abs/2303.01194) (Mar 2023)
|
|
- [How to format inputs to ChatGPT models](https://github.com/openai/openai-cookbook/blob/main/examples/How_to_format_inputs_to_ChatGPT_models.ipynb) (Mar 2023)
|
|
- [Can ChatGPT Assess Human Personalities? A General Evaluation Framework](https://arxiv.org/abs/2303.01248) (Mar 2023)
|
|
- [Cross-Lingual Summarization via ChatGPT](https://arxiv.org/abs/2302.14229) (Feb 2023)
|
|
- [ChatAug: Leveraging ChatGPT for Text Data Augmentation](https://arxiv.org/abs/2302.13007) (Feb 2023)
|
|
- [Dr ChatGPT, tell me what I want to hear: How prompt knowledge impacts health answer correctness](https://arxiv.org/abs/2302.13793) (Feb 2023)
|
|
- [An Independent Evaluation of ChatGPT on Mathematical Word Problems (MWP)](https://arxiv.org/abs/2302.13814) (Feb 2023)
|
|
- [ChatGPT: A Meta-Analysis after 2.5 Months](https://arxiv.org/abs/2302.13795) (Feb 2023)
|
|
- [Let's have a chat! A Conversation with ChatGPT: Technology, Applications, and Limitations](https://arxiv.org/abs/2302.13817) (Feb 2023)
|
|
- [Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback](https://arxiv.org/abs/2302.12813) (Feb 2023)
|
|
- [On the Robustness of ChatGPT: An Adversarial and Out-of-distribution Perspective](https://arxiv.org/abs/2302.12095) (Feb 2023)
|
|
- [How Generative AI models such as ChatGPT can be (Mis)Used in SPC Practice, Education, and Research? An Exploratory Study](https://arxiv.org/abs/2302.10916) (Feb 2023)
|
|
- [Can ChatGPT Understand Too? A Comparative Study on ChatGPT and Fine-tuned BERT](https://arxiv.org/abs/2302.10198) (Feb 2023)
|
|
- [A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT](https://arxiv.org/abs/2302.11382) (Feb 2023)
|
|
- [Zero-Shot Information Extraction via Chatting with ChatGPT](https://arxiv.org/abs/2302.10205) (Feb 2023)
|
|
- [ChatGPT: Jack of all trades, master of none](https://arxiv.org/abs/2302.10724) (Feb 2023)
|
|
- [A Pilot Evaluation of ChatGPT and DALL-E 2 on Decision Making and Spatial Reasoning](https://arxiv.org/abs/2302.09068) (Feb 2023)
|
|
- [Netizens, Academicians, and Information Professionals' Opinions About AI With Special Reference To ChatGPT](https://arxiv.org/abs/2302.07136) (Feb 2023)
|
|
- [Linguistic ambiguity analysis in ChatGPT](https://arxiv.org/abs/2302.06426) (Feb 2023)
|
|
- [ChatGPT versus Traditional Question Answering for Knowledge Graphs: Current Status and Future Directions Towards Knowledge Graph Chatbots](https://arxiv.org/abs/2302.06466) (Feb 2023)
|
|
- [What ChatGPT and generative AI mean for science](https://www.nature.com/articles/d41586-023-00340-6) (Feb 2023)
|
|
- [Applying BERT and ChatGPT for Sentiment Analysis of Lyme Disease in Scientific Literature](https://arxiv.org/abs/2302.06474) (Feb 2023)
|
|
- [Exploring AI Ethics of ChatGPT: A Diagnostic Analysis](https://arxiv.org/abs/2301.12867) (Jan 2023)
|
|
- [ChatGPT for Good? On Opportunities and Challenges of Large Language Models for Education](https://www.edu.sot.tum.de/fileadmin/w00bed/hctl/_my_direct_uploads/ChatGPT_for_Good_.pdf) (Jan 2023)
|
|
- [The political ideology of conversational AI: Converging evidence on ChatGPT's pro-environmental, left-libertarian orientation](https://arxiv.org/abs/2301.01768) (Jan 2023)
|
|
- [Techniques to improve reliability - OpenAI Cookbook](https://github.com/openai/openai-cookbook/blob/main/techniques_to_improve_reliability.md)
|
|
- [Awesome ChatGPT Prompts](https://github.com/f/awesome-chatgpt-prompts)
|
|
- [Introducing ChatGPT](https://openai.com/blog/chatgpt) (Nov 2022)
|