commit
2c43787446
@ -0,0 +1,11 @@
|
|||||||
|
# About
|
||||||
|
|
||||||
|
Le guide Prompt Engineering est un projet de [DAIR.AI](https://github.com/dair-ai). Il vise à former les chercheurs et les praticiens sur le prompt engineering.
|
||||||
|
|
||||||
|
DAIR.AI vise à démocratiser la recherche, l'éducation et les technologies en intelligence artificielle. Notre mission est de permettre à la prochaine génération d'innovateurs et de créateurs en IA d'émerger.
|
||||||
|
|
||||||
|
Nous encourageons la communauté à contribuer. Repérez les boutons de modification.
|
||||||
|
|
||||||
|
License information [here](https://github.com/dair-ai/Prompt-Engineering-Guide#license).
|
||||||
|
|
||||||
|
Nous nous inspirons de nombreuses open resources comme [OpenAI CookBook](https://github.com/openai/openai-cookbook), [Pretrain, Prompt, Predict](http://pretrain.nlpedia.ai/), [Learn Prompting](https://learnprompting.org/), et bien d'autres.
|
@ -0,0 +1,28 @@
|
|||||||
|
{
|
||||||
|
"index": "Prompt Engineering",
|
||||||
|
"introduction": "Introduction",
|
||||||
|
"techniques": "Techniques",
|
||||||
|
"applications": "Applications",
|
||||||
|
"models": "Models",
|
||||||
|
"risks": "Risques et Mésusages",
|
||||||
|
"papers": "Papers",
|
||||||
|
"tools": "Outils",
|
||||||
|
"notebooks": "Notebooks",
|
||||||
|
"datasets": "Datasets",
|
||||||
|
"readings": "Lectures supplémentaires",
|
||||||
|
"about": {
|
||||||
|
"title": "À propos",
|
||||||
|
"type": "page"
|
||||||
|
},
|
||||||
|
"course":{
|
||||||
|
"title": "Prompt Engineering Course",
|
||||||
|
"type": "page"
|
||||||
|
},
|
||||||
|
"contact": {
|
||||||
|
"title": "Contact ↗",
|
||||||
|
"type": "page",
|
||||||
|
"href": "https://twitter.com/dair_ai",
|
||||||
|
"newWindow": true
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
@ -0,0 +1,9 @@
|
|||||||
|
# Prompting Applications
|
||||||
|
|
||||||
|
import { Callout } from 'nextra-theme-docs'
|
||||||
|
|
||||||
|
Dans cette section, nous aborderons certaines façons avancées et intéressantes d'utiliser le prompt engineering pour effectuer des tâches utiles et plus avancées.
|
||||||
|
|
||||||
|
<Callout emoji="⚠️">
|
||||||
|
Cette section est en plein développement.
|
||||||
|
</Callout>
|
@ -0,0 +1,5 @@
|
|||||||
|
{
|
||||||
|
"pal": "Modèles de langage assistés par programme",
|
||||||
|
"generating": "Génération de données",
|
||||||
|
"workplace_casestudy": "Étude de cas sur la classification des emplois des diplômés"
|
||||||
|
}
|
@ -0,0 +1,44 @@
|
|||||||
|
# Generating Data
|
||||||
|
Les LLM ont de solides capacités à générer du texte cohérent. En utilisant des stratégies de prompt efficaces, nous pouvons orienter le modèle pour produire des réponses meilleures, plus cohérentes et plus factuelles. Les LLM peuvent également être particulièrement utiles pour générer des données qui sont vraiment utiles pour mener toutes sortes d'expériences et d'évaluations. Par exemple, nous pouvons l'utiliser pour générer rapidement des échantillons pour un classificateur de sentiment comme ceci :
|
||||||
|
|
||||||
|
*Prompt:*
|
||||||
|
```
|
||||||
|
Produit 10 exemples pour l'analyse de sentiment. Les exemples sont classés comme étant positifs ou négatifs. Produit 2 exemples négatifs et 8 exemples positifs. Utilise ce format pour les exemples :
|
||||||
|
Q: <phrase>
|
||||||
|
A: <sentiment>
|
||||||
|
```
|
||||||
|
|
||||||
|
*Output:*
|
||||||
|
```
|
||||||
|
Q: Je viens de recevoir la meilleure nouvelle de tous les temps!
|
||||||
|
A: Positive
|
||||||
|
|
||||||
|
Q: Nous venons d'avoir une augmentation au travail!
|
||||||
|
A: Positive
|
||||||
|
|
||||||
|
Q: Je suis tellement fier de ce que j'ai accompli aujourd'hui.
|
||||||
|
A: Positive
|
||||||
|
|
||||||
|
Q: Je passe la meilleure journée de ma vie!
|
||||||
|
A: Positive
|
||||||
|
|
||||||
|
Q: J'ai vraiment hâte d'être au week-end.
|
||||||
|
A: Positive
|
||||||
|
|
||||||
|
Q: Je viens de recevoir le meilleur cadeau de tous les temps!
|
||||||
|
A: Positive
|
||||||
|
|
||||||
|
Q: Je suis si heureuse en ce moment.
|
||||||
|
A: Positive
|
||||||
|
|
||||||
|
Q: Je suis tellement chanceux d'avoir une famille aussi incroyable.
|
||||||
|
A: Positive
|
||||||
|
|
||||||
|
Q: Le temps dehors est si maussade.
|
||||||
|
A: Negative
|
||||||
|
|
||||||
|
Q: Je viens d'apprendre une terrible nouvelle.
|
||||||
|
A: Negative
|
||||||
|
```
|
||||||
|
|
||||||
|
C'est très utile. Nous utilisons en fait cet exemple pour un test différent dans une autre section des guides.
|
@ -0,0 +1,56 @@
|
|||||||
|
# Graduate Job Classification Case Study
|
||||||
|
|
||||||
|
[Clavié et al., 2023](https://arxiv.org/abs/2303.07142) fournit une étude de cas sur le prompt-engineering appliquée à un cas d'utilisation de classification de texte de taille moyenne dans un système de production. En utilisant la tâche de classification pour déterminer si un emploi est un véritable "emploi débutant", adapté à un récent diplômé ou non, ils ont évalué une série de techniques de prompt engineering et ont rapporté leurs résultats en utilisant GPT-3.5 (`gpt-3.5-turbo`).
|
||||||
|
|
||||||
|
Les travaux montrent que les LLM surpassent tous les autres modèles testés, y compris une base de référence extrêmement solide dans DeBERTa-V3. `gpt-3.5-turbo` surpasse également sensiblement les anciennes variantes GPT3 dans toutes les métriques clés, mais nécessite une analyse de sortie supplémentaire car sa capacité à s'en tenir à un modèle semble être pire que les autres variantes.
|
||||||
|
|
||||||
|
Les principales conclusions de leur approche de prompt engineering sont :
|
||||||
|
|
||||||
|
- Pour des tâches telles que celle-ci, où aucune connaissance experte n'est requise, la technique Few-shot CoT prompting a été moins performante que la technique Zero-shot prompting dans toutes les expériences.
|
||||||
|
- L'impact du prompt sur l'obtention du raisonnement correct est énorme. Le simple fait de demander au modèle de classifier un emploi donné donne un score F1 de 65,6, alors que le modèle post prompt engineering atteint un score F1 de 91,7.
|
||||||
|
- Essayer de forcer le modèle à coller à un modèle diminue les performances dans tous les cas (ce comportement disparaît lors des premiers tests avec GPT-4, qui sont postérieurs à l'article).
|
||||||
|
- De nombreuses petites modifications ont un impact disproportionné sur les performances.
|
||||||
|
- Les tableaux ci-dessous montrent l'ensemble des modifications testées.
|
||||||
|
- Le fait de donner des instructions précises et de répéter les points clés semble être le principal moteur de performance.
|
||||||
|
- Quelque chose d'aussi simple que donner au modèle un nom (humain) et se référer à lui en tant que tel a augmenté le score F1 de 0,6 points.
|
||||||
|
|
||||||
|
### Modifications de prompts testées
|
||||||
|
|
||||||
|
| Nom court | Description |
|
||||||
|
|------------|----------------------------------------------------------------------------------------------------------------|
|
||||||
|
| Baseline | Fournir une offre d'emploi et demander si elle convient à un diplômé. |
|
||||||
|
| CoT | Donnez quelques exemples de classification précise avant de poser une requête. |
|
||||||
|
| Zero-CoT | Demandez au modèle de raisonner étape par étape avant de fournir sa réponse. |
|
||||||
|
| rawinst | Donnez des instructions sur son rôle et la tâche en ajoutant un message à l'utilisateur. |
|
||||||
|
| sysinst | Donnez des instructions sur son rôle et la tâche en tant que message système. |
|
||||||
|
| bothinst | Séparer les instructions avec le rôle en tant que message système et la tâche en tant que message utilisateur. |
|
||||||
|
| mock | Donnez des instructions de tâche en vous moquant d'une discussion où il les reconnaît. |
|
||||||
|
| reit | Renforcez les éléments clés des instructions en les répétant. |
|
||||||
|
| strict | Demandez au modèle de répondre en suivant strictement un modèle donné. |
|
||||||
|
| loose | Demandez que seule la réponse finale soit donnée en suivant un modèle donné. |
|
||||||
|
| right | Demander au modèle de parvenir à la bonne conclusion. |
|
||||||
|
| info | Fournissez des informations supplémentaires pour résoudre les échecs de raisonnement courants. |
|
||||||
|
| name | Donnez au modèle un nom par lequel nous nous y référons dans la conversation. |
|
||||||
|
| pos | Fournissez au modèle des commentaires positifs avant de l'interroger. |
|
||||||
|
|
||||||
|
|
||||||
|
### Impact des modifications de prompt sur les performances
|
||||||
|
|
||||||
|
| | Precision | Recall | F1 | Adhérence aux modèles |
|
||||||
|
|----------------------------------------|---------------|---------------|---------------|------------------------|
|
||||||
|
| _Baseline_ | _61.2_ | _70.6_ | _65.6_ | _79%_ |
|
||||||
|
| _CoT_ | _72.6_ | _85.1_ | _78.4_ | _87%_ |
|
||||||
|
| _Zero-CoT_ | _75.5_ | _88.3_ | _81.4_ | _65%_ |
|
||||||
|
| _+rawinst_ | _80_ | _92.4_ | _85.8_ | _68%_ |
|
||||||
|
| _+sysinst_ | _77.7_ | _90.9_ | _83.8_ | _69%_ |
|
||||||
|
| _+bothinst_ | _81.9_ | _93.9_ | _87.5_ | _71%_ |
|
||||||
|
| +bothinst+mock | 83.3 | 95.1 | 88.8 | 74% |
|
||||||
|
| +bothinst+mock+reit | 83.8 | 95.5 | 89.3 | 75% |
|
||||||
|
| _+bothinst+mock+reit+strict_ | _79.9_ | _93.7_ | _86.3_ | _**98%**_ |
|
||||||
|
| _+bothinst+mock+reit+loose_ | _80.5_ | _94.8_ | _87.1_ | _95%_ |
|
||||||
|
| +bothinst+mock+reit+right | 84 | 95.9 | 89.6 | 77% |
|
||||||
|
| +bothinst+mock+reit+right+info | 84.9 | 96.5 | 90.3 | 77% |
|
||||||
|
| +bothinst+mock+reit+right+info+name | 85.7 | 96.8 | 90.9 | 79% |
|
||||||
|
| +bothinst+mock+reit+right+info+name+pos| **86.9** | **97** | **91.7** | 81% |
|
||||||
|
|
||||||
|
L'adhérence du modèle fait référence à la fréquence à laquelle le modèle répond dans le format souhaité.
|
@ -0,0 +1,9 @@
|
|||||||
|
# Prompt Engineering Course
|
||||||
|
|
||||||
|
Nous avons établi un partenariat avec Sphere pour proposer un cours intitulé ["Prompting Engineering pour LLMs"](https://www.getsphere.com/cohorts/prompt-engineering-for-llms?source=promptingguide) pour mai 2023.
|
||||||
|
|
||||||
|
Ce cours pratique est conçu pour enseigner les toutes dernières techniques et outils de prompt engineering utilisés dans le monde réel pour construire efficacement des applications au-dessus de grands modèles de langage.
|
||||||
|
|
||||||
|
Si vous voulez amener vos compétences en prompt engineering au niveau supérieur, nous vous recommandons vivement de suivre ce cours.
|
||||||
|
|
||||||
|
Ce cours inclut également un certificat de réussite.
|
@ -0,0 +1,12 @@
|
|||||||
|
# Ensembles de données
|
||||||
|
#### (Trié par nom)
|
||||||
|
|
||||||
|
- [Anthropic's Red Team dataset](https://github.com/anthropics/hh-rlhf/tree/master/red-team-attempts), [(paper)](https://arxiv.org/abs/2209.07858)
|
||||||
|
- [Awesome ChatGPT Prompts](https://huggingface.co/datasets/fka/awesome-chatgpt-prompts)
|
||||||
|
- [DiffusionDB](https://github.com/poloclub/diffusiondb)
|
||||||
|
- [Midjourney Prompts](https://huggingface.co/datasets/succinctly/midjourney-prompts)
|
||||||
|
- [P3 - Public Pool of Prompts](https://huggingface.co/datasets/bigscience/P3)
|
||||||
|
- [PartiPrompts](https://parti.research.google)
|
||||||
|
- [Real Toxicity Prompts](https://allenai.org/data/real-toxicity-prompts)
|
||||||
|
- [Stable Diffusion Dataset](https://huggingface.co/datasets/Gustavosta/Stable-Diffusion-Prompts)
|
||||||
|
- [WritingPrompts](https://www.reddit.com/r/WritingPrompts)
|
@ -0,0 +1,9 @@
|
|||||||
|
# Prompt Engineering Guide
|
||||||
|
|
||||||
|
Le prompt engineering est une discipline relativement nouvelle pour développer et optimiser des prompts afin d'utiliser efficacement des modèles de langage (LMs) pour une grande variété d'applications et de sujets de recherche. Les compétences en Prompt engineering aident à mieux comprendre les capacités et les limites des grands modèles de langage (LLMs).
|
||||||
|
|
||||||
|
Les chercheurs utilisent le prompt engineering pour améliorer la capacité des LLMs sur une large gamme de tâches courantes et complexes telles que la réponse à des questions et le raisonnement arithmétique. Les développeurs utilisent le prompt engineering pour concevoir des techniques de prompts robustes et efficaces qui interagissent avec les LLMs et d'autres outils.
|
||||||
|
|
||||||
|
Le prompt engineering ne se résume pas seulement à la conception et au développement de prompts. Elle englobe une large gamme de compétences et de techniques utiles pour interagir et développer avec les LLMs. C'est une compétence importante pour interfacer, construire et comprendre les capacités des LLMs. Vous pouvez utiliser le prompt engineering pour améliorer la sécurité des LLMs et créer de nouvelles fonctionnalités telles que l'augmentation des LLMs avec des connaissances de domaine et des outils externes.
|
||||||
|
|
||||||
|
Animés par un fort intérêt pour le développement avec les LLMs, nous avons créé ce nouveau guide d'ingénierie de prompts qui contient tous les derniers papers, guides d'apprentissage, modèles, conférences, références, nouvelles capacités des LLM, et outils liés au prompt engineering.
|
@ -0,0 +1,7 @@
|
|||||||
|
# Introduction
|
||||||
|
|
||||||
|
Prompt engineering est une discipline relativement nouvelle visant à développer et à optimiser des prompts pour utiliser efficacement des modèles de langage (LMs) dans une grande variété d'applications et de sujets de recherche. Les compétences en prompt engineering aident à mieux comprendre les capacités et les limitations des grands modèles de langage (LLMs). Les chercheurs utilisent le prompt engineering pour améliorer la capacité des LLMs sur une large gamme de tâches courantes et complexes, telles que la réponse à des questions et le raisonnement arithmétique. Les développeurs utilisent également le prompt engineering pour concevoir des techniques de promptage robustes et efficaces qui interagissent avec les LLMs et d'autres outils.
|
||||||
|
|
||||||
|
Ce guide couvre les bases des prompts pour fournir une idée approximative de comment utiliser les prompts pour interagir et instruire les grands modèles de langage (LLMs).
|
||||||
|
|
||||||
|
Tous les exemples ont été testés avec text-davinci-003 (en utilisant le playground d'OpenAI), sauf indication contraire. Ils utilisent les configurations par défaut, c'est-à-dire temperature=0.7 et top-p=1.
|
@ -0,0 +1,8 @@
|
|||||||
|
{
|
||||||
|
"settings": "Paramètres LLM",
|
||||||
|
"basics": "Principes de base en Prompting",
|
||||||
|
"elements": "Éléments d'un prompt",
|
||||||
|
"tips": "Conseils généraux pour la conception de prompts",
|
||||||
|
"examples": "Exemples de prompts"
|
||||||
|
}
|
||||||
|
|
@ -0,0 +1,15 @@
|
|||||||
|
# Éléments d'un prompt
|
||||||
|
|
||||||
|
Au fur et à mesure que nous couvrirons de plus en plus d'exemples et d'applications possibles avec le prompt engineering, vous remarquerez qu'il existe certains éléments qui composent un prompt.
|
||||||
|
|
||||||
|
Un prompt peut contenir l'un des éléments suivants :
|
||||||
|
|
||||||
|
**Instruction** - une tâche ou une instruction spécifique que vous souhaitez que le modèle exécute
|
||||||
|
|
||||||
|
**Context** - peut impliquer des informations externes ou un contexte supplémentaire qui peut orienter le modèle vers de meilleures réponses.
|
||||||
|
|
||||||
|
**Input Data** - est l'entrée ou la question pour laquelle nous souhaitons trouver une réponse
|
||||||
|
|
||||||
|
**Output Indicator** - indique le type ou le format de la sortie.
|
||||||
|
|
||||||
|
Tous les composants ne sont pas nécessaires pour un prompt et le format dépend de la tâche à accomplir. Nous aborderons des exemples concrets dans les guides à venir.
|
@ -0,0 +1,11 @@
|
|||||||
|
# Paramètres LLM
|
||||||
|
|
||||||
|
En travaillant avec des instructions, vous interagirez avec LLM via une API ou directement. Vous pouvez configurer quelques paramètres pour obtenir différents résultats pour vos instructions.
|
||||||
|
|
||||||
|
**Temperature** - En bref, plus la `temperature` est basse, plus les résultats sont déterministes dans le sens où le jeton suivant le plus probable est toujours choisi. L'augmentation de la température peut conduire à plus d'aléatoire en encourageant des sorties plus diverses ou créatives. Nous augmentons essentiellement les poids des autres jetons possibles. En termes d'application, nous pourrions vouloir utiliser une valeur de température plus basse pour les tâches de questions-réponses factuelles afin d'encourager des réponses plus factuelles et concises. Pour la génération de poèmes ou d'autres tâches créatives, il pourrait être bénéfique d'augmenter la valeur de la température
|
||||||
|
|
||||||
|
**Top_p** - De même, avec `top_p`, une technique d'échantillonnage avec la température appelée échantillonnage du noyau, vous pouvez contrôler la détermination du modèle lors de la génération d'une réponse. Si vous recherchez des réponses exactes et factuelles, maintenez cette valeur faible. Si vous recherchez des réponses plus diverses, augmentez-la à une valeur plus élevée.
|
||||||
|
|
||||||
|
La recommandation générale est de modifier l'un ou l'autre, mais pas les deux.
|
||||||
|
|
||||||
|
Avant de commencer avec quelques exemples de base, gardez à l'esprit que vos résultats peuvent varier en fonction de la version de LLM que vous utilisez.
|
@ -0,0 +1,9 @@
|
|||||||
|
# Models
|
||||||
|
|
||||||
|
import { Callout } from 'nextra-theme-docs'
|
||||||
|
|
||||||
|
Dans cette section, nous aborderons certains des modèles de langage récents et comment ils appliquent avec succès les techniques les plus avancées de prompting engineering.Nous couvrirons également les capacités de ces modèles sur une gamme de tâches et de configurations de promptage, telles que le promptage à quelques exemples, le promptage à zéro exemple et le promptage en chaîne de pensées. Comprendre ces capacités est important pour comprendre les limites de ces modèles et comment les utiliser efficacement.
|
||||||
|
|
||||||
|
<Callout emoji="⚠️">
|
||||||
|
Cette section est en plein développement.
|
||||||
|
</Callout>
|
@ -0,0 +1,8 @@
|
|||||||
|
{
|
||||||
|
"flan": "Flan",
|
||||||
|
"chatgpt": "ChatGPT",
|
||||||
|
"llama": "LLaMA",
|
||||||
|
"gpt-4": "GPT-4",
|
||||||
|
"collection": "Collection de modèles"
|
||||||
|
}
|
||||||
|
|
@ -0,0 +1,11 @@
|
|||||||
|
# Prompt Engineering Notebooks
|
||||||
|
|
||||||
|
Voici une collection de notebooks que nous avons conçus pour vous aider à démarrer avec prompt engineering. D'autres seront bientôt ajoutés!
|
||||||
|
|
||||||
|
| Description | Notebook |
|
||||||
|
| :------------ | :---------: |
|
||||||
|
|Apprenez comment effectuer de nombreux types de tâches courantes en utilisant les library `openai` et `LangChain`|[Commencer avec l'ingénierie de prompts](https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/notebooks/pe-lecture.ipynb)|
|
||||||
|
|Apprenez comment utiliser le code comme raisonnement pour résoudre des tâches courantes en utilisant l'interpréteur Python en combinaison avec le modèle de langage.|[Modèle de langage assisté par programme](https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/notebooks/pe-pal.ipynb)|
|
||||||
|
|Apprenez-en plus sur la façon d'effectuer des appels aux API ChatGPT en utilisant la library `openai`.|[Introduction à l'API ChatGPT](https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/notebooks/pe-chatgpt-intro.ipynb)|
|
||||||
|
|Apprenez comment utiliser les fonctionnalités de ChatGPT en utilisant la library `LangChain`.|[API ChatGPT avec LangChain](https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/notebooks/pe-chatgpt-langchain.ipynb)|
|
||||||
|
|Apprenez-en davantage sur les prompt contradictoire include defensive measures.|[Prompt Engineering contradictoire](https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/notebooks/pe-chatgpt-adversarial.ipynb)|
|
@ -0,0 +1,192 @@
|
|||||||
|
# Papers
|
||||||
|
|
||||||
|
Voici les derniers articles sur le prompt engineering (classés par date de publication). Nous mettons à jour cette liste quotidiennement et de nouveaux articles y sont ajoutés régulièrement. Nous incluons des résumés de ces articles dans les guides ci-dessus chaque semaine.
|
||||||
|
|
||||||
|
## Aperçus
|
||||||
|
|
||||||
|
- [A Bibliometric Review of Large Language Models Research from 2017 to 2023](https://arxiv.org/abs/2304.02020) (April 2023)
|
||||||
|
- [A Survey of Large Language Models](https://arxiv.org/abs/2303.18223) (April 2023)
|
||||||
|
- [Nature Language Reasoning, A Survey](https://arxiv.org/abs/2303.14725) (Mar 2023)
|
||||||
|
- [Augmented Language Models: a Survey](https://arxiv.org/abs/2302.07842) (Feb 2023)
|
||||||
|
- [A Survey for In-context Learning](https://arxiv.org/abs/2301.00234) (Dec 2022)
|
||||||
|
- [Towards Reasoning in Large Language Models: A Survey](https://arxiv.org/abs/2212.10403) (Dec 2022)
|
||||||
|
- [Reasoning with Language Model Prompting: A Survey](https://arxiv.org/abs/2212.09597) (Dec 2022)
|
||||||
|
- [Emergent Abilities of Large Language Models](https://arxiv.org/abs/2206.07682) (Jun 2022)
|
||||||
|
- [A Taxonomy of Prompt Modifiers for Text-To-Image Generation](https://arxiv.org/abs/2204.13988) (Apr 2022)
|
||||||
|
- [Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing](https://arxiv.org/abs/2107.13586) (Jul 2021)
|
||||||
|
|
||||||
|
## Approches
|
||||||
|
|
||||||
|
- [Why think step-by-step? Reasoning emerges from the locality of experience](https://arxiv.org/abs/2304.03843) (April 2023)
|
||||||
|
- [Revisiting Automated Prompting: Are We Actually Doing Better?](https://arxiv.org/abs/2304.03609) (April 2023)
|
||||||
|
- [REFINER: Reasoning Feedback on Intermediate Representations](https://arxiv.org/abs/2304.01904) (April 2023)
|
||||||
|
- [Reflexion: an autonomous agent with dynamic memory and self-reflection](https://arxiv.org/abs/2303.11366) (March 2023)
|
||||||
|
- [CAMEL: Communicative Agents for "Mind" Exploration of Large Scale Language Model Society](https://arxiv.org/abs/2303.17760) (Mar 2023)
|
||||||
|
- [Self-Refine: Iterative Refinement with Self-Feedback](https://arxiv.org/abs/2303.17651v1) (Mar 2023)
|
||||||
|
- [kNN Prompting: Beyond-Context Learning with Calibration-Free Nearest Neighbor Inference](https://arxiv.org/abs/2303.13824) (Mar 2023)
|
||||||
|
- [Visual-Language Prompt Tuning with Knowledge-guided Context Optimization](https://arxiv.org/abs/2303.13283) (Mar 2023)
|
||||||
|
- [Fairness-guided Few-shot Prompting for Large Language Models](https://arxiv.org/abs/2303.13217) (Mar 2023)
|
||||||
|
- [Context-faithful Prompting for Large Language Models](https://arxiv.org/abs/2303.11315) (Mar 2023)
|
||||||
|
- [Is Prompt All You Need? No. A Comprehensive and Broader View of Instruction Learning](https://arxiv.org/abs/2303.10475) (Mar 2023)
|
||||||
|
- [UPRISE: Universal Prompt Retrieval for Improving Zero-Shot Evaluation](https://arxiv.org/abs/2303.08518) (Mar 2023)
|
||||||
|
- [Model-tuning Via Prompts Makes NLP Models Adversarially Robust](https://arxiv.org/abs/2303.07320) (Mar 2023)
|
||||||
|
- [Structure Pretraining and Prompt Tuning for Knowledge Graph Transfer](https://arxiv.org/abs/2303.03922) (March 2023)
|
||||||
|
- [CoTEVer: Chain of Thought Prompting Annotation Toolkit for Explanation Verification](https://arxiv.org/abs/2303.03628) (March 2023)
|
||||||
|
- [Larger language models do in-context learning differently](https://arxiv.org/abs/2303.03846) (March 2023)
|
||||||
|
- [OpenICL: An Open-Source Framework for In-context Learning](https://arxiv.org/abs/2303.02913) (March 2023)
|
||||||
|
- [Dynamic Prompting: A Unified Framework for Prompt Tuning](https://arxiv.org/abs/2303.02909) (March 2023)
|
||||||
|
- [Multitask Prompt Tuning Enables Parameter-Efficient Transfer Learning](https://arxiv.org/abs/2303.02861) (March 2023)
|
||||||
|
- [Effectiveness of Data Augmentation for Prefix Tuning with Limited Data](https://arxiv.org/abs/2303.02577) (March 2023)
|
||||||
|
- [Mixture of Soft Prompts for Controllable Data Generation](https://arxiv.org/abs/2303.01580) (March 2023)
|
||||||
|
- [Prompt, Generate, then Cache: Cascade of Foundation Models makes Strong Few-shot Learners](https://arxiv.org/abs/2303.02151) (March 2023)
|
||||||
|
- [How Robust is GPT-3.5 to Predecessors? A Comprehensive Study on Language Understanding Tasks](https://arxiv.org/abs/2303.00293) (March 2023)
|
||||||
|
- [Can ChatGPT Understand Too? A Comparative Study on ChatGPT and Fine-tuned BERT](https://arxiv.org/pdf/2302.10198.pdf) (Feb 2023)
|
||||||
|
- [EvoPrompting: Language Models for Code-Level Neural Architecture Search](https://arxiv.org/abs/2302.14838) (Feb 2023)
|
||||||
|
- [In-Context Instruction Learning](https://arxiv.org/abs/2302.14691) (Feb 2023)
|
||||||
|
- [Chain of Hindsight Aligns Language Models with Feedback](https://arxiv.org/abs/2302.02676) (Feb 2023)
|
||||||
|
- [Language Is Not All You Need: Aligning Perception with Language Models](https://arxiv.org/abs/2302.14045) (Feb 2023)
|
||||||
|
- [Automatic Prompt Augmentation and Selection with Chain-of-Thought from Labeled Data](https://arxiv.org/abs/2302.12822) (Feb 2023)
|
||||||
|
- [Active Prompting with Chain-of-Thought for Large Language Models](https://arxiv.org/abs/2302.12246) (Feb 2023)
|
||||||
|
- [More than you've asked for: A Comprehensive Analysis of Novel Prompt Injection Threats to Application-Integrated Large Language Models](https://arxiv.org/abs/2302.12173) (Feb 2023)
|
||||||
|
- [A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT](https://arxiv.org/abs/2302.11382) (Feb 2023)
|
||||||
|
- [Guiding Large Language Models via Directional Stimulus Prompting](https://arxiv.org/abs/2302.11520) (Feb 2023)
|
||||||
|
- [How Does In-Context Learning Help Prompt Tuning?](https://arxiv.org/abs/2302.11521) (Feb 2023)
|
||||||
|
- [Scalable Prompt Generation for Semi-supervised Learning with Language Models](https://arxiv.org/abs/2302.09236) (Feb 2023)
|
||||||
|
- [Bounding the Capabilities of Large Language Models in Open Text Generation with Prompt Constraints](https://arxiv.org/abs/2302.09185) (Feb 2023)
|
||||||
|
- [À-la-carte Prompt Tuning (APT): Combining Distinct Data Via Composable Prompting](https://arxiv.org/abs/2302.07994) (Feb 2023)
|
||||||
|
- [GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks](https://arxiv.org/abs/2302.08043) (Feb 2023)
|
||||||
|
- [The Capacity for Moral Self-Correction in Large Language Models](https://arxiv.org/abs/2302.07459) (Feb 2023)
|
||||||
|
- [SwitchPrompt: Learning Domain-Specific Gated Soft Prompts for Classification in Low-Resource Domains](https://arxiv.org/abs/2302.06868) (Feb 2023)
|
||||||
|
- [Evaluating the Robustness of Discrete Prompts](https://arxiv.org/abs/2302.05619) (Feb 2023)
|
||||||
|
- [Compositional Exemplars for In-context Learning](https://arxiv.org/abs/2302.05698) (Feb 2023)
|
||||||
|
- [Hard Prompts Made Easy: Gradient-Based Discrete Optimization for Prompt Tuning and Discovery](https://arxiv.org/abs/2302.03668) (Feb 2023)
|
||||||
|
- [Multimodal Chain-of-Thought Reasoning in Language Models](https://arxiv.org/abs/2302.00923) (Feb 2023)
|
||||||
|
- [Large Language Models Can Be Easily Distracted by Irrelevant Context](https://arxiv.org/abs/2302.00093) (Feb 2023)
|
||||||
|
- [Synthetic Prompting: Generating Chain-of-Thought Demonstrations for Large Language Models](https://arxiv.org/abs/2302.00618) (Feb 2023)
|
||||||
|
- [Progressive Prompts: Continual Learning for Language Models](https://arxiv.org/abs/2301.12314) (Jan 2023)
|
||||||
|
- [Batch Prompting: Efficient Inference with LLM APIs](https://arxiv.org/abs/2301.08721) (Jan 2023)
|
||||||
|
- [Demonstrate-Search-Predict: Composing retrieval and language models for knowledge-intensive NLP](https://arxiv.org/abs/2212.14024) (Dec 2022)
|
||||||
|
- [On Second Thought, Let's Not Think Step by Step! Bias and Toxicity in Zero-Shot Reasoning](https://arxiv.org/abs/2212.08061) (Dec 2022)
|
||||||
|
- [Constitutional AI: Harmlessness from AI Feedback](https://arxiv.org/abs/2212.08073) (Dec 2022)
|
||||||
|
- [Successive Prompting for Decomposing Complex Questions](https://arxiv.org/abs/2212.04092) (Dec 2022)
|
||||||
|
- [Large Language Models are reasoners with Self-Verification](https://arxiv.org/abs/2212.09561v1) (Dec 2022)
|
||||||
|
- [Discovering Language Model Behaviors with Model-Written Evaluations](https://arxiv.org/abs/2212.09251) (Dec 2022)
|
||||||
|
- [Structured Prompting: Scaling In-Context Learning to 1,000 Examples](https://arxiv.org/abs/2212.06713) (Dec 2022)
|
||||||
|
- [PAL: Program-aided Language Models](https://arxiv.org/abs/2211.10435) (Nov 2022)
|
||||||
|
- [Large Language Models Are Human-Level Prompt Engineers](https://arxiv.org/abs/2211.01910) (Nov 2022)
|
||||||
|
- [Ignore Previous Prompt: Attack Techniques For Language Models](https://arxiv.org/abs/2211.09527) (Nov 2022)
|
||||||
|
- [Machine Generated Text: A Comprehensive Survey of Threat Models and Detection Methods](https://arxiv.org/abs/2210.07321) (Nov 2022)
|
||||||
|
- [Teaching Algorithmic Reasoning via In-context Learning](https://arxiv.org/abs/2211.09066) (Nov 2022)
|
||||||
|
- [Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference](https://arxiv.org/abs/2211.11875) (Nov 2022)
|
||||||
|
- [Ask Me Anything: A simple strategy for prompting language models](https://paperswithcode.com/paper/ask-me-anything-a-simple-strategy-for) (Oct 2022)
|
||||||
|
- [Recitation-Augmented Language Models](https://arxiv.org/abs/2210.01296) (Oct 2022)
|
||||||
|
- [ReAct: Synergizing Reasoning and Acting in Language Models](https://arxiv.org/abs/2210.03629) (Oct 2022)
|
||||||
|
- [Prompting GPT-3 To Be Reliable](https://arxiv.org/abs/2210.09150) (Oct 2022)
|
||||||
|
- [Decomposed Prompting: A Modular Approach for Solving Complex Tasks](https://arxiv.org/abs/2210.02406) (Oct 2022)
|
||||||
|
- [Language Models Are Greedy Reasoners: A Systematic Formal Analysis of Chain-of-Thought](https://arxiv.org/abs/2210.01240v3) (Oct 2022)
|
||||||
|
- [Evaluating the Susceptibility of Pre-Trained Language Models via Handcrafted Adversarial Examples](https://arxiv.org/abs/2209.02128) (Sep 2022)
|
||||||
|
- [Dynamic Prompt Learning via Policy Gradient for Semi-structured Mathematical Reasoning](https://arxiv.org/abs/2209.14610) (Sep 2022)
|
||||||
|
- [Promptagator: Few-shot Dense Retrieval From 8 Examples](https://arxiv.org/abs/2209.11755) (Sep 2022)
|
||||||
|
- [Atlas: Few-shot Learning with Retrieval Augmented Language Models](https://arxiv.org/abs/2208.03299) (Nov 2022)
|
||||||
|
- [DocPrompting: Generating Code by Retrieving the Docs](https://arxiv.org/abs/2207.05987) (July 2022)
|
||||||
|
- [On the Advance of Making Language Models Better Reasoners](https://arxiv.org/abs/2206.02336) (June 2022)
|
||||||
|
- [Large Language Models are Zero-Shot Reasoners](https://arxiv.org/abs/2205.11916) (May 2022)
|
||||||
|
- [Maieutic Prompting: Logically Consistent Reasoning with Recursive Explanations](https://arxiv.org/abs/2205.11822) (May 2022)
|
||||||
|
- [MRKL Systems: A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning](https://arxiv.org/abs/2205.00445) (May 2022)
|
||||||
|
- [PPT: Pre-trained Prompt Tuning for Few-shot Learning](https://aclanthology.org/2022.acl-long.576/) (Mqy 2022)
|
||||||
|
- [Toxicity Detection with Generative Prompt-based Inference](https://arxiv.org/abs/2205.12390) (May 2022)
|
||||||
|
- [Learning to Transfer Prompts for Text Generation](https://arxiv.org/abs/2205.01543) (May 2022)
|
||||||
|
- [The Unreliability of Explanations in Few-shot Prompting for Textual Reasoning](https://arxiv.org/abs/2205.03401) (May 2022)
|
||||||
|
- [A Taxonomy of Prompt Modifiers for Text-To-Image Generation](https://arxiv.org/abs/2204.13988) (Apr 2022)
|
||||||
|
- [PromptChainer: Chaining Large Language Model Prompts through Visual Programming](https://arxiv.org/abs/2203.06566) (Mar 2022)
|
||||||
|
- [Self-Consistency Improves Chain of Thought Reasoning in Language Models](https://arxiv.org/abs/2203.11171) (March 2022)
|
||||||
|
- [Training language models to follow instructions with human feedback](https://arxiv.org/abs/2203.02155)
|
||||||
|
- [Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?](https://arxiv.org/abs/2202.12837) (Feb 2022)
|
||||||
|
- [Chain of Thought Prompting Elicits Reasoning in Large Language Models](https://arxiv.org/abs/2201.11903) (Jan 2022)
|
||||||
|
- [Show Your Work: Scratchpads for Intermediate Computation with Language Models](https://arxiv.org/abs/2112.00114) (Nov 2021)
|
||||||
|
- [AI Chains: Transparent and Controllable Human-AI Interaction by Chaining Large Language Model Prompts](https://arxiv.org/abs/2110.01691) (Oct 2021)
|
||||||
|
- [Generated Knowledge Prompting for Commonsense Reasoning](https://arxiv.org/abs/2110.08387) (Oct 2021)
|
||||||
|
- [Multitask Prompted Training Enables Zero-Shot Task Generalization](https://arxiv.org/abs/2110.08207) (Oct 2021)
|
||||||
|
- [Reframing Instructional Prompts to GPTk's Language](https://arxiv.org/abs/2109.07830) (Sep 2021)
|
||||||
|
- [Design Guidelines for Prompt Engineering Text-to-Image Generative Models](https://arxiv.org/abs/2109.06977) (Sep 2021)
|
||||||
|
- [Making Pre-trained Language Models Better Few-shot Learners](https://aclanthology.org/2021.acl-long.295) (Aug 2021)
|
||||||
|
- [Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity](https://arxiv.org/abs/2104.08786) (April 2021)
|
||||||
|
- [BERTese: Learning to Speak to BERT](https://aclanthology.org/2021.eacl-main.316) (April 2021)
|
||||||
|
- [The Power of Scale for Parameter-Efficient Prompt Tuning](https://arxiv.org/abs/2104.08691) (April 2021)
|
||||||
|
- [Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm](https://arxiv.org/abs/2102.07350) (Feb 2021)
|
||||||
|
- [Calibrate Before Use: Improving Few-Shot Performance of Language Models](https://arxiv.org/abs/2102.09690) (Feb 2021)
|
||||||
|
- [Prefix-Tuning: Optimizing Continuous Prompts for Generation](https://arxiv.org/abs/2101.00190) (Jan 2021)
|
||||||
|
- [Learning to Generate Task-Specific Adapters from Task Description](https://arxiv.org/abs/2101.00420) (Jan 2021)
|
||||||
|
- [Making Pre-trained Language Models Better Few-shot Learners](https://arxiv.org/abs/2012.15723) (Dec 2020)
|
||||||
|
- [Learning from Task Descriptions](https://aclanthology.org/2020.emnlp-main.105/) (Nov 2020)
|
||||||
|
- [AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts](https://arxiv.org/abs/2010.15980) (Oct 2020)
|
||||||
|
- [Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165) (May 2020)
|
||||||
|
- [How Can We Know What Language Models Know?](https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00324/96460/How-Can-We-Know-What-Language-Models-Know) (July 2020)
|
||||||
|
- [Scaling Laws for Neural Language Models](https://arxiv.org/abs/2001.08361) (Jan 2020)
|
||||||
|
|
||||||
|
## Applications
|
||||||
|
|
||||||
|
- [Automated Reading Passage Generation with OpenAI's Large Language Model](https://arxiv.org/abs/2304.04616) (April 2023)
|
||||||
|
- [WebBrain: Learning to Generate Factually Correct Articles for Queries by Grounding on Large Web Corpus](https://arxiv.org/abs/2304.04358) (April 2023)
|
||||||
|
- [Prompt Pre-Training with Twenty-Thousand Classes for Open-Vocabulary Visual Recognition](https://arxiv.org/abs/2304.04704) (April 2023)
|
||||||
|
- [GPT detectors are biased against non-native English writers](https://arxiv.org/abs/2304.02819) (April 2023)
|
||||||
|
- [Zero-Shot Next-Item Recommendation using Large Pretrained Language Models](https://arxiv.org/abs/2304.03153) (April 2023)
|
||||||
|
- [Large Language Models as Master Key: Unlocking the Secrets of Materials Science with GPT](https://arxiv.org/abs/2304.02213) (April 2023)
|
||||||
|
- [Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning](https://arxiv.org/abs/2304.01295) (April 2023)
|
||||||
|
- [Better Language Models of Code through Self-Improvement](https://arxiv.org/abs/2304.01228) (April 2023)
|
||||||
|
- [PromptORE -- A Novel Approach Towards Fully Unsupervised Relation Extraction](https://arxiv.org/abs/2304.01209) (April)
|
||||||
|
- [Assessing Language Model Deployment with Risk Cards]() (April 2023)
|
||||||
|
- [Enhancing Large Language Models with Climate Resources](https://arxiv.org/abs/2304.00116) (March 2023)
|
||||||
|
- [BloombergGPT: A Large Language Model for Finance](https://arxiv.org/abs/2303.17564) (March 2023)
|
||||||
|
- [Medical Intervention Duration Estimation Using Language-enhanced Transformer Encoder with Medical Prompts](https://arxiv.org/abs/2303.17408) (March 2023)
|
||||||
|
- [Soft-prompt tuning to predict lung cancer using primary care free-text Dutch medical notes](https://arxiv.org/abs/2303.15846) (March 2023)
|
||||||
|
- [TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs](https://arxiv.org/abs/2303.16434) (March 2023)
|
||||||
|
- [Larger Probes Tell a Different Story: Extending Psycholinguistic Datasets Via In-Context Learning](https://arxiv.org/abs/2303.16445) (March 2023)
|
||||||
|
- [Linguistically Informed ChatGPT Prompts to Enhance Japanese-Chinese Machine Translation: A Case Study on Attributive Clauses](https://arxiv.org/abs/2303.15587) (March 2023)
|
||||||
|
- [Knowledge-augmented Frame Semantic Parsing with Hybrid Prompt-tuning](https://arxiv.org/abs/2303.14375) (March 2023)
|
||||||
|
- [Debiasing Scores and Prompts of 2D Diffusion for Robust Text-to-3D Generation](https://arxiv.org/abs/2303.15413) (March 2023)
|
||||||
|
- [Zero-shot Model Diagnosis](https://arxiv.org/abs/2303.15441#) (March 2023)
|
||||||
|
- [Prompting Large Language Models to Generate Code-Mixed Texts: The Case of South East Asian Languages](https://arxiv.org/abs/2303.13592) (March 2023)
|
||||||
|
- [SPeC: A Soft Prompt-Based Calibration on Mitigating Performance Variability in Clinical Notes Summarization](https://arxiv.org/abs/2303.13035) (March 2023)
|
||||||
|
- [Large Language Models and Simple, Stupid Bugs](https://arxiv.org/abs/2303.11455) (March 2023)
|
||||||
|
- [Can Generative Pre-trained Transformers (GPT) Pass Assessments in Higher Education Programming Courses?](https://arxiv.org/abs/2303.09325) (Mar 2023)
|
||||||
|
- [SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models](https://arxiv.org/abs/2303.08896) (Mar 2023)
|
||||||
|
- [Large Language Models in the Workplace: A Case Study on Prompt Engineering for Job Type Classification](https://arxiv.org/abs/2303.07142) (March 2023)
|
||||||
|
- [ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction](https://arxiv.org/abs/2303.05063) (March 2023)
|
||||||
|
- [MathPrompter: Mathematical Reasoning using Large Language Models](https://arxiv.org/abs/2303.05398) (March 2023)
|
||||||
|
- [Prompt-Based Learning for Thread Structure Prediction in Cybersecurity Forums](https://arxiv.org/abs/2303.05400) (March 2023)
|
||||||
|
- [Choice Over Control: How Users Write with Large Language Models using Diegetic and Non-Diegetic Prompting](https://arxiv.org/abs/2303.03199) (March 2023)
|
||||||
|
- [Prompting Large Language Models with Answer Heuristics for Knowledge-based Visual Question Answering](https://arxiv.org/abs/2303.01903) (March 2023)
|
||||||
|
- [Soft Prompt Guided Joint Learning for Cross-Domain Sentiment Analysis](https://arxiv.org/abs/2303.00815) (March 2023)
|
||||||
|
- [SpeechPrompt v2: Prompt Tuning for Speech Classification Tasks](https://arxiv.org/abs/2303.00733) (March 2023)
|
||||||
|
- [Goal Driven Discovery of Distributional Differences via Language Descriptions](https://arxiv.org/abs/2302.14233) (Feb 2023)
|
||||||
|
- [Navigating the Grey Area: Expressions of Overconfidence and Uncertainty in Language Models](https://arxiv.org/abs/2302.13439) (Feb 2023)
|
||||||
|
- [TabGenie: A Toolkit for Table-to-Text Generation](https://arxiv.org/abs/2302.14169) (Feb 2023)
|
||||||
|
- [SGL-PT: A Strong Graph Learner with Graph Prompt Tuning](https://arxiv.org/abs/2302.12449) (Feb 2023)
|
||||||
|
- [Few-Shot Table-to-Text Generation with Prompt-based Adapter](https://arxiv.org/abs/2302.12468) (Feb 2023)
|
||||||
|
- [Language Models Are Few-shot Learners for Prognostic Prediction](https://arxiv.org/abs/2302.12692) (Feb 2023)
|
||||||
|
- [STA: Self-controlled Text Augmentation for Improving Text Classifications](https://arxiv.org/abs/2302.12784) (Feb 2023)
|
||||||
|
- [Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback](https://arxiv.org/abs/2302.12813) (Feb 2023)
|
||||||
|
- [How Generative AI models such as ChatGPT can be (Mis)Used in SPC Practice, Education, and Research? An Exploratory Study](https://arxiv.org/abs/2302.10916) (Feb 2023)
|
||||||
|
- [Grimm in Wonderland: Prompt Engineering with Midjourney to Illustrate Fairytales](https://arxiv.org/abs/2302.08961) (Feb 2023)
|
||||||
|
- [LabelPrompt: Effective Prompt-based Learning for Relation Classification](https://arxiv.org/abs/2302.08068) (Feb 2023)
|
||||||
|
- [Language Model Crossover: Variation through Few-Shot Prompting](https://arxiv.org/abs/2302.09236) (Feb 2023)
|
||||||
|
- [Prompt Tuning of Deep Neural Networks for Speaker-adaptive Visual Speech Recognition](https://arxiv.org/abs/2302.08102) (Feb 2023)
|
||||||
|
- [The Capacity for Moral Self-Correction in Large Language Models](https://arxiv.org/abs/2302.07459) (Feb 2023)
|
||||||
|
- [Prompting for Multimodal Hateful Meme Classification](https://arxiv.org/abs/2302.04156) (Feb 2023)
|
||||||
|
- [PLACES: Prompting Language Models for Social Conversation Synthesis](https://arxiv.org/abs/2302.03269) (Feb 2023)
|
||||||
|
- [Commonsense-Aware Prompting for Controllable Empathetic Dialogue Generation](https://arxiv.org/abs/2302.01441) (Feb 2023)
|
||||||
|
- [Crawling the Internal Knowledge-Base of Language Models](https://arxiv.org/abs/2301.12810) (Jan 2023)
|
||||||
|
- [Legal Prompt Engineering for Multilingual Legal Judgement Prediction](https://arxiv.org/abs/2212.02199) (Dec 2022)
|
||||||
|
- [Investigating Prompt Engineering in Diffusion Models](https://arxiv.org/abs/2211.15462) (Nov 2022)
|
||||||
|
- [Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering](https://arxiv.org/abs/2209.09513v2) (Sep 2022)
|
||||||
|
- [Conversing with Copilot: Exploring Prompt Engineering for Solving CS1 Problems Using Natural Language](https://arxiv.org/abs/2210.15157) (Oct 2022)
|
||||||
|
- [Piloting Copilot and Codex: Hot Temperature, Cold Prompts, or Black Magic?](https://arxiv.org/abs/2210.14699) (Oct 2022)
|
||||||
|
- [Plot Writing From Scratch Pre-Trained Language Models](https://aclanthology.org/2022.inlg-main.5) (July 2022)
|
||||||
|
- [Survey of Hallucination in Natural Language Generation](https://arxiv.org/abs/2202.03629) (Feb 2022)
|
||||||
|
|
||||||
|
## Collections
|
||||||
|
|
||||||
|
- [Chain-of-Thought Papers](https://github.com/Timothyxxx/Chain-of-ThoughtsPapers)
|
||||||
|
- [Papers with Code](https://paperswithcode.com/task/prompt-engineering)
|
||||||
|
- [Prompt Papers](https://github.com/thunlp/PromptPapers#papers)
|
@ -0,0 +1,11 @@
|
|||||||
|
# Risks & Misuses
|
||||||
|
|
||||||
|
import { Callout } from 'nextra-theme-docs'
|
||||||
|
|
||||||
|
Nous avons déjà vu à quel point des prompts bien conçus peuvent être efficaces pour diverses tâches en utilisant des techniques telles que l'apprentissage à quelques exemples et la stimulation de la chaîne de pensée. En envisageant de construire des applications concrètes sur la base de modèles de langage de grande envergure, il est crucial de réfléchir aux utilisations abusives, aux risques et aux pratiques de sécurité liées aux modèles de langage.
|
||||||
|
|
||||||
|
Cette section met l'accent sur la mise en évidence de certains des risques et abus associés aux LLMs via des techniques telles que les injections de prompts. Elle met également en évidence les comportements préjudiciables et la façon de les atténuer potentiellement grâce à des techniques de prompt efficaces. D'autres sujets d'intérêt comprennent la généralisabilité, l'étalonnage, les biais, les biais sociaux et la factualité, pour n'en nommer que quelques-uns.
|
||||||
|
|
||||||
|
<Callout emoji="⚠️">
|
||||||
|
Cette section est en plein développement.
|
||||||
|
</Callout>
|
@ -0,0 +1,6 @@
|
|||||||
|
{
|
||||||
|
"adversarial": "Incitation contradictoire",
|
||||||
|
"factuality": "Factualité",
|
||||||
|
"biases": "Biases"
|
||||||
|
}
|
||||||
|
|
@ -0,0 +1,5 @@
|
|||||||
|
# Prompting Techniques
|
||||||
|
|
||||||
|
À ce stade, il devrait être évident que l'amélioration des prompts contribue à obtenir de meilleurs résultats sur différentes tâches. C'est l'idée principale derrière l'ingénierie de prompts.
|
||||||
|
|
||||||
|
Bien que les exemples de base aient été amusants, dans cette section, nous abordons des techniques plus avancées d'ingénierie de prompts qui nous permettent d'accomplir des tâches plus complexes et intéressantes.
|
@ -0,0 +1,14 @@
|
|||||||
|
{
|
||||||
|
"zeroshot": "Zero-shot Prompting",
|
||||||
|
"fewshot": "Few-shot Prompting",
|
||||||
|
"cot": "Chain-of-Thought Prompting",
|
||||||
|
"consistency": "Self-Consistency",
|
||||||
|
"knowledge": "Generate Knowledge Prompting",
|
||||||
|
"ape": "Automatic Prompt Engineer",
|
||||||
|
"activeprompt": "Active-Prompt",
|
||||||
|
"dsp": "Directional Stimulus Prompting",
|
||||||
|
"react": "ReAct",
|
||||||
|
"multimodalcot": "Multimodal CoT",
|
||||||
|
"graph": "Graph Prompting"
|
||||||
|
}
|
||||||
|
|
@ -0,0 +1,12 @@
|
|||||||
|
# Active-Prompt
|
||||||
|
|
||||||
|
import { Callout, FileTree } from 'nextra-theme-docs'
|
||||||
|
import {Screenshot} from 'components/screenshot'
|
||||||
|
import ACTIVE from '../../img/active-prompt.png'
|
||||||
|
|
||||||
|
Les méthodes de chaîne de pensée (CoT) reposent sur un ensemble fixe d'exemplaires annotés par l'homme. Le problème avec cela est que les exemplaires peuvent ne pas être les exemples les plus efficaces pour les différentes tâches. Pour résoudre ce problème, [Diao et al., (2023)](https://arxiv.org/pdf/2302.12246.pdf) ont récemment proposé une nouvelle approche d'incitation appelée Active-Prompt pour adapter les LLM à différents exemples d'invites spécifiques à une tâche ( annoté avec un raisonnement CoT conçu par l'homme).
|
||||||
|
|
||||||
|
Vous trouverez ci-dessous une illustration de l'approche. La première étape consiste à interroger le LLM avec ou sans quelques exemples CoT. *k* réponses possibles sont générées pour un ensemble de questions de formation. Une métrique d'incertitude est calculée sur la base des *k* réponses (désaccord utilisé). Les questions les plus incertaines sont sélectionnées pour être annotées par des humains. Les nouveaux exemples annotés sont ensuite utilisés pour déduire chaque question.
|
||||||
|
|
||||||
|
<Screenshot src={ACTIVE} alt="ACTIVE" />
|
||||||
|
Image Source: [Diao et al., (2023)](https://arxiv.org/pdf/2302.12246.pdf)
|
@ -0,0 +1,41 @@
|
|||||||
|
# Outils & Libraries
|
||||||
|
#### (Trié par nom)
|
||||||
|
|
||||||
|
- [AI Test Kitchen](https://aitestkitchen.withgoogle.com)
|
||||||
|
- [betterprompt](https://github.com/krrishdholakia/betterprompt)
|
||||||
|
- [ChatGPT Prompt Generator](https://huggingface.co/spaces/merve/ChatGPT-prompt-generator)
|
||||||
|
- [ClickPrompt](https://github.com/prompt-engineering/click-prompt)
|
||||||
|
- [DreamStudio](https://beta.dreamstudio.ai)
|
||||||
|
- [DUST](https://dust.tt)
|
||||||
|
- [Dyno](https://trydyno.com)
|
||||||
|
- [EmergentMind](https://www.emergentmind.com)
|
||||||
|
- [EveryPrompt](https://www.everyprompt.com)
|
||||||
|
- [GPT Index](https://github.com/jerryjliu/gpt_index)
|
||||||
|
- [GPTTools](https://gpttools.com/comparisontool)
|
||||||
|
- [hwchase17/adversarial-prompts](https://github.com/hwchase17/adversarial-prompts)
|
||||||
|
- [Interactive Composition Explorer](https://github.com/oughtinc/ice)
|
||||||
|
- [LangChain](https://github.com/hwchase17/langchain)
|
||||||
|
- [Lexica](https://lexica.art)
|
||||||
|
- [loom](https://github.com/socketteer/loom)
|
||||||
|
- [Metaprompt](https://metaprompt.vercel.app/?task=gpt)
|
||||||
|
- [OpenAI Playground](https://beta.openai.com/playground)
|
||||||
|
- [OpenICL](https://github.com/Shark-NLP/OpenICL)
|
||||||
|
- [OpenPrompt](https://github.com/thunlp/OpenPrompt)
|
||||||
|
- [OpenPlayground](https://nat.dev/)
|
||||||
|
- [Playground](https://playgroundai.com)
|
||||||
|
- [Prodia](https://app.prodia.com/#/)
|
||||||
|
- [Prompt Base](https://promptbase.com)
|
||||||
|
- [Prompt Engine](https://github.com/microsoft/prompt-engine)
|
||||||
|
- [Prompt Generator for OpenAI's DALL-E 2](http://dalle2-prompt-generator.s3-website-us-west-2.amazonaws.com)
|
||||||
|
- [Promptable](https://promptable.ai)
|
||||||
|
- [PromptInject](https://github.com/agencyenterprise/PromptInject)
|
||||||
|
- [Prompts.ai](https://github.com/sevazhidkov/prompts-ai)
|
||||||
|
- [Promptmetheus](https://promptmetheus.com)
|
||||||
|
- [PromptPerfect](https://promptperfect.jina.ai/)
|
||||||
|
- [Promptly](https://trypromptly.com/)
|
||||||
|
- [PromptSource](https://github.com/bigscience-workshop/promptsource)
|
||||||
|
- [Promptist](https://promptist.herokuapp.com/)
|
||||||
|
- [Scale SpellBook](https://scale.com/spellbook)
|
||||||
|
- [sharegpt](https://sharegpt.com)
|
||||||
|
- [ThoughtSource](https://github.com/OpenBioLink/ThoughtSource)
|
||||||
|
- [Visual Prompt Builder](https://tools.saxifrage.xyz/prompt)
|
Loading…
Reference in New Issue