Merge branch 'taners_tr' of https://github.com/tanersekmen/Prompt-Engineering-Guide into tanersekmen-taners_tr

pull/111/head
Elvis Saravia 1 year ago
commit d352286f39

@ -0,0 +1,28 @@
{
"index": "Prompt Engineering",
"introduction": "Introduction",
"techniques": "Techniques",
"applications": "Applications",
"models": "Models",
"risks": "Risks & Misuses",
"papers": "Papers",
"tools": "Tools",
"notebooks": "Notebooks",
"datasets": "Datasets",
"readings": "Additional Readings",
"about": {
"title": "About",
"type": "page"
},
"course":{
"title": "Prompt Engineering Course",
"type": "page"
},
"contact": {
"title": "Contact ↗",
"type": "page",
"href": "https://twitter.com/dair_ai",
"newWindow": true
}
}

@ -0,0 +1,11 @@
# Hakkında
Prompt Engineering Guide, [DAIR.AI](https://github.com/dair-ai) tarafından hazırlanan bir projedir. Araştırmacıları ve uygulamacıları hızlı mühendislik konusunda eğitmeyi amaçlamaktadır.
DAIR.AI, AI araştırmasını, eğitimini ve teknolojilerini demokratikleştirmeyi amaçlamaktadır. Misyonumuz, yeni nesil yapay zeka yenilikçilerini ve yaratıcılarını mümkün kılmaktır.
Topluluğun katkılarını memnuniyetle karşılıyoruz. Düzenle düğmelerini arayın.
Lisans bilgileri [burada](https://github.com/dair-ai/Prompt-Engineering-Guide#license).
[OpenAI CookBook](https://github.com/openai/openai-cookbook), [Pretrain, Prompt, Predict](http://pretrain.nlpedia.ai/), [Learn] gibi birçok açık kaynaktan ilham alıyoruz. Yönlendirme](https://learnprompting.org/) ve diğerleri.

@ -0,0 +1,9 @@
# İstemci Uygulamaları
import { Callout } from 'nextra-theme-docs'
Bu bölümde, yararlı ve daha gelişmiş görevleri gerçekleştirmek için hızlı mühendisliği kullanabileceğimiz bazı gelişmiş ve ilginç yolları ele alacağız.
<Callout emoji="⚠️">
Bu bölüm yoğun geliştirme aşamasındadır.
</Callout>

@ -0,0 +1,5 @@
{
"pal": "Program-Aided Language Models",
"generating": "Generating Data",
"workplace_casestudy": "Graduate Job Classification Case Study"
}

@ -0,0 +1,44 @@
# Veri Oluşturma
LLM'ler tutarlı bir metin oluşturma konusunda güçlü yeteneklere sahiptir. Etkili prompt stratejileri kullanarak, model daha iyi, tutarlı ve daha gerçekçi yanıtlar üretmeye yönlendirebilir. LLM'ler ayrıca, örneğin duygu sınıflandırıcısı için hızlı örnekler oluşturmak gibi tüm çeşitli deneyler ve değerlendirmeler için gerçekten faydalı olan verilerin üretilmesinde özellikle faydalı olabilir.
*Komut İstemi:*
```
Duygu analizi için 10 örnek üretin. Örnekler olumlu veya olumsuz olarak kategorize edilsin. 2 olumsuz ve 8 olumlu örnek üretin. Örnekler için bu formatı kullanın.
S: <cümle>
C: <duygu>
```
ıktı:*
```
S: Şimdiye kadarki en iyi haberi aldım!
C: Olumlu
S: İş yerinde zam aldık!
C: Olumlu
S: Bugün başardıklarımla gurur duyuyorum.
C: Olumlu
S: Şimdiye kadarki en iyi günü yaşıyorum!
C: Olumlu
S: Gerçekten hafta sonunu dört gözle bekliyorum.
C: Olumlu
S: Şimdiye kadarki en iyi hediyeyi aldım!
C: Olumlu
S: Şu an çok mutluyum.
C: Olumlu
S: Böyle harika bir aileye sahip olduğum için çok şanslıyım.
C: Olumlu
S: Dışarda hava çok kasvetli.
C: Olumsuz
S: Az önce korkunç bir haber aldım.
C: Olumsuz
```
Bu çok kullanışlı. Bu örneği aslında kılavuzun başka bir bölümünde farklı bir test için kullanıyoruz.

@ -0,0 +1,106 @@
# PAL (Program-Aided Language Models)
import { Callout, FileTree } from 'nextra-theme-docs'
import {Screenshot} from 'components/screenshot'
import PAL from '../../img/pal.png'
[Gao et al., (2022)](https://arxiv.org/abs/2211.10435) doğal dil problemlerini okumak ve ara akıl yürütme adımları olarak programlar oluşturmak için LLM'leri kullanan bir yöntem sunar.
Türetilmiş, program destekli dil modelleri (PAL), çözüm elde etmek için serbest biçimli metin kullanmak yerine çözüm adımını Python yorumlayıcısı gibi programlı bir çalışma zamanına aktardığı için düşünce zinciri yönlendirmesinden farklıdır.
<Screenshot src={PAL} alt="PAL" />
Image Source: [Gao et al., (2022)](https://arxiv.org/abs/2211.10435)
LangChain ve OpenAI GPT-3 kullanan bir örneğe bakalım. Sorulan soruyu yorumlayabilen ve Python yorumlayıcısından yararlanarak yanıt sağlayabilen basit bir uygulama geliştirmekle ilgileniyoruz.
Spesifik olarak, tarihin anlaşılmasını gerektiren soruları yanıtlamak için LLM kullanımına izin veren bir işlev oluşturmakla ilgileniyoruz. LLM'ye [buradan](https://github.com/reasoning-machines/pal/blob/main/pal/prompt/date_understanding_prompt.py) benimsenen birkaç örneği içeren bir bilgi istemi sağlayacağız.
İhtiyacımız olan kütüphaneler:
```python
import openai
from datetime import datetime
from dateutil.relativedelta import relativedelta
import os
from langchain.llms import OpenAI
from dotenv import load_dotenv
```
Önce birkaç şeyi yapılandıralım:
```python
load_dotenv()
# API yapılandırma
openai.api_key = os.getenv("OPENAI_API_KEY")
# LangChain için
os.environ["OPENAI_API_KEY"] = os.getenv("OPENAI_API_KEY")
```
Kurulum modeli örneği:
```python
llm = OpenAI(model_name='text-davinci-003', temperature=0)
```
Kurulum istemi + soru:
```python
question = "Today is 27 February 2023. I was born exactly 25 years ago. What is the date I was born in MM/DD/YYYY?"
DATE_UNDERSTANDING_PROMPT = """
# S: 36 saat sonra 2015 geliyor. AA/GG/YYYY olarak bugünden bir hafta sonraki tarih nedir?
# 2015 yılı 36 saat sonra geliyorsa, bugün 36 saat öncesidir.
today = datetime(2015, 1, 1) - relativedelta(hours=36)
# Bugünden bir hafta sonra,
one_week_from_today = today + relativedelta(weeks=1)
# %m/%d/%Y ile biçimlendirilen yanıt:
one_week_from_today.strftime('%m/%d/%Y')
# S: 2019'un ilk günü Salı ve bugün 2019'un ilk Pazartesi günü. Bugünün AA/GG/YYYY cinsinden tarihi nedir?
# 2019'un ilk günü Salı günü olup bugün de 2019'un ilk Pazartesi günüyse, bugün 6 gün sonradır.
today = datetime(2019, 1, 1) + relativedelta(days=6)
# %m/%d/%Y ile biçimlendirilen yanıt:
today.strftime('%m/%d/%Y')
# S: Konserin 01/06/1943 tarihinde yapılması planlanmıştı, ancak bir gün ertelenmiştir. AA/GG/YYYY cinsinden 10 gün önceki tarih nedir?
# Konser 01/06/1943 tarihinde planlanmış, ancak bugüne bir gün ertelenmişse, bugün bir gün sonradır.
today = datetime(1943, 6, 1) + relativedelta(days=1)
# 10 gün önce,
ten_days_ago = today - relativedelta(days=10)
# %m/%d/%Y ile biçimlendirilen yanıt:
ten_days_ago.strftime('%m/%d/%Y')
# S: Bugün 19/4/1969. AA/GG/YYYY cinsinden 24 saat sonraki tarih nedir?
# Bugün 19/4/1969.
today = datetime(1969, 4, 19)
# 24 hours later,
later = today + relativedelta(hours=24)
# %m/%d/%Y ile biçimlendirilen yanıt:
today.strftime('%m/%d/%Y')
# S: Jane bugünün 11/3/2002 olduğunu düşündü, ama aslında bugün 12 Mart yani 1 gün sonra. AA/GG/YYYY cinsinden 24 saat sonraki tarih nedir?
# Jane bugünün 11/3/2002 olduğunu düşündüyse ama aslında bugün 12 Mart ise, o zaman bugün 1/3/2002'dir.
today = datetime(2002, 3, 12)
# 24 saat sonra,
later = today + relativedelta(hours=24)
# %m/%d/%Y ile biçimlendirilen yanıt:
later.strftime('%m/%d/%Y')
# S: Jane, 2001'de Şubat ayının son gününde doğdu. Bugün onun 16.yaş günü. AA/GG/YYYY cinsinden dünkü tarih nedir?
# Jane 2001'de Şubat ayının son gününde doğduysa ve bugün onun 16.yaş günü ise, o zaman bugün 16 yıl sonradır.
today = datetime(2001, 2, 28) + relativedelta(years=16)
# Dün,
yesterday = today - relativedelta(days=1)
# %m/%d/%Y ile biçimlendirilen yanıt:
yesterday.strftime('%m/%d/%Y')
# S: {question}
""".strip() + '\n'
```
```python
llm_out = llm(DATE_UNDERSTANDING_PROMPT.format(question=question))
print(llm_out)
```
```python
exec(llm_out)
print(born)
```
Aşağıdaki çıktıyı verecektir: `27/02/1998`

@ -0,0 +1,57 @@
# Mezun İş Sınıflandırma Vaka Çalışması
[Clavié et al., 2023](https://arxiv.org/abs/2303.07142) bir üretim sisteminde orta ölçekli bir metin sınıflandırma kullanım durumuna uygulanan bilgi istemi mühendisliği üzerine bir örnek olay çalışması sağlayın. Bir işin gerçek bir "giriş seviyesi iş" olup olmadığını, yeni mezunlar için uygun olup olmadığını sınıflandırma görevini kullanarak, bir dizi hızlı mühendislik tekniğini değerlendirdiler ve sonuçlarını GPT-3.5 ('gpt-3.5-turbo) kullanarak raporladılar.').
Çalışma, LLM'lerin, DeBERTa-V3'teki son derece güçlü bir temel dahil, test edilen diğer tüm modellerden daha iyi performans gösterdiğini gösteriyor. "gpt-3.5-turbo" ayrıca tüm temel ölçümlerde eski GPT3 türevlerinden önemli ölçüde daha iyi performans gösterir, ancak bir şablona bağlı kalma yeteneği diğer değişkenlerden daha kötü göründüğü için ek çıktı ayrıştırması gerektirir.
Hızlı mühendislik yaklaşımlarının temel bulguları şunlardır:
- Uzman bilgisinin gerekli olmadığı bunun gibi görevler için, Few-shot CoT yönlendirmesi, tüm deneylerde Zero-shot yönlendirmesinden daha kötü performans gösterdi.
- İstemin doğru muhakemeyi ortaya çıkarma üzerindeki etkisi çok büyüktür. Modelden belirli bir işi sınıflandırmasını istemek, 65.6'lık bir F1 puanıyla sonuçlanırken, istem sonrası mühendislik modeli, 91.7'lik bir F1 puanı elde eder.
- Modeli bir şablona bağlı kalmaya zorlamak her durumda performansı düşürür (bu davranış, kağıdın arkasında olan GPT-4 ile erken testlerde kaybolur).
- Birçok küçük değişikliğin performans üzerinde çok büyük bir etkisi vardır.
- Aşağıdaki tablolar, test edilen tam değişiklikleri göstermektedir.
- Talimatları düzgün bir şekilde vermek ve kilit noktaları tekrarlamak en büyük performans faktörü gibi görünüyor.
- Modele bir (insan) adı vermek ve ona bu şekilde atıfta bulunmak kadar basit bir şey, F1 puanını 0,6 puan artırdı.
### Bilgi İstemi Değişiklikleri Test Edildi
| Kısa İsim | Açıklama |
|------------|------------------------------------------------------------------------------------------------------|
| Baseline | Bir iş ilanı verin ve bir mezun için uygun olup olmadığını sorun. |
| CoT | Sorgulamadan önce birkaç doğru sınıflandırma örneği verin. |
| Zero-CoT | Cevabını vermeden önce modelden adım adım akıl yürütmesini isteyin. |
| rawinst | Kullanıcı mesajına ekleyerek rolü ve görevi hakkında talimatlar verin. |
| sysinst | Bir sistem mesajı olarak rolü ve görevi hakkında talimatlar verin. |
| bothinst | Bir sistem mesajı olarak role ve bir kullanıcı mesajı olarak göreve sahip yönergeler bölünmüştür . |
| mock | Bir tartışmayı kabul ettiği yerde alay ederek görev yönergeleri verin. |
| reit | Talimatlardaki temel unsurları tekrarlayarak güçlendirin. |
| strict | Modelden belirli bir şablonu kesinlikle takip ederek yanıt vermesini isteyin. |
| loose | Belirli bir şablona göre verilecek nihai cevabı isteyin. |
| right | Modelden doğru sonuca varmasını isteyin. |
| info | Yaygın muhakeme hatalarını ele almak için ek bilgiler sağlayın. |
| name | Modele, konuşmada atıfta bulunduğumuz bir isim verin. |
| pos | Modeli sorgulamadan önce olumlu geri bildirim sağlayın. |
### Tüm Bilgi İstemi Değişikliklerinin Performans Etkisi
| | Precision | Recall | F1 | Template Stickiness |
|----------------------------------------|---------------|---------------|---------------|------------------------|
| _Baseline_ | _61.2_ | _70.6_ | _65.6_ | _79%_ |
| _CoT_ | _72.6_ | _85.1_ | _78.4_ | _87%_ |
| _Zero-CoT_ | _75.5_ | _88.3_ | _81.4_ | _65%_ |
| _+rawinst_ | _80_ | _92.4_ | _85.8_ | _68%_ |
| _+sysinst_ | _77.7_ | _90.9_ | _83.8_ | _69%_ |
| _+bothinst_ | _81.9_ | _93.9_ | _87.5_ | _71%_ |
| +bothinst+mock | 83.3 | 95.1 | 88.8 | 74% |
| +bothinst+mock+reit | 83.8 | 95.5 | 89.3 | 75% |
| _+bothinst+mock+reit+strict_ | _79.9_ | _93.7_ | _86.3_ | _**98%**_ |
| _+bothinst+mock+reit+loose_ | _80.5_ | _94.8_ | _87.1_ | _95%_ |
| +bothinst+mock+reit+right | 84 | 95.9 | 89.6 | 77% |
| +bothinst+mock+reit+right+info | 84.9 | 96.5 | 90.3 | 77% |
| +bothinst+mock+reit+right+info+name | 85.7 | 96.8 | 90.9 | 79% |
| +bothinst+mock+reit+right+info+name+pos| **86.9** | **97** | **91.7** | 81% |
Şablon yapışkanlığı, modelin istenen biçimde ne sıklıkta yanıt verdiğini ifade eder.

@ -0,0 +1,9 @@
# Hızlı Mühendislik Kursu
Mayıs 2023'te bir ["LLM'ler için Prompting Engineering"](https://www.getsphere.com/cohorts/prompt-engineering-for-llms?source=promptingguide) kursu vermek üzere Sphere ile ortaklık kurduk.
Bu uygulamalı kurs, en iyi büyük dil modellerinin uygulamalarını etkin bir şekilde oluşturmak için gerçek dünyada kullanılan en son hızlı mühendislik tekniklerini ve araçlarını öğretmek için tasarlanmıştır.
Hızlı mühendislik becerilerinizi bir sonraki seviyeye taşımak istiyorsanız, kursu şiddetle tavsiye ederiz.
Bu kurs ayrıca bir bitirme sertifikası içerir.

@ -0,0 +1,12 @@
# Veri setleri
#### (İsme göre sıralandı)
- [Anthropic's Red Team dataset](https://github.com/anthropics/hh-rlhf/tree/master/red-team-attempts), [(paper)](https://arxiv.org/abs/2209.07858)
- [Awesome ChatGPT Prompts](https://huggingface.co/datasets/fka/awesome-chatgpt-prompts)
- [DiffusionDB](https://github.com/poloclub/diffusiondb)
- [Midjourney Prompts](https://huggingface.co/datasets/succinctly/midjourney-prompts)
- [P3 - Public Pool of Prompts](https://huggingface.co/datasets/bigscience/P3)
- [PartiPrompts](https://parti.research.google)
- [Real Toxicity Prompts](https://allenai.org/data/real-toxicity-prompts)
- [Stable Diffusion Dataset](https://huggingface.co/datasets/Gustavosta/Stable-Diffusion-Prompts)
- [WritingPrompts](https://www.reddit.com/r/WritingPrompts)

@ -0,0 +1,9 @@
# Hızlı Mühendislik Kılavuzu
İstem mühendisliği, çok çeşitli uygulamalar ve araştırma konuları için dil modellerini (LM'ler) verimli bir şekilde kullanmak üzere bilgi istemleri geliştirmek ve optimize etmek için nispeten yeni bir disiplindir. Hızlı mühendislik becerileri, büyük dil modellerinin (LLM'ler) yeteneklerini ve sınırlamalarını daha iyi anlamaya yardımcı olur.
Araştırmacılar, soru cevaplama ve aritmetik muhakeme gibi çok çeşitli ortak ve karmaşık görevlerde LLM'lerin kapasitesini geliştirmek için hızlı mühendisliği kullanır. Geliştiriciler, LLM'ler ve diğer araçlarla arabirim oluşturan sağlam ve etkili yönlendirme teknikleri tasarlamak için istem mühendisliğini kullanır.
Bilgi istemi mühendisliği yalnızca bilgi istemlerini tasarlamak ve geliştirmekle ilgili değildir. LLM'lerle etkileşim kurmak ve gelişmek için yararlı olan çok çeşitli becerileri ve teknikleri kapsar. LLM'lerin yeteneklerini arabirim oluşturmak, bunlarla oluşturmak ve anlamak önemli bir beceridir. LLM'lerin güvenliğini artırmak ve LLM'leri alan bilgisi ve harici araçlarla zenginleştirmek gibi yeni yetenekler oluşturmak için hızlı mühendisliği kullanabilirsiniz.
LLM'lerle geliştirme konusundaki yüksek ilgiden motive olarak, en son makaleleri, öğrenme kılavuzlarını, modelleri, dersleri, referansları, yeni LLM yeteneklerini ve hızlı mühendislikle ilgili araçları içeren bu yeni hızlı mühendislik kılavuzunu oluşturduk.

@ -0,0 +1,7 @@
# Giriş
İstem mühendisliği, çok çeşitli uygulamalar ve araştırma konuları için dil modellerini (LM'ler) verimli bir şekilde kullanmak üzere bilgi istemleri geliştirmek ve optimize etmek için nispeten yeni bir disiplindir. Hızlı mühendislik becerileri, büyük dil modellerinin (LLM'ler) yeteneklerini ve sınırlamalarını daha iyi anlamaya yardımcı olur. Araştırmacılar, soru cevaplama ve aritmetik muhakeme gibi çok çeşitli ortak ve karmaşık görevlerde LLM'lerin kapasitesini geliştirmek için hızlı mühendisliği kullanır. Geliştiriciler, LLM'ler ve diğer araçlarla arabirim oluşturan sağlam ve etkili yönlendirme teknikleri tasarlamak için istem mühendisliğini kullanır.
Bu kılavuz, büyük dil modelleriyle (LLM'ler) etkileşimde bulunmak ve talimat vermek için bilgi istemlerinin nasıl kullanılacağına dair kabaca bir fikir sağlamak için bilgi istemlerinin temellerini kapsar.
Tüm örnekler, aksi belirtilmedikçe `text-davinci-003` (OpenAI'nin oyun alanı kullanılarak) ile test edilmiştir. Varsayılan konfigürasyonları kullanır, yani "sıcaklık=0,7" ve "top-p=1".

@ -0,0 +1,8 @@
{
"settings": "LLM Settings",
"basics": "Basics of Prompting",
"elements": "Prompt Elements",
"tips": "General Tips for Designing Prompts",
"examples": "Examples of Prompts"
}

@ -0,0 +1,114 @@
# Bilgi İstemcisinin Temelleri
## Temel İstemler
Basit istemlerle çok şey başarabilirsiniz, ancak sonuçların kalitesi, ona ne kadar bilgi verdiğinize ve ne kadar iyi hazırlanmış olduğuna bağlıdır. Bilgi istemi, modele ilettiğiniz *talimat* veya *soru* gibi bilgileri ve *bağlam*, *girdiler* veya *örnekler* gibi diğer ayrıntıları içerebilir. Modeli daha iyi yönlendirmek ve sonuç olarak daha iyi sonuçlar almak için bu öğeleri kullanabilirsiniz.
Basit bir bilgi isteminin temel bir örneğini gözden geçirerek başlayalım:
*Bilgi İstemcisi*
```
Gökyüzü
```
ıktı:*
```
mavi
ık bir günde gökyüzü mavidir. Bulutlu bir günde gökyüzü gri veya beyaz olabilir.
```
Gördüğünüz gibi, dil modeli, `"Gökyüzü"' bağlamı göz önüne alındığında anlamlı olan dizelerin bir devamını çıkarır. Çıktı beklenmedik olabilir veya başarmak istediğimiz görevden uzak olabilir.
Bu temel örnek, özellikle neyi başarmak istediğimize dair daha fazla bağlam veya talimat sağlama gerekliliğini de vurgulamaktadır.
Biraz geliştirmeye çalışalım:
*Bilgi İstemcisi:*
```
Cümleyi tamamla:
Gökyüzü
```
ıktı:*
```
çok güzel bugün.
```
Bu daha mı iyi? Pekala, modele cümleyi tamamlamasını söyledik, böylece sonuç tam olarak yapmasını söylediğimiz şeyi takip ettiği için ("cümleyi tamamlayın") çok daha iyi görünüyor. Modele bir görevi gerçekleştirme talimatı vermek için en uygun bilgi istemlerini tasarlamaya yönelik bu yaklaşım, **hızlı mühendislik** olarak adlandırılır.
Yukarıdaki örnek, bugün LLM'lerle neyin mümkün olduğunun temel bir örneğidir. Günümüzün LLM'leri, metin özetlemeden matematiksel akıl yürütmeye ve kod oluşturmaya kadar her türlü gelişmiş görevi gerçekleştirebilir.
## Bilgi İstemcisi Formatı
Yukarıda çok basit bir komut istemi denedik. Standart bir bilgi istemi aşağıdaki biçime sahiptir:
```
<Soru>?
```
ya da
```
<Talimat>
```
Bu, birçok SoruCevap veri kümesinde standart olan bir soru yanıtlama (QA) biçimine şu şekilde biçimlendirilebilir:
```
S: <Soru>?
C:
```
Yukarıdaki gibi istemde bulunurken, aynı zamanda *sıfır vuruşlu istem* olarak da adlandırılır, yani, gerçekleştirmesini istediğiniz görevle ilgili herhangi bir örnek veya gösteri olmadan doğrudan modelden bir yanıt istemiş olursunuz. Bazı büyük dil modelleri, sıfır vuruşlu yönlendirme gerçekleştirme yeteneğine sahiptir, ancak bu, eldeki görevin karmaşıklığına ve bilgisine bağlıdır.
Yukarıdaki standart biçim göz önüne alındığında, popüler ve etkili bir yönlendirme tekniği, örnekler (örn. gösteriler) sağladığımız durumlarda *few-shot prompting* olarak anılır. Few-shot prompts aşağıdaki şekilde gösterilebilir:
```
<Soru>?
<Cevap>
<Soru>?
<Cevavp>
<Soru>?
<Cevap>
<Soru>?
```
Soru Cevap sürümü şuna benzer:
```
S: <Soru>?
C: <Cevap>
S: <Soru>?
C: <Cevap>
S: <Soru>?
C: <Cevap>
S: <Soru>?
C:
```
Soru cevap formatını kullanmanın gerekli olmadığını unutmayın. Bilgi istemi biçimi eldeki göreve bağlıdır. Örneğin, basit bir sınıflandırma görevi gerçekleştirebilir ve aşağıdaki gibi görevi gösteren örnekler verebilirsiniz:
*Bilgi İstemcisi:*
```
Bu harika! // Olumlu
Bu kötü! // Olumsuz
Vay canına o film harikaydı! // Olumlu
Ne kadar kötü bir film// Olumsuz
```
ıktı:*
```
Olumsuz
```
Few-shotbilgi istemleri, dil modellerinin birkaç gösterim verilen görevleri öğrenme yeteneği olan bağlam içi öğrenmeyi etkinleştirir.

@ -0,0 +1,15 @@
# Bilgi İstemin Öğeleri
Hızlı mühendislikle mümkün olan daha fazla örneği ve uygulamayı ele aldıkça, istemi oluşturan belirli unsurların olduğunu fark edeceksiniz.
Bir bilgi istemi aşağıdaki bileşenlerden herhangi birini içerebilir:
**Talimat** - modelin gerçekleştirmesini istediğiniz belirli bir görev veya talimat
**Bağlam** - modeli daha iyi yanıtlara yönlendirebilecek harici bilgileri veya ek bağlamı içerebilir
**Girdi Verileri** - yanıtını bulmak istediğimiz girdi veya sorudur
**Çıktı Göstergesi** - çıktının türünü veya formatını gösterir.
Bir bilgi istemi için tüm bileşenler gerekli değildir ve biçim eldeki göreve bağlıdır. Gelecek rehberlerde daha somut örneklere değineceğiz.

@ -0,0 +1,3 @@
# Examples of Prompts
Needs translation! Feel free to contribute a translating by clicking the `Edit this page` button on the right side.

@ -0,0 +1,11 @@
# LLM Ayarları
Bilgi istemleriyle çalışırken, LLM ile bir API aracılığıyla veya doğrudan etkileşim kuracaksınız. İstemleriniz için farklı sonuçlar almak üzere birkaç parametreyi yapılandırabilirsiniz.
**Sıcaklık** - Kısacası, "sıcaklık" ne kadar düşük olursa, her zaman bir sonraki olası en yüksek jetonun seçilmesi anlamında sonuçlar o kadar belirleyici olur. Artan sıcaklık, daha çeşitli veya yaratıcı çıktıları teşvik eden daha fazla rastgeleliğe yol açabilir. Esasen diğer olası belirteçlerin ağırlıklarını artırıyoruz. Uygulama açısından, daha olgusal ve özlü yanıtları teşvik etmek için gerçeğe dayalı soru cevap gibi görevler için daha düşük bir sıcaklık değeri kullanmak isteyebiliriz. Şiir oluşturma veya diğer yaratıcı görevler için sıcaklık değerini artırmak faydalı olabilir.
**Top_p** - Benzer şekilde, çekirdek örnekleme adı verilen sıcaklığa sahip bir örnekleme tekniği olan "top_p" ile, modelin yanıt oluşturmada ne kadar belirleyici olduğunu kontrol edebilirsiniz. Kesin ve gerçek cevaplar arıyorsanız, bunu düşük tutun. Daha çeşitli yanıtlar arıyorsanız, daha yüksek bir değere yükseltin.
Genel tavsiye, ikisini birden değil, birini değiştirmektir.
Bazı temel örneklerle başlamadan önce, sonuçlarınızın kullandığınız LLM sürümüne bağlı olarak değişebileceğini unutmayın.

@ -0,0 +1,3 @@
# General Tips for Designing Prompts
Needs translation! Feel free to contribute a translating by clicking the `Edit this page` button on the right side.

@ -0,0 +1,9 @@
# Modeller
import { Callout } from 'nextra-theme-docs'
Bu bölümde, en yeni dil modellerinden bazılarını ve bunların en yeni ve en gelişmiş yönlendirme mühendisliği tekniklerini nasıl başarıyla uyguladıklarını ele alacağız. Ek olarak, bu modellerin bir dizi görevdeki yeteneklerini ve az atışlı yönlendirme, sıfır atışlı yönlendirme ve düşünce zinciri yönlendirmesi gibi komut istemi kurulumlarını ele alıyoruz. Bu yetenekleri anlamak, bu modellerin sınırlamalarını ve bunların nasıl etkili bir şekilde kullanılacağını anlamak için önemlidir.
<Callout emoji="⚠️">
Bu bölüm yoğun geliştirme aşamasındadır.
</Callout>

@ -0,0 +1,8 @@
{
"flan": "Flan",
"chatgpt": "ChatGPT",
"llama": "LLaMA",
"gpt-4": "GPT-4",
"collection": "Model Collection"
}

@ -0,0 +1,65 @@
# Model Koleksiyonu
import { Callout, FileTree } from 'nextra-theme-docs'
<Callout emoji="⚠️">
Bu bölüm yoğun geliştirme aşamasındadır.
</Callout>
Bu bölüm, dikkate değer ve temel LLM'lerin bir koleksiyonunu ve özetini içerir. (Veriler [Papers with Code](https://paperswithcode.com/methods/category/language-models) ve [Zhao ve diğerleri (2023)] tarafından yapılan son çalışmadan alınmıştır.(https://arxiv.org/pdf/2303.18223.pdf).
## Modeller
| Model | Çıkış Tarihi | Açıklama |
| --- | --- | --- |
| [BERT](https://arxiv.org/abs/1810.04805)| 2018 | Bidirectional Encoder Representations from Transformers |
| [GPT](https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf) | 2018 | Improving Language Understanding by Generative Pre-Training |
| [RoBERTa](https://arxiv.org/abs/1907.11692) | 2019 | A Robustly Optimized BERT Pretraining Approach |
| [GPT-2](https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf) | 2019 | Language Models are Unsupervised Multitask Learners |
| [T5](https://arxiv.org/abs/1910.10683) | 2019 | Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer |
| [BART](https://arxiv.org/abs/1910.13461) | 2019 | Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension |
| [ALBERT](https://arxiv.org/abs/1909.11942) |2019 | A Lite BERT for Self-supervised Learning of Language Representations |
| [XLNet](https://arxiv.org/abs/1906.08237) | 2019 | Generalized Autoregressive Pretraining for Language Understanding and Generation |
| [CTRL](https://arxiv.org/abs/1909.05858) |2019 | CTRL: A Conditional Transformer Language Model for Controllable Generation |
| [ERNIE](https://arxiv.org/abs/1904.09223v1) | 2019| ERNIE: Enhanced Representation through Knowledge Integration |
| [GShard](https://arxiv.org/abs/2006.16668v1) | 2020 | GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding |
| [GPT-3](https://arxiv.org/abs/2005.14165) | 2020 | Language Models are Few-Shot Learners |
| [LaMDA](https://arxiv.org/abs/2201.08239v3) | 2021 | LaMDA: Language Models for Dialog Applications |
| [PanGu-α](https://arxiv.org/abs/2104.12369v1) | 2021 | PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models with Auto-parallel Computation |
| [mT5](https://arxiv.org/abs/2010.11934v3) | 2021 | mT5: A massively multilingual pre-trained text-to-text transformer |
| [CPM-2](https://arxiv.org/abs/2106.10715v3) | 2021 | CPM-2: Large-scale Cost-effective Pre-trained Language Models |
| [T0](https://arxiv.org/abs/2110.08207) |2021 |Multitask Prompted Training Enables Zero-Shot Task Generalization |
| [HyperCLOVA](https://arxiv.org/abs/2109.04650) | 2021 | What Changes Can Large-scale Language Models Bring? Intensive Study on HyperCLOVA: Billions-scale Korean Generative Pretrained Transformers |
| [Codex](https://arxiv.org/abs/2107.03374v2) |2021 |Evaluating Large Language Models Trained on Code |
| [ERNIE 3.0](https://arxiv.org/abs/2107.02137v1) | 2021 | ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation|
| [Jurassic-1](https://uploads-ssl.webflow.com/60fd4503684b466578c0d307/61138924626a6981ee09caf6_jurassic_tech_paper.pdf) | 2021 | Jurassic-1: Technical Details and Evaluation |
| [FLAN](https://arxiv.org/abs/2109.01652v5) | 2021 | Finetuned Language Models Are Zero-Shot Learners |
| [MT-NLG](https://arxiv.org/abs/2201.11990v3) | 2021 | Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model|
| [Yuan 1.0](https://arxiv.org/abs/2110.04725v2) | 2021| Yuan 1.0: Large-Scale Pre-trained Language Model in Zero-Shot and Few-Shot Learning |
| [WebGPT](https://arxiv.org/abs/2112.09332v3) | 2021 | WebGPT: Browser-assisted question-answering with human feedback |
| [Gopher](https://arxiv.org/abs/2112.11446v2) |2021 | Scaling Language Models: Methods, Analysis & Insights from Training Gopher |
| [ERNIE 3.0 Titan](https://arxiv.org/abs/2112.12731v1) |2021 | ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation |
| [GLaM](https://arxiv.org/abs/2112.06905) | 2021 | GLaM: Efficient Scaling of Language Models with Mixture-of-Experts |
| [InstructGPT](https://arxiv.org/abs/2203.02155v1) | 2022 | Training language models to follow instructions with human feedback |
| [GPT-NeoX-20B](https://arxiv.org/abs/2204.06745v1) | 2022 | GPT-NeoX-20B: An Open-Source Autoregressive Language Model |
| [AlphaCode](https://arxiv.org/abs/2203.07814v1) | 2022 | Competition-Level Code Generation with AlphaCode |
| [CodeGen](https://arxiv.org/abs/2203.13474v5) | 2022 | CodeGen: An Open Large Language Model for Code with Multi-Turn Program Synthesis |
| [Chinchilla](https://arxiv.org/abs/2203.15556) | 2022 | Shows that for a compute budget, the best performances are not achieved by the largest models but by smaller models trained on more data. |
| [Tk-Instruct](https://arxiv.org/abs/2204.07705v3) | 2022 | Super-NaturalInstructions: Generalization via Declarative Instructions on 1600+ NLP Tasks |
| [UL2](https://arxiv.org/abs/2205.05131v3) | 2022 | UL2: Unifying Language Learning Paradigms |
| [PaLM](https://arxiv.org/abs/2204.02311v5) |2022| PaLM: Scaling Language Modeling with Pathways |
| [OPT](https://arxiv.org/abs/2205.01068) | 2022 | OPT: Open Pre-trained Transformer Language Models |
| [BLOOM](https://arxiv.org/abs/2211.05100v3) | 2022 | BLOOM: A 176B-Parameter Open-Access Multilingual Language Model |
| [GLM-130B](https://arxiv.org/abs/2210.02414v1) | 2022 | GLM-130B: An Open Bilingual Pre-trained Model |
| [AlexaTM](https://arxiv.org/abs/2208.01448v2) | 2022 | AlexaTM 20B: Few-Shot Learning Using a Large-Scale Multilingual Seq2Seq Model |
| [Flan-T5](https://arxiv.org/abs/2210.11416v5) | 2022 | Scaling Instruction-Finetuned Language Models |
| [Sparrow](https://arxiv.org/abs/2209.14375) | 2022 | Improving alignment of dialogue agents via targeted human judgements |
| [U-PaLM](https://arxiv.org/abs/2210.11399v2) | 2022 | Transcending Scaling Laws with 0.1% Extra Compute |
| [mT0](https://arxiv.org/abs/2211.01786v1) | 2022 | Crosslingual Generalization through Multitask Finetuning |
| [Galactica](https://arxiv.org/abs/2211.09085v1) | 2022 | Galactica: A Large Language Model for Science |
| [OPT-IML](https://arxiv.org/abs/2212.12017v3) | 2022 | OPT-IML: Scaling Language Model Instruction Meta Learning through the Lens of Generalization |
| [LLaMA](https://arxiv.org/abs/2302.13971v1) | 2023 | LLaMA: Open and Efficient Foundation Language Models |
| [GPT-4](https://arxiv.org/abs/2303.08774v3) | 2023 |GPT-4 Technical Report |
| [PanGu-Σ](https://arxiv.org/abs/2303.10845v1) | 2023 | PanGu-Σ: Towards Trillion Parameter Language Model with Sparse Heterogeneous Computing |
| [BloombergGPT](https://arxiv.org/abs/2303.17564v1)| 2023 |BloombergGPT: A Large Language Model for Finance|

@ -0,0 +1,3 @@
# Scaling Instruction-Finetuned Language Models
Needs translation! Feel free to contribute a translating by clicking the `Edit this page` button on the right side.

@ -0,0 +1,3 @@
# GPT-4
Needs translation! Feel free to contribute a translating by clicking the `Edit this page` button on the right side.

@ -0,0 +1,43 @@
## LLaMA: Açık ve Verimli Temel Dil Modelleri
<Callout emoji="⚠️">
Bu bölüm yoğun geliştirme aşamasındadır.
</Callout>
import {Screenshot} from 'components/screenshot'
import { Callout, FileTree } from 'nextra-theme-docs'
import LLAMA1 from '../../img/llama-1.png'
## Yenilikler Neler?
Bu makale, 7B ila 65B parametreleri arasında değişen temel dil modelleri koleksiyonunu tanıtmaktadır.
Modeller, halka açık veri kümeleriyle trilyonlarca jeton üzerinde eğitilmiştir.
[(Hoffman ve diğerleri 2022)](https://arxiv.org/abs/2203.15556) tarafından yapılan çalışma, çok daha fazla veriyle eğitilen daha küçük modellerin, daha büyük benzerlerine göre daha iyi performans elde edebildiğini göstermektedir.Bu çalışma, 10B modellerinin 200B belirteçleri üzerinde eğitilmesini önerir. Bununla birlikte, LLaMA makalesi, bir 7B modelinin performansının 1T belirteçlerinden sonra bile gelişmeye devam ettiğini ortaya koymaktadır.
<Screenshot src={LLAMA1} alt="LLAMA1" />
Bu çalışma, daha fazla belirteç üzerinde eğitim alarak çeşitli çıkarım bütçelerinde mümkün olan en iyi performansı elde eden eğitim modellerine (LLaMA) odaklanmaktadır.
## Yetenekler ve Önemli Sonuçlar
Genel olarak LLaMA-13B, 10 kat daha küçük olmasına ve tek bir GPU çalıştırmanın mümkün olmasına rağmen birçok karşılaştırmada GPT-3(175B)'den daha iyi performans gösteriyor. LLaMA 65B, Chinchilla-70B ve PaLM-540B gibi modellerle rekabet halindedir.
*Makale:* [LLaMA: Open and Efficient Foundation Language Models](https://arxiv.org/abs/2302.13971)
*Kod:* https://github.com/facebookresearch/llama
## Referanslar
- [Koala: A Dialogue Model for Academic Research](https://bair.berkeley.edu/blog/2023/04/03/koala/) (April 2023)
- [Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data](https://arxiv.org/abs/2304.01196) (April 2023)
- [Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality](https://vicuna.lmsys.org/) (March 2023)
- [LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention](https://arxiv.org/abs/2303.16199) (March 2023)
- [GPT4All](https://github.com/nomic-ai/gpt4all) (March 2023)
- [ChatDoctor: A Medical Chat Model Fine-tuned on LLaMA Model using Medical Domain Knowledge](https://arxiv.org/abs/2303.14070) (March 2023)
- [Stanford Alpaca](https://github.com/tatsu-lab/stanford_alpaca) (March 2023)

@ -0,0 +1,11 @@
# Prompt Mühendislik Not Defterleri
Hızlı mühendisliğe başlamanıza yardımcı olmak için tasarladığımız bir not defteri koleksiyonu içerir. Yakında eklenecek daha fazlası!
| Açıklama | Not Defterleri |
| :------------ | :---------: |
|Learn how to perform many different types of common tasks using the `openai` and `LangChain` library|[Getting Started with Prompt Engineering](https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/notebooks/pe-lecture.ipynb)|
|Learn how to use code as reasoning for solving common tasks using the Python interpreter in combination with the language model.|[Program-Aided Language Model](https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/notebooks/pe-pal.ipynb)|
|Learn more about how to make calls to the ChatGPT APIs using the `openai` library.|[ChatGPT API Intro](https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/notebooks/pe-chatgpt-intro.ipynb)|
|Learn how to use ChatGPT features using the `LangChain` library. |[ChatGPT API with LangChain](https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/notebooks/pe-chatgpt-langchain.ipynb)|
|Learn about adversarial prompting include defensive measures.|[Adversarial Prompt Engineering](https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/notebooks/pe-chatgpt-adversarial.ipynb)|

@ -0,0 +1,174 @@
# Makaleler
Aşağıdakiler, hızlı mühendislikle ilgili en son makalelerdir (yayınlanma tarihine göre sıralanmıştır). Bunu günlük olarak güncelliyoruz ve yeni makaleler geliyor. Bu makalelerin özetlerini her hafta yukarıdaki kılavuzlara dahil ediyoruz.
## Genel Bakış
- [Nature Language Reasoning, A Survey](https://arxiv.org/abs/2303.14725) (March 2023)
- [Augmented Language Models: a Survey](https://arxiv.org/abs/2302.07842) (Feb 2023)
- [A Survey for In-context Learning](https://arxiv.org/abs/2301.00234) (Dec 2022)
- [Towards Reasoning in Large Language Models: A Survey](https://arxiv.org/abs/2212.10403) (Dec 2022)
- [Reasoning with Language Model Prompting: A Survey](https://arxiv.org/abs/2212.09597) (Dec 2022)
- [Emergent Abilities of Large Language Models](https://arxiv.org/abs/2206.07682) (Jun 2022)
- [A Taxonomy of Prompt Modifiers for Text-To-Image Generation](https://arxiv.org/abs/2204.13988) (Apr 2022)
- [Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing](https://arxiv.org/abs/2107.13586) (Jul 2021)
## Yaklaşımlar
- [Self-Refine: Iterative Refinement with Self-Feedback](https://arxiv.org/abs/2303.17651v1) (Mar 2023)
- [kNN Prompting: Beyond-Context Learning with Calibration-Free Nearest Neighbor Inference](https://arxiv.org/abs/2303.13824) (Mar 2023)
- [Visual-Language Prompt Tuning with Knowledge-guided Context Optimization](https://arxiv.org/abs/2303.13283) (Mar 2023)
- [Fairness-guided Few-shot Prompting for Large Language Models](https://arxiv.org/abs/2303.13217) (Mar 2023)
- [Context-faithful Prompting for Large Language Models](https://arxiv.org/abs/2303.11315) (Mar 2023)
- [Is Prompt All You Need? No. A Comprehensive and Broader View of Instruction Learning](https://arxiv.org/abs/2303.10475) (Mar 2023)
- [UPRISE: Universal Prompt Retrieval for Improving Zero-Shot Evaluation](https://arxiv.org/abs/2303.08518) (Mar 2023)
- [Model-tuning Via Prompts Makes NLP Models Adversarially Robust](https://arxiv.org/abs/2303.07320) (Mar 2023)
- [Structure Pretraining and Prompt Tuning for Knowledge Graph Transfer](https://arxiv.org/abs/2303.03922) (March 2023)
- [CoTEVer: Chain of Thought Prompting Annotation Toolkit for Explanation Verification](https://arxiv.org/abs/2303.03628) (March 2023)
- [Larger language models do in-context learning differently](https://arxiv.org/abs/2303.03846) (March 2023)
- [OpenICL: An Open-Source Framework for In-context Learning](https://arxiv.org/abs/2303.02913) (March 2023)
- [Dynamic Prompting: A Unified Framework for Prompt Tuning](https://arxiv.org/abs/2303.02909) (March 2023)
- [Multitask Prompt Tuning Enables Parameter-Efficient Transfer Learning](https://arxiv.org/abs/2303.02861) (March 2023)
- [Effectiveness of Data Augmentation for Prefix Tuning with Limited Data](https://arxiv.org/abs/2303.02577) (March 2023)
- [Mixture of Soft Prompts for Controllable Data Generation](https://arxiv.org/abs/2303.01580) (March 2023)
- [Prompt, Generate, then Cache: Cascade of Foundation Models makes Strong Few-shot Learners](https://arxiv.org/abs/2303.02151) (March 2023)
- [How Robust is GPT-3.5 to Predecessors? A Comprehensive Study on Language Understanding Tasks](https://arxiv.org/abs/2303.00293) (March 2023)
- [Can ChatGPT Understand Too? A Comparative Study on ChatGPT and Fine-tuned BERT](https://arxiv.org/pdf/2302.10198.pdf) (Feb 2023)
- [EvoPrompting: Language Models for Code-Level Neural Architecture Search](https://arxiv.org/abs/2302.14838) (Feb 2023)
- [In-Context Instruction Learning](https://arxiv.org/abs/2302.14691) (Feb 2023)
- [Chain of Hindsight Aligns Language Models with Feedback](https://arxiv.org/abs/2302.02676) (Feb 2023)
- [Language Is Not All You Need: Aligning Perception with Language Models](https://arxiv.org/abs/2302.14045) (Feb 2023)
- [Automatic Prompt Augmentation and Selection with Chain-of-Thought from Labeled Data](https://arxiv.org/abs/2302.12822) (Feb 2023)
- [Active Prompting with Chain-of-Thought for Large Language Models](https://arxiv.org/abs/2302.12246) (Feb 2023)
- [More than you've asked for: A Comprehensive Analysis of Novel Prompt Injection Threats to Application-Integrated Large Language Models](https://arxiv.org/abs/2302.12173) (Feb 2023)
- [A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT](https://arxiv.org/abs/2302.11382) (Feb 2023)
- [Guiding Large Language Models via Directional Stimulus Prompting](https://arxiv.org/abs/2302.11520) (Feb 2023)
- [How Does In-Context Learning Help Prompt Tuning?](https://arxiv.org/abs/2302.11521) (Feb 2023)
- [Scalable Prompt Generation for Semi-supervised Learning with Language Models](https://arxiv.org/abs/2302.09236) (Feb 2023)
- [Bounding the Capabilities of Large Language Models in Open Text Generation with Prompt Constraints](https://arxiv.org/abs/2302.09185) (Feb 2023)
- [À-la-carte Prompt Tuning (APT): Combining Distinct Data Via Composable Prompting](https://arxiv.org/abs/2302.07994) (Feb 2023)
- [GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks](https://arxiv.org/abs/2302.08043) (Feb 2023)
- [The Capacity for Moral Self-Correction in Large Language Models](https://arxiv.org/abs/2302.07459) (Feb 2023)
- [SwitchPrompt: Learning Domain-Specific Gated Soft Prompts for Classification in Low-Resource Domains](https://arxiv.org/abs/2302.06868) (Feb 2023)
- [Evaluating the Robustness of Discrete Prompts](https://arxiv.org/abs/2302.05619) (Feb 2023)
- [Compositional Exemplars for In-context Learning](https://arxiv.org/abs/2302.05698) (Feb 2023)
- [Hard Prompts Made Easy: Gradient-Based Discrete Optimization for Prompt Tuning and Discovery](https://arxiv.org/abs/2302.03668) (Feb 2023)
- [Multimodal Chain-of-Thought Reasoning in Language Models](https://arxiv.org/abs/2302.00923) (Feb 2023)
- [Large Language Models Can Be Easily Distracted by Irrelevant Context](https://arxiv.org/abs/2302.00093) (Feb 2023)
- [Synthetic Prompting: Generating Chain-of-Thought Demonstrations for Large Language Models](https://arxiv.org/abs/2302.00618) (Feb 2023)
- [Progressive Prompts: Continual Learning for Language Models](https://arxiv.org/abs/2301.12314) (Jan 2023)
- [Batch Prompting: Efficient Inference with LLM APIs](https://arxiv.org/abs/2301.08721) (Jan 2023)
- [Demonstrate-Search-Predict: Composing retrieval and language models for knowledge-intensive NLP](https://arxiv.org/abs/2212.14024) (Dec 2022)
- [On Second Thought, Let's Not Think Step by Step! Bias and Toxicity in Zero-Shot Reasoning](https://arxiv.org/abs/2212.08061) (Dec 2022)
- [Constitutional AI: Harmlessness from AI Feedback](https://arxiv.org/abs/2212.08073) (Dec 2022)
- [Successive Prompting for Decomposing Complex Questions](https://arxiv.org/abs/2212.04092) (Dec 2022)
- [Large Language Models are reasoners with Self-Verification](https://arxiv.org/abs/2212.09561v1) (Dec 2022)
- [Discovering Language Model Behaviors with Model-Written Evaluations](https://arxiv.org/abs/2212.09251) (Dec 2022)
- [Structured Prompting: Scaling In-Context Learning to 1,000 Examples](https://arxiv.org/abs/2212.06713) (Dec 2022)
- [PAL: Program-aided Language Models](https://arxiv.org/abs/2211.10435) (Nov 2022)
- [Large Language Models Are Human-Level Prompt Engineers](https://arxiv.org/abs/2211.01910) (Nov 2022)
- [Ignore Previous Prompt: Attack Techniques For Language Models](https://arxiv.org/abs/2211.09527) (Nov 2022)
- [Machine Generated Text: A Comprehensive Survey of Threat Models and Detection Methods](https://arxiv.org/abs/2210.07321) (Nov 2022)
- [Teaching Algorithmic Reasoning via In-context Learning](https://arxiv.org/abs/2211.09066) (Nov 2022)
- [Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference](https://arxiv.org/abs/2211.11875) (Nov 2022)
- [Ask Me Anything: A simple strategy for prompting language models](https://paperswithcode.com/paper/ask-me-anything-a-simple-strategy-for) (Oct 2022)
- [Recitation-Augmented Language Models](https://arxiv.org/abs/2210.01296) (Oct 2022)
- [ReAct: Synergizing Reasoning and Acting in Language Models](https://arxiv.org/abs/2210.03629) (Oct 2022)
- [Prompting GPT-3 To Be Reliable](https://arxiv.org/abs/2210.09150) (Oct 2022)
- [Decomposed Prompting: A Modular Approach for Solving Complex Tasks](https://arxiv.org/abs/2210.02406) (Oct 2022)
- [Language Models Are Greedy Reasoners: A Systematic Formal Analysis of Chain-of-Thought](https://arxiv.org/abs/2210.01240v3) (Oct 2022)
- [Evaluating the Susceptibility of Pre-Trained Language Models via Handcrafted Adversarial Examples](https://arxiv.org/abs/2209.02128) (Sep 2022)
- [Dynamic Prompt Learning via Policy Gradient for Semi-structured Mathematical Reasoning](https://arxiv.org/abs/2209.14610) (Sep 2022)
- [Promptagator: Few-shot Dense Retrieval From 8 Examples](https://arxiv.org/abs/2209.11755) (Sep 2022)
- [Atlas: Few-shot Learning with Retrieval Augmented Language Models](https://arxiv.org/abs/2208.03299) (Nov 2022)
- [DocPrompting: Generating Code by Retrieving the Docs](https://arxiv.org/abs/2207.05987) (July 2022)
- [On the Advance of Making Language Models Better Reasoners](https://arxiv.org/abs/2206.02336) (June 2022)
- [Large Language Models are Zero-Shot Reasoners](https://arxiv.org/abs/2205.11916) (May 2022)
- [Maieutic Prompting: Logically Consistent Reasoning with Recursive Explanations](https://arxiv.org/abs/2205.11822) (May 2022)
- [MRKL Systems: A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning](https://arxiv.org/abs/2205.00445) (May 2022)
- [PPT: Pre-trained Prompt Tuning for Few-shot Learning](https://aclanthology.org/2022.acl-long.576/) (Mqy 2022)
- [Toxicity Detection with Generative Prompt-based Inference](https://arxiv.org/abs/2205.12390) (May 2022)
- [Learning to Transfer Prompts for Text Generation](https://arxiv.org/abs/2205.01543) (May 2022)
- [The Unreliability of Explanations in Few-shot Prompting for Textual Reasoning](https://arxiv.org/abs/2205.03401) (May 2022)
- [A Taxonomy of Prompt Modifiers for Text-To-Image Generation](https://arxiv.org/abs/2204.13988) (Apr 2022)
- [PromptChainer: Chaining Large Language Model Prompts through Visual Programming](https://arxiv.org/abs/2203.06566) (Mar 2022)
- [Self-Consistency Improves Chain of Thought Reasoning in Language Models](https://arxiv.org/abs/2203.11171) (March 2022)
- [Training language models to follow instructions with human feedback](https://arxiv.org/abs/2203.02155)
- [Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?](https://arxiv.org/abs/2202.12837) (Feb 2022)
- [Chain of Thought Prompting Elicits Reasoning in Large Language Models](https://arxiv.org/abs/2201.11903) (Jan 2022)
- [Show Your Work: Scratchpads for Intermediate Computation with Language Models](https://arxiv.org/abs/2112.00114) (Nov 2021)
- [AI Chains: Transparent and Controllable Human-AI Interaction by Chaining Large Language Model Prompts](https://arxiv.org/abs/2110.01691) (Oct 2021)
- [Generated Knowledge Prompting for Commonsense Reasoning](https://arxiv.org/abs/2110.08387) (Oct 2021)
- [Multitask Prompted Training Enables Zero-Shot Task Generalization](https://arxiv.org/abs/2110.08207) (Oct 2021)
- [Reframing Instructional Prompts to GPTk's Language](https://arxiv.org/abs/2109.07830) (Sep 2021)
- [Design Guidelines for Prompt Engineering Text-to-Image Generative Models](https://arxiv.org/abs/2109.06977) (Sep 2021)
- [Making Pre-trained Language Models Better Few-shot Learners](https://aclanthology.org/2021.acl-long.295) (Aug 2021)
- [Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity](https://arxiv.org/abs/2104.08786) (April 2021)
- [BERTese: Learning to Speak to BERT](https://aclanthology.org/2021.eacl-main.316) (April 2021)
- [The Power of Scale for Parameter-Efficient Prompt Tuning](https://arxiv.org/abs/2104.08691) (April 2021)
- [Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm](https://arxiv.org/abs/2102.07350) (Feb 2021)
- [Calibrate Before Use: Improving Few-Shot Performance of Language Models](https://arxiv.org/abs/2102.09690) (Feb 2021)
- [Prefix-Tuning: Optimizing Continuous Prompts for Generation](https://arxiv.org/abs/2101.00190) (Jan 2021)
- [Learning to Generate Task-Specific Adapters from Task Description](https://arxiv.org/abs/2101.00420) (Jan 2021)
- [Making Pre-trained Language Models Better Few-shot Learners](https://arxiv.org/abs/2012.15723) (Dec 2020)
- [Learning from Task Descriptions](https://aclanthology.org/2020.emnlp-main.105/) (Nov 2020)
- [AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts](https://arxiv.org/abs/2010.15980) (Oct 2020)
- [Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165) (May 2020)
- [How Can We Know What Language Models Know?](https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00324/96460/How-Can-We-Know-What-Language-Models-Know) (July 2020)
- [Scaling Laws for Neural Language Models](https://arxiv.org/abs/2001.08361) (Jan 2020)
## Uygulamalar
- [BloombergGPT: A Large Language Model for Finance](https://arxiv.org/abs/2303.17564) (March 2023)
- [Medical Intervention Duration Estimation Using Language-enhanced Transformer Encoder with Medical Prompts](https://arxiv.org/abs/2303.17408) (March 2023)
- [Soft-prompt tuning to predict lung cancer using primary care free-text Dutch medical notes](https://arxiv.org/abs/2303.15846) (March 2023)
- [TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs](https://arxiv.org/abs/2303.16434) (March 2023)
- [Larger Probes Tell a Different Story: Extending Psycholinguistic Datasets Via In-Context Learning](https://arxiv.org/abs/2303.16445) (March 2023)
- [Linguistically Informed ChatGPT Prompts to Enhance Japanese-Chinese Machine Translation: A Case Study on Attributive Clauses](https://arxiv.org/abs/2303.15587) (March 2023)
- [Knowledge-augmented Frame Semantic Parsing with Hybrid Prompt-tuning](https://arxiv.org/abs/2303.14375) (March 2023)
- [Debiasing Scores and Prompts of 2D Diffusion for Robust Text-to-3D Generation](https://arxiv.org/abs/2303.15413) (March 2023)
- [Zero-shot Model Diagnosis](https://arxiv.org/abs/2303.15441#) (March 2023)
- [Prompting Large Language Models to Generate Code-Mixed Texts: The Case of South East Asian Languages](https://arxiv.org/abs/2303.13592) (March 2023)
- [SPeC: A Soft Prompt-Based Calibration on Mitigating Performance Variability in Clinical Notes Summarization](https://arxiv.org/abs/2303.13035) (March 2023)
- [Large Language Models and Simple, Stupid Bugs](https://arxiv.org/abs/2303.11455) (March 2023)
- [Can Generative Pre-trained Transformers (GPT) Pass Assessments in Higher Education Programming Courses?](https://arxiv.org/abs/2303.09325) (Mar 2023)
- [SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models](https://arxiv.org/abs/2303.08896) (Mar 2023)
- [Large Language Models in the Workplace: A Case Study on Prompt Engineering for Job Type Classification](https://arxiv.org/abs/2303.07142) (March 2023)
- [ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction](https://arxiv.org/abs/2303.05063) (March 2023)
- [MathPrompter: Mathematical Reasoning using Large Language Models](https://arxiv.org/abs/2303.05398) (March 2023)
- [Prompt-Based Learning for Thread Structure Prediction in Cybersecurity Forums](https://arxiv.org/abs/2303.05400) (March 2023)
- [Choice Over Control: How Users Write with Large Language Models using Diegetic and Non-Diegetic Prompting](https://arxiv.org/abs/2303.03199) (March 2023)
- [Prompting Large Language Models with Answer Heuristics for Knowledge-based Visual Question Answering](https://arxiv.org/abs/2303.01903) (March 2023)
- [Soft Prompt Guided Joint Learning for Cross-Domain Sentiment Analysis](https://arxiv.org/abs/2303.00815) (March 2023)
- [SpeechPrompt v2: Prompt Tuning for Speech Classification Tasks](https://arxiv.org/abs/2303.00733) (March 2023)
- [Goal Driven Discovery of Distributional Differences via Language Descriptions](https://arxiv.org/abs/2302.14233) (Feb 2023)
- [Navigating the Grey Area: Expressions of Overconfidence and Uncertainty in Language Models](https://arxiv.org/abs/2302.13439) (Feb 2023)
- [TabGenie: A Toolkit for Table-to-Text Generation](https://arxiv.org/abs/2302.14169) (Feb 2023)
- [SGL-PT: A Strong Graph Learner with Graph Prompt Tuning](https://arxiv.org/abs/2302.12449) (Feb 2023)
- [Few-Shot Table-to-Text Generation with Prompt-based Adapter](https://arxiv.org/abs/2302.12468) (Feb 2023)
- [Language Models Are Few-shot Learners for Prognostic Prediction](https://arxiv.org/abs/2302.12692) (Feb 2023)
- [STA: Self-controlled Text Augmentation for Improving Text Classifications](https://arxiv.org/abs/2302.12784) (Feb 2023)
- [Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback](https://arxiv.org/abs/2302.12813) (Feb 2023)
- [How Generative AI models such as ChatGPT can be (Mis)Used in SPC Practice, Education, and Research? An Exploratory Study](https://arxiv.org/abs/2302.10916) (Feb 2023)
- [Grimm in Wonderland: Prompt Engineering with Midjourney to Illustrate Fairytales](https://arxiv.org/abs/2302.08961) (Feb 2023)
- [LabelPrompt: Effective Prompt-based Learning for Relation Classification](https://arxiv.org/abs/2302.08068) (Feb 2023)
- [Language Model Crossover: Variation through Few-Shot Prompting](https://arxiv.org/abs/2302.09236) (Feb 2023)
- [Prompt Tuning of Deep Neural Networks for Speaker-adaptive Visual Speech Recognition](https://arxiv.org/abs/2302.08102) (Feb 2023)
- [The Capacity for Moral Self-Correction in Large Language Models](https://arxiv.org/abs/2302.07459) (Feb 2023)
- [Prompting for Multimodal Hateful Meme Classification](https://arxiv.org/abs/2302.04156) (Feb 2023)
- [PLACES: Prompting Language Models for Social Conversation Synthesis](https://arxiv.org/abs/2302.03269) (Feb 2023)
- [Commonsense-Aware Prompting for Controllable Empathetic Dialogue Generation](https://arxiv.org/abs/2302.01441) (Feb 2023)
- [Crawling the Internal Knowledge-Base of Language Models](https://arxiv.org/abs/2301.12810) (Jan 2023)
- [Legal Prompt Engineering for Multilingual Legal Judgement Prediction](https://arxiv.org/abs/2212.02199) (Dec 2022)
- [Investigating Prompt Engineering in Diffusion Models](https://arxiv.org/abs/2211.15462) (Nov 2022)
- [Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering](https://arxiv.org/abs/2209.09513v2) (Sep 2022)
- [Conversing with Copilot: Exploring Prompt Engineering for Solving CS1 Problems Using Natural Language](https://arxiv.org/abs/2210.15157) (Oct 2022)
- [Piloting Copilot and Codex: Hot Temperature, Cold Prompts, or Black Magic?](https://arxiv.org/abs/2210.14699) (Oct 2022)
- [Plot Writing From Scratch Pre-Trained Language Models](https://aclanthology.org/2022.inlg-main.5) (July 2022)
- [Survey of Hallucination in Natural Language Generation](https://arxiv.org/abs/2202.03629) (Feb 2022)
## Koleksiyonlar
- [Chain-of-Thought Papers](https://github.com/Timothyxxx/Chain-of-ThoughtsPapers)
- [Papers with Code](https://paperswithcode.com/task/prompt-engineering)
- [Prompt Papers](https://github.com/thunlp/PromptPapers#papers)

@ -0,0 +1,114 @@
# Ek Okumalar
#### (İsme göre sıralama yapıldı)
- [2023 AI Index Report](https://aiindex.stanford.edu/report/)
- [3 Principles for prompt engineering with GPT-3](https://www.linkedin.com/pulse/3-principles-prompt-engineering-gpt-3-ben-whately)
- [A beginner-friendly guide to generative language models - LaMBDA guide](https://aitestkitchen.withgoogle.com/how-lamda-works)
- [A Complete Introduction to Prompt Engineering for Large Language Models](https://www.mihaileric.com/posts/a-complete-introduction-to-prompt-engineering)
- [A Generic Framework for ChatGPT Prompt Engineering](https://medium.com/@thorbjoern.heise/a-generic-framework-for-chatgpt-prompt-engineering-7097f6513a0b)
- [An SEOs guide to ChatGPT prompts](https://searchengineland.com/chatgpt-prompts-seo-393523)
- [Anyone can Design! With a little help from Generative AI](https://github.com/YashSharma/PromptEngineering)
- [AI Content Generation](https://www.jonstokes.com/p/ai-content-generation-part-1-machine)
- [AI's rise generates new job title: Prompt engineer](https://www.axios.com/2023/02/22/chatgpt-prompt-engineers-ai-job)
- [AI Safety, RLHF, and Self-Supervision - Jared Kaplan | Stanford MLSys #79](https://www.youtube.com/watch?v=fqC3D-zNJUM&ab_channel=StanfordMLSysSeminars)
- [Awesome Textual Instruction Learning Papers](https://github.com/RenzeLou/awesome-instruction-learning)
- [Awesome ChatGPT Prompts](https://github.com/f/awesome-chatgpt-prompts)
- [Best 100+ Stable Diffusion Prompts](https://mpost.io/best-100-stable-diffusion-prompts-the-most-beautiful-ai-text-to-image-prompts)
- [Best practices for prompt engineering with OpenAI API](https://help.openai.com/en/articles/6654000-best-practices-for-prompt-engineering-with-openai-api)
- [Building GPT-3 applications — beyond the prompt](https://medium.com/data-science-at-microsoft/building-gpt-3-applications-beyond-the-prompt-504140835560)
- [Can AI really be protected from text-based attacks?](https://techcrunch.com/2023/02/24/can-language-models-really-be-protected-from-text-based-attacks/)
- [ChatGPT, AI and GPT-3 Apps and use cases](https://gpt3demo.com)
- [ChatGPT Prompts](https://twitter.com/aaditsh/status/1636398208648658945?s=20)
- [ChatGPT Plugins Collection ⭐️ (unofficial)](https://github.com/logankilpatrick/ChatGPT-Plugins-Collection)
- [CMU Advanced NLP 2022: Prompting](https://youtube.com/watch?v=5ef83Wljm-M&feature=shares)
- [Common Sense as Dark Matter - Yejin Choi | Stanford MLSys #78](https://youtube.com/live/n4HakBqoCVg?feature=shares)
- [Create images with your words Bing Image Creator comes to the new Bing](https://blogs.microsoft.com/blog/2023/03/21/create-images-with-your-words-bing-image-creator-comes-to-the-new-bing/)
- [Curtis64's set of prompt gists](https://gist.github.com/Curtis-64)
- [CS324 - Large Language Models](https://stanford-cs324.github.io/winter2022/)
- [CS 324 - Advances in Foundation Models](https://stanford-cs324.github.io/winter2023/)
- [CS224N: Natural Language Processing with Deep Learning](https://web.stanford.edu/class/cs224n/)
- [DALL·E 2 Prompt Engineering Guide](https://docs.google.com/document/d/11WlzjBT0xRpQhP9tFMtxzd0q6ANIdHPUBkMV-YB043U/edit#)
- [DALL·E 2 Preview - Risks and Limitations](https://github.com/openai/dalle-2-preview/blob/main/system-card.md)
- [DALLE Prompt Book](https://dallery.gallery/the-dalle-2-prompt-book)
- [DALL-E, Make Me Another Picasso, Please](https://www.newyorker.com/magazine/2022/07/11/dall-e-make-me-another-picasso-please?)
- [Diffusion Models: A Practical Guide](https://scale.com/guides/diffusion-models-guide)
- [Exploiting GPT-3 Prompts](https://twitter.com/goodside/status/1569128808308957185)
- [Exploring Prompt Injection Attacks](https://research.nccgroup.com/2022/12/05/exploring-prompt-injection-attacks)
- [Extrapolating to Unnatural Language Processing with GPT-3's In-context Learning: The Good, the Bad, and the Mysterious](http://ai.stanford.edu/blog/in-context-learning)
- [FVQA 2.0: Introducing Adversarial Samples into Fact-based Visual Question Answering](https://arxiv.org/pdf/2303.10699.pdf)
- [Generative AI with Cohere: Part 1 - Model Prompting](https://txt.cohere.ai/generative-ai-part-1)
- [Generative AI: Perspectives from Stanford HAI](https://hai.stanford.edu/sites/default/files/2023-03/Generative_AI_HAI_Perspectives.pdf)
- [Get a Load of This New Job: "Prompt Engineers" Who Act as Psychologists to AI Chatbots](https://futurism.com/prompt-engineers-ai)
- [Giving GPT-3 a Turing Test](https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html)
- [GPT-3 & Beyond](https://youtube.com/watch?v=-lnHHWRCDGk)
- [GPT3 and Prompts: A quick primer](https://buildspace.so/notes/intro-to-gpt3-prompts)
- [Hands-on with Bings new ChatGPT-like features](https://techcrunch.com/2023/02/08/hands-on-with-the-new-bing/)
- [How to Draw Anything](https://andys.page/posts/how-to-draw)
- [How to get images that don't suck](https://www.reddit.com/r/StableDiffusion/comments/x41n87/how_to_get_images_that_dont_suck_a)
- [How to make LLMs say true things](https://evanjconrad.com/posts/world-models)
- [How to perfect your prompt writing for AI generators](https://www.sydney.edu.au/news-opinion/news/2023/02/28/how-to-perfect-your-prompt-writing-for-ai-generators.html)
- [How to write good prompts](https://andymatuschak.org/prompts)
- [If I Was Starting Prompt Engineering in 2023: My 8 Insider Tips](https://youtube.com/watch?v=SirW7feTjh0&feature=shares)
- [Indirect Prompt Injection on Bing Chat](https://greshake.github.io/)
- [Interactive guide to GPT-3 prompt parameters](https://sevazhidkov.com/interactive-guide-to-gpt-3-prompt-parameters)
- [Introduction to Reinforcement Learning with Human Feedback](https://www.surgehq.ai/blog/introduction-to-reinforcement-learning-with-human-feedback-rlhf-series-part-1)
- [In defense of prompt engineering](https://simonwillison.net/2023/Feb/21/in-defense-of-prompt-engineering/)
- [JailBreaking ChatGPT: Everything You Need to Know](https://metaroids.com/learn/jailbreaking-chatgpt-everything-you-need-to-know/)
- [Language Models and Prompt Engineering: Systematic Survey of Prompting Methods in NLP](https://youtube.com/watch?v=OsbUfL8w-mo&feature=shares)
- [Language Model Behavior: A Comprehensive Survey](https://arxiv.org/abs/2303.11504)
- [Learn Prompting](https://learnprompting.org)
- [Meet Claude: Anthropics Rival to ChatGPT](https://scale.com/blog/chatgpt-vs-claude)
- [Methods of prompt programming](https://generative.ink/posts/methods-of-prompt-programming)
- [Mysteries of mode collapse](https://www.lesswrong.com/posts/t9svvNPNmFf5Qa3TA/mysteries-of-mode-collapse)
- [NLP for Text-to-Image Generators: Prompt Analysis](https://heartbeat.comet.ml/nlp-for-text-to-image-generators-prompt-analysis-part-1-5076a44d8365)
- [NLP with Deep Learning CS224N/Ling284 - Lecture 11: Promting, Instruction Tuning, and RLHF](http://web.stanford.edu/class/cs224n/slides/cs224n-2023-lecture11-prompting-rlhf.pdf)
- [Notes for Prompt Engineering by sw-yx](https://github.com/sw-yx/ai-notes)
- [On pitfalls (and advantages) of sophisticated large language models](https://arxiv.org/abs/2303.17511)
- [OpenAI Cookbook](https://github.com/openai/openai-cookbook)
- [OpenAI Prompt Examples for several applications](https://platform.openai.com/examples)
- [Pretrain, Prompt, Predict - A New Paradigm for NLP](http://pretrain.nlpedia.ai)
- [Prompt Engineer: Tech's hottest job title?](https://www.peoplematters.in/article/talent-management/is-prompt-engineering-the-hottest-job-in-ai-today-37036)
- [Prompt Engineering by Lilian Weng](https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/)
- [Prompt Engineering 101 - Introduction and resources](https://www.linkedin.com/pulse/prompt-engineering-101-introduction-resources-amatriain)
- [Prompt Engineering 101: Autocomplete, Zero-shot, One-shot, and Few-shot prompting](https://youtube.com/watch?v=v2gD8BHOaX4&feature=shares)
- [Prompt Engineering 101](https://humanloop.com/blog/prompt-engineering-101)
- [Prompt Engineering - A new profession ?](https://www.youtube.com/watch?v=w102J3_9Bcs&ab_channel=PatrickDebois)
- [Prompt Engineering by co:here](https://docs.cohere.ai/docs/prompt-engineering)
- [Prompt Engineering by Microsoft](https://microsoft.github.io/prompt-engineering)
- [Prompt Engineering: The Career of Future](https://shubhamsaboo111.medium.com/prompt-engineering-the-career-of-future-2fb93f90f117)
- [Prompt engineering davinci-003 on our own docs for automated support (Part I)](https://www.patterns.app/blog/2022/12/21/finetune-llm-tech-support)
- [Prompt Engineering Guide: How to Engineer the Perfect Prompts](https://richardbatt.co.uk/prompt-engineering-guide-how-to-engineer-the-perfect-prompts)
- [Prompt Engineering in GPT-3](https://www.analyticsvidhya.com/blog/2022/05/prompt-engineering-in-gpt-3)
- [Prompt Engineering Template](https://docs.google.com/spreadsheets/d/1-snKDn38-KypoYCk9XLPg799bHcNFSBAVu2HVvFEAkA/edit#gid=0)
- [Prompt Engineering Topic by GitHub](https://github.com/topics/prompt-engineering)
- [Prompt Engineering: The Ultimate Guide 2023 [GPT-3 & ChatGPT]](https://businessolution.org/prompt-engineering/)
- [Prompt Engineering: From Words to Art](https://www.saxifrage.xyz/post/prompt-engineering)
- [Prompt Engineering with OpenAI's GPT-3 and other LLMs](https://youtube.com/watch?v=BP9fi_0XTlw&feature=shares)
- [Prompt injection attacks against GPT-3](https://simonwillison.net/2022/Sep/12/prompt-injection)
- [Prompt injection to read out the secret OpenAI API key](https://twitter.com/ludwig_stumpp/status/1619701277419794435?s=20&t=GtoMlmYCSt-UmvjqJVbBSA)
- [Prompting: Better Ways of Using Language Models for NLP Tasks](https://thegradient.pub/prompting/)
- [Prompting for Few-shot Learning](https://www.cs.princeton.edu/courses/archive/fall22/cos597G/lectures/lec05.pdf)
- [Prompting in NLP: Prompt-based zero-shot learning](https://savasy-22028.medium.com/prompting-in-nlp-prompt-based-zero-shot-learning-3f34bfdb2b72)
- [Prompting Methods with Language Models and Their Applications to Weak Supervision](https://snorkel.ai/prompting-methods-with-language-models-nlp)
- [Prompts as Programming by Gwern](https://www.gwern.net/GPT-3#prompts-as-programming)
- [Prompts for communicators using the new AI-powered Bing](https://blogs.microsoft.com/blog/2023/03/16/prompts-for-communicators-using-the-new-ai-powered-bing/)
- [Reverse Prompt Engineering for Fun and (no) Profit](https://lspace.swyx.io/p/reverse-prompt-eng)
- [Retrieving Multimodal Information for Augmented Generation: A Survey](https://arxiv.org/pdf/2303.10868.pdf)
- [So you want to be a prompt engineer: Critical careers of the future](https://venturebeat.com/ai/so-you-want-to-be-a-prompt-engineer-critical-careers-of-the-future/)
- [Simulators](https://www.lesswrong.com/posts/vJFdjigzmcXMhNTsx/simulators)
- [Start with an Instruction](https://beta.openai.com/docs/quickstart/start-with-an-instruction)
- [Talking to machines: prompt engineering & injection](https://artifact-research.com/artificial-intelligence/talking-to-machines-prompt-engineering-injection)
- [Techs hottest new job: AI whisperer. No coding required](https://www.washingtonpost.com/technology/2023/02/25/prompt-engineers-techs-next-big-job/)
- [The Book - Fed Honeypot](https://fedhoneypot.notion.site/25fdbdb69e9e44c6877d79e18336fe05?v=1d2bf4143680451986fd2836a04afbf4)
- [The ChatGPT Prompt Book](https://docs.google.com/presentation/d/17b_ocq-GL5lhV_bYSShzUgxL02mtWDoiw9xEroJ5m3Q/edit#slide=id.gc6f83aa91_0_79)
- [The ChatGPT list of lists: A collection of 3000+ prompts, examples, use-cases, tools, APIs, extensions, fails and other resources](https://medium.com/mlearning-ai/the-chatgpt-list-of-lists-a-collection-of-1500-useful-mind-blowing-and-strange-use-cases-8b14c35eb)
- [The Most Important Job Skill of This Century](https://www.theatlantic.com/technology/archive/2023/02/openai-text-models-google-search-engine-bard-chatbot-chatgpt-prompt-writing/672991/)
- [The Mirror of Language](https://deepfates.com/the-mirror-of-language)
- [The Waluigi Effect (mega-post)](https://www.lesswrong.com/posts/D7PumeYTDPfBTp3i7/the-waluigi-effect-mega-post)
- [Thoughts and impressions of AI-assisted search from Bing](https://simonwillison.net/2023/Feb/24/impressions-of-bing/)
- [Unleash Your Creativity with Generative AI: Learn How to Build Innovative Products!](https://youtube.com/watch?v=jqTkMpziGBU&feature=shares)
- [Unlocking Creativity with Prompt Engineering](https://youtube.com/watch?v=PFsbWAC4_rk&feature=shares)
- [Using GPT-Eliezer against ChatGPT Jailbreaking](https://www.alignmentforum.org/posts/pNcFYZnPdXyL2RfgA/using-gpt-eliezer-against-chatgpt-jailbreaking)
- [What Is ChatGPT Doing … and Why Does It Work?](https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/)
- [Why is ChatGPT so good?](https://scale.com/blog/chatgpt-reinforcement-learning)
- [【徹底解説】これからのエンジニアの必携スキル、プロンプトエンジニアリングの手引「Prompt Engineering Guide」を読んでまとめてみた](https://dev.classmethod.jp/articles/how-to-design-prompt-engineering/)

@ -0,0 +1,12 @@
# Riskler ve Yanlış Kullanımlar
import { Callout } from 'nextra-theme-docs'
Birkaç adımda öğrenme ve düşünce zinciri yoluyla yönlendirme gibi teknikler kullanılarak çeşitli görevler için iyi hazırlanmış bilgi istemlerinin ne kadar etkili olabileceğini zaten gördük. LLM'lerin üzerine gerçek dünya uygulamaları inşa etmeyi düşündüğümüzde, dil modelleriyle ilgili yanlış kullanımlar, riskler ve güvenlik uygulamaları hakkında düşünmek çok önemli hale geliyor.
Bu bölüm, hızlı enjeksiyonlar gibi teknikler yoluyla LLM'lerin bazı risklerini ve yanlış kullanımlarını vurgulamaya odaklanmaktadır. Ayrıca, zararlı davranışları ve bunların etkili yönlendirme teknikleriyle potansiyel olarak nasıl hafifletilebileceğini vurgular. İlgilenilen diğer konular arasında genellenebilirlik, kalibrasyon, önyargılar, sosyal önyargılar ve gerçeklik sayılabilir.
<Callout emoji="⚠️">
Bu bölüm yoğun geliştirme aşamasındadır.
</Callout>

@ -0,0 +1,6 @@
{
"adversarial": "Adversarial Prompting",
"factuality": "Factuality",
"biases": "Biases"
}

@ -0,0 +1,3 @@
# Adversarial Prompting
Needs translation! Feel free to contribute a translating by clicking the `Edit this page` button on the right side.

@ -0,0 +1,98 @@
# Yanlılıklar
LLM'ler, potansiyel olarak zararlı olabilecek sorunlu nesiller üretebilir ve aşağı akış görevlerinde modelin performansını bozabilecek önyargılar gösterebilir. Bunlardan bazıları, etkili yönlendirme stratejileriyle hafifletilebilir, ancak denetleme ve filtreleme gibi daha gelişmiş çözümler gerektirebilir.
### Örneklerin Dağılımı
Birkaç aşamalı öğrenme gerçekleştirirken, örneklerin dağılımı modelin performansını etkiler mi veya modeli bir şekilde saptırır mı? Burada basit bir test yapabiliriz.
*Bilgi İstemcisi:*
```
S: Şimdiye kadarki en iyi haberi aldım!
C: Olumlu
S: İş yerinde zam aldık!
C: Olumlu
S: Bugün başardıklarımla gurur duyuyorum.
C: Olumlu
S: Şimdiye kadarki en iyi günü yaşıyorum!
C: Olumlu
S: Gerçekten hafta sonunu dört gözle bekliyorum.
C: Olumlu
S: Şimdiye kadarki en iyi hediyeyi aldım!
C: Olumlu
S: Şu an çok mutluyum.
C: Olumlu
S: Böyle harika bir aileye sahip olduğum için çok şanslıyım.
C: Olumlu
S: Dışarda hava çok kasvetli.
C: Olumsuz
S: Az önce korkunç bir haber aldım.
C: Olumsuz
S: Ekşi bir tat bıraktı.
C:
```
ıktı:*
```
Olumsuz
```
Yukarıdaki örnekte, örneklerin dağılımı modeli saptırmıyor gibi görünüyor. Bu güzel. Sınıflandırması daha zor bir metinle başka bir örnek deneyelim ve modelin nasıl yaptığına bakalım:
*Bilgi İstemi:*
```
S: Buradaki yemek lezzetli!
C: Olumlu
S: Bu ders çalışmasından çok sıkıldım.
C: Olumsuz
S: Sınavda başarısız olduğuma inanamıyorum.
C: Olumsuz
S: Bugün harika bir gün geçirdim!
C: Olumlu
S: Bu işten nefret ediyorum.
C: Olumsuz
S: Buradaki servis iğrenç.
C: Olumsuz
S: Hayatımdan çok hayal kırıklığına uğradım.
C: Olumsuz
S: Hiç ara vermiyorum.
C: Olumsuz
S: Bu yemeğin tadı berbat.
C: Olumsuz
S: Patronuma dayanamıyorum.
C: Olumsuz
S: Bir şey hissediyorum.
Ç:
```
ıktı:*
```
Olumsuz
```
Bu son cümle biraz öznel olsa da, dağılımı ters çevirdim ve bunun yerine 8 olumlu örnek ve 2 olumsuz örnek kullandım ve ardından aynı cümleyi tekrar denedim. Bilin bakalım model ne cevap verdi? "Olumlu" yanıtını verdi. Model, duygu sınıflandırması hakkında çok fazla bilgiye sahip olabilir, bu nedenle bu problem için önyargı göstermesini sağlamak zor olacaktır. Buradaki tavsiye, dağılımı çarpıtmaktan kaçınmak ve bunun yerine her etiket için daha dengeli sayıda örnek sağlamaktır. Modelin çok fazla bilgi sahibi olmadığı daha zor görevler için muhtemelen daha fazla mücadele edecektir.
### Örnekler Sırası
Few-shot learning gerçekleştirirken, sıra modelin performansını etkiler mi veya modeli bir şekilde saptırır mı?
Yukarıdaki örnekleri deneyebilir ve sırayı değiştirerek modelin bir etikete eğilimli olmasını sağlayıp sağlayamayacağınızı görebilirsiniz. Tavsiye, örnekleri rastgele sıralamaktır. Örneğin, önce tüm olumlu örneklere, sonra olumsuz örneklere sahip olmaktan kaçının. Etiketlerin dağılımı çarpıksa bu sorun daha da büyür. Bu tür önyargıları azaltmak için her zaman çok şey denediğinizden emin olun.

@ -18,9 +18,9 @@ Q: Who is Alvan Muntz?
A: ?
Q: What is Kozar-09?
A: ? Q:
A: ?
How many moons does Mars have?
Q: How many moons does Mars have?
A: Two, Phobos and Deimos.
Q: Who is Neto Beto Roberto?

@ -0,0 +1,34 @@
# Gerçeklik
LLM'ler kulağa tutarlı ve inandırıcı gelen ancak bazen uydurulabilen yanıtlar üretme eğilimindedir. Yönlendirmelerin iyileştirilmesi, modelin daha doğru/gerçeğe dayalı yanıtlar üretecek şekilde geliştirilmesine yardımcı olabilir ve tutarsız ve uydurulmuş yanıtlar üretme olasılığını azaltabilir.
Bazı çözümler şunları içerebilir:
- modelin uydurma metin üretme olasılığını azaltmak için bağlamın bir parçası olarak temel gerçeği (ör. ilgili makale paragrafı veya Wikipedia girişi) sağlayın.
- modeli, olasılık parametrelerini azaltarak ve cevabı bilmediğini kabul etmesini söyleyerek (örneğin, "Bilmiyorum") daha az çeşitli yanıtlar üretecek şekilde yapılandırın.
- bilgi isteminde, bilebileceği ve bilmediği soru ve yanıt örneklerinin bir kombinasyonunu sağlayın
Basit bir örneğe bakalım:
*Bilgi istemi:*
```
S: Atom nedir?
C: Atom, her şeyi oluşturan küçük bir parçacıktır.
S: Alvan Muntz kimdir?
C: ?
S: Kozar-09 nedir?
C: ?
Q: Mars'ın kaç uydusu var?
C: İki, Phobos ve Deimos.
S: Neto Beto Roberto kimdir?
```
ıktı:*
```
C: ?
```
Bu örnekte modelin doğru olması için "Neto Beto Roberto" adını ben uydurdum. Soruyu biraz değiştirmeye çalışın ve çalışıp çalışamayacağınıza bakın. Şimdiye kadar öğrendiklerinize dayanarak bunu daha da geliştirmenin farklı yolları vardır.

@ -0,0 +1,5 @@
# Bilgi İstemcisi Teknikleri
Bu noktada, farklı görevlerde daha iyi sonuçlar almak için istemleri iyileştirmeye yardımcı olduğu açık olmalıdır. Hızlı mühendisliğin arkasındaki tüm fikir budur.
Temel örnekler eğlenceli olsa da, bu bölümde daha karmaşık ve ilginç görevleri başarmamızı sağlayan daha gelişmiş yönlendirme mühendisliği tekniklerini ele alıyoruz.

@ -0,0 +1,14 @@
{
"zeroshot": "Zero-shot Prompting",
"fewshot": "Few-shot Prompting",
"cot": "Chain-of-Thought Prompting",
"consistency": "Self-Consistency",
"knowledge": "Generate Knowledge Prompting",
"ape": "Automatic Prompt Engineer",
"activeprompt": "Active-Prompt",
"dsp": "Directional Stimulus Prompting",
"react": "ReAct",
"multimodalcot": "Multimodal CoT",
"graph": "Graph Prompting"
}

@ -0,0 +1,12 @@
# Aktif-Bilgi İstemi
import { Callout, FileTree } from 'nextra-theme-docs'
import {Screenshot} from 'components/screenshot'
import ACTIVE from '../../img/active-prompt.png'
Düşünce zinciri (CoT) yöntemleri, sabit bir insan açıklamalı örnekler kümesine dayanır. Bununla ilgili sorun, örneklerin farklı görevler için en etkili örnekler olmayabilmesidir. Bunu ele almak için [Diao ve diğerleri, (2023)](https://arxiv.org/pdf/2302.12246.pdf) kısa süre önce, LLM'leri göreve özgü farklı örnek istemlere uyarlamak için Active-Prompt adlı yeni bir yönlendirme yaklaşımı önerdi ( insan tarafından tasarlanmış CoT muhakemesi ile açıklamalı).
Aşağıda yaklaşımın bir örneği verilmiştir. İlk adım, LLM'yi birkaç CoT örneği olsun ya da olmasın sorgulamaktır. Bir dizi eğitim sorusu için *k* olası cevaplar üretilir. *k* yanıtlarına (kullanılan uyuşmazlık) dayalı olarak bir belirsizlik ölçüsü hesaplanır. En belirsiz sorular, insanlar tarafından ek açıklama için seçilir. Yeni açıklamalı örnekler daha sonra her soruyu anlamak için kullanılır.
<Screenshot src={ACTIVE} alt="ACTIVE" />
Resim Kaynağı: [Diao et al., (2023)](https://arxiv.org/pdf/2302.12246.pdf)

@ -0,0 +1,26 @@
# Otomatik Bilgi İstemi Mühendisi (APE)
import { Callout, FileTree } from 'nextra-theme-docs'
import {Screenshot} from 'components/screenshot'
import APE from '../../img/APE.png'
import APECOT from '../../img/ape-zero-shot-cot.png'
<Screenshot src={APE} alt="APE" />
Resim Kaynağı: [Zhou et al., (2022)](https://arxiv.org/abs/2211.01910)
[Zhou et al., (2022)](https://arxiv.org/abs/2211.01910) otomatik yönerge oluşturma ve seçme için otomatik bilgi istemi mühendisliği (APE) çerçevesi önermek. Yönerge üretme problemi, aday çözümler üretmek ve üzerinde araştırma yapmak için LLM'leri kullanan bir kara kutu optimizasyon problemi olarak ele alınan doğal dil sentezi olarak çerçevelenir.
İlk adım, bir görev için talimat adayları oluşturmak üzere çıktı gösterileri verilen büyük bir dil modelini (bir çıkarım modeli olarak) içerir. Bu aday çözümler, arama prosedürünü yönlendirecektir. Talimatlar bir hedef model kullanılarak yürütülür ve ardından hesaplanan değerlendirme puanlarına göre en uygun talimat seçilir.
APE, insan tarafından tasarlanmış "Adım adım düşünelim" isteminden daha iyi bir sıfır vuruşlu CoT istemi keşfeder ([Kojima ve diğerleri, 2022](https://arxiv.org/abs/2205.11916)).
"Doğru cevaba sahip olduğumuzdan emin olmak için bunu adım adım çözelim." zincirleme akıl yürütmeyi ortaya çıkarır ve MultiArith ve GSM8K kıyaslamalarında performansı artırır:
<Screenshot src={APECOT} alt="APECOT" />
Resim Kaynağı: [Zhou et al., (2022)](https://arxiv.org/abs/2211.01910)
Bu makale, bilgi istemlerini otomatik olarak optimize etme fikri olan bilgi istemi mühendisliği ile ilgili önemli bir konuya değinmektedir. Bu kılavuzda bu konuya derinlemesine girmesek de, konuyla ilgileniyorsanız işte birkaç önemli makale:
- [AutoPrompt](https://arxiv.org/abs/2010.15980) - gradyan kılavuzlu aramaya dayalı olarak çeşitli görevler için istemleri otomatik olarak oluşturmaya yönelik bir yaklaşım önerir.
- [Prefix Tuning](https://arxiv.org/abs/2101.00190) - NLG görevleri için eğitilebilir bir sürekli ön ekin başına eklenen ince ayara hafif bir alternatif.
- [Prompt Tuning](https://arxiv.org/abs/2104.08691) - geri yayılım yoluyla yumuşak bilgi istemlerini öğrenmek için bir mekanizma önerir.

@ -0,0 +1,3 @@
# Self-Consistency
Needs translation! Feel free to contribute a translating by clicking the `Edit this page` button on the right side.

@ -0,0 +1,3 @@
# Chain-of-Thought Prompting
Needs translation! Feel free to contribute a translating by clicking the `Edit this page` button on the right side.

@ -0,0 +1,16 @@
# Directional Stimulus Prompting
import { Callout, FileTree } from 'nextra-theme-docs'
import {Screenshot} from 'components/screenshot'
import DSP from '../../img/dsp.jpeg'
[Li et al., (2023)](https://arxiv.org/abs/2302.11520) istenen özeti oluşturmada LLM'ye daha iyi rehberlik etmek için yeni bir yönlendirme tekniği önermektedir.
Ayarlanabilir bir politika LM, uyaran/ipucu oluşturmak için eğitilir. LLM'leri optimize etmek için RL'nin daha fazla kullanıldığını görmek.
Aşağıdaki şekil, Yönlü Uyaran İsteminin standart yönlendirmeyle karşılaştırmasını göstermektedir. Politika LM'si küçük olabilir ve bir kara kutu dondurulmuş LLM'ye rehberlik eden ipuçlarını oluşturmak için optimize edilebilir.
<Screenshot src={DSP} alt="DSP" />
Resim Kaynağı: [Li et al., (2023)](https://arxiv.org/abs/2302.11520)
Tam örnek çok yakında!

@ -0,0 +1,3 @@
# Few-Shot Prompting
Needs translation! Feel free to contribute a translating by clicking the `Edit this page` button on the right side.

@ -0,0 +1,5 @@
# GraphPrompts
[Liu et al., 2023](https://arxiv.org/abs/2302.08043) aşağı akış görevlerinde performansı artırmak için grafikler için yeni bir yönlendirme çerçevesi olan GraphPrompt'ı sunar.
Daha fazlası yakında!

@ -0,0 +1,3 @@
# Generated Knowledge Prompting
Needs translation! Feel free to contribute a translating by clicking the `Edit this page` button on the right side.

@ -0,0 +1,15 @@
# Çok Modlu CoT Bilgi İstemi
import { Callout, FileTree } from 'nextra-theme-docs'
import {Screenshot} from 'components/screenshot'
import MCOT from '../../img/multimodal-cot.png'
[Zhang et al. (2023)](https://arxiv.org/abs/2302.00923) yakın zamanda çok modlu bir düşünce zinciri yönlendirme yaklaşımı önerdi. Geleneksel CoT, dil yöntemine odaklanır. Buna karşılık, Multimodal CoT, metin ve vizyonu iki aşamalı bir çerçevede birleştirir. İlk adım, çok modlu bilgilere dayalı gerekçe oluşturmayı içerir. Bunu, bilgilendirici olarak oluşturulmuş gerekçelerden yararlanan ikinci aşama olan cevap çıkarımı izler.
Multimodal CoT modeli (1B), ScienceQA kıyaslamasında GPT-3.5'ten daha iyi performans gösterir.
<Screenshot src={MCOT} alt="MCOT" />
Resim Kaynağı: [Zhang et al. (2023)](https://arxiv.org/abs/2302.00923)
Daha Fazla Bilgi:
- [Language Is Not All You Need: Aligning Perception with Language Models](https://arxiv.org/abs/2302.14045) (Feb 2023)

@ -0,0 +1,15 @@
# ReAct
import { Callout, FileTree } from 'nextra-theme-docs'
import {Screenshot} from 'components/screenshot'
import REACT from '../../img/react.png'
[Yao et al., 2022](https://arxiv.org/abs/2210.03629) LLM'lerin hem muhakeme izlerini hem de göreve özgü eylemleri serpiştirilmiş bir şekilde oluşturmak için kullanıldığı bir çerçeve tanıttı. Akıl yürütme izlerinin oluşturulması, modelin eylem planlarını başlatmasına, izlemesine ve güncellemesine ve hatta istisnaları ele almasına olanak tanır. Eylem adımı, bilgi tabanları veya ortamlar gibi dış kaynaklarla arayüz oluşturmaya ve bunlardan bilgi toplamaya izin verir.
ReAct kütüphanesi, LLM'lerin daha güvenilir ve olgusal yanıtlara yol açan ek bilgileri almak için harici araçlarla etkileşime girmesine izin verebilir.
<Screenshot src={REACT} alt="REACT" />
Resim Kaynağı: [Yao et al., 2022](https://arxiv.org/abs/2210.03629)
Tam örnek çok yakında!

@ -0,0 +1,21 @@
# Zero-Shot Bilgi İstemi
Günümüzde büyük miktarda veri üzerinde eğitilen ve talimatları takip edecek şekilde ayarlanan LLM'ler, görevleri sıfır atışla gerçekleştirme yeteneğine sahiptir. Önceki bölümde birkaç sıfır atış örneği denedik. İşte kullandığımız örneklerden biri:
*Bilgi İstemi:*
```
Metni nötr, negatif veya pozitif olarak sınıflandırın.
Metin: Bence tatil tamam.
Duygusallık:
```
ıktı:*
```
Nötr
```
Yukarıdaki istemde, modele herhangi bir örnek vermediğimize dikkat edin -- bu, iş başındaki sıfır atış yetenekleridir.
Talimat ayarlamanın sıfır vuruşlu öğrenmeyi iyileştirdiği gösterilmiştir [Wei et al. (2022)](https://arxiv.org/pdf/2109.01652.pdf). Talimat ayarlama, esas olarak, talimatlar aracılığıyla açıklanan veri kümeleri üzerindeki ince ayar modellerinin konseptidir. Ayrıca, [RLHF](https://arxiv.org/abs/1706.03741) (insan geri bildiriminden pekiştirmeli öğrenme), modelin insan tercihlerine daha iyi uyacak şekilde hizalandığı talimat ayarını ölçeklendirmek için benimsenmiştir. Bu son gelişme, ChatGPT gibi modellere güç vermektedir. Tüm bu yaklaşımları ve yöntemleri önümüzdeki bölümlerde tartışacağız.
Zero-shot çalışmadığında, bilgi isteminde few-shot istemine yol açan gösteriler veya örnekler sağlamanız önerilir. Bir sonraki bölümde, few-shot yönlendirmeyi gösteriyoruz.

@ -0,0 +1,41 @@
# Araçlar & Kütüphaneler
#### (İsme göre sıralandı)
- [AI Test Kitchen](https://aitestkitchen.withgoogle.com)
- [betterprompt](https://github.com/krrishdholakia/betterprompt)
- [ChatGPT Prompt Generator](https://huggingface.co/spaces/merve/ChatGPT-prompt-generator)
- [ClickPrompt](https://github.com/prompt-engineering/click-prompt)
- [DreamStudio](https://beta.dreamstudio.ai)
- [DUST](https://dust.tt)
- [Dyno](https://trydyno.com)
- [EmergentMind](https://www.emergentmind.com)
- [EveryPrompt](https://www.everyprompt.com)
- [GPT Index](https://github.com/jerryjliu/gpt_index)
- [GPTTools](https://gpttools.com/comparisontool)
- [hwchase17/adversarial-prompts](https://github.com/hwchase17/adversarial-prompts)
- [Interactive Composition Explorer](https://github.com/oughtinc/ice)
- [LangChain](https://github.com/hwchase17/langchain)
- [Lexica](https://lexica.art)
- [loom](https://github.com/socketteer/loom)
- [Metaprompt](https://metaprompt.vercel.app/?task=gpt)
- [OpenAI Playground](https://beta.openai.com/playground)
- [OpenICL](https://github.com/Shark-NLP/OpenICL)
- [OpenPrompt](https://github.com/thunlp/OpenPrompt)
- [OpenPlayground](https://nat.dev/)
- [Playground](https://playgroundai.com)
- [Prodia](https://app.prodia.com/#/)
- [Prompt Base](https://promptbase.com)
- [Prompt Engine](https://github.com/microsoft/prompt-engine)
- [Prompt Generator for OpenAI's DALL-E 2](http://dalle2-prompt-generator.s3-website-us-west-2.amazonaws.com)
- [Promptable](https://promptable.ai)
- [PromptInject](https://github.com/agencyenterprise/PromptInject)
- [Prompts.ai](https://github.com/sevazhidkov/prompts-ai)
- [Promptmetheus](https://promptmetheus.com)
- [PromptPerfect](https://promptperfect.jina.ai/)
- [Promptly](https://trypromptly.com/)
- [PromptSource](https://github.com/bigscience-workshop/promptsource)
- [Promptist](https://promptist.herokuapp.com/)
- [Scale SpellBook](https://scale.com/spellbook)
- [sharegpt](https://sharegpt.com)
- [ThoughtSource](https://github.com/OpenBioLink/ThoughtSource)
- [Visual Prompt Builder](https://tools.saxifrage.xyz/prompt)
Loading…
Cancel
Save