Archives
/
gpt4free
mirror of https://github.com/xtekky/gpt4free
2
0
Fork 0
Code Issues Packages Projects Releases Wiki Activity
You cannot select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
main
xtekky-patch-1
index
upp
best
user
0.0.1.0
0.0.1.9
0.0.2.0
0.0.2.2
0.0.2.4
0.0.2.5
0.0.2.6
0.0.2.7
0.0.2.8
0.0.2.9
0.0.3-1
0.0.3.0
0.0.3.4
0.1.3
0.1.3.5
0.1.4.2
0.1.4.3
0.1.4.5
0.1.4.6
0.1.4.7
0.1.4.9
0.1.5.1
0.1.5.3
0.1.5.4
0.1.5.5
0.1.5.6
0.1.5.8
0.1.6.1
0.1.6.3
0.1.6.4
0.1.6.4.postN
0.1.6.5
0.1.6.6
0.1.6.7
0.1.6.8
0.1.7.2
0.1.7.6
0.1.7.7
0.1.7.8
0.1.7.9
0.1.8.0
0.1.8.1
0.1.8.2
0.1.8.4
0.1.8.7
0.1.8.9
0.1.9.1
0.1.9.10
0.1.9.11
0.1.9.2
0.1.9.2-pre
0.1.9.3
0.1.9.6
0.1.9.6-docker
0.1.9.7
0.1.9.8
0.2.0.1
0.2.0.2
0.2.0.3
0.2.0.4
0.2.0.5
0.2.0.6
0.2.0.7
0.2.0.8
0.2.0.9
0.2.1.0
0.2.1.1
0.2.1.2
0.2.1.3
0.2.1.4
0.2.1.5
0.2.1.6
0.2.1.7
0.2.1.8
0.2.1.9
0.2.2.0
0.2.2.1
0.2.2.2
0.2.2.3
0.2.2.4
0.2.2.5
0.2.2.6
0.2.2.7
0.2.2.8
0.2.3.0
0.2.3.1
0.2.3.3
0.2.4.0
0.2.4.1
0.2.5.0
0.2.5.1
0.2.5.2
0.2.5.3
0.2.5.4
0.2.5.5
0.2.5.6
0.2.5.7
0.2.5.8
0.2.5.9
0.2.6.0
0.2.6.1
0.2.6.2
0.2.7.0
0.2.7.1
0.2.7.2
0.2.7.3
0.2.8.0
0.2.8.1
0.2.8.2
0.2.9.0
0.2.9.1
0.2.9.10
0.2.9.11
0.2.9.2
0.2.9.3
0.2.9.4
0.2.9.5
0.2.9.6
0.2.9.7
0.2.9.8
0.2.9.9
0.3.0.0
0.3.0.1
0.3.0.10
0.3.0.2
0.3.0.3
0.3.0.4
0.3.0.5
0.3.0.6
0.3.0.7
0.3.0.8
0.3.0.9
0.3.1.0
0.3.1.1
0.3.1.2
0.3.1.3
0.3.1.4
0.3.1.5
0.3.1.6
0.3.1.7
0.3.1.8
0.3.1.9
0.3.2.0
0.6.1.2
v2
Branches Tags
${ item.name }
Create tag ${ searchTerm }
Create branch ${ searchTerm }
from 'main'
${ noResults }
gpt4free/g4f/api/_tokenizer.py

9 lines
286 B
Python
Raw Permalink Blame History

# import tiktoken
# from typing import Union
# def tokenize(text: str, model: str = 'gpt-3.5-turbo') -> Union[int, str]:
# encoding = tiktoken.encoding_for_model(model)
# encoded = encoding.encode(text)
# num_tokens = len(encoded)
# return num_tokens, encoded
Reference in New Issue View Git Blame Copy Permalink