Archives
/
gpt4free
mirror of https://github.com/xtekky/gpt4free
2
0
Fork 0
Code Issues Packages Projects Releases Wiki Activity
You cannot select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
main
xtekky-patch-1
index
upp
best
user
0.0.1.0
0.0.1.9
0.0.2.0
0.0.2.2
0.0.2.4
0.0.2.5
0.0.2.6
0.0.2.7
0.0.2.8
0.0.2.9
0.0.3-1
0.0.3.0
0.0.3.4
0.1.3
0.1.3.5
0.1.4.2
0.1.4.3
0.1.4.5
0.1.4.6
0.1.4.7
0.1.4.9
0.1.5.1
0.1.5.3
0.1.5.4
0.1.5.5
0.1.5.6
0.1.5.8
0.1.6.1
0.1.6.3
0.1.6.4
0.1.6.4.postN
0.1.6.5
0.1.6.6
0.1.6.7
0.1.6.8
0.1.7.2
0.1.7.6
0.1.7.7
0.1.7.8
0.1.7.9
0.1.8.0
0.1.8.1
0.1.8.2
0.1.8.4
0.1.8.7
0.1.8.9
0.1.9.1
0.1.9.10
0.1.9.11
0.1.9.2
0.1.9.2-pre
0.1.9.3
0.1.9.6
0.1.9.6-docker
0.1.9.7
0.1.9.8
0.2.0.1
0.2.0.2
0.2.0.3
0.2.0.4
0.2.0.5
0.2.0.6
0.2.0.7
0.2.0.8
0.2.0.9
0.2.1.0
0.2.1.1
0.2.1.2
0.2.1.3
0.2.1.4
0.2.1.5
0.2.1.6
0.2.1.7
0.2.1.8
0.2.1.9
0.2.2.0
0.2.2.1
0.2.2.2
0.2.2.3
0.2.2.4
0.2.2.5
0.2.2.6
0.2.2.7
0.2.2.8
0.2.3.0
0.2.3.1
0.2.3.3
0.2.4.0
0.2.4.1
0.2.5.0
0.2.5.1
0.2.5.2
0.2.5.3
0.2.5.4
0.2.5.5
0.2.5.6
0.2.5.7
0.2.5.8
0.2.5.9
0.2.6.0
0.2.6.1
0.2.6.2
0.2.7.0
0.2.7.1
0.2.7.2
0.2.7.3
0.2.8.0
0.2.8.1
0.2.8.2
0.2.9.0
0.2.9.1
0.2.9.10
0.2.9.11
0.2.9.2
0.2.9.3
0.2.9.4
0.2.9.5
0.2.9.6
0.2.9.7
0.2.9.8
0.2.9.9
0.3.0.0
0.3.0.1
0.3.0.10
0.3.0.2
0.3.0.3
0.3.0.4
0.3.0.5
0.3.0.6
0.3.0.7
0.3.0.8
0.3.0.9
0.3.1.0
0.3.1.1
0.3.1.2
0.3.1.3
0.3.1.4
0.3.1.5
0.3.1.6
0.3.1.7
0.3.1.8
0.3.1.9
0.3.2.0
0.3.2.1
0.3.2.2
0.3.2.3
0.3.2.4
0.3.2.5
0.3.2.6
0.6.1.2
v2
Branches Tags
${ item.name }
Create tag ${ searchTerm }
Create branch ${ searchTerm }
from 'dfefd22aa1'
${ noResults }
gpt4free/g4f/api/_tokenizer.py

9 lines
272 B
Python
Raw Blame History

import tiktoken
from typing import Union
def tokenize(text: str, model: str = 'gpt-3.5-turbo') -> Union[int, str]:
encoding = tiktoken.encoding_for_model(model)
encoded = encoding.encode(text)
num_tokens = len(encoded)
return num_tokens, encoded
Reference in New Issue View Git Blame Copy Permalink