zurawiki/tiktoken-rs
軟體分類 網路與資訊安全 (Network & Security) / 密碼管理 (Password Managers)
開發廠商 zurawiki
官方網站
Git 儲存庫#### 產品特色
* 支援OpenAI所有模型的分詞
* 提供多種分詞編碼格式
* 支援異步調用與異步開發
* 具備高效度的分詞引擎
* 提供單例模式避免重複初始化
#### 主要功能、特點
本庫提供多種OpenAI模型的分詞功能，支援包括GPT-5.4、GPT-5、GPT-4.1、GPT-4o、o1、o3、o4-mini、gpt-oss等模型。支援多種分詞編碼格式，如o200k_base、cl100k_base、p50k_base等。提供單例模式避免重複初始化，支援異步調用與異步開發。具備高效度的分詞引擎，可快速處理大規模文本資料。
#### 指令
“`bash
# 無常用指令（自動生成）
“`