pwoolcoc/ngrams
官方網站
Git 儲存庫#### 產品特色
* 支援多種token類型
* 可自定義token padding
* 提供迭代器適配器
* 支持多種n-gram長度
* 強大的資料處理能力
#### 主要功能、特點
本軟體可將序列的token轉換為n-gram，支援多種token類型，包括字符串、字元和字節。使用者可自定義token padding，並透過迭代器適配器輕鬆生成n-gram。軟體提供多種n-gram長度選擇，並具備強大的資料處理能力，可高效處理大規模資料。
#### 指令
“`bash
# 無常用指令（自動生成）
“`