tiktoken-rs

ひと目でわかる

これは何？

Ready-made tokenizer library for working with GPT and tiktoken

商用利用できる？

できます。MIT は寛容なライセンスで、著作権表示とライセンス表示を残せば、使用・改変・販売が可能です。

今もメンテナンスされている？

されています。最後のコミットは 77 日前です。

何の言語で書かれている？

主に Rust です（GitHub の言語統計による）。

回答はプロジェクトの GitHub データ（最終同期：2026年9月15日）と当サイトの分析に基づくもので、法的助言ではありません。