EricLBuehler/mistral.rs
官方網站
Git 儲存庫#### 產品特色
* 支援任何Hugging Face模型，零配置即用
* 真正多模態支援：文本、視覺、視頻、音頻、語音生成與嵌入
* 全量量化控制，可自定義UQFF量化格式
* 內建Web UI，即時觀看互動界面
* 硬體感知，自動優化量化與設備映射
#### 主要功能、特點
提供快速、靈活的LLM推理服務，支援多模態模型，支持Hugging Face模型、GGUF文件及UQFF量化格式，具備自動量化選擇、硬件調優、多模型載入卸載、工具呼叫與Web UI互動等功能，可直接透過CLI或SDK進行模型運行與配置管理。
#### 指令
“`bash
# 無常用指令（自動生成）
“`