Serge

徹底告別雲端監控：讓 AI 運算完全發生在您的防火牆之內

• 100% 本地化運行: 所有對話、模型檔案與處理紀錄皆存儲於您的本地磁碟，沒有任何數據會離開您的網路環境。
• 內建模型下載器: 透過直覺的 Web 介面即可瀏覽並一鍵下載各類量化後的開源模型（如 Llama 3, Mistral, Gemma），無需手動處理複雜的權重檔案。
• 基於 llama.cpp 的高效推理: 深度優化 CPU 推理效率。即使在沒有高階顯卡的普通伺服器或舊筆電上，也能獲得可接受的生成速度。
• 零配置 Docker 部署: 提供完整的 Docker Compose 鏡像，將資料庫、API 伺服器與前端介面完美打包，實現秒級安裝。

核心技術架構

• 介紹: Serge 本質上是 llama.cpp 的一個優雅包裝層，它將複雜的命令行參數轉化為現代化的聊天視窗介面。

• 關鍵組件:

  • llama.cpp 後端: 負責執行 GGUF 格式的量化模型，支援多線程 CPU 加速與部分 GPU 卸載。
  • Redis / MongoDB: 負責存儲對話上下文與使用者偏好設定。
  • OpenAI 兼容 API: 2026 年版本強化了 API 層，讓您可以直接將其他應用程式（如代碼編輯器）連接到 Serge 的本地引擎。

2026 關鍵技術進展

• 動態量化切換 (Dynamic Quantization): 2026 年新功能，系統能根據目前伺服器的 RAM 負載，自動調整模型的推理精確度以維持穩定性。
• RAG (檢索增強生成) 插件: 內建輕量化向量庫，支援上傳本地 PDF 或 Markdown 檔案，讓 Serge 能夠基於您的私有文件進行精準回答。
• Web 搜尋整合: 整合 SearXNG 等隱私搜尋引擎，讓本地模型在回答時具備即時資訊檢索能力，同時不暴露使用者身分。

本地 AI 方案橫向對比 (2026)

推理延遲估算 (LaTeX)

在僅使用 CPU 推理時，生成速度 $S$（Tokens/sec）受限於記憶體頻寬 $B$ 與模型參數量 $P$ 以及量化位數 $Q$：

$$S\approx \frac{B}{P\cdot (Q/8)}$$

Serge 預設採用 4-bit 量化 ($Q=4$)，這使得在 2026 年的主流處理器上，運行 7B 參數模型可輕鬆達到超過 $10$ 個 Token/s 的流暢體驗。

快速部署範例 (Docker Compose)

services:
  serge:
    image: ghcr.io/nsarrazin/serge:latest
    container_name: serge
    restart: always
    ports:
      - "8008:8008"
    volumes:
      - ./data:/data
      - ./weights:/usr/src/app/weights

產品說明

Serge 是 AI 民主化的「輕騎兵」。在 人工智慧開發 的技術體系中，它解決了「為了用 AI 卻要購買昂貴硬體」與「數據託管焦慮」的痛點。它不追求成為處理大型矩陣的怪獸，而是專注於提供一個流暢、穩定且私有的對話體驗。其核心價值在於「技術的降維打擊」——將頂尖的 LLM 技術壓縮進一個 Docker 容器中，讓任何擁有一台普通電腦的人都能體驗 AI 的力量。對於在 2026 年追求數據完全主權、且希望在資源受限環境中佈署 AI 的技術玩家來說，Serge 是最具親和力的技術橋樑。