Text Generation WebUI

拒絕訂閱制與隱私外洩：在您的硬體上建立專屬的智慧大腦

• 極致的後端相容性: 支援幾乎所有主流的推論後端，包括 Transformers, llama.cpp (GGUF), ExLlamaV2, AutoGPTQ 與 AutoAWQ。不論您的硬體是旗艦顯卡還是入門筆電，都能找到最優解。
• 豐富的互動模式: 提供「筆記本（Notebook）」、單純的「對話（Chat）」以及「角色扮演（Cai-style）」模式，並支援多種自定義角色範本，讓 AI 具備特定的人格與知識背景。
• 強大的擴展生態: 內建插件系統，可擴展語音合成（TTS）、圖像生成（Stable Diffusion 連動）、網頁搜尋能力以及長短期記憶（Long-term memory），打造全能的數位助理。

主要功能、特點

• 介紹: Text Generation WebUI 是一個基於 Gradio 構建的 Web 介面。它將複雜的 Python AI 環境封裝成直覺的操作面板，讓使用者只需透過網頁就能完成模型下載、量化、微調（Fine-tuning）與部署。

• 特色服務:

  • 一鍵量化與優化: 支援在介面內直接進行模型的 4-bit/8-bit 量化，有效節省顯存消耗，讓普通家用顯卡也能跑動參數規模龐大的模型。
  • API 兼容性: 支援 Open AI 格式的 API 接口，這意味著您可以將本地運行的模型無縫接軌到任何支援 ChatGPT 的第三方軟體中。
  • LoRA 微調工具: 2026 年版本進一步簡化了微調流程，使用者只需提供特定文本，即可在幾分鐘內訓練出一個具備特定領域知識或說話風格的小模型。
  • 多模態支持: 全面整合視覺模型（VLM），您可以上傳圖片並詢問 AI 關於圖片的細節，實現看圖說故事或分析數據圖表。

快速部署範例 (使用一鍵安裝腳本)

Text Generation WebUI 提供自動化環境包，免去繁瑣的 Python 手動配置：

# 1. 克隆倉庫
git clone [https://github.com/oobabooga/text-generation-webui](https://github.com/oobabooga/text-generation-webui)
cd text-generation-webui

# 2. 執行適合您 OS 的安裝腳本
# Windows: start_windows.bat
# Linux: start_linux.sh
# macOS: start_macos.sh

# 3. 啟動後在瀏覽器訪問
[http://127.0.0.1:7860](http://127.0.0.1:7860)

產品說明

Text Generation WebUI 是開源 AI 運動的「大本營」。在 程式開發 與 AI 研究的範疇中，它解決了學術研究與大眾應用之間的鴻溝。它不只是一個軟體，更是一個讓最新的 AI 研究成果（如新的優化算法或模型架構）能被即時驗證的實驗室。對於開發者來說，它是測試模型表現的理想環境；對於普通用戶來說，它是邁向「數據主權」與「終生免費 AI」的關鍵工具。在 2026 年這個 AI 融入生活的時代，oobabooga 確保了每個人都有權力在不被監視的前提下，探索人工智慧的無限可能。