跳至內容

Ollama 語言模型工具

2025 年 12 月 18 日 alice 0 則留言

Get up and running with large language models. (輕鬆啟動並執行大型語言模型) 

讓本地運行大型語言模型 (LLMs) 變得極其簡單。強調鍵安裝、下載並運行各種開源模型 ( Llama 3, Mistral, Gemma),無需複雜的環境設定 

描述

  • 豐富的模型庫:支援 Llama 3, Mistral, Gemma, Phi-3 等主流開源模型,且持續更新
  • Modelfile 自定義:允許使用者透過簡單的 Modelfile 定義並微調模型參數、提示詞 (Prompt) 與系統指令
  • REST API:內建 API 服務,方便開發者整合至 Python, JavaScript 或其他應用程式中
  • GGUF 支援:可直接匯入與運行 GGUF 格式的模型檔案
  • 輕量級 CLI:提供簡潔的終端機指令介面,管理與對話模型

主要功能、特點

Ollama 是一款革命性的開源工具,旨在簡化在本地端電腦上運行大型語言模型 (LLMs) 的過程。它解決了以往部署 AI 模型需要複雜配置的問題,讓開發者與一般用戶只需透過一行指令,即可在自己的筆電或桌機上運行如 Meta Llama 3Google Gemma 等頂尖模型。Ollama 支援 macOSWindows Linux,並提供 API 介面,是目前最受歡迎的本地 AI 開發與體驗平台之 


安裝指令

提供命令列介面 (CLI),常用範例: 

ollama run llama3 (下載並執行 Llama 3) 
ollama pull mistral (僅下載模型) 
ollama list (列出已安裝模型) 
ollama serve (啟動 API 伺服器) 
ollama rm <model> (刪除模型) 

系統需求

  • macOSmacOS 11 Big Sur 或更高版本 (Apple Silicon 最佳)
  • Linux:提供一鍵安裝腳本
  • WindowsWindows 10 或更高版本
  • 硬體:建議至少 8GB RAM (運行 7B 模型)、16GB (13B 模型)、32GB (33B 模型)。支援 NVIDIA/AMD GPU 加速

版本

V 0.5.x (截至 2024 12 月之最新版本為 v0.5.4,具體版本依官網即時更新為) 

開發者

Ollama (Jeffrey Morgan 及其開源社群團隊) 


官網

官網連結

發表留言

您的電子郵件地址不會被公開。必填欄位標記為 *