简介

能够运行大型语言模型的程序


安装

同Upage可以部署在自己电脑或者服务器
在自己电脑中部署的好处是可以使用GPU来一起运算
依旧推荐使用docker

个人电脑

Windows:
官网下载

服务器

Linux

curl -fsSL https://ollama.com/install.sh | sh

Docker

直接拖取官方的Docker镜像 ollama/ollama

下载运行模型库

以deepseek示例

ollama run deepseek-r1

模型库地址 ollama.com/library


常用的模型列表

模型参数大小在ollama下载运行模型库的命令
Gemma 31B815MBollama run gemma3:1b
Gemma 34B3.3GBollama run gemma3
Gemma 312B8.1GBollama run gemma3:12b
Gemma 327B17GBollama run gemma3:27b
QwQ32B20GBollama run qwq
DeepSeek-R17B4.7GBollama run deepseek-r1
DeepSeek-R1671B404GBollama run deepseek-r1:671b
Llama 4109B67GBollama run llama4:scout
Llama 4400B245GBollama run llama4:maverick
Llama 3.370B43GBollama run llama3.3
Llama 3.23B2.0GBollama run llama3.2
Llama 3.21B1.3GBollama run llama3.2:1b
Llama 3.2 Vision11B7.9GBollama run llama3.2-vision
Llama 3.2 Vision90B55GBollama run llama3.2-vision:90b
Llama 3.18B4.7GBollama run llama3.1
Llama 3.1405B231GBollama run llama3.1:405b
Phi 414B9.1GBollama run phi4
Phi 4 Mini3.8B2.5GBollama run phi4-mini
Mistral7B4.1GBollama run mistral
Moondream 21.4B829MBollama run moondream
Neural Chat7B4.1GBollama run neural-chat
Starling7B4.1GBollama run starling-lm
Code Llama7B3.8GBollama run codellama
Llama 2 Uncensored7B3.8GBollama run llama2-uncensored
LLaVA7B4.5GBollama run llava
Granite-3.38B4.9GBollama run granite3.3

8GB的内存可运行7B参数的模型, 16GB的内存运行13B参数的模型, 16GB的内存运行33B参数的模型. 以此类推

停止运行模型命令

ollama stop deepseek-r1

当然也可以是其他正在运行的模型