Ollama 本地大模型部署教程

date

slug

summary

Ollama 本地大模型

Ollama是一个开源框架，用于在本地运行大型语言模型（LLM）。它为开发人员和研究人员提供了一个集成的平台，可以方便地搭建、训练和分享他们的语言模型。

更多细节可以参考Github上的文档：

ollama

ollama • Updated Jan 3, 2025

如何使用Ollama

Ollama的使用非常简单，只需几个步骤即可：

安装Ollama，访问Ollama官方网站：https://ollama.com/。

下载要使用的语言模型。（在终端上运行下表Download列的命令）

使用Ollama API加载语言模型。

调用语言模型API进行预测。

Ollama支持模型

以下这些模型都可以下载，复制“下载命令”到终端里运行即可

官方模型列表：https://ollama.com/library

模型	参数	大小	下载命令	更新日期
Qwen2	7B	4.4GB	`ollama run qwen2:7b`	2024/06/07
codestral	22B	12 GB	`ollama run codestral`	2024/06/05
Mistral:v0.3	7B	4.1GB	`ollama run mistral:v0.3`	2024/06/05
Yi:9b	9B	5.0GB	`ollama run yi:9b`	2024/06/05
Llama 3.1	8B	4.7GB	`ollama run llama3.1`	2024/07/25
Llama 3.1	70B	40GB	`ollama run llama3.1:70b`	2024/07/25
Llama 3.1	405B	231GB	`ollama run llama3.1:405b`	2024/07/25
Phi 3 Mini	3.8B	2.3GB	`ollama run phi3`	2024/06/28
Phi 3 Medium	14B	7.9GB	`ollama run phi3:medium`	2024/06/28
Gemma 2	9B	5.5GB	`ollama run gemma2`	2024/06/28
Gemma 2	27B	16GB	`ollama run gemma2:27b`	2024/06/28
Mistral	7B	4.1GB	`ollama run mistral`	2024/04/25
Moondream 2	1.4B	829MB	`ollama run moondream`	2024/06/28
Neural Chat	7B	4.1GB	`ollama run neural-chat`	2024/04/25
Starling	7B	4.1GB	`ollama run starling-lm`	2024/04/25
Code Llama	7B	3.8GB	`ollama run codellama`	2024/04/25
Llama 2 Uncensored	7B	3.8GB	`ollama run llama2-uncensored`	2024/04/25
LLaVA	7B	4.5GB	`ollama run llava`	2024/04/25
Solar	10.7B	6.1GB	`ollama run solar`	2024/04/25

如果要删除,复制下面的命令，将"llama2"替换为需要删除的模型即可

个人推荐模型

2024/06/07更新

Qwen2（7B）

当前本地最好的模型，在实际使用体验中，翻译、日常对话等使用场景，比Llama 3的体验要好

Qwen2 是阿里云自主研发的超大规模预训练语言模型，能够处理多种自然语言任务，包括但不限于文本生成、翻译、问答等。它的能力体现在理解复杂的语境以及生成高质量、多样化的响应，适用于诸如对话系统、文本创作、智能客服等多种场景。

Mistral:v0.3（日常对话）

更新了v0.3版本

Mistral-7B-v0.3 是由 Mistral AI 团队开发的大型语言模型（LLM），是 Mistral-7B-v0.2 的升级版。该模型在多个方面进行了改进和增强。通过扩展词汇表、改进分词器支持以及引入函数调用等一系列战略改进，展示了令人鼓舞的结果。

寻找更多模型

2024/04/28 更新

💡

Artificial Analysis

Comparison and analysis of AI models and API hosting providers. Independent benchmarks across key performance metrics including quality, price, output speed & latency.

https://artificialanalysis.ai/

💡

林哥的大模型野榜

一个更适合中国宝宝体质的大模型产品的排行榜

林哥的大模型野榜

https://lyihub.com/

💡

Open LLM Leaderboard

Hugging Face是开源模型流行的社区，这是由他们官方维护的排行榜数据。

Open LLM Leaderboard - a Hugging Face Space by HuggingFaceH4

Track, rank and evaluate open LLMs and chatbots

https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard

💡

SuperCLUE总排行榜

SuperCLUE 是一个中文通用大模型综合性评测基准，从三个不同的维度评价模型的能力：基础能力、专业能力和中文特性能力。

SuperCLUE

https://www.superclueai.com/

💡

MMLU 大规模多任务语言理解基准

MMLU 全称 Massive Multitask Language Understanding，是一种针对大模型的语言理解能力的测评，是目前最著名的大模型语义理解测评之一，由UC Berkeley大学的研究人员在2020年9月推出。该测试涵盖57项任务，包括初等数学、美国历史、计算机科学、法律等。任务涵盖的知识很广泛，语言是英文，用以评测大模型基本的知识覆盖范围和理解能力。

Papers with Code - MMLU Benchmark (Multi-task Language Understanding)

The current state-of-the-art on MMLU is Gemini Ultra ~1760B. See a full comparison of 107 papers with code.