Ollama
Ollama 提供命令行和 API,用于在个人电脑或服务器上下载、运行并调用开放模型。
适用人群
希望在本机尝试模型、控制数据流向,或为开发工具提供本地模型服务的开发者。
使用场景
- 在本机运行模型并通过命令行对话。
- 用本地 API 接入脚本和开发工具。
- 在支持 GPU 的 Linux 环境中通过官方 Docker 镜像部署。
操作入口
访问 Ollama 官网
优点
安装和调用方式直接,本地运行时数据不必发送给第三方推理服务。
限制
可运行的模型规模和速度取决于本机内存、显存与系统支持;云模型与本地模型的数据路径不同,应分别核对。
相关教程
相关实践教程将在知识库中持续补充。