Skip to content

Ollama

Ollama 提供命令行和 API,用于在个人电脑或服务器上下载、运行并调用开放模型。

适用人群

希望在本机尝试模型、控制数据流向,或为开发工具提供本地模型服务的开发者。

使用场景

  • 在本机运行模型并通过命令行对话。
  • 用本地 API 接入脚本和开发工具。
  • 在支持 GPU 的 Linux 环境中通过官方 Docker 镜像部署。

操作入口

访问 Ollama 官网

优点

安装和调用方式直接,本地运行时数据不必发送给第三方推理服务。

限制

可运行的模型规模和速度取决于本机内存、显存与系统支持;云模型与本地模型的数据路径不同,应分别核对。

相关教程

相关实践教程将在知识库中持续补充。

基于 OpenAI 兼容协议 · 多模态算力网关