启动本地大模型环境
使用 `harbor up` 可启动预设的 Open WebUI 与 llama.cpp 组合,减少分别启动和连接服务的操作。
BAIZE AI RESOURCE
Harbor
Harbor 是用于搭建和管理本地大模型环境的命令行工具,并提供配套桌面应用。用户可以按需启动模型运行服务、聊天界面及搜索等辅助服务,减少逐个安装、连接和管理这些服务的操作。

Harbor 面向希望在自己设备上使用大模型、又不想逐个搭建配套服务的用户。它提供命令行工具和配套桌面应用,可以启动模型运行服务、聊天界面及搜索等辅助服务。例如,用户可通过 `harbor up` 启动预设的 Open WebUI 与 llama.cpp 组合,也可按需启动 Ollama、SearXNG 等服务。配套应用在首次运行时会检查 Harbor CLI 是否可用,并提供安装引导;准备完成后,可从应用首页或命令行启动服务。它适合搭建本地聊天环境,也适合需要组合不同模型后端与界面的用户。
软件界面、操作截图与实际案例预览。

使用 `harbor up` 可启动预设的 Open WebUI 与 llama.cpp 组合,减少分别启动和连接服务的操作。
可通过命令选择启动 Ollama、vLLM 等模型后端,以及 Open WebUI、SearXNG 等界面或辅助服务。
配套应用首次运行时检查 Harbor CLI 是否可用;若未安装,可在设置界面运行安装程序,完成后从首页启动服务。
可通过 `harbor pf` 调用 Promptfoo,运行提示词或模型评测,并查看记录的结果。
使用场景希望在电脑上使用大模型聊天的用户
安装 Harbor 后运行 `harbor up`,启动预设的 Open WebUI 与 llama.cpp 组合,获得可使用的本地模型界面。
使用场景已搭建本地模型环境,想增加网页搜索能力
按需运行 `harbor up searxng speaches`,启动 SearXNG 和 Speaches,与现有本地服务组合使用。