BAIZE AI RESOURCE

本地大模型服务管理工具

Harbor

Harbor 是用于搭建和管理本地大模型环境的命令行工具,并提供配套桌面应用。用户可以按需启动模型运行服务、聊天界面及搜索等辅助服务,减少逐个安装、连接和管理这些服务的操作。

Harbor

资源介绍

Harbor 面向希望在自己设备上使用大模型、又不想逐个搭建配套服务的用户。它提供命令行工具和配套桌面应用,可以启动模型运行服务、聊天界面及搜索等辅助服务。例如,用户可通过 `harbor up` 启动预设的 Open WebUI 与 llama.cpp 组合,也可按需启动 Ollama、SearXNG 等服务。配套应用在首次运行时会检查 Harbor CLI 是否可用,并提供安装引导;准备完成后,可从应用首页或命令行启动服务。它适合搭建本地聊天环境,也适合需要组合不同模型后端与界面的用户。

核心能力

启动本地大模型环境

使用 `harbor up` 可启动预设的 Open WebUI 与 llama.cpp 组合,减少分别启动和连接服务的操作。

按需组合服务

可通过命令选择启动 Ollama、vLLM 等模型后端,以及 Open WebUI、SearXNG 等界面或辅助服务。

桌面应用引导

配套应用首次运行时检查 Harbor CLI 是否可用;若未安装,可在设置界面运行安装程序,完成后从首页启动服务。

模型应用评测

可通过 `harbor pf` 调用 Promptfoo,运行提示词或模型评测,并查看记录的结果。

使用方法

  1. 准备可运行 Harbor 服务的本地环境,安装适用于操作系统的 Harbor App;也可以使用 Harbor CLI。

  2. 首次打开 Harbor App,按引导检查并安装 Harbor CLI。Windows 版通过 WSL2 安装和运行 CLI。

  3. 设置完成后,从应用首页启动服务,或运行 `harbor up` 启动预设组合;需要其他服务时,在命令中指定服务名称。

使用案例

搭建本地聊天环境

使用场景希望在电脑上使用大模型聊天的用户

安装 Harbor 后运行 `harbor up`,启动预设的 Open WebUI 与 llama.cpp 组合,获得可使用的本地模型界面。

为聊天环境加入搜索服务

使用场景已搭建本地模型环境,想增加网页搜索能力

按需运行 `harbor up searxng speaches`,启动 SearXNG 和 Speaches,与现有本地服务组合使用。

包含内容

harbor-source.zip
README-中文安装说明.md
LICENSE-Apache-2.0.txt
SHA256.txt

常见问题

Harbor 的 Windows 版如何运行命令行服务?
Harbor App 的 Windows 安装流程通过 WSL2 安装 Harbor CLI,后续 Harbor 命令也通过 WSL 运行。
`Harbor up` 默认启动什么?
项目 README 给出的默认用法会启动已配置的 Open WebUI 与 llama.cpp 组合;其他服务可在命令后指定名称。
可以用 harbor 运行 Promptfoo 评测吗?
可以。Harbor 提供 `harbor pf` 命令;在评测目录中可运行 `harbor pf eval` 执行评测,并用 `harbor pf view` 查看结果。