最近研究了一下AnythingLLM这个AI应用引擎，感觉功能还是很强大的，RAG检索、模型管理、知识库维护等，内置了各种国内外的厂商模型，可以根据自己的业务需求来选择模型进行处理，而且模型可以借助Ollama来私有化部署。下面来介绍一下Ollama和AnythingLLM怎么私有化部署到自己的电脑或服务器吧。提示：如果想要私有化部署的，首先要保证自己的电脑或服务器的硬件资源跟得上，具体配置推荐可以参考一下表格。
安装Ollama
（1）下载Ollama
进入https:///，选择Download
目前支持三种系统，macos、Linux、Windows，根据自己的需求来下载，因为我是Mac系统，所以下载的就是Mac，如果你想部署到Linux服务器，就点击Linux，会有专门的Shell脚本，直接在服务器运行即可。
（2）安装Ollama
Mac系统下载完成后会得到一个名为Ollama-darwin.zip压缩包，直接解压缩打开，会得到一个名为Ollama.app的文件，直接拖动到应用程序用即可。
在启动台中找到刚才添加Ollama图标，打开应用，点击install即可完成安装，安装完成后在Mac电脑顶部控制栏出现Ollama羊驼的标志就说明Ollama已经安装完成了。
（3）下载模型
一切就绪，就可以下载模型了，使用命令（ollama run 模型名称） 就可以进行下载模型。在Ollama官网上点击Models即可看到Ollama支持的模型列表，我们这里选择deepseek-r1模型。
进入deepseek-r1模型的详情页，在左边下拉框选择模型版本，目前有1.5b、7b、8b、14b、32b、70b和671b（满血版）7个版本，根据自己的电脑配置选择合适版本。右侧的框中即为模型下载和安装的命令。我这里选择的是7b版本，模型大小在4.7GB左右。
打开Mac电脑的终端工具，黏贴刚才的运行命令，ollama会自动帮你下载对应的模型并运行。
我这里已经下载好了，所以出现的是Send a message开始对话的提示。博主测试Ollama目前下载模型不需要科学上网，下载速度也还算可以，基本能够把带宽跑慢。如果下载过程中出现下载速度变慢的情况，可以按ctr+c键取消，重新输入命令进行下载，不会丢失原有的下载进度。
当你的控制台出现success的提示时就说明模型已经下载安装完成了。此时已经可以开始和deepseek进行对话，问他一些简单的问题了。
AnythingLLM
但是通过命令行工具进行对话总归不好看，我们需要安装一个可视化的界面，通过界面来使用deepseek更贴近我们日常使用的场景其实这类开源工具有很多，比如Dify、CherryStudio，这些工具不提供AI能力，只是帮你整合了不同的模型，统一模型的输入输出，当然也可以做一些简单的参数调整来实现你个人的AI工具。这里我选择使用AnythingLLM，安装部署简单，界面简洁易懂。
（1）安装
我们直接浏览器进入官网：https:///。 点击Download for desktop即可。
（2）配置
安装完成后我们打开应用，初次打开需要一些初始化时间，耐心等待。打开后你就会得到这样一个界面。
我们点击这里的设置按钮进入设置页面，在设置页面左侧选择人工智能提供商-LLM首选项，在LLM提供商的下拉选项中选择我们本地安装Ollama，在Ollama Model的选项中选择我们已经下载好的deepseek-r1:7b模型，其他参数默认即可。配置完成别忘了保存配置。
至此，我们的模型配置就算完成了，我们回到主界面，点击新建工作区，创建一个新的工作区，选择自己的工作区，就可开始和deepseek进行愉快的对话了。
通过可视化界面可以清楚的看到模型的思考过程和回答结果。
