云端服务器资源充沛,实现检索快、精度高,更容易一些。做纯离线的知识库软件,因为本地环境计算资源有限,还想速度快、精度高,挑战就会更大一些。在过去两个月多,我们在思考如何设计既快又准的本地RAG方案和算法,到目前V6.1优化后,无论上传文件,检索文件,回复提问,都做到秒级回复。为了证明这点,我分别上传三个GIF图来证明,因为公众号上传GIF帧数有限制,只能上传前面几帧。1)上传文件演示,如下GIF图无任何加速,全部保持原始速度:2)V6.1新增对文件夹的托管支持,如下GIF图演示了文件夹内10个文件的批量上传速度:3)回答速度如下GIF图所示,测试电脑是mac pro m1,GIF录制全部保持原始速度,此时我的电脑运行内存已经所剩很少,否则比下面速度还会快:2 软件升级V6到V6.1我们主要做了下面这些升级,这些需求大部分都来自关注我的读者,根据所提需求人数,切合度等优先级逐步升级。1)无法启动问题。V6部分用户出现无法启动,或第一次启动慢的问题,这是这次升级最高优先级的,重点优化了这个问题,根据内测反馈,V6.1将会基本彻底解决这些问题。群内两位用户反馈结果,如下图所示:2)新增支持文件夹托管上传。如上面GIF演示所示,同时对文件夹托管页面做了优化,显示文件上传状态(成功,失败,失败的话原因是什么更方便大家跟我们反馈问题):