|
今天跟大家汇报下DeepSeekMine软件最新进展,同时发布最新版V6.1软件安装包。对于第一次看到 DeepSeekMine 的朋友,简单介绍一下,这是我们一直在开发的个人知识库工具,它集成了外部知识检索与大模型生成能力。如下图所示,左侧是软件加载的个人本地知识文件列表,右侧用户输入提问,若提问命中了文件列表的某些文件的某些文本片段,则自动整合这些片段,这些技术一般简称称为RAG(检索增强),然后注入到大模型回答用户问题:再强的大模型如果没有机会学习个人本地文件知识,也无法更好回答此部分问题,但是本地知识库软件能有机会吸收个人文件知识,因此回答问题质量会更好。DeepSeekMine软件主要三个特点:纯离线,速度快,够精准。关闭网线,DeepSeekMine软件一样运行,如下图所示精准检索Excel文件的数据: 目前很多知识库类软件要求必须在线,比如比较优秀的知识库类软件腾讯的ima,纳米AI,必须要把文档上传到他们的服务器,才可以执行检索或生成任务,如下图所示,断网后纳米知识库无法回答问题: 云端服务器资源充沛,实现检索快、精度高,更容易一些。做纯离线的知识库软件,因为本地环境计算资源有限,还想速度快、精度高,挑战就会更大一些。在过去两个月多,我们在思考如何设计既快又准的本地RAG方案和算法,到目前V6.1优化后,无论上传文件,检索文件,回复提问,都做到秒级回复。为了证明这点,我分别上传三个GIF图来证明,因为公众号上传GIF帧数有限制,只能上传前面几帧。1)上传文件演示,如下GIF图无任何加速,全部保持原始速度:2)V6.1新增对文件夹的托管支持,如下GIF图演示了文件夹内10个文件的批量上传速度:3)回答速度如下GIF图所示,测试电脑是mac pro m1,GIF录制全部保持原始速度,此时我的电脑运行内存已经所剩很少,否则比下面速度还会快:V6到V6.1我们主要做了下面这些升级,这些需求大部分都来自关注我的读者,根据所提需求人数,切合度等优先级逐步升级。1)无法启动问题。V6部分用户出现无法启动,或第一次启动慢的问题,这是这次升级最高优先级的,重点优化了这个问题,根据内测反馈,V6.1将会基本彻底解决这些问题。群内两位用户反馈结果,如下图所示:2)新增支持文件夹托管上传。如上面GIF演示所示,同时对文件夹托管页面做了优化,显示文件上传状态(成功,失败,失败的话原因是什么更方便大家跟我们反馈问题): 3)文件图标优化。优化为大家最熟知,并且软件内部全部做了统一,如下图所示,方便大家辨别:4)RAG精度问题。提升精度作为DeepSeekMine软件一直优化的事项,这次升级重点优化了对Excel文件的检索精度,如下提问光明企业薪资表员工收入最高的是谁?工资是多少?如下所示左侧显示命中的文本片段,右侧为大模型的回答:
为了验证精确度,我们对表格的数据做排序检索,和上面大模型的回答比对:
得出结论,DeepSeekMine软件准确检索到了本地个人知识库文件,精准的回答了用户提问。 5)RAG多轮回复精度。相比于提升单轮回复精度,多轮回复精度提升更有挑战,用户连续提问下,如何利用检索增强避免出现语义偏移,也是一个比较难的问题,如下所示DeepSeekMine最新版本增强了多轮回复精度,即便提问不够准确,也能利用历史会话自动增强:6)Chat会话增加停止会话功能,支持随时停止回复,如下所示: 7)右侧命中文本片段面板,做了格式优化,优化后如下图所示: 8)笔记面板支持隐藏,如下图所示未隐藏视图,点击箭头所示的隐藏图标:
|