让“deep seek”给自己的专利申请做了个专利检索
发布时间:2025.02.19 浙江省查看:1052 评论:3
如上图所示,“deep seek”玩开源也玩儿专利,不耽误,不矛盾。比如上面这篇,其实还挺对味儿,就是讲训练数据集的构建。日期比较新,审查员还没给出具体的审查意见呢,目前是公开等待实审的状态,我们来做个实验,用大模型做个检索,或者说用大模型结合靠谱的手段做个检索,给当前的广大检索人们一个最最靠谱,也是最最新的思路提示。
咱们不绕圈子,多讲思路,为了给各位充分的信息与启发。先讲多轮实验尝试的逻辑和结果。
首先,第一轮测试单纯使用大模型本身,如果直接检索专利,无论是号码,一段文字,如目标权利要求1,还是上传相关专利的pdf文件,反馈的效果都不理想。具体有两个层面的问题:
1. 最核心、最致命的,就是“deep seek”反馈大的推荐专利号里面有假的,即看起来是个号码,但本质上是相当于某种“编造”,这是大模型的幻觉,R1版本官方测试公开的幻觉比例不低,这个不意外。客观的讲,从这两年来各种大模型的不同表现看,“deep seek”这次已经是很大程度的提高了,具体表现在反馈的多个文件号码中居然会出现真实的号码,而且具体阅读检验后,发现好像确实还比较相关;
2. 大模型的训练时间是有限制的,即如果超出时间范围的内容,显然模型数据中并不存在,比如目标待检索文献或者潜在的符合要求的文献等等,弥补的方式,其实可以通过上传pdf,至少这个方法对于提供一个非常明确的基准目标,到底需要检索什么,这是一个非常好的操作方式。但是呢,当前的“deep seek”是上传文件就不能点击互联网扫搜,也就是互联网搜索和上传pdf文件只能二选一。上传了pdf以后,基准确实会更明确了,但是它肯定也不会去尝试任何联网的可能性了,结果就是完全依赖大模型自己的记忆了,幻觉问题就又面临挑战了;
说到这里,我们给广大读者简单科普一下大模型和普通的专利数据库到底有什么区别了。
一、 存储逻辑不同:
大模型如果训练过专利,目前看主流的都训练过,它们也是有相关专利的数据的,但是它们的记忆方式类似人类大脑,属于激活一组神经响应才能唤醒,而传统数据库类似字典,有明确的存储位置,按照索引,比如关键词,分类号,自动去按图索骥,硬性检索获得。这样的逻辑区别导致问大模型相关问题,它更类似于一个记忆力超级好的人类和你对话,牛的是可能很准,但是幻觉即记忆错误也是随之而来的;
二、 数据更新不同:
大模型的数据更新本质上随版本,下一个训练来了,版本变了,里面的数据也就跟着变了,当然,不是大家想象中的那种数据,更类似数据知识,数据知识化为神经参数,大概可以这么理解。专利数据库,当然是按周更新。所以两者一比较,请用户们要明白,时间上有问题的,一定都要先打个问号。
估计有读者就要问了,这不就明摆着说大模型其实就不能做检索么,如果是这样,别聊了,快停止吧。问题没这么简单,且听我们细细道来。
大模型确实做检索的话,本质上更加类似通过纯记忆,一把硬猜,目前看,效果真的有提高,但是幻觉也在,要是运气不好,它反馈的文件里没有一篇能用也是十之八九。作为一个工程上可以用的水平来看,完全不合格。但是大模型并非在检索这个工作上没有意义。
大模型对于检索这项工作最核心的贡献其实是提供了阅读和筛选的能力,所以我们的思路当然就是要充分开发和利用这个能力。而且顺着这个逻辑思考,完全可以把检索分成一个两段式工作,即第一步是获得一个合理的待筛选的专利集合,这个集合可以是类似语义推荐前400,也可以是布尔检索划定的集合,也可以是混合策略得到的结果。在这个结果的基础上,我们二次让大模型进行阅读筛选。其实检索这个问题本质上就完成了,或者说从理论上就完成了。
设想一个比较完美的工作流,比如告知大模型,让它顺序在我们提供的文件列表中挨个阅读并比较与目标文件的相关性,按照相同或相应的技术领域且同时公开了最多的技术特征为基准,反馈前3名号码(可以自定义前N名号码),同时给出具体的技术特征对比分析列表。
大家听到这些,估计都要笑醒了是不是,感觉自己的工作就要无痛完成了对不对,然后再一想,又会惊恐了是不是,觉得自己的工作就要没了对不对?!
好消息和坏消息同时告诉大家,那就是想得美,当前这样的任务流不好弄,不是技术上不行,是工程上暂时不行。因为这样的1对1多轮对比,最靠谱的操作方式还是挨个提供pdf,而且最好大模型本身是多模态,即包括图片也能去理解一下,这样去做,而且多轮下来还要记得自己最早的任务是什么。但是现实的问题就是这样大规模对话任务显然超出了大模型单次任务的开口处理能力,按照当前市面上最强悍的大模型来看,这样的能力也就是在几百万token,简单换算就相当于几百万字,显然是够呛能完成这样的工作流的,而且大模型本身多轮对话机制让这样的操作也会变得极其痛苦,说白了,有这个功夫,那么作为人类,干脆自己阅读筛选一下得了。
所以呢,回到检索本身,第二轮实验其实是这么完成的:
首先上传两个文件,第一个是目标待检索的PDF文档,即上面看的截图对应的全文;第二个是通过rdi/cn118246542,即这篇目标文档在patetics语义检索中获得的前四百篇文档的文献,但是我们没有上传全部四百篇的PDF,因为这是不被系统允许的,所以我们上传了一个最小值,即这四百篇的号码txt文档,如下:
大家注意看,这个事实上涉及到了大致5200个token,我们简单约等于1字节1token。
在准备好了这两个文件后,开始提问,如下:
“Deep seek”进行了思考后回复如下:
上面相当于是人工智能自己凭能力推荐的,那么这个结果很幸运,或者说这次很幸运,具体看了一下,居然在我们的系统排名里面是这样的:
也就是刚好是我们rdi的前十名里面的文件。但是我们必须有一说一,这个完全是一种随机状态,多次测试,现实它不一定推荐的会是我们的前400,也不一定都是真实存在的文件。
那么还有第二部分:
这个真的是我们的txt文档里面的文件,而且可以告诉大家,非常确定的是,多次不同案件尝试后发现deep seek在这个问题上绝对没含糊,真的都是列表中的文件,以此案为例,三篇分别排列在第150、152与199位。而且咱们此时认真看一下上图红色部分,“deep seek”也是非常诚实的提到了一个咱们关心的问题,即txt文档里面其实没有其它内容了,只有号码,所以它给用户的排除其实是基于它对于训练文档的“记忆”。大家看,“deep seek”用的是“推测涉及”,很谦虚,明说,自己纯靠记忆,可能是错的。
为了进一步验证一些问题,比如它后面看的到底准不准,我们还追问了:
回答如下:
当看到电脑屏幕上闪烁着一行一行的生成结果,我们被惊艳到了,非常疯狂,非常惊人,作为人类,此时五体投地了!
如果这些确实就是相关文档的真实结果,那么很多的事情,或者说很多人的工作,或者说很多职业,很多逻辑就从此不存在了,一个全新的世界开始了!
但是,大概率呢,这里面还是有问题的,问题也很清楚,“deep seek"自己都明牌说到了,即:
这些是推测。当然呢,我们也读了一下相关文献,发现其实上面的标引基本上是对的。
那么要说一些结论了:
第一、 如果提供类似PDF文档,一对一,一对多的新颖性创造性评述和比对,这个项目已经完成了,而且我们没有去尝试,因为这和我们的业务无关,但是大概率已经猜测到了,那就是如果你问他公知常识一类的问题以及限制相关公知常识的时间节点等,应该是非常方便了,而且,说真的,AI正经比人类更公平,公正,而且说白了,AI扮演本领域技术人员也更有资格,至少比任何一个人类都更有,我们想象2025年2月说这话应该地球上已经没有人类敢挑战或质疑了;
第二、 作为检索本身,根本上还没有彻底解决,因为卡在了上传文档的大小上了。我们提出来用txt装号码,这个真的是没办法的办法,我们且把这个称之为“小杯”,那么中杯是什么呢?我们觉得可以上传给AI摘要、权利要求这样的txt文档,它肯定可以在其中进行扫搜识别和辨认,大杯呢,全文txt,超大杯,含图的PDF!
第三、 那么我们能做什么呢?就是patentics能做什么呢?!有很大很大的事情,首先就是考虑帮大家把上面的从小杯到超大杯搞定在系统里,让用户点一下就完成而不用自己去手动操作;其次,也是非常关键的一个问题,就是继续优化算法本身,要尽量把待命中集合给所需给聚焦!因为这个问题本来就很关键,不可能让人工智能去真的大海捞针,事实上,把一个集合给他,然后进行相关命令,这样的操作在我们这边叫做RAG,也就是检索增强,很多学者在去年就做过研究,这个任务对于大模型来说,提供给他的集合越相关,效果越好,如果里面有噪音,大模型表现会很离谱。所以我们必须继续优化算法,把第一次提供的检索后待筛选集合做到最小最优!
第四、 各位能干什么,可以做实验啊,继续提供的思路去狂野开拓啊,而且,告诉大家一个秘密,想没有想过一个问题,假设大模型可以提供上传文档并联网检索这个功能,那么能做什么?能干这个!
即上述导出excel中,只要提供第一列即可,即蓝色的公开号第一列!因为那些公开号自带超链接,点击就自动链接到Patentics的网站上,也就是给了大模型直接阅读相关信息的方法。而当前呢,各家各户其实都在布局自己版本的“deep seek”,所以,各位读者,你们要注意这个功能并尝试对应的可能性了。但是呢,和我们的工作不矛盾,就是excel能行了,也就是方便了不用去做上传,但是本质上大模型都不可能去无限战,就是大海里捞针去。所以,把待“阅读筛选”集合给做小做精做优。当然,可以预告一下,我们的整体语义+布尔模型正在迁移升级换代中,前期测试已经确认整体有5-8%的精度提升,当然这个是针对命中在不同目标范围上的范围区间。
总之,大家会发现,这个世界最后还是要靠真正玩技术的给颠覆掉,吹牛的呢,也就是讲讲故事,这些人都有一个特点,那就是讲不透也不告诉你要紧的事儿,当然可能是他们自己确实也不知道到底什么是要紧的事儿。
关注Patentics,每天都给你分享干货!
评论列表
快速回复
专利检索与分析
[1]思博村村民
主题:282 回帖:295 积分:20
刘皇叔1
未来世界人只须发明技术,AI 负责申请专利。再晚点 AI 也能发明创造了。
2025/02/21 14:58 [来自北京市]
收起回复 0 举报吃枣
2025/02/21 17:51 [来自广东省]
0 举报