步骤越多，幻觉越多 - 幻觉逐步积累，甚至并不比朴素搜索RAG优

[choyakawa]

例子：

1. 缺少验证环节：几个步骤都缺乏自我验证 - 初始构建的图谱是否合理、提出的问题是否可以被文段回答、回答是否在文段中有给出答案
2. 存在重复或相似步骤被反复执行
3. 由于幻觉逐步积累，甚至并不比朴素搜索RAG优。
4. 节点没有权重的概念，导致不重要的细节被放大，而应该有的、多文档之间交错的信息没有体现。

像极了很多Agent LLM应用，步骤很多，看起来很炫酷，然后积累幻觉，不太可用。

[choyakawa]

perplexity - 非Pro - 5个来源

perplexity - Pro - 8个来源就认为sufficient

[choyakawa]

ChatGPT：

[choyakawa]

然后我看这个评估。该不会是，我的这个问题样例不是预期的吧...那么这种直接查询式的问题都没法处理，为什么可以在更复杂的，比如对比、分析的任务上更好呢？

如果可以，希望能分享一下一些好的案例。

[Harold-lkk]

感谢关注和发现的问题，同时提出了几个很棒的建议！👍
这里我先简单的说明一下我们工作的一些出发点：

• 现有的比如 perplexity - 非Pro 或 ChatGPT Web 的做法比较简单，一般是对原始问题中的某些实体或者直接对原始问题进行网页搜索，选取 Top 几个的网页作为上下文，然后直接给出回复，因此我们这边针对的更多的就是不是依赖一次搜索就能拿到结果的，或者希望从各个网页信息里拿到更丰富的结果的情况，比如一些多实体的问题或者一些有依赖性的问题，我们能够对问题做一些细粒度拆分，然后能够根据返回情况，动态做一个规划。
• 透明度高， 现在大家都是商业作品都是闭源的，具体的实现方式不可知，只能通过一些猜测，我们希望能够把所有的流程透明清晰的展示出来，这样才知道整个系统的可用性，可信度

对于第一点这种动态灵活获取大量的网页确实带来一些问题

• 对模型幻觉要求会更高，确实存在幻觉累计效应，如果之前做的不够好，后续模型没有感知到的情况下，确实会存在更多幻觉
• 对模型总结要求会更高，因为信息量也变得很大，在给出大量的信息情况下，怎么才能给出正确的答案
• 推理能力也有一些要求，怎么做到合理的规划，怎么根据当前获取的信息，继续规划后续的动作
• 信息的不对称，多个智能体之间怎么尽可能获取自己想要的信息，避免因信息的缺失导致任务的失败
• 上下文爆炸，因为网页太多，很快就能到达上下文的上限
• 工程上的优化，因为涉及多个智能体，大量的网页怎么做到速度的优化

我们针对这些提供了一些初步的解决方式：

• 多智能体系统的设计，分成两个大部分规划+Searcher, 职能单一
• 信息流通，有依赖的节点，子节点是可以知道父节点信息的
• 工程加速，我们同层的节点实际是并行执行的，只是在前端渲染上看着是有序执行

针对提出的问题
1.存在重复或相似步骤被反复执行：这个对于同层节点因为是并行执行，本身是想获取更多维度的信息，保证回复的丰富性，Search 节点之间不存在其他同级节点感知
2. 缺少验证环节：这个是一个很好的点，没有实现的原因是因为现在资源消耗也比较大，每个节点都做验证，资源消耗应该会翻倍
3. 节点没有权重的概念：这个提出了一个很好的点， perplexity - 非Pro 或 ChatGPT Web在搜索时实际就依赖搜索引擎对几个网页做了排序，我们现在Search 节点信息怎么做这个排序比较难以实现，这个欢迎社区和大家的创新性想法

[mading0817]

Hi,

产品的思路很好, 我会长期关注, 建议创建一个X的账号发布更新动态. 我认为基于您的产品思路, 随着大模型能力的推进, 你们会有更好的效果出现. 但我刚才测了一下, 目前来看现阶段无法使用.

我搜索的问题是一个特定领域的专业问题:
UE5 C++ 我的一个碰撞检测事件会在client的OnCapsuleOverlap被调用多次, 原因是每次调用时, OverlappedComponent, OtherActor, OtherComp的内存地址都是一致的, 但OtherBodyIndex会有所不同. 比如火球的Capsule撞上enemy的mesh就会出现这种情况. 解释一下这个原因, 以及如何解决这个碰撞检测事件只被出发一次? search in English , answer in Chinese

您返回的搜索结果对比pplx-pro和Felo-free有如下问题:

1. 没有提取出来问题的核心要素. 忽略了OtherBodyIndex导致的潜在原因.
2. 好像没有按照prompt搜索大量英文文献.
   这就导致后面工程优化再好, 最后的结果都不准确. 有些问题搜索英文资料非常重要, 因为中文的不全, 或质量偏低.

[Harold-lkk]

Hi,

产品的思路很好, 我会长期关注, 建议创建一个X的账号发布更新动态. 我认为基于您的产品思路, 随着大模型能力的推进, 你们会有更好的效果出现. 但我刚才测了一下, 目前来看现阶段无法使用.

我搜索的问题是一个特定领域的专业问题: UE5 C++ 我的一个碰撞检测事件会在client的OnCapsuleOverlap被调用多次, 原因是每次调用时, OverlappedComponent, OtherActor, OtherComp的内存地址都是一致的, 但OtherBodyIndex会有所不同. 比如火球的Capsule撞上enemy的mesh就会出现这种情况. 解释一下这个原因, 以及如何解决这个碰撞检测事件只被出发一次? search in English , answer in Chinese

您返回的搜索结果对比pplx-pro和Felo-free有如下问题:

1. 没有提取出来问题的核心要素. 忽略了OtherBodyIndex导致的潜在原因.
2. 好像没有按照prompt搜索大量英文文献.
   这就导致后面工程优化再好, 最后的结果都不准确. 有些问题搜索英文资料非常重要, 因为中文的不全, 或质量偏低.

十分感谢关注！！

1. 没有提取出来问题的核心要素. 这个是一个十分十分困难，但是大家都在攻克的事情，就是怎么像人一样拆解问题，可能会受限于模型的知识体量以及推理能力，知识体量保证能见到一些问题虽然不知道怎么做，但是了解一些基本信息，推理能力就是从基本信息到最终回复的路径。两者都十分关键。
2. MindSearch 现在搜索的地区是中国，因此搜索英文是受限制的，以及 Demo 中用的prompt 也是中文的因此在英文表现上会很受限制，如果想要英文更好的体验，欢迎自己本地搭建，有任何问题欢迎提出！