怎么知道Ai给出的答案是胡乱编造的还是事实？

发表于 2025-4-22 12:51:00

没办法。
我现在日常同时开着grok deepersearch、gemini 2.5 pro、豆包深度思考让三个同时给出答案然后择优录取。这样看似麻烦，但是还是比自己查资料快多了。

发表于 2025-4-22 13:02:13

真想知道一个描述是否可靠，
我会用AI搜索，而不是裸模。
我会点开AI搜索的引用链接，看看背后的网站是否靠谱，是不是来自可信赖的媒体。 (当然，对于事实的求索，是有有限的，我对事实的要求，可能也就查看引用来源，而不是自己去做实验验证。)
即使最好的超大模型，比如ChatGPT-4oL也会存在幻觉(虽然已经非常低)。我通常去聊一些认知学，历史概论，技术原理之类时，其实对精度的要求并没有特别高的要求，4oL对事实回溯的精度已经超出了我的予想，甚至我觉得它的低幻觉有点神奇，这毕竟只是个语言模型，而不是“事实机”，很难想象，现在还会有让我觉得神奇的模型。
我想语言模型最初的作用，是做语言转化，比如翻译，扩写，分类，它们的天然形态是不分真伪的。它们是应该算“语言逻辑机”，符合语言逻辑的不一定事实，说得头头是道，结果是错的，即使前提是正确的，逻辑也是正确的，依然不可能预测正确的事实，因为现实世界存在概率，选择的灵活性，外部要素进入系统的不可控性，概率累积起来，最后有可能错的离谱。
目前的努力只是降低了它们的“幻觉”，而不是从根本上改变了它们的底色。
我们无法只依赖单一信源来判断事实是否准确，孤证不立，向来如此。所以，如果你只有一个大模型一个渠道来获得信息，实际上你是很难判断是否正确。这帮GRD的模型，非常擅长语言逻辑。
“符合语言逻辑的世界就像平行宇宙一样，无限多，而符合事实的世界只有一个，就是我们的世界。”

发表于 2025-4-22 13:11:22

假定没有AI，我们验证一个信息真假的方法只需要两点，第一，不要轻信，第二，交叉验证。
对付AI的幻觉也一样，第一，不要觉得AI高科技就不会出错，第二，AI说的要有其他信息佐证，对于第二点，其实现有的AI搜索产品就可以做到了。
AI搜索的工作原理，就是根据传统搜索引擎获得信息，然后再用AI来总结这些信息来呈现，对于每个信息点会有来源链接，你看看来源链接是否靠谱，这就是交叉验证。
我现在除了文字优化、文生图这些工作直接用模型，但凡是带点求真的信息获取都用AI搜索，当然，不是说AI搜索返回的结果就一定是真的，只是它给出信息来源，方便我确认是不是真的。
比如我问一个比较深的ML的问题『LSTM中只有线性计算吗』，AI搜索给出的答案中有若干链接，我如果不确信AI的回答，我点看这些外部链接的博客文章，看看是不是原文是这个意思，这就是交叉验证。

注意，AI搜索只是给出外部链接方便交叉验证，对于外部链接是否可信的判断，还是要看你自己。
比如我搜『749局在哪些官方文献中提到过』，呵呵，AI搜索也真的能给出一些信息，但是我一看这些链接来源是来自于网易，那我就要考虑考虑这些可能只是江湖八卦了:-)

而且，AI搜索依然会产生幻觉，这一点也要注意。
比如，我最近辅导孩子学文言文，看到一段文字『曹操率军南征，至河边，此地去乡千里，见江水东去，回首去日苦难，感慨颇多。又见士卒皆思乡，士气不振。为去晦气，捉小鸟留军营。小鸟久住军营，人至不去。士卒见之，大喜，遂士气大增』，想查一下这段文言文的出处，用AI搜索得到的是这样——

AI搜索说出自《三国演义》第40回，但是你去看《三国演义》第40回的内容，做一下交叉验证，就会发现第40回的确出现『南征』字样有点关联，但是根本没有这段文字。
有意思的是，这段文字你用传统搜索来搜，搜出来的结果都是高考中考文言文复习资料，实在找不出这段古文的出处，难不成是现代人杜撰的？
对于这种搜索和AI都不知道答案的问题，AI如果非要强行答题，不愿意说一句『抱歉，我不知道』，就会产生幻觉。
说到底，AI产生的内容，不管是纯模型，还是AI搜索，都要留个心眼，交叉验证一下信息是否准确。

发表于 2025-4-22 13:22:22

本来想把这句话写在最后，但最终决定搬到最前面，这位先生的答案，引用的材料，全系机器伟大的想象力的产物，为此，吸引了无数群众前往热议。
即使是在整个知乎，像此人这样热爱幻想，梦想，遐想史料的用户，也是极其少见的。
此人的所有答案，都是AI生成的产物，所谓“注释”实际上是一层窗户纸，而这些注释在有基本水平的人看来，都是很好分辨的，然而，这并不妨碍这个答主可以继续以伟大的想象力吸引观众，由于此人的答案数量多达一千多个，文章一百多篇，因此逐个讨论是不可能的，笔者只能找一些典型“案例”追根溯源，让大家感受一下这位先生的风采。

<hr/>“崇祯十一年贾庄之战的败因探讨”发明“崇祯长编”，清军空间迁越及其他若干发明

崇祯十一年贾庄之战的败因探讨 - 知乎

Quick Fact:崇祯长编仅有两种版本传世，其一是台史语所藏《崇祯长编》抄本，存天启七年八月至崇祯五年十二月六十七卷，其二为商务印书馆印“痛史本”，存崇祯十六年十月至十七年三月二卷，而此人竟凭空发明出一个拥有崇祯十二年记事的“崇祯长编”，真可谓横空出世，石破天惊！

而且，这也说明AI实际上不太会编史料，也不懂地理，作者刚刚讲到该异次元的卢，高入卫京师，结果卢象升居然要在涿州“正面阻截，使虏不得西窥京师...”

新三国式清军刷新法

由于此人新三国式的发明实在太多，除非发明太过搞笑，否则我们不进行太多批判，以下继续揭批其发明史料的情况。
再发明《国榷》，所谓<高起潜:&#34;以关宁骑卒三千人，分屯要地，伺虏惰归击之&#34;>，我们简单使用古籍库进行检索，即可发现又是一个发明：

《卢忠肃公集》卷八·奏疏“大同总兵王朴所部宜暂回防晋，然虏若东窜，可星夜调还，旬日可达。”

《杨文弱先生集》“督臣轻信边将往复之言，致误军机。”

《崇祯密疏》现藏台北故宫，编号002894

《明季北略》“高起潜令焚近郊庐舍，虏至无所掠，遂大杀掠，尸塞道路。”

此人所有编造的文献甚至都没考虑过清初的避讳

<hr/>为什么有人喜欢给毛文龙翻案？发明所谓“东亚历史贸易数据”袁崇焕在宋朝的奇妙冒险

为什么有人喜欢给毛文龙翻案？ - 知乎
因为喜欢给毛文龙翻案的人和你一样啊！

非常纯粹的发明，没有一丁点儿的讨论价值甚至把宋朝河东转运司挪移到明朝

袁崇焕直接穿越回了宋朝

明朝没有所谓河东转运司

我甚至都词穷了

<hr/>AI露怯杂考：

明末的诸官免送到底是怎么一回事？

北朝鲜2017年东江考古

孔有德对毛文龙的态度

你从丹东来还我一场雪白。。。。

有什么文物史料被人打假证明是伪造的？（你这答案里所有的引用都是你自己编造的，这还不够吗？？？）

兄弟我没见识，我也想去皮岛看看

<hr/>结语：谣言创造者和AI的珠联璧合

知乎和其他互联网平台从来不乏历史发明家和招摇撞骗的人，然而像这样骇人听闻的案例，就笔者所见，尚属首例。人类社会进入AI时代后，获取信息成本再次降低，然而，AI并不能创造出准确的信息——在中文互联网这个垃圾场，甚至只能更加提纯——以下沉的方式。我希望各位对未具有出处的任何内容都应保持谨慎，而现在随着AI有能力编造可以糊弄小白的出处，进行FACT CHECK-事实查验，就是十分必要的了，同时，笔者倡议，在知乎进行全面反对AI答题的运动-特别是涉及到编造出处的情况，都应该以最严厉的态度对待，同时，我认为知乎方面有必要再次审查此人提交的“认证”是否为真，以还知乎历史区一点最最微小的诚实。
你用 DeepSeek-R1 做出了什么有趣的东西？ @头脑狗熊兄的答案可谓有真知灼见。

发表于 2025-4-22 13:32:17

方法一：问他自己

就是他回答你问题之后，你问他，是不是编造出来的。其实他自己是知道自己是不是在编的，也会诚实地告诉你，他是否在编。
方法二：添加置信度

你可以加这么一句，你输出的每个答案，在后面都请自己评估置信度。你基本可以认为，置信度低低的，编造可能比价高。
方法三：利用steps

你的 prompt 可以说，步骤一，给答案；步骤二，利用 Google 搜索与答案相关的内容；步骤三，根据搜索内容评估答案

怎么知道Ai给出的答案是胡乱编造的还是事实？

本周热门