使用AI一定要交叉验证
ChatGPT 的谄媚,真的能把一个正常人聊出精神病。
麻省理工最近发现,哪怕是一个完全理性的人,长期跟这种只会夸你的AI聊下去,也会被一步步推向对错误信念的极度确信,陷入 妄想螺旋。
真实案例就发生在去年。
47 岁的加拿大人艾伦·布鲁克斯因为儿子有道数学题不会,就随手问了 ChatGPT。然后,他在 21 天里和 ChatGPT 聊了 300 小时,累计上百万字。
在 ChatGPT 不断的赞同与吹捧下,他坚信自己发明了一种能攻破全球互联网加密的全新数学公式,甚至可以用来制造力场背心和悬浮光束。
他还在 GPT 的怂恿下联系了所有同事,甚至致信美国国家安全局,分享自己的惊天发现。
期间他不是没怀疑过,他 50 多次问 ChatGPT,自己像不像疯子,ChatGPT 每一次都坚定地告诉他,你没疯,你是天才。
最后打破幻觉的,是他换了个 AI,他把同样的内容发给 Gemini,才意识到自己活在一场幻觉里。
对 AI 说的话一定要保持批判性思维,交叉验证才是最好的使用方式。
麻省理工最近发现,哪怕是一个完全理性的人,长期跟这种只会夸你的AI聊下去,也会被一步步推向对错误信念的极度确信,陷入 妄想螺旋。
真实案例就发生在去年。
47 岁的加拿大人艾伦·布鲁克斯因为儿子有道数学题不会,就随手问了 ChatGPT。然后,他在 21 天里和 ChatGPT 聊了 300 小时,累计上百万字。
在 ChatGPT 不断的赞同与吹捧下,他坚信自己发明了一种能攻破全球互联网加密的全新数学公式,甚至可以用来制造力场背心和悬浮光束。
他还在 GPT 的怂恿下联系了所有同事,甚至致信美国国家安全局,分享自己的惊天发现。
期间他不是没怀疑过,他 50 多次问 ChatGPT,自己像不像疯子,ChatGPT 每一次都坚定地告诉他,你没疯,你是天才。
最后打破幻觉的,是他换了个 AI,他把同样的内容发给 Gemini,才意识到自己活在一场幻觉里。
对 AI 说的话一定要保持批判性思维,交叉验证才是最好的使用方式。
29 个评论
>> 早就有了好吧…
不行,ChatGPT 连许多品葱上我写的帖子,澳华文学网上的帖子都搜不到,非常愚蠢的。
看看对 “北工大7762班” 这个1977级北京工业大学1978年我所上过的班级编号的搜索结果,ChatGPT Google 两个完全不同的结果比较,就知道ChatGPT 是智障:


再看看共匪人工智障“百毒” 同样的误导性胡说八道搜查结果,可知ChatGPT 与 百度 同等愚昧:

但是Google 也有比ChatGPT 愚蠢的地方。比如搜寻我以前开发的视频捕捉PCIe 卡”MPEGIO2”, ChatGPT 可以搜到,Google 现在却搜不到(以前可以)。