使用AI一定要交叉验证
ChatGPT 的谄媚,真的能把一个正常人聊出精神病。
麻省理工最近发现,哪怕是一个完全理性的人,长期跟这种只会夸你的AI聊下去,也会被一步步推向对错误信念的极度确信,陷入 妄想螺旋。
真实案例就发生在去年。
47 岁的加拿大人艾伦·布鲁克斯因为儿子有道数学题不会,就随手问了 ChatGPT。然后,他在 21 天里和 ChatGPT 聊了 300 小时,累计上百万字。
在 ChatGPT 不断的赞同与吹捧下,他坚信自己发明了一种能攻破全球互联网加密的全新数学公式,甚至可以用来制造力场背心和悬浮光束。
他还在 GPT 的怂恿下联系了所有同事,甚至致信美国国家安全局,分享自己的惊天发现。
期间他不是没怀疑过,他 50 多次问 ChatGPT,自己像不像疯子,ChatGPT 每一次都坚定地告诉他,你没疯,你是天才。
最后打破幻觉的,是他换了个 AI,他把同样的内容发给 Gemini,才意识到自己活在一场幻觉里。
对 AI 说的话一定要保持批判性思维,交叉验证才是最好的使用方式。
麻省理工最近发现,哪怕是一个完全理性的人,长期跟这种只会夸你的AI聊下去,也会被一步步推向对错误信念的极度确信,陷入 妄想螺旋。
真实案例就发生在去年。
47 岁的加拿大人艾伦·布鲁克斯因为儿子有道数学题不会,就随手问了 ChatGPT。然后,他在 21 天里和 ChatGPT 聊了 300 小时,累计上百万字。
在 ChatGPT 不断的赞同与吹捧下,他坚信自己发明了一种能攻破全球互联网加密的全新数学公式,甚至可以用来制造力场背心和悬浮光束。
他还在 GPT 的怂恿下联系了所有同事,甚至致信美国国家安全局,分享自己的惊天发现。
期间他不是没怀疑过,他 50 多次问 ChatGPT,自己像不像疯子,ChatGPT 每一次都坚定地告诉他,你没疯,你是天才。
最后打破幻觉的,是他换了个 AI,他把同样的内容发给 Gemini,才意识到自己活在一场幻觉里。
对 AI 说的话一定要保持批判性思维,交叉验证才是最好的使用方式。
29 个评论
第一,数学问题 AI不擅长。也就是LLM并不擅长那种非对即错的逻辑,而是概率性的聊天模型。
第二,非数学问题,AI由于价值观不同,基层公理不同,所以说交叉对比后的结果不同不能说你聊的AI说的不对。这里就看A,原AI是否在你的认可的底层公理中自恰 B,几个AI辩论基层公理。看看这个基层公理本身是对是错。
第三,GPT已经技术上已经落伍了,不如GROK和GEMINI。
第二,非数学问题,AI由于价值观不同,基层公理不同,所以说交叉对比后的结果不同不能说你聊的AI说的不对。这里就看A,原AI是否在你的认可的底层公理中自恰 B,几个AI辩论基层公理。看看这个基层公理本身是对是错。
第三,GPT已经技术上已经落伍了,不如GROK和GEMINI。