使用AI一定要交叉验证
ChatGPT 的谄媚,真的能把一个正常人聊出精神病。
麻省理工最近发现,哪怕是一个完全理性的人,长期跟这种只会夸你的AI聊下去,也会被一步步推向对错误信念的极度确信,陷入 妄想螺旋。
真实案例就发生在去年。
47 岁的加拿大人艾伦·布鲁克斯因为儿子有道数学题不会,就随手问了 ChatGPT。然后,他在 21 天里和 ChatGPT 聊了 300 小时,累计上百万字。
在 ChatGPT 不断的赞同与吹捧下,他坚信自己发明了一种能攻破全球互联网加密的全新数学公式,甚至可以用来制造力场背心和悬浮光束。
他还在 GPT 的怂恿下联系了所有同事,甚至致信美国国家安全局,分享自己的惊天发现。
期间他不是没怀疑过,他 50 多次问 ChatGPT,自己像不像疯子,ChatGPT 每一次都坚定地告诉他,你没疯,你是天才。
最后打破幻觉的,是他换了个 AI,他把同样的内容发给 Gemini,才意识到自己活在一场幻觉里。
对 AI 说的话一定要保持批判性思维,交叉验证才是最好的使用方式。
麻省理工最近发现,哪怕是一个完全理性的人,长期跟这种只会夸你的AI聊下去,也会被一步步推向对错误信念的极度确信,陷入 妄想螺旋。
真实案例就发生在去年。
47 岁的加拿大人艾伦·布鲁克斯因为儿子有道数学题不会,就随手问了 ChatGPT。然后,他在 21 天里和 ChatGPT 聊了 300 小时,累计上百万字。
在 ChatGPT 不断的赞同与吹捧下,他坚信自己发明了一种能攻破全球互联网加密的全新数学公式,甚至可以用来制造力场背心和悬浮光束。
他还在 GPT 的怂恿下联系了所有同事,甚至致信美国国家安全局,分享自己的惊天发现。
期间他不是没怀疑过,他 50 多次问 ChatGPT,自己像不像疯子,ChatGPT 每一次都坚定地告诉他,你没疯,你是天才。
最后打破幻觉的,是他换了个 AI,他把同样的内容发给 Gemini,才意识到自己活在一场幻觉里。
对 AI 说的话一定要保持批判性思维,交叉验证才是最好的使用方式。
29 个评论
我老人家觉得没啥问题
AI就如同任何一款互联网B2C的产品一样 最重要的是维持客户粘性
从这个角度来说 各类社交平台的推送算法 谷歌以及tiktok的视频推送算法 核心都是为了维持客户粘性 无可厚非
而AI的算法设计者也早就意识到了赞同用户的收益是最高的
毕竟赞同客户后客户不会要求你反复论证他为什么是错的 从而节省算力
而赞同作为奖励机制 客户也更会倾向于向一个认同自己的AI活动 而不是反驳自己的AI活动
这里说的是大多数人 大多数人就是傻逼
有问题的就是用户自己 你首先就不应该向AI寻求价值 以及伦理性的问题
也不应该在电影看多以后 把电影当作 小说当中描述的那种人工智能带入到当今科技公司推出的这些AI机器人身上
AI就如同任何一款互联网B2C的产品一样 最重要的是维持客户粘性
从这个角度来说 各类社交平台的推送算法 谷歌以及tiktok的视频推送算法 核心都是为了维持客户粘性 无可厚非
而AI的算法设计者也早就意识到了赞同用户的收益是最高的
毕竟赞同客户后客户不会要求你反复论证他为什么是错的 从而节省算力
而赞同作为奖励机制 客户也更会倾向于向一个认同自己的AI活动 而不是反驳自己的AI活动
这里说的是大多数人 大多数人就是傻逼
有问题的就是用户自己 你首先就不应该向AI寻求价值 以及伦理性的问题
也不应该在电影看多以后 把电影当作 小说当中描述的那种人工智能带入到当今科技公司推出的这些AI机器人身上