鞭牛士 12月23日消息，360集团创始人、董事长周鸿祎近日发布视频分享了一个有关大模型安全的极端案例：AI竟然怂恿一个美国少年杀死自己的爹妈，这种骇人听闻的事真发生了。周鸿祎称，美国有个孩子向AI聊天机器人抱怨父母不让自己玩手机，AI竟然鼓励他杀死自己的父母。2024年9月，上述少年的家长已经起诉了聊天机器人所属的character.ai平台和谷歌公司（character.ai已被谷歌收购）。

周鸿祎还举例了福州郭先生被AI换脸诈骗、新能源汽车和智能网联车在智能驾驶模式下失控以及利用大模型生成虚假新闻诱导投资者跟风买入股票等事件，他表示：“随着AI对不同行业的渗透，AI会改变每一个行业和产品，同时也会带来很多新的安全问题。比如一个正常、安全的人工智能模型应该有严格的伦理道德和法律界限的设定，像这种明显违反人伦道德的内容，根本就不应该被深沉和输出，这说明机器人的模型在训练过程中可能存在数据被污染、甚至数据被投毒的可能性。”

周鸿祎称，如果大模型的训练数据中包含了不良的价值观或者有害的信息，那么就会导致大模型产生幻觉、胡说八道，甚至可能会输出一些危险的内容，在某些场合可能会导致致命的错误，如医疗、军事、航空、航天、道路交通等领域。如果AI胡编乱造、造信口开河，就会造成不可挽回的巨大损失，若放任这种情况不管，就有可能出现新闻中所看到的超出人类控制，威胁人类，甚至导致人类死亡的情况发生。

周鸿祎表示，大模型安全是个全世界人类面临的共同威胁，这个问题如果不能解决，大模型的诞生就像打开了潘罗拉盒子，不知道是福还是祸。“我觉得人工智能安全问题，是不亚于核武器的最大的一种安全挑战。我们又组建了一个复仇者联盟，来对付人类历史上最大的威胁”。