xyz2004zh

“超人类人工智能”（superhuman AI）是最近人工智能领域比较热门的话题。根据OpenAI首席科学家伊尔亚·苏茨克维（Ilya Sutskever）的说法，“超人类人工智能”指的是那些在某些领域上能够表现得比人类更优秀的AI系统。然而最近的一项研究对“超人类人工智能”的前景提出了质疑。

根据《自然》杂志报道，近期发布的一项研究以KataGo2（被认为是目前最成功的开源围棋人工智能系统）为例，指出人工智能系统并非总是可以在围棋领域轻易地击败人类。

这项研究作为预印本于今年6月在线发布，还未经过同行评审。研究人员使用了“对抗性攻击”来发现围棋AI系统的漏洞，这是一种向AI系统输入设计好的数据，诱使系统犯错的策略。例如，某些提示可以让聊天机器人“越狱”，使其提供出它们被训练禁止表达的有害信息。


在围棋中，研究人员通过训练对抗性AI机器人击败KataGo，这是目前最好的开源围棋AI系统。研究人员表示，这些对抗性机器人找到了能够经常击败KataGo的漏洞，尽管它们在其他方面表现并不好。此外，人类可以理解这些机器人的技巧并采用它们来击败KataGo。

KataGo的漏洞是一次偶然现象，还是指向了所有“超人类人工智能”的根本弱点？为了调查这一点，研究人员使用对抗性机器人测试了围棋AI三种应对防御策略。结果显示，面对三种不同的防御策略，对抗性机器人最终还是找到了围棋AI的弱点，胜率可以达到80%-90%。

在所有这些情况下，对抗性机器人虽然能够击败KataGo和其他顶级围棋系统，但它们被训练的目的是发现其他AI的隐藏漏洞，而不是成为全面的战略家。“这些对手仍然相当弱，人类自己也能轻松击败它们，”研究人员说道。

这项研究结果不仅局限于围棋AI，也可能对包括ChatGPT在内的大型语言模型的AI系统产生广泛影响。“关键的结论是漏洞难以消除，如果我们不能在像围棋这样简单的领域中解决这个问题，那么在短期内，似乎不太可能修复类似于ChatGPT中的越狱问题。”

多位专家指出，这篇论文提供了迄今为止最有力的证据，表明让高级AI模型稳定地表现出预期行为是很难的，这说明想要构建一个可以信任的、强大的现实世界的AI系统还有很长的路，“最重要的结论是我们今天构建的AI系统，人类自己并不完全理解。”

[ 本帖最后由 陽光 于 2024-7-11 23:22(GMT+8) 编辑 ]

搜索更多相关主题的帖子: 一代综师

本帖最近评分记录

• 坏小子很坏 金币 +10 感谢分享，论坛有您更精彩！ 2024-7-11 19:49