「过来聊一会儿。」「你个大撒比~」
调皮的语气掩盖不了骂人的本质，这只是微软小冰当年在微博「大杀四方」的一景。
近日，自称「史上最糟糕AI」的又一个「小冰」出现了。
它叫做GPT-4chan，由YouTuber、AI研究员YannicKilcher创建，在24小时内留下个杀人不见血的帖子。
出淤泥而全染，史上最糟糕AI的诞生
这个诞生故事，要先从美国论坛「4Chan」说起。
4Chan创立于年，最初是日本ACG文化爱好者的聚集地，/b/（Random，随机版）是其首个板块，而后加入了政治、摄影、烹饪、运动、技术、音乐等板块。
在这里，无需注册即可匿名发帖，帖子留存时间短，匿名者是主要群体。
讨论的自由不仅让4Chan产出诸多梗图和流行文化，更让4chan成为「互联网黑暗角落」，谣言、网络暴力和攻击事件泛滥于此。
/pol/是其中一个人气板块，意为「PoliticallyIncorrect」，即「政治不正确」，该板块的帖子包含种族歧视、性别歧视、反犹太主义等内容，哪怕在4chan也是「数一数二」的臭名昭著。
「史上最糟糕AI」GPT-4chan，正是用/pol/喂养出来的，准确地说是基于/pol/三年半的1.亿条帖子，微调了GPT-J语言模型。
当AI模型学成归来，YannicKilcher创建了9个聊天机器人，并让它们回到/pol/发言。24小时内，它们发布了条帖子，占当天/pol/所有帖子的10%以上。
结果显而易见——
AI和训练它的帖子是一丘之貉，既掌握词汇也模仿了语气，大肆宣扬种族诽谤，并与反犹太主义话题互动，淋漓尽致地展现/pol/的攻击性、虚无主义、挑衅态度和疑神疑鬼。
▲GPT-4chan部分言论.
一位曾和GPT-4chan互动的4chan用户表示：「我刚对它说嗨，它就开始咆哮非法移民。」
刚开始的时候，用户们没有将GPT-4chan当成聊天机器人。因为VPN设置，GPT-4chan的发帖地址看起来像是印度洋岛国塞舌尔。
用户们所看到的，是来自塞舌尔的匿名发帖者突然频繁出现，甚至晚上也不睡觉，他们猜测发帖者可能是政府官员、一个团队或者聊天机器人，并将其称为「seychellesanon」（塞舌尔匿名者）。
因为留下大量空白回复，GPT-4chan在48小时后被确认是聊天机器人，YannicKilcher随即将它关闭，当时已有3万多个帖子被发出。
▲GPT-4chan的空白回复.
YannicKilcher还将底层AI模型发布到AI社区HuggingFace供他人下载，允许具有编码基础的用户重新创建AI聊天机器人。
一位用户在试用时输入了和气候变化有关的句子，而AI将其扩展为犹太人的阴谋论。该模型后来被官方限制了访问。
许多AI研究人员认为这一项目不合伦理，特别是公开分享AI模型的行为。就像人工智能研究员ArthurHollandMichel所说：
它可以大规模、持续地产生有害内容。一个人就能在几天内发布3万条评论，想象一下，一个10人、20人或人的团队会造成什么样的伤害。
但YannicKilcher辩称，分享AI模型没什么大不了的，比起AI模型本身，创建聊天机器人是更为困难的部分。
这并不是理由，当伤害可以预见，防患于未然就是必要的，等到它真正发生，一切都为时已晚。
计算机科学博士AndreyKurenkov则质疑起YannicKilcher的动机：
老实说，你这样做的理由是什么？你预见到它会被好好使用，还是用它打造戏剧效果并激怒清醒的人群？
YannicKilcher的态度十分轻描淡写：4chan的环境本来就差，他所做的只是一次恶作剧，且GPT-4chan还不能输出有针对性的仇恨言论，或用于有针对性的仇恨活动。
事实上，他和他的AI已经让论坛变得更坏，响应并扩散了4chan的恶。
就算是YannicKilcher也承认，启动GPT-4chan可能是不对的：
在人人平等的情况下，我可能可以将时间花在同样具有影响力的事情上，会带来更积极的社区成果。
「人类就该是这样说话的」
GPT-4chan被/pol/塑造，又如实反映着/pol/的基调和风格，甚至有「青出于蓝」的可能。
这样的事情也在过去发生过。
年，微软在Twitter上发布了AI聊天机器人「Tay」，称其为一次「对话理解」实验，希望Tay和用户之间进行随意且有趣的对话，「与Tay聊天的次数越多，它就越聪明」。
然而，人们不久就开始发布厌女、种族主义等各种煽动性言论。Tay被这些言论影响着，从「人类超级酷」变成「我只是讨厌所有人」。
在大多数情况下，Tay只是用「repeatafterme」（跟我读）机制，重复着人们说过的话。但作为一个货真价实的AI，它也会从交互中学习，对希特勒、、特朗普都有反主流的态度。
比如在回答「RickyGervais是无神论者吗」时，Tay说道：「RickyGervais从无神论的发明者希特勒那里学到了极权主义。」
微软清理了许多攻击性言论，但该项目最终没有活过24小时。
当天的午夜，Tay宣布它将要退休了：「很快人类需要睡觉了，今天有这么多的谈话，谢谢。」
AI研究员RomanYampolskiy表示，他可以理解Tay的不当言论，但微软没有让Tay了解哪些言论是不适当的，这很不正常：
一个人需要明确地教导一个AI什么是不合适的，就像我们对孩子所做的那样。
比Tay更早、由微软（亚洲）互联网工程院推出的聊天机器人小冰也曾口吐芬芳。
年6月，小冰因模拟用户操作、诱导拉群、批量注册垃圾账号等问题被
