微软发布了DialogGPT AI对话模型

　　微软发布了DialogGPT AI对话模型

　　微软研究院的自然语言处理小组发布了对话生成预训练变压器(DialoGPT)，这是一种用于自动会话响应生成的预训练深度学习自然语言处理(NLP)模型。该模型接受了超过147百万次对话的培训，并在若干基准上取得了最新成果。
 

　　该小组在ar Xiv上发表的一篇论文中介绍了该系统的细节。DialoGPT建立在GPT-2变压器架构上，并使用从Reddit注释线程中刮来的数据集进行培训。该模型使用两个测试数据集进行评估，即Dialog系统技术挑战(DST C-7)数据集和一个新的6k实例数据集。对于这两个数据集，该团队使用机器翻译指标，如BLEU和Meteor，以评估DialoGPT的性能，与微软的个性聊天和“团队B”，DSTC-7的赢家。在所有指标上，DialoGPT优于其他模型。该小组还使用人类法官对DialoGPT的输出进行排名，以对抗真实的人类反应;法官们更喜欢DialoGPT的反应，大约50%的时间。
 

　　变形金刚体系结构已成为NLP任务的一种流行的深度学习模型..这些模型通常是预先训练的，使用无监督学习，在大型数据集上，如维基百科的内容。预培训允许模型学习自然语言结构，然后再对特定任务的数据集(如DSTC-7数据集)进行微调。即使没有微调，大型预先训练的模型也能在NLP基准上达到最先进的结果..然而，DialoGPT团队指出，这些模型中的许多都是“以生成平淡、不具信息性的样本而臭名昭著的。”为了解决这一问题，他们实现了最大限度的相互信息评分功能，重新对模型的输出进行排序，惩罚“平淡”的输出。研究小组还使用强化学习来改进模型的结果，但发现这通常会导致简单地重复源句的反应。

　　预先训练的模型对于会话系统特别有吸引力，因为缺乏高质量的对话任务培训数据集。不过，使用Reddit或Twitter等互联网网站提供的自然对话信息会带来风险，这种模式将暴露于攻击性言论，并且可以从中吸取教训。微软早些时候的实验聊天机器人Tay在与Twitter用户交谈后产生了“极其不恰当和应受谴责”的输出。微软的个性聊天云服务试图通过使用一系列机器学习分类器在自动生成响应之前过滤掉攻击性输入来解决这个问题。作为预防措施，DialoGPT团队选择不释放将模型输出转换为实际文本字符串的解码器。同样，OpenA I最初由于担心“技术的恶意应用”而抑制了他们经过充分训练的模型。
 

　　Reddit的一位用户对解码器进行了逆向工程，并发布了使用该模型的一些结果，同时还发布了评论：

　　我想说，考虑到给出的信息很少，所有几代人在语法上都是可以接受的，而且令人印象深刻，大约五分之一的人看起来非常连贯，有时甚至非常讽刺(很像红色)。那些提出了一个明确界定的主题的人肯定更好地解决了问题。

　　NLP研究员Julian Harris在推特上说：

　　在这些报告中，人们总是需要记住，“接近人类的表现”只是为了测试场景。自动生成响应(NLG)仍然是一个非常新的领域，并且是高度不可预测的.因为这样的深度学习生成的会话对话目前充其量是娱乐的，最糟糕的是，一个可怕的，破坏品牌的用户体验。

　　DialoGPT代码和经过预先训练的模型可在GitHub上获得。