你当前位置:首页 >图文 >

Uber的PPLM语言模型可以改变AI生成文本的主题和情感

2021-11-19 12:12来源:

像OpenAI的GPT-2这样的生成型AI语言模型可产生令人印象深刻的连贯性和语法性文本,但是要控制该文本的属性(例如主题或情感),则需要对体系结构进行修改或针对特定数据进行定制。这就是为什么优步,加州理工学院和香港科技大学的科学家团队设计出了他们所谓的即插即用语言模型(PPLM)的原因,该模型将预训练的语言模型与一个或多个引导新颖文本的属性分类器结合在一起代。

预印本的初步结果表明,PPLM能够控制主题和情感风格的“范围”,重要的是不会牺牲流利性,同时还保留了灵活性,以使可区分模型的任何组合都可以引导文本生成。

他们的研究基于Google和密歇根大学去年年底发布的研究结果,他们研究了一种体系结构,该体系结构可以从给定的样本生成句子,并在保留原始文本含义的同时改变其语气,复杂性,时态甚至是语音。它可以为柏拉图(Uber用于开发和测试对话式AI的平台)的工作提供信息,该平台于7月发布,其连接器与现有的机器学习和模型调整框架集成在一起。

根据研究人员的说法,PPLM使用两个或多个小型且易于构造的属性模型:一袋单词,或描述文本片段中单词出现的表示形式;线性鉴别器,或表征两类或更多类对象或事件的方法。在事实和控件进行细化之后执行优化,并使用强度参数确定属性影响的强度。

“ PPLM可以被认为是将文学评论家模型翻转的通用机器……可以判断他们阅读的文本是否适合作者模型……可以写出类似的东西。”从这个意义上讲,PPLM的机制是通用的,允许使用任何可区别的属性模型,这将使??此处示例以外的各种创造性应用成为可能。” Jason Yosinski在博客文章中,并补充说,可以将任意数量的属性控制器与最新的生成模型结合使用。“通过这项研究,我们引入了……一种用于控制语言生成的动态可配置方法,该方法允许将大型的,经过预先训练的语言模型与一个或多个…模型进行灵活的组合。”