田渊栋团队新作,首个「短篇小说」自动生成器问世,一口气能写7500字连贯
用语言写长篇不靠谱,模型设计靠作家仿生学!
AI发布的聊天机器人ChatGPT真的是火了知天文地理,不仅是理性的,也是感性的你不必起草一篇800字的作文
但ChatGPT的故事延续遵循的是逐字生成的线性逻辑,与人类的写作方式相去甚远注定ChatGPT只能做写作助手,无法成为真正的AI写手
最近几天,田远东博士团队在EMNLP'22上发布了基于大规模语言模型的故事生成器Re3框架通过设计prompt,模型可以生成一致性很强的故事,完全不需要对大模型进行微调
从最终效果来看,相比目前其他的文本生成算法,Re3写的故事要长很多最长的故事有7500字,人读完大概要半个小时毫不夸张地说,比其他方案长10倍以上
最重要的是,Re3生成的文本相当自洽,至少不会出现主要人物突变或文笔突变,前后线索可以对齐,不存在其他方案经常陷入无限文字循环的情况。
Re3生成的小说,近3000字,连贯性很好。
与直接从相同的基本模型生成的类似长度的故事相比,人类评估者判断Re3中更多的故事具有连贯的整体情节,并且与给定的初始前提相关。
可是,Re3仍然远远落后于人类作家主要问题是人物没有动机,情节安排不规律,细节混乱,更不用说文笔的节奏,韵律或者主旨了看书会很累
一般作家讲究草蛇灰线,伏笔千里人物的重要细节和动作,场景中的情感描写,都可能是接下来故事发展的决定性因素,更不用说人物之间错综复杂的关系和意想不到的情节展开了这些高层次的写作能力,现在的AI还远远达不到
3框架
生成一个长而连贯的故事是人工智能领域的一个难题,模型需要语言,世界,常识的综合知识来完成。
过去,作品中自动生成的故事长度从几个句子到只有一两段不等虽然这种长度的短篇小说可以作为文本生成的一个很好的测试平台,但还是比一般的短篇小说短很多
Re3框架的初衷是通过生成更长的短故事来弥补当前自动故事生成模型的缺陷。
与短篇小说相比,长篇小说的连贯性和关联性是更重要的问题Re3框架的研究人员也是第一个自动生成如此长的连贯故事模型,进一步增加长度主要受限于评测而非技术问题
该系统必须在数千字内保持一个连贯的整体情节比如用户会给出一个初始前提,模型需要保持与前提的千字关联
其他困难还包括保持叙事风格在较长范围内的一致,避免事实的矛盾。
受此启发,Re3框架也使用类似的方法来生成增长故事。
规划模块
利用GPT3—Instruct—175B的结构化提示,将初始化的前提转化为更详细的故事设定,模拟出一个高层次的人类计划,包括背景,人物+描述,故事大纲。
这些策划组件本身是通过提示生成的,会在草稿模块中反复使用生成故事段落的提示,也就是递归的重新提示。
草稿模块
为了生成一个连贯的故事,草稿模块将选择计划和先前生成的故事最相关的部分,然后将它们重新组合成一个提示,供GPT3—175B生成下一段。
与现有的思维链方法相比,这个故事草稿模块可以看作是更进一步:动态选择先前语言模型输出中与当前步骤相关的部分,并在需要时运行一些额外的处理。
重写模块
重写模块通过混合使用相关性分数,一致性分数和简单的启发式过滤器来重新排序连续性,从而模拟人类的重写。
训练rerankers是Re3框架中唯一使用已有故事数据的地方,其他所有生成模块都是在零镜头设置下通过提示的方式完成的。
为了使任务更具可操作性,研究人员重点关注了人物属性不一致的事实。
在高层次上,检测系统以属性字典的形式为每个角色维护一个紧凑的知识库。
对于每个新的故事段落,只需对照这些属性值字典检查事实冲突,然后为新段落更新字典,并在检测到新字符时创建新字典。
实验部分
每个注释者可以看到一个前提和两个相应的故事,并根据四个指标对这两个生成的故事进行评分。
从结果来看,RE3能够按照预期前提写出长篇故事,同时保持整体剧情连贯,这也验证了受人类写作过程启发的设计选择和递归重提示的生成方式。
与两个基线相比,RE3的一致性和相关性得到了显著的提高,注释者也将RE3的故事标记为具有明显更少的编写问题。
参考资料:
。声明:本网转发此文章,旨在为读者提供更多信息资讯,所涉内容不构成投资、消费建议。文章事实如有疑问,请与有关方核实,文章观点非本网观点,仅供读者参考。
推荐阅读
-
微软宣布禁止使用其云服务进行挖矿,除非有书面许可...
,微软已经悄悄地禁止使用其在线服务来挖掘加密货币,并表示这样做是为了保护使用... -
最后倒计时!C919重大突破工信部透露即将取证交付万亿产业起飞在...
今天,工信部透露,国产大飞机C919即将获证交付,万亿美元的航空产业即将腾飞... -
京东百亿补贴:红米K50至尊版手机2399元起骁龙8+...
Redk50极速版手机于8月12日发布,搭载骁龙8+Gen1处理器。 ... -
北京20余万亩小麦即将收获秸秆利用率稳定在99%以上...
6月中旬,北京20多万亩小麦迎来了收获的关键时期每当农田里麦浪翻滚,麦秸的处... -
“债王”冈拉克:经济衰退可能性超过75%通胀下降速度或快于预期...
智能财经APP了解到,DoubleLineCapital首席执行官兼首席投资... -
印度马恒达将投资1000亿印度卢比建设新的电动汽车工厂...
据路透社报道,印度汽车制造商Mahindra和Mahindra有限公司周三表... -
打好国美零售创新转型之战黄光裕再追加2亿港元无息贷款...
12月14日晚间,国美零售发布公告称,控股股东黄光裕的全资公司Shinnin... -
创业黑马6年仅赚3100万分红3900万牛文文折价16%引战投将...
创业黑马,在自身经营业绩上表现不佳。 12月12日晚间,创业黑马发布公... -
消息称英伟达2月初发布RTX4090/4080笔记本GPU...
根据哔哩哔哩UP的评测消息,搭载英伟达RTX4080和RTX4090移动GP... -
长信基金黄韵因个人原因离任9只基金...
最近几天,长信基金管理有限责任公司旗下9只基金发布基金经理变更公告,黄韵因个... -
摩根士丹利:苹果即便放弃欧洲AppStore所有营收,对整体营收...
市场分析师摩根士丹利认为,侧装和第三方替代应用商城对苹果整体营收影响不大甚至... -
新增300亿元融资额度中华企业与浦发银行签署银企战略合作协议...
日前,中国企业与浦发银行上海分行签署战略合作协议浦发银行上海分行拟为中国企业...