一种自动从电影和其他视频生成漫画书的系统玄武
2022-06-25 23:29:02 九周娱乐网
一种自动从电影和其他视频生成漫画书的系统
在过去的几年中，计算机科学家创造了许多计算技术，可以自动生成文本，图像和其他类型的数据。这些模型具有很高的优势，特别是对于创建人工需要人工且费时的数据或创意作品。
中国大连理工大学和香港城市大学的研究人员最近创建了一个创新框架，该框架可以自动生成漫画漫画，漫画漫画通常是由高技能的专业艺术家设计的，需要大量工作
他们的框架通过从电视连续剧，电影，动画或其他视频中提取数据来创建漫画书。
研究人员在论文中写道：“我们提出了一种全自动系统，无需任何人工干预即可从视频中生成漫画书。” “考虑到输入视频及其字幕，我们的方法首先通过分析字幕来提取信息性的关键帧，然后将关键帧样式化为喜剧风格的图像。”
从视频中提取关键帧并将其转换为漫画风格的图像后，研究人员设计的系统使用多页布局框架将图像分布在多个页面上，并创建反映图像之间关系的视觉吸引力的布局。
研究人员创建的框架并没有像大多数其他漫画生成框架那样始终使用相同类型的语音气球，而是生成了不同类型的气球，这些气球反映了角色的单词所传达的情感。
为此，它首先尝试通过分析视频的音轨和相应的字幕来把握对话的不同行所传达的情感。
模型创建的对话框气球的形状和其中包含的单词的大小会根据角色传达的情感而有所不同。这显着改善了整体漫画阅读体验，产生了更多引人入胜的布局，以反映不同角色之间对话的内容。
研究人员的方法与称为Content-Aware Video2Comics的最新系统的比较。-研究人员系统生成的漫画。-由Content-Aware Video2Comics制作的漫画。和：《泰坦尼克号》。和：消息。和：朋友[Bright / Kauffman / Crane Productions，Warner Bros. Television，NBC和Warner Bros. Television Distribution]。和：直播。图片来源：Yang等。
系统生成的语音气球放置在正在说话的角色附近。为此，模型首先检测视频中的不同说话者，然后将与他们所表达的情感对齐的语音气球放置在它们附近。
研究人员通过一系列实验评估了他们的系统，评估了其各个模块，并将其制作的漫画的质量与其他将视频转换为漫画的最新技术所产生的漫画进行了比较。该系统用于根据从四部电影和《泰坦尼克号》，《信息》，《朋友》和《空中》中提取的16个视频片段生成漫画。这些视频剪辑的长度在两到六分钟之间。
该团队要求一群人评估他们的模型所产生的漫画的整体质量，并与其他漫画产生系统所产生的漫画进行比较。参加本研究的绝大多数用户表示，他们更喜欢研究人员模型创建的布局，而不是以前开发的系统创建的布局。
研究人员在论文中写道：“与最新的漫画生成系统相比，我们的实验证明我们的系统可以合成更具表现力和吸引力的漫画。”
“尽管我们的系统显示出了令人鼓舞的结果，但是它仍然受到一些限制。例如，关键帧的选择不够准确。在某些情况下，所选关键帧彼此相似，这肯定会导致冗余。生成的漫画。”
一旦完善，由该团队的研究人员开发的漫画生成系统可用于基于电影，电视连续剧或其他视频内容自动创建引人入胜的漫画书。在他们的下一个研究中，研究人员计划开发一个用于关键帧选择的替代模块，因为这可以提高他们系统产生的版式的质量并减少关键帧的冗余。
“此外，受许多现有方法的启发，这些方法可以根据给定带有多个句子的故事来生成图像序列，有可能从文本故事中产生漫画书，并且我们有兴趣扩展我们的方法，以利用文本信息来帮助生成漫画。”研究人员在论文中得出结论。