主页 > N轻生活 >Udacity 全新 AI 系统!只要提供音档,就能自动生成 >

Udacity 全新 AI 系统!只要提供音档,就能自动生成


2020-06-09


Udacity 全新 AI 系统!只要提供音档,就能自动生成

线上课程已经成为了终生学习者们不可或缺的学习资源,而要完成一份高质量的影片,需要耗费不少人力和资源。尤其是在包含影片处理的时候,专业的讲座影片片段处理需要的不只是工作室和设备,更重要的是转化、编辑、上传的每一节课程的原始影片素材。

最近,为了解决这一问题,Udacity  的研究团队就尝试将影片生产这一过程自动化。他们研究了一套 AI  系统,希望将音档直接转化为讲座影片。

只要传个语音就好,AI 会自动生成影像

MOOC  平台上的内容生产可以是名利双收,但是这些内容生产工作往往耗费大量时间。这就是为什幺 Udacity  的研究开发人员採用机器学习去自动将语音旁白生成讲座影片。这一研究被发表在一篇名为 LumièreNet: Lecture Video Synthesis from Audio 的论文中。

在发表的论文中他们提到,通过直接定位语音文件和对应视角,机器学习框架 LumièreNet 可以合成任何长度的影片。

论文传送门

Udacity 全新 AI 系统!只要提供音档,就能自动生成

「在现行的影片製作中,AI  的参与或者半参与都能大规模实现影片生产的自动化,这将为灵活的影片内容发展提供巨大价值,因为不需要再去拍摄新的影片」,论文的作者说,「我们推行一种将任意长度的讲座录音去合成讲座影片的新方法 …… 一个简易的、模块化的、完全基于神经网路的系统。通过输入演讲音档,就能得到对应的全身演讲影片,这在之前还没有从深度学习的视角被强调过。」

LumièreNet  的合成主要针对唇部周围的面部表情,然后通过借用其他影片去合成画面的其他部分。但是因为演讲者的情绪不只是通过面部表情传达,所以这个研究模型还有一个姿势判断组件,通过从影片框架训练数据集中提取的数据合成身体特徵图像。简要来说,就是通过对身体主要几个点的探测和定位,去创造真人演讲的生动细节。还有一个模块是关于双向循环长短期记忆(BLSTM)神经网路,按正序或倒序处理数据,使得每一次输出都能反映之前的输入和输出 —— 它会利用输入的语音特徵和目的去推测它们和视觉元素之间的关係。

Udacity 全新 AI 系统!只要提供音档,就能自动生成

机器学习研发新角度,但结果还稍嫌不足

为了测试 LumièreNet,研究人员拍摄了一个八小时的室内讲座影片,产出了大概四小时的影片和两段用于训练和验证的旁白。

研究人员报道说,通过训练的 AI  系统可以生成逼真的影片片段,有流畅的身体动作和写实的头髮,但是这些结果在观察者眼里还是不能骗过观察者的眼睛。

因为这些姿态评估器不能捕捉像眼球运动、嘴唇、头髮、衣物之类的细节,被合成的演讲者很少眨眼而且他们嘴巴的运动看起来有些不自然。

Udacity 全新 AI 系统!只要提供音档,就能自动生成

生成影片範例:1 号传送门 、2 号传送门

可以看到,在这一段合成的影片中人物的动作不够生动,尤其是缺乏眼神上的交流。虽然嘴唇的开合与叙述几乎完美同步,但是缺少更精细的运动细节。仔细看的话,会发现手指之间看起来模糊,更糟糕的是眼睛有的时候会看向不同的方向。

线上学习 AI 技术的下一步

研究团队猜想,「面部要点」(例如,生动的细节)的添加或许能够使合成变得更好。幸运的是,他们的系统模块设计使得每一个组件都能被独立训练和验证。

「许多未来的方向都是可被探索的」研究人员写道,「即使最开始的时候只是用于支持灵活的影片内容发展。我们知道这项技术存在潜在的滥用行为 …… 但是希望研究结果可以促进深度学习在商业影片生产领域的发展。」



上一篇:
下一篇:

热门推荐


【LINE贴图里的爱】法斗皮古藏镜人竟是害羞系帅哥!揭开贴图
【LINE贴图里的爱】法斗皮古藏镜人竟是害羞系帅哥!揭开贴图
LINE 年初公布 2017 年十大贴图创作者,每位不仅平均
【LINE贴图里的爱】集可爱聒噪于一身的好想兔,背后却有着腼
【LINE贴图里的爱】集可爱聒噪于一身的好想兔,背后却有着腼
「你好,我是谦谦。」他的谈吐与气质有些腼腆,很难想像集可爱、
【LOBOR Watches】香港设计师品牌‧採用日本机芯、
【LOBOR Watches】香港设计师品牌‧採用日本机芯、
我们两个人其实没有太多的行头,通常都是简单舒适的上衣搭配牛仔
【LOGO 故事】设计师:一个好问题,可以创造无限可能
【LOGO 故事】设计师:一个好问题,可以创造无限可能
一问服务上线,不怕问题太多,只怕问得不够,遗漏了该关心的角落
【LOL告诉你】打英雄联盟还不知道自己适合哪路吗?快来看看各
【LOL告诉你】打英雄联盟还不知道自己适合哪路吗?快来看看各
很多时候,不少玩家都对自己的位置选择很犹豫,究竟是应该专注于
【LOMO 好时光】DIY
【LOMO 好时光】DIY
编按:本週 Lomography 要和我们介绍如何将魔术方块