当前的位置:泉州网站建设 > 新闻中心 > 科技新闻 > 正文

比AI视频换脸还可怕!DeepMind新AI可生成逼真视频

来源:泉州网站建设   时间 : 2019-07-23 21:25  编辑 : 泉州网站建设

导语:比AI视频换脸还牛的是,这一模型生成的视频内容全都是自主学习YouTube视频创建的。 智东西

导语:比AI视频换脸还牛的是,这一模型生成的视频内容全都是自主学习YouTube视频创建的。

智东西7月22日消息,近日,DeepMind的研究人员研发了一个名叫Dual Video Discriminator GAN(DVD-GAN)的人工智能模型,该模型通过能够通过学习一系列的YouTube视频数据集,生成高度逼真且连贯的256 x 256像素视频,最长可达48帧。

目前,DVD-GAN的研究成果已于美国时间2019年7月15日发表在arxiv上,名为《在复杂数据集上的高效视频生成(Efficient Video Generation on Complex Datasets)》。

比AI视频换脸还可怕!DeepMind新AI可生成逼真视频

一、AI造假视频比造假图片更难

最近,俄罗斯AI研究人员开发的FaceApp着实大火了一把,这款应用通过人工智能技术能够改变用户自拍照的年龄、外貌、发色和性别,甚至可以生成虚构的人物照片。这直接让人们近距离地感受了人工智能技术给我们的生活带来的乐趣。

但是否有人想过,有朝一日这些技术也能应用在视频领域呢?

如果说BigGAN是DeepMind在图像领域开发的能够生成高度逼真图像的图像生成器,那么DeepMind研究人员们开发的DVD-GAN,就是人工智能在视频剪辑生成领域的最新突破。

研究人员在论文中表示,生成自然视频对生成式建模来说是一个较大的挑战,同时还会受到数据复杂性和计算需求增加的困扰。

因此,之前业界的研究人员们在研究视频生成领域时,几乎都围绕着相对简单的数据集,或者采用有限的时间信息来降低任务的复杂程度。

而这次,DeepMind的研究人员们主要针对视频合成和视频预测的任务,将生成图像模型的强大功能和逼真效果扩展到视频领域。

二、DVD-GAN:基于BigGAN模型结构

研究人员们基于BigGAN的模型结构,构建了DVD-GAN的系统,并引入了一系列用于视频生成的调整,使DVD-GAN能够在Kinetics-600上进行训练。

Kinetics-600是一组由50万段10秒高分辨率的YouTube视频剪辑汇编而成的训练数据集,它最初是为识别人类动作而制作的,比目前其他常用的语料库还大一个数量级。

同时,研究人员们表示,Kinetics-600具有多样化特征,能消除他们对过拟合(Overfitting)的担忧。过拟合主要是指机器学习时选择的模型所包含的参数过多,以至出现这一模型对已知数据预测得很好,但对未知数据预测得很差的现象。

另一方面,DeepMind的研究人员们利用生成对抗网络(GANs)来区分生成样本和真实世界样本,该网络主要由生成器和判别器两部分组成。

GANs曾被应用在把文字转换成一幕幕的场景故事,或生成人造星系图像等任务中。而研究人员们这次使用的是名为BigGANs的生成对抗网络,该网络以大批量和数百万个参数而得名。

值得一提的是,DVD-GAN包含两个判别器。一个是空间判别器(Spatial Discriminator:D_S),该判别器通过随机采样全分辨率帧并单独处理,以评估单个帧的内容和结构;另一个是时间判别器(Temporal Discriminator:D_T),它可以提供一个能生成动作的学习信号。

此外,DVD-GAN还有一个单独的Transformer模块,它可以让学习信息在整合AI模型中传播。

比AI视频换脸还可怕!DeepMind新AI可生成逼真视频

三、训练12至96小时即可生成视频

研究论文表明,在经过Google第三代TPU训练了12至96个小时后,DVD-GAN可以成功地生成视频,这些视频内容包含了物体的组成和运动,以及各种复杂的纹理。

不足的是,DVD-GAN生成的视频内容有时较为“诡异”,例如生成的物体和人形奇形怪状,甚至人体忽长忽短地变化。

但研究人员指出,当把DVD-GAN放在UCF-101(一个包含13320个人类动作视频的较小数据集)上进行评估后,DVD-GAN生成的样本初始值最高为32.97。

DeepMind的研究人员们希望能进一步强调在大型复杂视频数据集上训练生成模型的好处,例如Kinetics-600。

“我们设想通过DVD-GAN在这个数据集上建立强大的基线,该基线将被用作未来建模生成领域的参考点。”研究人员表示,“尽管在不受约束的环境下持续生成逼真的视频还需要进行很多工作,但我们相信DVD-GAN是我们朝这个方向迈出的重要一步。”

比AI视频换脸还可怕!DeepMind新AI可生成逼真视频

结语:用AI生成高度逼真视频的一次尝试

不管是BigGAN还是FaceApp,以往的研究人员们在人工智能生成图像领域进行了许多具有突破性的研究,但在视频领域,除了AI换脸曾火了一把之外,并没有更多的突破性进展。

而DeepMind的研究人员们基于BigGAN架构和Kinetics-600训练数据集开发的DVD-GAN,利用计算高效的判别器分解,扩展到时间更长、分辨率更高的视频。就目前来说,虽然这一成果还有些许不足,但这无疑是研究人员们利用AI生成高度逼真视频的一次重要尝试。

论文链接:http://arxiv.org/abs/1907.06571

    猜你喜欢
    • 微博广告太多?QQ功能臃肿?不如来试试国际版

      众所周知啊,很多大家日常使用的APP 为了开拓海外市场,都做了专门的国际版。 而这些国际版的APP 里都藏着一些国内没有的福利 ,能帮差友们解锁出一些让大家意想不到的海外版隐藏技能。 为了让...

      日期:2019-07-24 12:51
    • 让短视频成为孩子的良师益友

      今天,你‘短视频’了吗?”...

      日期:2019-07-24 10:07
    • 抖音加长,焦虑加倍

      抖音又加长了。 6 月28 日起,抖音MCN 官方公布了抖音的一项重磅更新:抖音视频时长再升级,最长支持15 分钟,原有5 分钟权限的用户均可自动升级。符合条件的视频制作者都能在后台看到这一界面...

      日期:2019-07-23 23:08
    • 西瓜视频推出“万元月薪”计划,短视频平台激战Vlog

      原标题:最前线 | 西瓜视频推出“万元月薪”计划,短视频平台激战Vlog Vlog这个新的风口,任何一个短视频、社交平台都不想错过。 7月23日,36氪获悉,西瓜视频宣布针对Vlog内容推出“万元月薪”...

      日期:2019-07-23 18:08
    • VFine Music起诉papi酱旗下短视频机构音乐侵权并要求赔偿

      凤凰网科技讯(作者/花子健)7月23日消息,音乐版权商业发行平台VFine Music起诉短视频MCN机构papitube,控告后者侵犯日本知名独立音乐厂牌Lullatone录音录像制作者权纠纷一案于北京互联网法院...

      日期:2019-07-23 17:20
    • 中国视频网站的鼻祖,如今被资本冲进了下水道

      不知道差友们一般会冲哪几个视频网站的会员? 虽然托尼平时不太看网剧,各大视频网站的会员一个都没有,但难得碰到了质量上乘的佳作,也不免心里痒痒,经常会薅同事的会员来用。 实在没账号借,...

      日期:2019-07-23 12:22
    • 从美摄到云美摄:新媒体时代的“踏浪者”一往无前

      在当前新媒体时代背景下,如何充分利用媒介载体整合新老媒体的资源与优势,实现媒体融合,引导媒体行业向多元互动、平等交流的方向发展,满足用户多样化、差异化的需求,成为媒体行业普遍关注的方...

      日期:2019-07-22 15:01
    • 任正非谈孟晚舟近况:吃火锅做饺子 很放松(视频)

      自动播放 任正非在7月20日雅虎财经的采访中透露女儿孟晚舟近况称,有时候打电话给女儿,她说在吃火锅,或者在做饺子、面条,以前一直忙工作,从没机会能像这几个月一样放松。情绪无法解决任何问...

      日期:2019-07-22 12:12
    • 央视:美对华为禁令无实质性改变(视频)

      自动播放 原标题:美国对华为禁令没有实质性改变,发展才是更大的底气 节目制作 | 姚道磊徐新张大鹏 客户端编辑丨毛亚伟 白岩松 举美国国家之力来打击一个企业,这个企业是该难过还是该骄傲?难...

      日期:2019-07-21 08:12
    • 美对华为禁令无实质性改变 发展才是更大底气(视频)

      原标题:美国对华为禁令没有实质性改变,发展才是更大的底气 节目制作 | 姚道磊徐新张大鹏 客户端编辑丨毛亚伟 白岩松 举美国国家之力来打击一个企业,这个企业是该难过还是该骄傲?难过更要好...

      日期:2019-07-21 07:19

    泉州汽车网 | 南安汽车网 | 泉州房产网 | 南安房产网 | 泉州网站建设 | 南安网站建设 | 泉州人才网 | 哪购物 | 网站发布网

    公司简介 | 商业合作 | 广告中心 | 联系我们 | Copyright © 2019 QZWZJS.COM All Rights Reserved.

    闽ICP备18011963号 邮箱:info@qzwzjs.com 地址:泉州市涂门街胭脂巷39号

    服务中心: 0595-86036039 联系QQ:2076448248

    泉州市天辉网络科技有限公司 版权所有