郭一璞 发自 凹非寺
量子位 报导 | 大众号 QbitAI
人工智能技能,现在能轻松完结主动剪视频了。
只需有一篇现成的图文链接,AI就能够精确的经过图文描绘的主题,从头组织言语,主动查找资料,剪出一条短视频。
换句话说,假如看到有意思的新闻却懒得读文章,那就把你在读的这篇文章的地址输入给AI,文章就主动变成了短视频。
并且,这样的一个进程只需求几分钟的时刻,彻底无人化主动操作,你下楼买了杯咖啡,视频就主动做好了。
这个“AI做视频”技能来自百度研究院,产品的姓名,叫做VidPress。你看,它能够自己做一条视频,来报导自己的出世:
看起来就像正常的电视新闻相同。这下,视频修正们再也不必为了搜资料、改脚本、加特效、烘托导出而加班熬夜了。
做视频的AI
本质上,VidPress是做的作业是“图文转视频”,把人类写好的图文稿件从头修正成视频,能够参阅一下上面视频内容的原文:
比较之下,你会发现视频和文章的案牍部分都是相似的,但视频中用到的资料却远不止文章中这么少,增加了许多人物和场景的动态镜头,并且适当符合主题。
那一定是用语音组成做了配音部分,然后视频修正顺手搜了几个视频资料放上去了咯?
非也。整个视频都是AI生成的,视频修正只需求给出一篇文章的链接,过几分钟,热腾腾的视频就出锅了。
不信往下看。
只需有链接,视频主动生成
用VidPress来做视频,不需求视频修正有任何技能布景,会仿制张贴就行。
首要,把需求改成视频的文章地址仿制,张贴到VidPress。
然后,挑选用哪个声响组成,确认所需视频的长度以及分辨率。
现在,视频修正就能够甩手让AI开端作业了。
取得图文内容后,AI会凭借NLP模型进行语义了解,用主题模型聚合和资料。
之后,需求别离完结音频和图画的修正作业。
音频方面,体系会用多种言语模型处了解析原文,生成解说词,之后凭借语音组成技能变成音频。
而图画方面,原文中的图片肯定是不太够的,需求再查找更多视频和图片资料。资料的来历能够是视频修正自己的资料库,也能够直接实时的用百度查找来找资料。
找到资料后,需求凭借人脸辨认、物体辨认、OCR、视频内容了解等技能来解析了解视频资料的内容,主动剪切选取适宜的片段。
有了视频资料宽和说词音频文件,需求把两者合二为一。在这个使命上,百度自研了两代对齐算法,第一代对齐算法是根据阶段的对齐,第二代则是根据锚点的时刻轴对齐算法。
第二代对齐的算法首要需求找出解说词里观众的爱好点,然后再将搜到的资料和这些爱好点,进行相关度打分,归纳考虑资料的来历、相似度、图片/视频内容的贴合度、内容质量等方面。
之后,得分高的资料就首先被翻牌子,放到视频时刻轴里爱好点的方位。而剩余的资料就会被填充到空地里,最终再对整个时刻轴的内容散布做调整。
现在,AI就把视频做好了,烘托一下,便是一个完好的视频。
这样的一个进程只花费几分钟后。当修正再次切回VidPress页面,视频现已主动生成好了,还主动配好了字幕。
之后,修正也能够人工修正。假如觉得某一部分的案牍不够好,能够替换修正成所需的案牍从头导出视频。
胜在速度
固然,VidPress现在还无法完结真人视频博主那样专门策划拍照的短视频著作,可是假如用来做新闻简讯类视频,那VidPress的水平现已满足完结商业应用了,除了没有真人播音员,做出来视频的姿态和曾经的电视新闻节目非常相似。
可是它胜在速度太快,生成一条视频或许只需十几分钟,而其中一半的时刻都是AI在主动作业,人类视频修正只需张贴链接,设置好声响时刻分辨率就行了,再也不必苦苦守在电脑前剪视频了。
能够说,用这种方法来作业,做视频的时刻比往各个渠道发视频的时刻都短,曾经一小时的作业,或许现在10分钟就能完结,再也不必加班熬夜,短视频修正们要笑着迎候955了。
有了这样的编排功率,当瓜来了的时分,其他修正还在哼哧哼哧找资料剪视频,用VidPress的修正现已做好了视频,发给了吃瓜大众,还没等撤热搜就能够收成10W+,乐滋滋。
现在,VidPress生成一个2分钟左右的720p视频, 所需时刻的中位数仅为2.5分钟。
而在百度美观视频内部,整个渠道每天能够出产500到1000条视频,并且这些视频所环绕的新闻热点都是体系主动发现、主动生成的。只需服务器在跑,即便躺在家里,渠道上就会有连绵不断的视频呈现,并主动分发给观众。
如此高的出产功率,简直是短视频范畴的一记惊雷。
现在短视频火得乌烟瘴气,正处盈利期,无论是腾讯、头条仍是百度自己,都在争相自研或出资短视频渠道,这类东西一旦敞开,会是大大小小创作者、MCN们争抢商场的巨大机会,AI制作的短视频,会像当年的我国制作相同,涌入各个视频渠道,成为新的一波流量收割机。
究竟,图文内容的出产所带来的本钱,可比视频内容低得多,只需写好文章,分分钟就会有配套的视频出来,同一份勤劳,收成多几倍的流量,那么至少在现在阶段,这类AI生成视频便是触手可得的盈利。
或许不久之后,我们就能够看视频版的量子位了呢。