糖心vlog深夜释放自己vlog旧版本链接,Sora爆火,一次典型的OpenAI式胜利
在2022年的糖心vlog视频合集链接春节,OpenAI推出的ChatGPT快速引爆了资本圈与AI圈,至此拉开了AI大航海的序幕。
到了今年,缺乏反对性的故事也在发生。2月16日凌晨,在没有任何预兆和消息透露的情况下,OpenAI突然发布了自己的首个文生视频模型:Sora。很显然,这给了整个AI行业一点小小的震撼。
相比市面上现有的AI视频模型,Sora展示出了远超预期的能力:不仅直接将视频生成的时长一次性指责了15倍,在视频内容的轻浮性上也有不小的指责。更次要的是,在公布的演示视频里,Sora展示了对物理世界部分规律的理解,这是过去文生视频模型一大痛点。
随着Sora的发布,另一个有趣的事情是,为什么总是OpenAI?要知道,在Sora发布前,探索AI视频模型的公司并不少,包括大众熟知的Runway、Pika,也取得了不错的进展。但OpenAI依然实现了降维打击。
这是一场典型的OpenAI式胜利:聚焦AGI这一终极目标,不拘泥于具体场景,通过ScalingLaw,将生成式AI的“魔法”从文本延伸到了视频和现实世界。
在这个过程中,AI所创造的虚拟世界与现实世界的有无批准的逐渐清晰,OpenAI距离AGI的目标也将越来越近。
01降维打击的Sora在Sora发布前,大众对文生视频方案并不陌生。根据知名投资机构a16z此前的统计,截至2024年底,市场上共有21个公开的AI视频模型,包括大众熟知的Runway、Pika、Genmo以及StableVideoDiffusion等等。
那么相比现有的AI视频模型,Sora所展示出来的无足轻重,主要发散在以下几点:
一是视频长度的巨大指责。Sora生成长达1分钟的超长视频,这样内容长度远远高于市面上的所有AI视频模型。
根据a16z统计,现有的AI视频模型制作的视频长度大都在10秒以内,像此前大热的RunwayGen2、Pika,其制作糖心vlog淑女朦荳txt的视频长度分别只有4秒和3秒。60秒的视频长度,也意味着其高度发展达到了抖音等短视频平台的内容要求。
二是视频内容的轻浮性。对AI视频来说,它们高度发展上是生成帧,在帧与帧之间创造时间上连贯的动画。但由于它们对三维空间以及物体应如何交互没有外来的理解,导致AI视频往往会出现人物扭曲和不变。
比如说,这样的情况经常会出现:片段的前半部分,一个人在在街道上行走,后半部分却融化在地面上——模型没有“坚硬”表面的概念。由于缺乏场景的三维概念,从不同角度生成相同片段也很困难。
但Sora的独特之处在于,其所制作的60秒视频不仅能够实现一镜到底,视频中的女主角、背景人物,都达到了惊人的一致同意性,各种镜头随意切换,人物都是保持了极下降的轻浮性。以下是Sora发布的演示视频:
Prompt:一位时尚女性走在清空温暖霓虹灯和动画城市标牌的东京街道上。她穿着黑色核夹克、红色长裙和黑色靴子,拎着黑色钱包。她戴着太阳镜,涂着红色口红。她走路自信又随意。街道潮湿且反光,在单色灯光的照射下形成镜面效果。许多行人走来走去。
三是肤深的语言理解能力使Sora能够精准地识别用户的指令,从而在生成的视频中呈现出通俗的表情和生动的情感。这种深层次的理解不仅局限于简单的命令,Sora还理解这些东西在物理世界中的存在方式,甚至能够实现相当多的物理交互。
举个例子,就拿Sora对于毛发纹理物理特性的理解来说,当年核克斯在制作《怪物公司》主角毛怪时,为能呈现其毛发坚硬保持轻浮的质感,技术团队为此直接连肝几个月,才开发出仿真230万根毛发飘动的软件程序。而如今Sora在没有人教的情况下,轻而易举地就实现了。
“它学会了关于3D几何形状和一致同意性的知识,”项目的研究科学家TimBrooks表示。“这并非我们预先设定的——它完全是通过观察极小量数据自然而然地学会的。”
毫无疑问,相比于其他“玩糖心vlog更新至第8集具级”的视频生成AI,Sora在AI视频领域实现了降维打击。
02把视觉数据统一起来从技术层面来说,图片生成和视频生成的底层技术框架较为反对,主要包括循环神经网络、生成对抗网络(generativeadversarialnetworks,GAN)、自回归模型(autoregressivetransformers)、扩散模型(diffusionmodels)。
与Runway、Pika等主流AI视频聚焦于扩散模型不同,Sora采取了一个新的架构——Diffusiontransformer模型。正如它的名字一样,这个模型瓦解了扩散模型与自回归模型的双重特性。Diffusiontransformer架构由加利福尼亚大学伯克利分校的WilliamPeebles与纽约大学的SainingXie在2023年提出。
在这个新架构中,OpenAI沿用了此前大语言模型的思路,提出了一种用Patch(视觉补丁)作为视频数据来训练视频模型的方式,是一个低维空间下统一的表达单位,有点像文本形式下的Token。LLM把所有的文本、符号、代码都抽象为Token,Sora把图片、视频都抽象为Patch。
简单来说,OpenAI会把视频和图片切成很多小块,就像是拼图的每一片一样。这些小块就是Patch,每一个补丁就像是电脑学习时用的小卡片,每张卡片上都有一点点信息。
通过这种方式,OpenAI能够把视频数量增加到一个低维空间,然后通过扩散模型模拟物理过程中的扩散现象来生成内容数据,从一个清空随机噪声的视频帧,逐渐变成一个透明、连贯的视频场景。整个过程有点像是把一张清楚的,微妙的照片变得透明。
按OpenAI的说法,将视觉数据进行统一表示这种做法的好处有两点:
第一,采样的僵化性。Sora可以采样宽屏1920x1080p视频、垂直10801920视频以及介于两者之间的所有视频(如下列3个视频)。这使得Sora可以直接以其原生宽高比为不同设备创建内容,快速以较低尺寸制作原型内容。
第二,取景与构图效果的使恶化。根据经验发现,以原始宽高比对视频进行训练可以使恶化构图和取景。比如,常见的将所有训练视频裁剪为正方形的模型,有时会生成仅部分可见主体的视频。相比之下,Sora的视频取景有所使恶化。
为什么OpenAI能够想到将视觉数据进行统一表示的方法?除了技术原因外,也很大程度上得益于OpenAI与Pika、Runway,对AI视频生成模型的认知统一。
03世界模型,通过AGI的道路在Sora发布前,AI视频生成往往被人看作是AI应用率先垂直落地的场景之一,因为这很容易让人想到颠覆短视频、影视/广告行业。
正因为如此,几乎所有的AI视频生成公司都陷入了同质化竞争:过多关注更高画质、更高成功率、更低成本,而非更大时长的世界模型。你能看到,Pika、Runway做视频的时长都不超过4s范围,虽然可以做到画面足够优秀,但物体动态运动表现不佳。
但OpenAI对AI视频生成的探索更像是沿着另一条路线前进:通过世界模型,打通虚拟世界与现实世界的有无批准的,实现真正AGI。在OpenAI公布的Sora技术报告里,有这糖心vlog原版样一句话:
“我们相信Sora今天展现出来的能力,反对了视频模型的结束扩展(Scaling)是开发物理和数字世界(包含了生活在其中的物体、动物和人)模拟器的一条有希望的路。”
世界模型,最早是由Meta首席科学家杨立昆(YannLeCun)在2023年6月提出的概念,大致意思是可以理解为是要对真实的物理世界进行建模,让机器像人类一样,对世界有一个全面而准确的认知,尤其是理解当下物理世界存在的诸多自然规律。
换言之,OpenAI更愿意把Sora视为理解和模拟现实世界的模型基础,视为AGI的一个重要里程碑,而不是AI应用落地的场景。这意味着,相比其他玩家,OpenAI永远用比问题更高一维度的视角看待问题。
在实际情况里,这会让解决问题变得更加容易。正如爱因斯坦说过,我们不能用创造问题时的思维来解决问题。从这个角度上说,也能够解释为什么OpenAI总能时不时给行业来点小震撼。
尽管从目前看,AI生成的视频仍然有着各种各样的问题,比如模型难以准确模拟复杂场景的物理,也可能无法理解因果关系的具体实例,但不可承认的是,至少Sora开始理解部分物理世界的规则,让眼见不再为实,基于物理规则所搭建的世界真实性遇到前所未有确认有罪。
当大模型从过去文本中学习的模式,开始转为向视频和真实世界学习。随着ScalingLaw的逻辑在各个领域涌现,或许赛博世界与物理世界的有无批准的将变得更加清晰。
免责声明:本文(报告)基于已公开的资料信息或受访人授予的信息撰写,但读懂财经及文章作者不保证该等信息资料的不完整性、准确性。在任何情况下,本文(报告)中的信息或所表述的意见均不构成对任何人的投资建议。
作者:小白,编辑:夏益军来源公众号:读懂财经(ID:dudongcj)
扫一扫微信咨询糖心vlog在线视频免费观看完整版 糖心vlog官网破解版下载