,也许做出了最接近的文生视频产品
文|幸芙
编辑|郑玄
又一个国内的重要玩家,杀入「文生视频」这个今年最火的大模型风口。
几天前,MiniMax发布了全新的视频模型abab-video-1。用户可登录其产品「海螺AI」的网页版,体验文生视频的功能。
尽管是一个晚入局者——继年初OpenAI发布Sora后,国内的科技公司纷纷跟进。包括大厂,比如快手的「可灵」、字节的「即梦」等;包括垂直的创业公司,比如生数科技、爱诗科技、智象未来等;也包括模型公司,比如智谱几个月前就嵌入了文生视频功能。但MiniMax很有信心,「这可能是目前国内最好的视频大模型。」创始人闫俊杰说。
极客公园一手体验了MiniMax的文生视频功能,在给定的一系列随机提示词下,MiniMax的生成效果令人眼前一亮。而在海外社交平台X上,也有越来越多用户用其生成出惊艳的视频、并进行了分享。而在MiniMax自己释放出的样片里,可以看到这些视频已经逼近真实的商拍、乃至电影质感。
这正是MiniMax更晚推出该功能的原因,为了在技术上形成数倍、而不只是百分点的提升。作为一家技术导向型的公司,MiniMax相信技术决定产品体验,这也是它们不着急的原因。
如果说Sora到目前还没有开放使用的机会,那目前MiniMax该功能已经完全对用户开放。当很多国内已经公司针对这项功能收费,MiniMax仍在免费阶段。也就是说,用户可以免费、且一手体验这款最接近Sora的产品。
在年初与极客公园的一次交流中,MiniMax创始人闫俊杰表示,Sora对大模型公司来说是一道「选答题」。因其存在着PGC、UGC等不同用法,AI公司不一定要跟上。不过似乎现在他认为,这是一道「必答题」——还是出于提高用户渗透率的考虑。
在年初的访问中,他提到随着大模型每次拓展模态,用户渗透率就会提升,因为文字只是人类信息交互中的极小一部分,声音、图片、视频等模态也同等重要。MiniMax的愿景是让AI为普通人所用,提高用户渗透率是他最看重的事情。在这道「必答题」上,MiniMax看起来交出了一份不错的答卷。
在不同的prompt评测中,MiniMax文生视频功能都保持领先
打开MiniMax文生视频产品的官网,会发现它出奇的简单。如果说其他产品都给用户提供了许多选项,比如视频时长、视频比例、模式选择、运镜方式、情感氛围等。但MiniMax的产品非常简单:输入一段文字(prompt),直接生成视频。
笔者直接尝试了一段prompt:「两位都市白领手里拿着星巴克咖啡,走在日光沐浴下的街道,她们本来表情平静地聊着天,突然一起笑了起来。」在这段prompt里,我既要求了人物的细节动作,比如手拿咖啡;也要求了场景的表现力,比如日光沐浴的街道;还有人物的表情,比如平静和微笑。这都是目前文生视频产品的技术难点。
仅就这段prompt的表现来看,MiniMax的文生视频功能几乎完胜:两位人物无论是微笑的表情、还是拿咖啡的手部动作,都非常自然、没有变形,它还原了日光沐浴的场景,同时也还原了「星巴克」标识。
但再看其他产品:某热门产品生成的咖啡杯是变形的、人物的表情也是变形的;某产品虽生成很自然,但漏掉了「星巴克」标识;另外某产品也是人物完全变形、咖啡杯完全变形;某产品人物稍微变形,漏掉了「星巴克」标识;某产品生成的视频毫无稳定性,也没有清晰度可言。
在笔者的指令下,最上为MiniMax的文生视频效果;下面两张为其他国内热门文生视频产品的效果|图片来源:极客公园
此外,笔者又尝试了其他不同的prompt,包括神情愉悦地打字的女孩等,最终MiniMax的文生视频功能都表现更为出色。如果说文生视频最重要的是对现实世界的模拟,那么可以看到,它对于真实世界的模拟会更好,同时也能输出更逼近真实的视频效果。
在X社交平台上,不少海外用户使用完MiniMax的文生视频产品后也评价很高。比如用户@ryan_morrison提到,「它的手部动作是我见过的最自然的。」用户@hortega_andre提到,「它的手部动作和面部表情是我见过的最自然的。」
专门探索用AI制作电影的用户@MachineMythos,则用MiniMax文生视频制作了一则名为《地狱之地》的微影片。该视频时长2分20秒,讲述了一个男子开车行驶的过程中,发现曾经人流交织的街道,现在已经被僵尸占据。「我的上一部电影是我迄今为止最现实的电影,,也许做出了最接近的文生视频产品我没想到它会这么快就被超越。」Mythos这么评价道。
@MachineMythos制作的《地狱之地》微电影|图片来源:X
笔者注意到,它上一部电影发布于一个月前,是用国外领先的视频模型Runway的Gen3版本生成。但就影片真实效果而言,MiniMax更胜一筹。
「我们内部评测,包括跑一些分,应该比国外Runway有更好的效果。」闫俊杰说。
三大核心技术指标:文本响应好、压缩率高、风格多样
在表层的用户体验之下,MiniMax将其文生视频的优势总结为:一、压缩率高;二、文本响应好;三、风格多样;四、可以生成原生高分辨率、高帧率视频,也就是接近电影大片质感。
关于文本响应好,它指的是产品的指令遵循更好。比如笔者在prompt中强调了星巴克,几乎只有MiniMax的视频模型把这个标识体现出来了。MiniMax称,这主要得益于其模型在文本上的不断积累。
关于压缩率高,它指的是对高动态、变化多的信息有较好的表现力。比如@JingXiangZ给的指示是:「广角镜头中,一个长着猴头的肌肉男,赤裸上身,骑着电动滑板车穿过城市街道,然后飞上天空。」在最终的效果里,猴头、肌肉男、赤裸上身、以及迅速穿梭于城市的街景变化都得到了展现。
关于风格多样,指的是无论电影大片场景、动画,无论是中式风格还是科幻、美漫等,它都可以驾驭。比如AI艺术家@vladimircherner生成的视频里,既有卡通动画、也有真实走秀、还有写实电影、甚至科幻电影等。
用户@vladimircherner用MiniMax生成的视频|图片来源:X
最重要的一点是能生成原生高分辨率、高帧率视频,这意味着视频能接近电影大片质感。目前,MiniMax已经释放出一些通过prompt做出来的电影、广告片,效果令人惊艳。
比如有一段是星际大战的预告片、有一段是宣传沙发像云朵一样柔软的广告片、有一段是高速俯拍街道的电影片段、有一段是雪崩救援的记录片、还有一段是名为《魔法硬币》的科幻片——它讲述了一个小男孩通过一枚写着MiniMax的硬币,在不同时空进行穿梭的过程。无论是加勒比海盗的船上、还是多元宇宙、还是万里长城、还是北极熊身上、又或者是森林的豹子身上,所有的场景都非常逼真。
看完这些视频,一个很直接的感受是,已经不太能看得出它们是AI做出来的。这意味着在视频生成效果上,MiniMax取得了关键性的突破。
极致的技术,才有极致的用户交互
闫俊杰介绍,MiniMax之所以在文生视频赛道更晚入场,原因是公司希望在技术上形成绝对优势。在他看来,不管是视频、文本、声音,核心不是在算法上提升5%、10%,而是要看能不能提升几倍。「如果能提升几倍就一定要做出来,如果只提升5%就不太值得做。这是我们做研发的思路。」他说。
在他看来,在文生视频这件事上,技术能提升几倍的核心关键是,提高压缩率的问题。训练视频生成能力时,模型需要先把视频变成token,但这个token会非常长,导致复杂度很高。因此,MiniMax团队在算法上主要解决的是,怎么把压缩率变得更高、把token的复杂度降低。这花了他们很多的精力,因此比同行晚了近一两个月。
团队发现,当算法变得更强的时候,产品的效果确实好了很多。在文生视频这件事情上,再次印证了闫俊杰所说的,技术决定产品。
MiniMax的文生视频功能|图片来源:MiniMax
对于MiniMax而言,对技术重要性的认识是不断提升的。当技术水平提高时,用户的活跃度会增加;当技术出现失误,用户活跃度在降低。「当技术做不好的时候,所有东西都是问题。当技术做好了,所有问题都被掩盖了。」闫俊杰说。这两年时间,他已经意识到技术是科技公司最核心的要素。
他认为,创业公司相较于大厂而言最重要的优势只有两点:一是技术的提升,二是与用户的交互,而这两者互为表里,所谓「产模一体」,技术服务产品,产品也会反哺技术。
MiniMax在全球拥有多元化的用户分布。据MiniMax介绍,其每日与全球用户进行超30亿次交互,处理超3万亿文本token、2000万张图片和7万小时语音,大模型日处理交互量居国内
AI
公司首位。
目前MiniMax公布的文生视频功能只是第一版,接下来它在产品功能上还会有更多的更新。比如现在只提供了文生视频功能,接下来还会有图生视频、文 图生成视频、可编辑的可控性等等。而等新的东西出来,以及到达更满意的状态之后,MiniMax可能会考虑一些商业化动作。
作为国内几乎最早成立的大模型公司之一,MiniMax从成立起就确定了要将AI普及普通人的目标。为此,这家公司沿着文本、音频、音乐、视频等不同模态拓展,用技术突破带来更好的用户体验。而如今,它推出惊艳的文生视频功能,也意味着它在这条路上又踏上了一个新的台阶。
评论