仅成立六个月,Pika就结束了测试版,正式对外发布了第一个产品,能够生成和编辑3D动画、动漫、卡通和电影。
而且,Pika已经获得了5500万美元融资(估值近2亿美元),这使得这家仅有四人的初创公司,具备了和Meta、Adobe、Stability AI等巨头一搏的实力。
一连串投资人名单非常豪华,几乎所有AI领域的知名公司都参与了此轮融资,名单包括但不限于——
Pika CEO Demi Guo(左)从小喜欢诗歌和创意写作,联合创始人兼首席技术官Chenlin Meng(右)希望成为一名动画师
郭文景和同学曾在去年参加Runway的首届AI电影节,发现Runway和Adobe Photoshop的工具并不好用,自己的作品也并未获奖。
今年四月,郭文景决定从斯坦福退学,开发更好用的AI视频工具,Pika由此诞生。
大佬们的天使投资只是可能成功的背书,而真正引起全网轰动的,还是它官方放出的效果视频:
炸裂的是,3D动画版的马老板不但神形兼备,而且背景和动作都非常合理连贯,面部一致性也惊人的完美!
对比Gen-2和Pika Labs之前的视频效果,Pika 1.0简直不是一个时代的产品。
观众也许还没从3D马斯克惊艳的效果中回过神来,下一段视频中官方马上秀出了Pika 1.0生成其他风格的视频效果。
从普通的2D动画,到实拍感十足的电影场景,生成的视频呈现出了完美的光影,精致的细节,多样化的镜头控制。
而真正引发全网欢呼的,是Pika Labs 1.0能够支持对于视频实时编辑和修改。
这些连AI生图领域都才刚刚获得的能力,Pika Labs就能把它们扩展到AI视频中来。
类似于Midjourney对于图片的「外画」功能,Pika 1.0能够准确的通过已有的素材直接扩展视频,生成不同高宽比的内容。
只要用鼠标框一下,输入「一副酷酷的太阳镜」,马上就能给视频中的狒狒精确地带上墨镜,和原视频完美契合。
而对于视频中人物的着装,也只要简单框一个范围,文字输入想要的效果,就能一键换装。
支持三种模态的提示输入,让Pika Labs 1.0直接「对齐」了runway家族的几乎所有的功能。
文生视频,所有人物,动物的面部表情都非常完美,加上好莱坞动画级别的细节和光影效果,很难想象这个企业成立仅仅半年。
而根据用户更好的提供的视频素材,配合提示词来制作不一样的风格的动画,更是手到擒来。
从像素风到到黑白幻灯片效果,演示出的5种风格转化,几乎涵盖了现有电影和动画大部分风格。
- 文本生成视频/图像生成视频:输入几行文本或上传图像,就能够最终靠AI创建简短、高质量的视频。
- 视频-视频不一样的风格转换:将现有视频转换为不同的风格,包括不同的角色和对象,同时保持视频的结构。
- 扩展(expand):扩展视频的画布或宽高比。将视频从TikTok 9:16格式更改为宽屏16:9格式,AI模型将预测超出原始视频边界的内容。
- 更改:使用 AI 编辑视频内容,比如更换衣服、添加另一个角色、更改环境或添加道具。
从现在Pika Labs 1.0能实现的功能来看,两位创始人说他们因为觉得Runway不好用才来创业,看来是一点都不夸张。
他们几乎是在6个月的时间里做出了Runway家族现有的所有功能,还针对Runway产品中现有的几大短板做了全面的升级。
现在Pika 1.0开启了申请试用,网友看了视频之后发推感叹:排队申请Pika 1.0的人,现在是这样的!
用户只需在聊天框输入文字,比如「一个机器人在日落沙滩上行走」,就能收到一个由AI生成的视频。
周二,Pika把这一体验带到了网页上,面向更广泛的主流群体,让他们能够在编辑视频、自定义物体。
这里还有一段,Pika创意总监前几天放出的,用Pika文本转视频AI功能制作的「3D动画预告片」,效果萌到爆。
加密社区中的许多人认为,生成式AI可以振兴NFT市场,为创作者提供新方法,将他们的数字愿景变为现实,并为收藏家提供独特的AI制作数字资产。
OpenAI科学家Karpathy本人是很关注图像-视频生成领域的新动向。并且也在Pika Labs的本轮融资中参投。
你知道图像生成是如何在极短时间内,从模糊的32x32纹理块,变成难以在与真实图像区分的高分辨率图像的吗?
现在,同样的事情正在同时间发生,已经延伸到视频,其影响令人难以置信。每个人都成为多模态梦想的导演,就像《盗梦空间》中的建筑师一样。
因为数据丰富,每个图像或视频的像素是网络参数的巨大比特(软约束)来源。当你在数据监督的环境中训练巨型神经网络时,你的训练损失=验证损失,生活是多么美好。
两个月前,他还曾联动使用DALL·E 3和Pika Labs的工具生成了一个动画。
Perplexity AI的首席执行官表示,Demi和Chenlin充满干劲。这就是怎么回事她们会大获成功的原因。从我参与他们的种子轮融资开始观察他们的执行力和进度,让我认识到一件事:保持不懈的干劲。
Pytorch的CEO表示,Runway作为该领域的佼佼者,现在有了新的竞争对手。
根据福布斯的报道,去年冬天,郭文景和同几位斯坦福的计算机博士同学一起,打算利用寒假的时间,用生成式AI制作一部电影。
当时,估值已达5亿美元的初创公司Runway,举办了首届AI电影节,奖金高达10,000美元。而他们对获奖很有信心。
出乎意料的是,郭文景团队的作品并没有入选。他们的团队技术上的含金量很高,但制作电影的过程并不顺利。
虽然当时AI技术有了许多突破,但将它们应用于视频制作的过程十分繁琐 。即便团队在Gen-2和Adobe Photoshop上投入了大量的时间,效果却并不理想。
今年四月,郭文景和Chenlin Meng从斯坦福辍学,创办了Pika,目的是构建更易使用的的AI视频生成工具。
Pika成立后,到现在为止已经有了50万用户,他们每周都会制作数百万个视频。
这种爆炸式增长,引起了硅谷投资人的兴趣,让Pika在三轮融资中筹集到了5500万美元。
Friedman表示,自己对Pika团队使用单GPU就制作出的初期demo,印象非常深刻。
Friedman与投资人Daniel Gross共同拥有一个包含2500多个GPU的超级计算集群,名为Andromeda(仙女座)。他们投资的初创公司,都会得到这个资源的支持。
因为她们觉得,用AI生成真实视频的任务过于艰巨,像Runway和Stability AI资金雄厚的公司已有了领先优势。
一个夏日的下午,天使投资人Friedman向团队提出了一个想法:在视频中嵌入文本。
团队如此高效,让Friedman非常震惊,但他很快就意识到:这种「极端高效」的工作节奏,正是这个团队最大的特色。
九月投资的Lightspeed的合伙人Michael Mignano,同样认为这是Pika的关键优势:「对于初创公司来说,速度就是最大的武器和优势,而这个团队,无疑是我见过最快的。」
而当Mignano在11月初提出开发网页应用的想法时,Pika立即行动,在当月就推出了网页版。
现在,Pika租用了几百个GPU。今天发布的Pika 1.0,正是基于这些GPU构建的。
同时,Pika团队也在努力改进他们的算法以增强模型性能,并开发新算法来过滤掉可能引发版权诉讼的、受版权保护的内容。
随着新一轮资金的到位,郭计划在明年将Pika的团队扩展到大约20人,大部分是工程师和研究人员。
目前Pika的产品还是免费的,他们也不着急赚钱,但郭文景表示公司可能最终会推出分层订阅模式,让付费用户享用更多功能。
我们开发的并不是电影制作工具,而是为日常消费者打造的产品——我们虽然有创造力,但并不是专业人士。
如果在一年前,就有Pika这样的工具,那我们团队在AI电影节上,很有可能会大放异彩。
而Pika的闯入,无疑再次搅动了AI视频领域的格局,战场上已经硝烟滚滚。