视频生成速度飙升30倍!Lightricks推新模型,消费级GPU也能跑

2025年05月07日,21时41分32秒 科技新知 阅读 13 views 次

视频生成速度飙升30倍!Lightricks推新模型,消费级GPU也能跑

编译 | 李夏

编辑 | 漠影

智东西5月7日消息,据外媒VentureBeat报道AI视频生成模型有重大突破,数字创意工具开发商Lightricks(其代表性产品包括自拍编辑应用Facetune 和通用的图像编辑应用VideoLeap)今日宣布推出迄今最强大的AI视频生成模型——LTXV-13B。

该模型不仅能在消费级GPU上运行,还可实现视频生成速度提升至同类模型的30倍。目前,LTXV-13B已以开源形式发布,并正在整合进Lightricks的创意工具产品线,包括其旗舰叙事平台LTX Studio。

LTXV-13B模型参数规模达130亿,引入了“多尺度渲染”的全新技术路径,通过逐层细化生成视频,大幅提升效率,使创作者无需依赖高端企业级GPU,仅凭普通台式机或高性能笔记本电脑即可生成高质量的AI视频。

Lightricks联合创始人兼CEO Zeev Farbman在接受VentureBeat独家专访时表示:“130亿参数LTX Video模型的发布,是AI视频生成领域中的关键转折点。现在用户可在消费级GPU上快速生成高质量内容,实现更高一致性、更优质量与更强可控性的突破性进展。”

一、突破显存瓶颈,LTXV-13B通过“多尺度渲染”实现AI视频生成本地化运行

目前AI视频生成的一大挑战在于其对计算资源的高要求,业界领先的模型例如Runway、Pika和 Luma往往需在云端使用多个80GB或更大显存的企业级GPU运行,这使得本地部署几乎不可能实现。

消费级GPU与企业级GPU的主要分水岭在于显存。NVIDIA针对消费级市场的显卡进行了严格的内存限制,如支持实时光线追踪和图像增强的RTX系列显卡3090、4090,其显存上限为24GB,而最新的5090为32GB。相比之下,企业级GPU的显存要高得多。”

而LTXV-13B模型的设计完全考虑了消费级硬件的限制。即使未经量化处理、无近似简化,完整模型也能在消费级GPU上运行,包括NVIDIA支持实时光线追踪和图像增强的RTX系列显卡3090、4090、5090及其笔记本版本。

视频生成速度飙升30倍!Lightricks推新模型,消费级GPU也能跑

▲这是LTXV-13B模型在单块消费级GPU上渲染的未经编辑的四秒钟示例(来源:Lightricks)

LTXV-13B模型性能提升的核心在于其“多尺度渲染”技术,Farbman称之为“本次发布中最重要的技术突破”。“多尺度渲染”允许模型逐步生成细节。首先在粗略的网格上构建场景与物体运动的大致轮廓,随后将场景划分为若干小块,每个小块再逐层填充更多细节。

这种处理方式类似于艺术家的绘画流程:先起草大致轮廓,再逐步丰富细节。对AI而言,其优势在于所需的显存峰值取决于小块的大小,而非最终视频的分辨率,同时该模型还使用更高效的潜空间压缩机制,在保证输出质量的同时显著降低显存需求。并且由于视频在潜空间中具有更高的压缩率,能进一步减少显存占用。

视频生成速度飙升30倍!Lightricks推新模型,消费级GPU也能跑

▲Lightricks 的 LTXV-13B 模型在等效硬件上生成视频仅需 37.59 秒,而同类模型耗时超过 1491 秒,提速近 40 倍(数据来源:Lightricks)

二、开源与免费授权并行,推动中小企业与学术界共创生态

尽管当前许多领先的AI模型仍采用封闭API策略,Lightricks选择将 LTXV-13B完全开源,已发布于开源平台Hugging Face和GitHub。Farbman表示:“一年前还相对封闭的局面如今已有所改变。我们看到越来越多优秀的大语言模型和扩散模型开源发布。相比半年前,我现在对开源生态更为乐观。”

开源策略也有助于加速研发进展。“我们开源的主要动因之一是降低研发成本。”Farbman指出,“许多高校研究人员会使用模型写论文,我们则作为一个研究成果的‘策展人’,能更快识别出真正有价值的研究进展。”

同时Lightricks决定向年收入不超过1000万美元的企业免费授权使用LTXV-13B模型。这一在AI行业鲜有的策略目的在于构建开发者与中小企业的生态社区,借此在商业化前验证模型价值。

Farbman表示:“学术界本就不设限制,可以自由使用模型。而对初创企业和工业用户,我们希望创造双赢局面。光靠AI爱好者或艺术家的尝试并不足以带来规模化营收。”对于未来实现商业化的企业,Lightricks计划参考游戏引擎的授权模式,根据公司营收状况进行商业谈判。“一旦某公司营收突破1000万美元,我们会就授权事宜与其商讨。”

三、通过与Getty和Shutterstock的合作,解决AI训练的数据版权难题

随着AI模型使用网络抓取数据进行训练所引发的法律争议不断增加,Lightricks已与图片版权商Getty Images和Shutterstock达成合作协议,获得用于模型训练的授权内容。

▲两只由AI生成的兔子在单块消费级GPU上渲染而成,它们短暂地望向镜头后便迈步离开(数据来源:Lightricks)

Farbman坦言:“训练数据的收集仍处在法律的灰色地带。我们的企业客户对此非常重视,因此必须确保能为他们提供合法合规的模型。”通过与上述内容提供商的合作,Lightricks能够在保证合规性的同时拓展企业级市场,降低其在商业应用中的法律风险

结语:AI视频生成领域多模态融合引领技术突破

Farbman坦言,尽管LTXV-13B已取得显著进展,但当前AI视频生成尚未达到影视制作所需的精度与复杂度,即便是最先进的模型,距离真正的好莱坞水准仍有不小差距。

但他也指出,AI视频已在动画制作等实际场景中展现出巨大的效率优势,特别是能自动化执行一些重复性极强、资源消耗大的环节。“高端动画制作的预算中,真正的创意设计只占一小部分,而关键帧制作却是耗费最多资源的环节之一。”

展望未来,Farbman预测下一个技术前沿将是“多模态视频模型”,即将图像、音频、音乐等内容整合至同一潜空间内进行联合建模。“届时诸如唇形同步等问题将迎刃而解,跨模态协同将成为基础能力。”

(来源:新浪科技)



用户登录