有哪些好用的AI视频生成工具？

可以根据提供的文案，生成比较自然且契合文案的视频（试用过几款工具，生成的所谓的视频其实就是一堆图片拼凑成的图集）。
使用频次并不算很高，最好使用成本比较低。
国内外的产品都可以。

发表于前天 07:52

工具很多，不管是电商产品宣传、还是自媒体副业、或者影视、短剧、广告等行业，
几乎都有垂直视频工具。
我推荐几款国产AI视频工具。

1、AI视频 · 可灵

AI生成视频工具，快手的可灵在全球都算排的上号了。
sora目前还没开放测试，可灵已经全球可用了。
每天有免费能量赠送，可以先试用一下。
这是网上的大佬，用可灵生成的广告视频，还是蛮逼真的。

https://www.zhihu.com/video/1808935122663247872

1）集成文生图、文生视频、图生视频
简单输入文字，即可生成快速生成图片、视频，支持设置生图数量、尺寸等。
如果有想模仿的图，可以上传参考图。
不懂提示词也没关系，广场上有大量的模板，可以复用。
这是我用自己实拍图，加上提示词，尝试转动漫的效果。

2）画面稳定不变形，可设置时长、运镜等参数
在生成视频的控制上，可灵的参数设置，全面但不复杂。
生成一次大概需要2~5分钟。
默认5s视频，支持一键续时长等。
这是我用上面生成的图，加上简单描述‘微笑转身’，生成的5秒视频。
除了把漫画风变成真人风，其他没啥毛病，笑容很自然，身体姿势也没问题。

就是这个图生视频功能，直接带火了一个副业——老照片项目。
就这种自媒体号，下面都是问‘怎么做’，或者‘求定制’。
一张图片转视频，定制费在39~49，那俩月轻轻松松月入5k。

其实，一开始可灵是完全免费的，这些第一波赚到钱的人，完全是0成本套利。
打的就是一个信息差（各种AI赚钱风向）和工具差（AI应用的使用权限）。
如果你对AI赚钱感兴趣，又不了解用什么AI工具，没有工具权限。
知乎知学堂的「AI应用实战营」是很好的AI副业入门契机，
有两个值得一听的有点：
提供AI工具免费试用权限，集成对话、绘图等；

讲解15+AI实战案例，并拆解一步步操作技巧，
像sd这种控图技巧，也会讲。

入口在这里，工具、技能、变现渠道，系统化讲解，值得一听的。

记得添加助教老师，领取AI工具试用权限。
听完课程，还可以领超大份AI学习资料，像SD的本地安装包、100+模型、MJ的咒语、66+AI副业赚钱技巧，AI绘画接单渠道等。

2、AI文生视频 · 清影

清影是智谱清言新上线的AI视频生成功能，
在可灵收费后，清言就上线了，效果比可灵差点，但重在免费。

1）文生视频
只有4个设置点：
一句话描述视频场景，视频风格，情感氛围，运镜方式
生成一个视频大概需要2分钟，单个视频也是5s。
整体效果比可灵差一些，人脸细节会变形，画面一致性也不太好，不过胜在免费。

2）图生视频
图生视频更简单，只需要上传图片，简单描述‘动态画面’，3分钟后自动生成。
也可以系统随机生成一条灵感。

总之，清影刚上线，实力确实跟可灵有差距，但胜在免费。

3、MV生成 · 星火绘境

这是一个针对MV生成的工具。
功能非常简单，输入你的歌词，工具自动会生成分镜，
可以选择你想要的视频风格，有写实，有动画共12种风格。

然后根据分镜，一段段生成视频起始帧，
可以刷新重新生成，支持修改脚本文案，再次生成。

最后再素材合成为一个视频。
简单测试了一下，效果不如可灵，画面一致性也不太好。
不过，如果是做自媒体，就差不多够用了。

4、小说推文视频 · 白日梦

小说推文这个副业，应该没少听到到吧~
那像这种有剧情，有多个角色的视频内容，有对应的软件吗？
那就是白日梦这个工具了~

1）演员角色库
首页就有超多不同风格、不同年代的角色，
你可以选择官方已有的，也可以根据自己的需求，去创建适合自己剧情的角色。
可选性别、年龄、风格，上传参考图片，就能快速生成。

2）从编写故事，到视频生成，5步快速搞定
进入创作功能，执行5步，即可生成场景分镜

1、输入故事标题，以及分镜文案；
2、系统识别文案中的人数，开始设置人物形象
3、选择画面分镜；
4、生成图片，进行再编辑；
5、生成视频。

生成的效果，类似于动态漫画，想要生成动效更好，就需要设置更多小分镜。
不过，用来做小说推文、儿童绘本等，已经非常够用了。

总之，不管是学AI工具、还是花钱买会员，不管是选国内还是国外，
重点是找到与自己需求匹配的，免得花冤枉钱。

这篇推荐主要是国产AI视频工具，技能操作也比较片面。
如果你想做完整的视频，需要多个AI绘图，AI视频工具搭配使用。
完全可以生成大片特效，产品广告片等，还有虚拟模特之类的。
对工具搭配，以及使用技巧感兴趣的话，听这个‘AI应用实战’课就能全盘了解。
有啥针对你自己行业的AI应用策略、对应工具、以及发展趋势等，还可以直接群内问老师。

<a data-draft-node="block" data-draft-type="edu-card" data-edu-card-id="1808944112168206337">
就像我之前在企业做营销运营，现在自己做自媒体的，尝试过多个赛道，之所以选AI赛道，
就是看到好多跟我一样的普通人，从去年了解GPT后深耕一年，很多都变现了6位数以上。
大佬就更不用说了，给品牌做AI广告片定制、Agent定制、企业AI培训等，各个都赚翻了。

我算是第一次体会到，什么是‘新技术红利’，什么是‘信息差红利’。
2024年是非常好的学AI的时机，
一来，是真的有用，最差能让你工作更高效。
二来，很多人还是怀疑，或者不想投入时间，那先学的人就是能抓住先机，也更有竞争力。
<hr/>

发表于前天 08:05

作为视频工作者，早在2023年我就开始关注AI视频领域的进展，但当时市面上比较先进的工具只有Runway和Wonder Studio两个。一年过去，AI的发展可以说是日新月异，市面上也出现了很多新的AI视频工具。
放眼全球，我个人接触过的，好用的AI视频工具一共有8个。
其中包括AI视频的先行者Runway、当前最强的快手可灵(kling)、AI绘画世界第二的Stable AI 旗下的Stable video diffusion、新锐AI视频工具Pika、国人开发的面向全球的AI视频工具Pixverse，剪映旗下的drieamina、虽然是小型创业公司开发，但在图文视频底层资源整合方面做的挺好的6pen pro，以及由AI驱动的CG角色动画工具Wonder Studio。
虽然上面我只说了8个，但其实懂行的人都知道，AI视频领域，还有两个未出世的隐藏王者，一个是OpenAI旗下demo刚一问世就震惊全世界的Sora，另一个则是当前AI绘画世界第一的Midjourney的视频版。
Sora不仅能够准确理解长达135个词汇的长难句文本，而且可以生成连续时间长达60秒的高保真视频，基本秒杀现有所有AI视频工具；而在当前的AI绘画领域，出图效果最好的仍然是Midjourney，这让人们对它的视频工具更加期待了。
但是很可惜，鉴于这两个工具目前都还没有面向大众正式发布，我们暂时只能用其它工具来进行AI文生视频和图生视频的创作了。
以下是这8个工具的详细介绍：
快手可灵

官网：https://kling.kuaishou.com/
其实本来我的推荐里没有可灵，但是可灵的横空出世让所有关注AI视频生成的人都沸腾了。
可灵大模型基于快手在视频技术方面的多年积累，采用与Sora相似的技术路线，并结合了多项自研技术创新。可灵AI现在提供了网页版，集成了文生图、文生视频以及即将支持的视频编辑能力，成为一站式视觉内容创作平台。它能够生成分辨率高达1080p、时长最高可达2分钟（帧率30fps）的视频，并且支持自由的宽高比。
还有一点最重要的，目前可灵还在刚刚发布的推广期，所有功能都是免费的。

可灵在视频编辑功能上的创新点主要包括以下几个方面：
1. 首尾帧控制：用户可以自定义视频的起始帧和结束帧，实现视频片段之间的平滑过渡和一镜到底的效果，增加了视频编辑的灵活性和创意性。
2. 镜头运动控制：提供了多种镜头运动控制功能，包括旋转运镜（Roll）、垂直摇镜（Tilt）、水平摇镜（Pan）、垂直运镜（Vertical）、水平运镜（Horizontal）和推进/拉远（Zoom）。这些功能丰富了视频的视觉效果，使得用户可以根据不同的创作需求选择合适的镜头运动。
3. 自动大师运镜：可灵AI提供了自动大师级运镜功能，有助于用户生成具有电影感的视频内容，增强了视频的吸引力和观赏性。
4. 高画质生成：在视频编辑过程中，可灵AI能够保持高分辨率和高质量的视频输出，使得编辑后的视频在细节和视觉效果上都能达到专业水准。
5. 物理规律模拟：可灵AI在生成视频时能够模拟现实世界的物理特性，确保视频内容的自然流畅和真实感。
6. 大幅度运动生成：可灵AI能够生成大幅度且合理的运动效果，使得视频内容更加丰富和动态。
7. 长视频生成能力：可灵AI支持生成长达数分钟的1080p、30fps视频，满足了更长视频内容的创作需求。
8. 视频续写功能：用户可以指定故事的后续发展方向，进行视频续写，使得视频内容可以更加连贯和完整。
可以说，截止到目前（2024年7月19日）为止，当今市面上可使用的视频工具，可灵目前是最强的，甚至没有之一。
Runway ML

官方网站：https://runwayml.com/
Runway由 Runway 公司开发，这是一家应用 AI 研究公司，自2018年成立以来，一直在人工智能和机器学习领域推动创造力的前沿。RunwayML 在视频生成领域的地位十分显著，它被视为行业的先行者之一。
Runway也是目前功能最多的一个AI视频平台，除了文生视频、图生视频、文生图片、上传音频和图片对口型等主要功能之外，RunwayML还提供包括视频编辑、运动跟踪等功能在内的多种附加功能，它还拥有超过30个AI魔法工具和几十种视频风格样式预设模型，能够实现一键转换视频风格，语音生成和编辑文本、图片或视频片段等功能。

我所了解到的视频工具当中，知名度最高的应该是Runway，这也是目前应用最多的一个AI视频工具。许多自媒体和商业机构甚至品牌方，都在使用付费版的Midjourney绘图+Runway图生视频，这两个工具不知道养活了多少以AI视频为主要发布内容的自媒体。
不过对于国内用户来说，RunwayML 网页版的网速和充值体验可能不是很友好，要想丝滑使用Runway，最好是可以科学上网，这样你就可以用谷歌账号登录。
Stable video diffusion

官方网站： https://www.stablevideo.com/
Stable Video Diffusion （SVD ）是由 Stability AI 团队基于Stable Diffusion模型开发的开源生成式视频模型。当然Stability AI 也同时发布了面向更大众用户的网页版AI视频网站Stable video，只需要一个谷歌账号和浏览器，就可以直接在线生成视频。
Stable Video Diffusion本质上还是先通过文生图，然后再进行图生视频，可以生成14帧和25帧图像，帧速率可在3到30帧每秒之间自定义。
用户通过上传一张图片输入提示词即可生成视频，同时Stable Video进一步提供了多样化的相机动作选项，可以更精细地控制视频中的视觉效果。

Camera Motion（相机运动）：用户可以选择是否锁定相机（Locked），或增加抖动效果（Shake），以模拟真实的拍摄体验。 Zoom（变焦）：通过「In」和「Out」选项，用户可以控制视频中的缩放效果，以突出或拉远画面中的某个元素。 Tilt（倾斜）：上下倾斜的相机动作，为视频增添了动态角度变化。 Orbit（轨道运动）：相机围绕对象旋转，创造出环绕视角。 Pan（平移）：水平移动相机，常用于展示宽阔的景象。 Dolly（推拉镜头）：相机前后移动，创造出深入或后退的视觉效果。 Move（移动）：控制相机在场景中的上下或左右移动。

SVD 在视频生成领域具有革命性的地位，尤其是在3D合成技术方面，因为开源免费，因此很多开发者和高端玩家会选择在自己的电脑或服务器上直接安装本地版的SVD，本地版的SVD可以结合ComfyUI（一个基于节点流程的Stable Diffusion 操作界面）的工作流，通过插件之间的配合，创造出许多惊奇的动画和转场效果。
但个人认为这种工作流的操作界面不够傻瓜不够大众化，目前只能在开发者和高阶玩家之间小圈子流传，在不远的未来应该有集成同样功能和效果但操作和交互更加便捷的工具出现，前台只需要一个功能按钮或者调节界面，即可实现和工作流同等的效果。
比如在剪映刚刚上新的视频翻译功能，其实本质上就是一键生成字幕——文本翻译——英文文字转语音——视频对口型几个功能的组合技，而剪映选择把作为组合技的工作流隐藏在了后端，用户在软件界面所看到的，也不过仅仅一个“视频翻译”的功能选项而已。

Pika

官方网站：https://pika.art/
Pika是由Pika Labs开发的一款先进的AI视频生成工具，支持文生视频和图生视频，以及视频转视频。Pika 1.0版本引入了强大的新功能，比如视频风格转换、内容编辑、更改画幅等，允许用户进行深度的再创作和风格转换，用户能够根据文本提示快速生成多种风格的视频，包括3D动画、动漫、卡通和电影等。
Pika Labs可以说是AI视频领域的一匹黑马，在短时间内迅速完成了三轮共5500万美元的融资，估值达到2亿至3亿美元，在Pika的公司介绍页面，他们这样写道：“Pika是由两位斯坦福博士生创立的，他们觉得制作视频实在是太难了。因此，他们决定让任何人都能够按照命令轻松制作视频。”
Pika的特点在于面向普通大众用户，非常傻瓜易用，并且操作界面要比其他所有的视频工具都友好。如果你不知道生成什么样的视频，还可以让AI自动帮你随机生成一段提示词，生成的视频还能选择一键加配音。

Pika生成质量还是很不错的，唯一的缺点就是国内无法正常访问，必须通过科学上网的方式才行。
Pixverse

官网网站：https:/app.pixverse.ai/login
Pixverse是北京爱诗科技旗下AI生成视频产品。爱诗科技是一家专注于AI视频生成技术的公司，由前字节跳动视觉技术负责人王长虎创立。PixVerse 的界面用户友好，操作简便，而且国内不需要魔法就可以正常使用。
PixVerse目前有文生视频和图生视频两种创作方式，文生视频就是直接输入文字就可以生成视频，没有生成图片的中间项。图生视频可以通过上传图片和输入提示词，调整运动幅度、随机种子数值。
PixVerse的优势在于对于人物动作提示词的语义理解能力非常强，尤其是在人物动作方面，输入提示词和不输入提示词的效果大相径庭。PixVerse近期推出的角色一致性功能，能够生成人脸一致的角色，上传指定人物图片后，可以生成改人物的不同的发型，着装和场景。
PixVerse目前默认生成的单个视频时长为4秒，就视频生成的效果而言，和Runway、Pika等工具可以说是不相上下，各有所长。
Drieamina

官网：https://dreamina.jianying.com/ai-tool/platform
剪映Dreamina是抖音旗下的AIGC工具，用户可以根据文本内容生成由AI生成的创意图，支持修整图片大小比例和模板类型，目前刚刚上线了AI视频，支持文生视频和图生视频，可以生成3秒视频，同时会员版可以进行二次渲染，把视频延长到6秒，效果应该也会更加丝滑。
易用性方面，Dreamina是向Pika看齐，操作界面非常简单傻瓜，运镜设置，画幅比例等参数简单易懂，任何一个小白用户都可以轻松操作。
除了网页端的入口之外，目前Dreamina的图片生成工具已经集成在剪映当中了，由于剪映本身在全球拥有庞大的用户基础，Drieamina 可能会借助这一优势，在移动视频编辑和 AI 视频生成领域占据一席之地。

视频生成效果和stable video差不多，但是能看出来进行了参数调优，有时候甚至能比stable video网站生成的效果要好一些，目前每天有60个信用点的免费额度，也就是可以生成5个视频，唯一的缺点就是生成的视频是带水印的，需要开会员才能下载无水印版。
6pen pro

官网：https://www.6pen.pro/
6pen Pro 是6pen.art的加强版，集合了AI创意助手，AI图片生成、AI声音克隆、AI视频对口型、AI换脸、AI图生视频等多种能力，专注于探索生成式AI能力的组合，将多个单一的生成功能组合拼装，以实现更丰富的创作效果。
在国内一众开发者当中，6pen的团队可以说是一股清流。当初Stable diffusion刚刚问世的时候，由于我的电脑装不了本地版的安装包，所以苦苦寻找国内好用的在线套壳工具，这时候6pen率先出现在我的视线当中。
不同于国内其他无法调整参数，只有少数几个绘画风格的傻瓜型AI绘画工具，6pen提供了高度的自定义选项：提供多种模型、种子、参考图像、分辨率、风格修改和艺术家选择等可定制的选项，参数可以自行调整，可玩性非常大。
6pen Pro 的主要特点和优势是：把包括stable diffusion XL、DALL·E·3、优质的Lora模型、语音图片对口型模型、stable video diffusion模型、还有自研的AI语言模型，自研的AI绘画模型等几十种不同功能的模型组合打包，并且以工作流的形式打通了所有模型。

也就是说，你用工作流通过把声音克隆生成器和AI对口型视频生成器结合起来，就相当于是建立了一个完整的复活亲人的应用，并且可以自行调整参数。下次使用的时候直接输入就可以也不用专门去寻找。
比如我将描述画面增强和DALL·E·3图片生成、图片高清放大三个生成器放到同一个工作流当中，那么下次我直接输入想要的人物和场景，AI就会帮我自动优化描述词，直接生成一张高清放大的写真照片。

再比如把图片生成视频和视频顺滑组合起来，就是一个一键生成6秒视频的工作流，对于需要追求效率的朋友来说确实是一个不错的选择。虽然6pen的AI视频底层用的仍然是SVD，但是叠加上视频顺滑效果之后可以生成6秒视频，最后的成片效果甚至比stable video网站官方的效果还要好。

对于追求高效率和出片速度的公司和团队来说，这种工作流的方式的确能提高一定的效率，毕竟大力出奇迹。不过这种工作流也有局限性，比如AI视频，有很大的盲盒性质，需要不断抽卡生成才能找到满意的那一个，那么用工作流串起来跟分开用有何区别？而且如果出来的视频效果不好，加上视频顺滑效果还白白浪费了点数。
Wonder Studio

官网：https://wonderdynamics.com/
Wonder Studio是一款AI驱动的CG角色动画工具，它能够自动地将CG角色动画化、打光并合成到真实场景中。这款工具由Wonder Dynamics公司开发，旨在通过AI技术简化传统的影视特效制作流程，使其更加高效和易于访问。
严格意义上来说，Wonder Studio的原理其实还是AI赋能的视频抠像、绑定跟踪和3D模型替换。
不需要昂贵的动作捕捉设备或专业的3D建模师，一台能够拍摄的相机即可完成角色的动画捕捉、自动识别与替换，用户可以通过简单的拖拽操作，将视频素材导入到Wonder Studio中，AI技术可以自动识别视频中的人物，并将CG模型拖拽替换到视频中，并快速生成带有动画CG角色的场景。官方有几个预制好的模型，同时也支持用户上传自己的模型。
虽然不是AI生成类的工具，但是Wonder Studio 仍然在AI视频制作工具中占有一席之地，尤其是在简化复杂动画制作流程和降低成本方面显示出了其潜力。它被看作是可能对现代影视工业产生重大影响的工具，为独立创作者和小团队提供了与大型工作室竞争的可能性。
总结

以上就是我目前所接触到的AI视频工具，个人认为，截止到目前为止，除了Sora和可灵之外的所有AI文生视频工具，效果都还差那么点意思。
最明显的地方就是，这些工具生成的视频当中，仍然有着非常明显的AI帧融合变化痕迹，也就是说你可以肉眼从视频中看到大量的AI运算的痕迹。在动作方面就更别提了，几乎没有一个AI工具能够完美地让人物做出一个大幅度的完整动作，这也是为什么你能看到的所有AI视频当中，大部分有人物的场景画面，都是以慢动作、纯运镜的形式呈现出来的，因为人物的动作实在太不可控。
另外一个有待改进的痛点就是，当前主流的几个AI视频工具，在图生视频方面，几乎无一例外都会损失原图画质，也就是说，生成的视频画质比原图的清晰度还有精细程度都要差不少。当然目前这个问题在一些工具上已经比之前有所优化了，如Pixverse、Pika等，但总体仍然还是有一定程度上的画质损失。
不过以上缺点也并不是无可救药的，解药就是AI视频工具另一个痛点——盲盒性质，没错，这是所有AI视频工具的通病，生成视频就像抽盲盒，你永远不知道这次生成的视频会不会满足你的需求，甚至很多时候需要多次生成，才能做出一个有效镜头。
所以如果你想做一个纯粹的高质量AI短片，必须要大量抽卡的准备，抽卡次数越多，接近你心中想要的画面的概率就越大。
也就是说，如果你想做AI短片，你至少要有足够的预算去给这些AI视频工具充值才可以。当然高阶玩家可以通过本地版的SVD来解决这个问题，进一步拉低成本，但目前SVD的视频效果其实不如Runway、Pika还有Pikverse。
不过以AI领域如今的进化速度来看，以上这些痛点估计很快就会被解决掉，希望这些工具的下个版本更新，还有万众瞩目的Sora以及Midjourney视频版的正式发布，AI视频生成能够能给我们带来新的惊喜。
最后再说一下关于视频智能创作工具的事情。
目前市面上最强大的AI视频工具，基本都是只能根据描述做素材，并且视频素材中不能有文字，不能加文字特效，即使你用AI图片工具提前生成有文字的图，AI视频工具也可能把你的文字毁掉。更别提根据你的文案智能匹配和剪辑了。顶多能通过视频延长来进行丝滑转场，比如快手可灵的视频延长功能，可以做伪长镜头。
所以，能实现你说的那种效果的AI视频工具，目前还不存在。
知乎和剪映都出过根据文字自动匹配视频素材的功能，但是效果都很弱智。
之前有一些创业者开发出了可以根据故事版来做AI视频的平台，但由于没有用最好的视频工具，出来的素材也很一般，所以只能期待有大厂会开发类似的工具。
据我所知剪映的即梦（dreamina)已经有AI故事创作工具的功能在开发中了，可以期待一下。

发表于前天 08:17

市面上 AI 视频生成工具不少，但是好用的倒是并不多。
下面我来进行排雷，帮大家筛选出适合你使用的。
除了之前热度很高的 Sora、可灵、Runway，还有大家可能并不熟悉的Luma、即梦、PixVerse。
抛除最早让大家拍手称赞的 Sora ，作为一个“期货”工具迟迟不上线，介绍几个大家随时可以上手使用的。
不买关子，直接说下测评后推荐的建议：
首先去排队可灵的使用资格，能够排上队使用可灵是最佳选项。
如果没有资格，但想第一时间体验使用AI视频生成能力，建议可以选择 Luma Dream Machine、PixVerse、即梦这3个产品，上手体验和产品能力都还不错。
再来说下推荐的理由，因为这些工具我全部一一测评了。
本次入围的AI生视频工具包括国外和国内的一些知名产品：
国外白月光：Luma Dream Machine、Runway Gen-2、Pika
国内领头羊：PixVerse、即梦、Clipfly
测评规则

测评会使用同一个Prompt，基于各个工具生产的视频结果进行评判，为了对比效果我这里就以「可灵」用户创作的《疯狂动物城赛车大赛》为基准，设定一个文生视频Prompt。

Three animals are racing in an F1 car, including a panda, a lion, and a Husky（3只动物驾驶F1赛车进行比赛，包括熊猫、狮子和哈士奇）

评判的维度包括五个层面：内容相关性、图像质量、物理逻辑性、创意创新、操作便捷性，符合要求得1分，总共5分。
1、内容相关性：主要考察生成的视频结果是否和 Prompt 的描述是一致的。如果符合描述需求得1分
2、图像质量：会评估视频的图像质量，包括清晰度、分辨率、色彩准确性和动态范围。符合评判要求得1分
3、物理逻辑性：视频内容是符合现实物理规则逻辑的，例如水是从上往下流。符合物理规则逻辑得1分
4、创意创新：AI内容创造主打一个创意和创新，如果完全copy现有的电影或视频，那价值就不大了。视频有独到的创造创意得1分
5、操作便捷性：用户能正常和便捷上手使用工具是第一要素，这个主要考察使用操作体验的友好度。使用便捷得1分
整个测评我个人的主观性会比较强，给出的评估结果也是基于我个人的观感，并非一个权威的测评，所以如果大家有任何不同的意见都无需硬杠。
测评结果

Luma Dream Machine

Dream Machine 官方给出的 demo 视频效果基本可以生产媲美电影级的视频，但是我上去使用的时候发现目前只能生成5秒的视频片段，稍显遗憾。
但这个不妨碍它的用户暴增，使用一度出现排队使用的情况，可见全球用户对于AI视频工具的热情有多高。

从生成的效果来看，整体还是不错的，特别是主角的灵动性细节上非常巧。

首先内容的相关性上场景是符合的，不过Prompt中提到3只动物，目前仅出现了一只熊猫，但好在熊猫的表情细节到位。
其次图像质量整体控制的不错，物理逻辑性和创意创新都没太大问题，用户操作上只需要一句 Prompt 就可以上手，简单明了。
综合得分：4分
顺带说在 AI 视频创作上，对于 prompt 提示词的依赖度很高，如果你还不清楚如何进行prompt控制，我建议可以系统学习下知乎知学堂的「AI工具训练营」，2个小时快速学会几个优质AI视频生成工具的高效使用套路。动画片、科幻短视频、经典影视改编都不在话下～
课程的链接我放下面了，建议大家都去系统了解下：
如果学完了，记得找助教要 prompt 的指南干货资料包。
Runway

Runway 作为最早入局 AI 视频创作的企业，已经迭代了出了 Gen-2 这样的产品，不过目前还是受限于创作的时间，4秒的连续视频和Sora、可灵这样的工具对比就有了明显的短板。
回头说到生成的视频，面对复杂的场景指令，Runway 在不止视频时长，在内容相关性、物理逻辑等多方面都显示出乏力。

首先没有出现 Prompt 中提到的任何动物，其次出现汽车倒行的物理逻辑性问题，也有让人惊喜的，其出彩的色彩调配和3D模型能力。
综合得分：3分
Pika

Pika 的横空出世，让AI届非常意外，甚至当时连创始人父亲的公司（信雅达）的股票都喜提涨停，父凭女贵我真的有被雷到（但想想发生在神奇的大A股也不足为奇）。
Pika 在时长上还是没有获得突破，至于实际的效果嘛，我认为是测评的几个中效果最不理想的。

首先也没有出现 Prompt 中的动物，其次视频画面质量也不太好，而物理逻辑性则存在非常明显的问题，可看到不光是赛车出现运动过程中的变形，甚至轮胎变形 too！
综合得分：1分
PixVerse

由国内AI初创企业爱诗科技推出的 PixVerse ，应该对国内很多用户是比较陌生的，这也正常，因为他们一开始就先出海。
和上面几款国外的主流AI生视频工具一样，暂时仅支持生成4秒连续的视频。

在内容相关性上面，到现在为止反倒是 Pixverse 做的比较好，虽然生成的动物有点偏差，但至少符合了3个动物主角，其次画面的质量也还说得过去。
但在画面的物理逻辑上面就会有一些问题，例如最右边的两辆赛车共享轮胎是什么鬼。
综合得分：4分
即梦

如果经常用AI文生图的同学应该对即梦并不陌生，我之前也做过即梦的测评，这款字节剪映出品的产品使用感受是比较好的。
产品其实也有文生视频、图片生视频功能，不过不像是对手可灵直接可以生成长视频，目前即梦只能生成短暂的3秒视频。

但是聚焦到视频效果，我倒是觉得剪映的创造性和画面表现是挺不错的，虽然在 Prompt 的理解上出现了一些偏差，但还是能够以良好的效果把需求展现出来。
综合得分：4分
Clipfly

最后一款产品名叫 Clipfly，同样也是国内企业面向海外推出的产品，目前支持4秒的连续性视频生成。
说实话，我对整个视频的效果是不太满意的。

画面中出现了4只动物是和 Prompt 有一定的出入，这个其他的工具也有同样的问题，这个看来是面对复杂场景的共性。
但在视频中，我发现赛车根本就没有动起来，更像是镜头轨迹在动，这个明显的问题在其他的工具中是没有出现过的。
另外还想说下用户的操作体验，上面几款产品都在用最直接简单的方式让用户快速操作起来，但是 Clipfly 不走寻常路，需要用户输入 Prompt 后，系统会生成几只图片，用户再选择合适的图片后，再在此基础上生成视频，操作多了几步，会更复杂一些。
不过这也能理解，为什么视频呈现出来的效果就是在一张图上做了镜头轨迹移动。

综合得分：0分

发表于前天 08:28

这一次的AIGC浪潮已经从最开始的AI绘画转变到了AI视频，从去年开始就不断的出现各种各样的AI视频工具。这些工具里面最常见的要属于文生视频工具，这些狭义的AI视频，但是广义上来讲任何使用AI技术用来制作的视频都可以算作AI视频。最近一两年得益于AIGC技术的不断成熟，文生图，大语言模型，AI语音生成和虚拟人技术的不断进展。现在这个阶段AI的视频工具流终于可以实现了。

AIGC视频大爆发，大家真正要的是什么？

目前最火的也是产品最多的AI视频工具莫非是文生视频了，从最开始的Runway到pika，再到现在新起的AI视频工具大部分都是这个类别，当然大家很期待但是用不上的sora也是这个类别。这类2D的文生视频工具可以让一个短片的制作流程非常便捷快速，但是它存在很多问题。

文生2D视频目前商业化的难点，可控性差以及无法修改和编辑

我们可以在短视频平台看到很多华丽的AI视频的作品，目前文生视频大部分的工作流程是先用文生图来制作分镜，然后再用这些分镜生成4s左右的片段，然后用剪辑工具来把这些片段剪辑到一起。这些片段的生成时长大部分都不超过4s，如果超过就会存在很严重的变形。文生视频目前的视频大模型对提示词的语义理解也很局限，这也是大家为什么都是用图片来生成的原因。大部分好的效果是通过大量抽卡随机生成的，基本还轮不到提示词工程。这种创作方式可控性极差，以至于被形容成抽卡式创作，而大部分的作品很难实现连贯的大动作，所以片子会很像有一点动画的PPT作品。
sora迟迟不推出，需要消耗大量的算力资源，存在费用问题

但是你要说了，sora不这样啊sora多么牛逼，时长超过1分钟，然后人物动作逼真连贯，语义理解也很到位。是的没错，根据目前openai放出的demo来看，sora是现在最优秀的文生视频大模型。唯一的缺点是，几乎没人有资格用。openai号称sora已经可以模拟物理规则了，从已经公布的资料可以推断，一方面是伦理原因，但是更大的一方面可能是算力问题，sora也同样是大力出奇迹的典范，需要消耗大量的算力。视频类产品消耗的算力是图片类产品的数十倍，sora这种效果好的就更多了。这种情况下，sora的价格是否可以达到一个可商用的位置是个悬念。毕竟大部分的老板们追捧AIGC是为了给他们降本增效的，不是为了破产的。而即使是sora这么优秀的语义理解，仍然存在生成的视频无法修改和编辑的问题。
昙花一现的wander，3D视频角色产品，应用面太窄。

曾经在去年2023年5月出现过一款叫wander的AI视频产品，可以直接替换视频中的人物。这款产品的逻辑跟目前的文生视频很不一样，它是直接根据视频来给里面的人物建模，然后使用其它的3D模型来替换里面的人物。它生成的视频可以把新的人物很好的融入到现实场景中去。但是这款产品一直都不温不火，用的人也非常的少。究其原因可能是它的局限性太大，只能支持人物替换，并且如果要使用自己的模型需要严格的按照它们的规范来进行命名和标注。模型也只支持硬表面的模型，对于流体面料完全不支持。

你为什么要做AI视频？玩具or生产力工具？

你为什么要做AI视频？这个问题是值得所有的AI视频创作者和创业公司思考的。因为目前我看到的市面上大部分的AI视频工具都还不能称之为生产力工具，更像是一个新奇的玩具。

商业视频需要非常高的可控性

无论是商业广告视频，还是口播带货视频，还是影视短片，你随机抓个从业者问问都会告诉你整个工作流充斥着大量的沟通与修改。而现在的文生视频根本不具备编辑和修改的技术能力。这一年大家可以看到很多的商业宣传片用文生视频做的，怎么到了AI视频就突然不需要编辑和反复修改了呢？那是因为现阶段的AI视频更多的是在利用它营销的属性，而不是工具的属性。商家需要让大众看到自己站在了科技的最前沿，需要让大家看出这是用AIGC做的，至于它做的有多好到不是最需要考量的因素。但是随着越来越多的此类视频的发布，营销属性会逐渐丧失，再往后呢？大家就不得不面对AI视频真实的工具能力。而作为一个合格的生产力工具可控性是最大的考量因素没有之一。

AI绘画的可控性来自controlnet，可控性才能带来真实的落地应用

同样的可控性问题之前就在AI绘画中出现过，在controlnet这个技术出现之前，虽然midjourney已经可以生成十分华丽的图像，但是大家仍然只是把它当成一个玩具而不是生产力工具。controlnet出现之后真正的落地应用才开始出现，AI绘画才逐渐结合电商，摄影，建筑等诸多细分的行业和领域。这个我作为设计感受尤其强烈，你需要生成一张图，如果无法控制里面的元素，内容，构图，配色那么就无法形成一个稳定成熟的工作流。

大家要的不是随机的视频片段，而是可以解决需求的视频工作流

现在的AI视频就站在了急需可控性工作流的阶段了。我们用AI生成一堆随机的视频片段在商业上的价值并不是很大，PPT式AI视频大家很快就会厌倦。下一个阶段一定是系统的把AIGC的技术结合在传统的视频工作流之中，满足一些真正细分场景的应用需求，这个才是未来AI视频的发展路径。

AI视频的拼图已经基本形成

虽然现阶段的文生2D视频技术尚有发展空间，但是组成一个视频需要的元素：脚本，人物，分镜，语音，配乐。这些都开始有对应的AIGC技术出现，比如脚本有大语言模型GPT，人物可以用文生图，语音相关的TTS也基本成型，音乐有最近大火的suno。每一个技术分支目前都有相关的AIGC技术出现。所以现在需要的是一个能够一站式生成视频的工作流产品，比如现在如果我要制作一个AI视频，可能需要结合GPT，RUNWAY, SUNO, 剪映等好几个产品才能实现，这并不合理，真正的AI视频工具应该是能够一站式解决所有需求的。这类产品不多但是我最近也找到了一个，是一款叫有言的AI视频创作平台。我接下来会用它来举例AIGC的技术如何融入到视频工作流之中。
https://xg.zhihu.com/plugin/1b2868a72f437b61957cd7d1a69a021e?BIZ=ECOMMERCE视频脚本

过去专业文案编导的这部分工具已经可以使用大语言模型生成了，但是通用型的大语言模型对于普通用户并不友好。比如我要写一个脚本，但是并没有相关的经验，我是不知道如何让GPT生成我想要的内容的。这一点在有言上做的很好，它已经把常见的视频脚本结构化了，用户只需要选择一些既定的选项就可以得到一个相对规范的内容脚本。

视频脚本这里的文本字数也很贴心，虽然是个很小的功能但是对我来说十分的重要，过去写完脚本预估时长只能根据经验。

以冰岛为例的脚本生成。

3D虚拟人视频生成

目前市面上的虚拟人主要有三种，一是2D虚拟人大部分只能有面部口型动作，还有的就是3D虚拟人这是有言的产品方向，最后是相对传统的拍摄真人视频来制作相关的虚拟人。2D的虚拟人动作非常僵硬，并且无法有肢体动作，真实人物制作虚拟人可能会有肖像权等法律风险，目前的法规还不够完善，并且肢体动作也比较有限无法编辑。这可能是有言选择3D虚拟人的原因。

有言的3D视频生成主要覆盖的是演播类的应用场景，需要一个主持人和口播类的视频，他们把这类视频的流程拆分的非常细致。大致分为场景和人物，其中环境场景可以自定义运镜，人物部分也可以设置镜头和人物动作，这就覆盖了大部分的企业产品宣传类的商业视频，并且人物动作的可编辑让视频会更加的自然和逼真。

可以通过选择文本内容来设置对应的人物动作和镜头。编辑页面的最下面是一系列场景，这些场景可以选择自带的模板，也可以选择自己上传的素材，这里的便捷性也是很不错，目前这部分大部分都是需要使用专业的剪辑工具添加，这里直接一站式解决了。3D虚拟人还有一个最大的好处是不太受视频时长的限制，也没有质量方面的问题。

我这里把2D的AI虚拟人的特点和有言的3D虚拟人做了一下对比：
分为以下几个方向进行分析

视频人物动作和表情口型匹配
人物口型匹配只支持正面，并且无法匹配相对应的动作。Runway也在他们的视频生成里添加了2D虚拟人的口型匹配，但是目前都还是只支持正面的肖像，人物的角度或者面部比例一旦低于一定程度就无法生成，而且只支持面部的动态，身体动作是没有任何一个产品支持的。并且生成的时长有限制并且很贵，因为这些都需要消耗大量的算力。生成的视频是一次性的，不支持任何形式的修改，如果需要改动里面的内容，就只能重新生成。

而3D虚拟人视频这些都没有问题。有言的虚拟人可以设置场景内容人物动作的多重修改，也没有时长的限制。在生成的费用上也低廉很多，文生视频有一个非常隐蔽的消费点，就是虽然看起来是按时长收费，但是实际上你要得到你想要的视频片段因为可控性很差，都是需要大量抽卡才有希望获得，这就给费用造成的很大的不可预估性，每个视频都需要大量的试错成本和时间成本。

视频的运镜效果
runway有丰富的运镜功能，但是这种运镜幅度一旦变大就会变形。除了变形，视频的清晰度和流畅程度也是一个很大的问题。2D视频生成的运镜跟2D虚拟人是分离的，很难合成在一个场景，只能通过剪辑拼起来。

但是如果用3D视频生成，比如下图的有言生成的演播讲解视频，每个镜头的运镜都是可以修改的，并且运镜的类别分的十分详细，这就给后期的优化调整提供了可能。

视频的编辑和可控性
几乎没有编辑的功能，可控性目前最先进的就是runway的多重运动笔刷，但是出来的效果也具有一定的随机性。在可控性差的大前提下，AI视频的一致性问题就会特别凸显，目前的解决方案也是通过AI绘画先生成一致性的图片，再用图片来生成视频，而不是直接生成视频。但是即便是如此生成后的视频也无法修改和编辑。

3D的有言很好的规避了这个问题。人物的镜头远近角度，人物的台词内容，画面的场景和运镜都可以任意修改。

有言最终的成片效果，我拿冰岛旅行做了一个demo测试，后期的视频包装上添加了背景音乐，如果想要做更复杂的视频后期包装他们也同样支持视频的片头片尾音效和字幕等。这些之前都需要专业的剪辑工具才可以完成，现在在一个工具上就可以实现，能够在一个工具上生成可商用成品的产品一定是未来的趋势。

最终的成片效果

https://www.zhihu.com/video/1772236313955274752
https://xg.zhihu.com/plugin/1b2868a72f437b61957cd7d1a69a021e?BIZ=ECOMMERCEAIGC视频的未来：2D还是3D?

在AI绘画的可控性（controlnet）出现之前AI绘画只是个新奇的玩具。这个对于AI视频也是如此。现在AI视频的3个方向：风格迁移，文生2D视频，2D唇形匹配，在视频的工业生产上还存在非常多的问题，最关键的问题在于几乎没有可控性以及后期编辑的可能。所以，真正可行的路径可能不是一键生成你想要的视频，而是把诸多技术很好的整合在一起。也就是目前有言在走的路径，一站式AI视频生成工具。

有言很不一样的选择了3D，这个跟大部分现有的AI视频生成公司都不一样，我关注了2D视频生成这么长时间，确实也没有看到大的技术图片（sora除外），目前的工具离商业应用差距还是挺大的。这些AI视频的产品如何才能更好的生存下去，而不是阶段性的热点，需要产品能解决真实的商业需求。在这点上有言做的特别好，在大部分AI视频产品没有一个明确的用户画像的时候，有言的产品每个细节都在从商业应用反推和设计功能点。这就屏蔽了大部分没有可持续付费意愿的用户，只有需求明确且真实，一个产品才有真正的立足点，而不是只面向投资人的PPT产品。
3D比2D具有更多的可控性

比如人物动作和运镜都可以更好的编辑和控制。这个方面真的很棒，不过自带虚拟人模板在自定义人物独特性上差一些，这点后期应该可以通过AI换脸的方式来实现个性化。
物理世界的模拟3D会处理的更好

SORA已经是文生视频的极限了，虽然它号称可以模拟物理规则，但是仍然会存在一定程度的错误，并且成品视频无法修改和编辑。在细分领域，用3D构建好模版是更简单的解决方案。
元宇宙和XR技术依赖于3D

苹果Vision Pro的发布让大家重新看到了元宇宙和XR技术的前景，但是这一切都建立在3D的基础之上。2D的生成在XR领域应用会很局限。而3D的产品可以添加更多更丰富的交互性，如果生成的视频技术是以3D为基础的，那么未来等到XR技术成熟，人手一个XR眼镜就可以真正的一键实现身临其境的云发布会了。这些都是2D的视频生成无法做到的。

所以，大概总结一下。3D的视频生成可能是解决视频可控性的一条很好的路径。能够很好的整合现有AIGC技术的产品才是大家最终需要的产品形式，我们要的是工作流而不是技术碎片。从已有的商业落地需求去设计产品，才有可能在未来潮水退去后活下来。有言这种一站式生成3D视频的产品是个很好的思路，尤其是在未来大概率XR技术成熟的预期下，我们将会看到一些AIGC跟XR结合的产品应用，这些都需要建立在3D的前提下。而对于大部分有实际商业需求的用户，能够一站式解决问题可以节约大量的成本，这个成本包括不同工具的学习成本和工具的会员购买，这都是很现实的需求。而有言恰恰就是满足了这部分的核心需求。

发表于前天 08:39

AI视频生成工具现在市面上挺多，博主这边真实体验完推荐的是Runway-Gen2(国外)、GPT(国外)加MinMax(国内)的这套视频合成组合拳。

博主最近自己动手利用大语言模型GPT, Runway-Gen2和Minmax工具合成了一个短视频AI合成王安石的《元日》。下面展示视频中的一个4s小片段，这个小片段对应的文案内容是“爆竹声中一岁除”，是使用Runway-GEN2的图、文提示词进行生成。个人感觉这个小片段还算贴合文案内容的，后期搭配上语音效果还不错。

目前的AI视频生成工具都支持三类提示词合成视频：文生视频、图生视频或图文生视频。博主一开始也尝试过直接使用文案内容来直接生成视频，但发现生成的视频内容十分不可控的，容易意图不对齐。
多番尝试下来，发现目前的视频AI生成工具存在如下的常见问题：
1）训练数据差异: 视频生成的内容和提示词(个人意图)想差很大。特别是国外产品的训练数据并不了解国内的很多文化，元素和符号内容。同样的名词国内外代表的事物存在差异。或者更简单来说就是国外模型使用的国内的训练数据少。
2) 提示词的差异：使用国外产品一般需将中文的提示词翻译成英文提示词再给到模型进行输出，这个过程难免导致很多内容、信息上差异。
3）AI视频生成工具无法模拟真实时间的运动状态：特别是生成多个人物，或者多个事物的时候，视频中物体的三维状态很难保持协调性。经常会出现人物胳膊腿乱飞的现象，或者反物理常识的运动状态，这就使得生成的内容很奇怪，不和谐。

所以博主在AI生成视频上转变了思路，把这个从文直接到视频的过程做了步骤拆解。整个视频的制作思路是1）使用大语言模型生成文案 2）文案满意后，使用大语言模型将文案分段变成一组组的提示词。3）使用SD、MD、多模态模型来合成对应的图片内容。4）在Runway中使用图、文组合提示词，再加上运镜。5）使用Minmax合成音频 6）使用剪辑工具把音频和视频内容串联起来即可。

整个视频生成过程涉及使用文本提示词来生成文案，用文本提示词生成图像，用图、文提示词生成视频。因此合成好的视频就离不开提示词的各场景的使用，来引导大语言模型、文生图模型、文生视频模型生成高质量的文案、图像、视频。如果你也想用AI工具来创作酷炫，高质量的视频，做自己的视频号。我建议你听听知乎知学堂新推出的《AI智能办公训练营》，2个小时的时间，教你使用当前热门的各类AI工具。比如如何使用大语言模型生成各类文案、使用文生图模型生成漂亮的图像、使用视频工具合成酷炫视频等等。
课程是由业内专业大佬主讲，上完课就可以领取很多有用的干货，就是下面这些，别忘了！

题主的需求是“可以根据提供的文案，生成比较自然且契合文案的视频”。下面将具体展开上面示例视频生成的操作步骤。
1) 以王安石的元日为例，先使用大语言模型生成想要的文案内容。示例使用是国外的GPT工具，国内的朋友也可使用文心一言工具。
示例提示词：

你是一个专业的电影导演，要给一首古诗设计拍摄一个电影，请提供详细的拍摄步骤。
1 ：对古诗内容按镜头语言进行分段，并输出每段的涵义。
2 ：设计分镜：根据故事内容设计拍摄的分镜。并给出对应分镜场景的的中、英文提示词。
3 : 分镜的拍摄：分别说明下这上述的分镜要如何拍摄，用中英文回答。
古诗题目是：王安石的《元日》

复制代码

GPT输出内容的部分截图，如何发现生成的文案内容不太合理，不符合个人需求。可多次通过调整指令让其做重新生成即可。

2）使用文生图工具合成场景图像，示例直接使用多模态模型GPT4。也可以使用SD，MD，文心一格等文生图工具代替。
场景设计和文案内容你赶紧都满意以后，可以让他根分镜设计和提示词生成场景图片。输入提示词：

根据设计好的分镜内容，依次合成对应的图像，图像比例采用横屏比例。

复制代码

检查生成的图片内容，对不满意的可单独重新生成。

3）使用Runway合成视频内容。

1）先登录，可选择google账号登录即可。

2）开始合成视频
点击页面中的开始按钮，进入工作区。

在工作区，你可以只输入图片作为提示词，也可以只输入文本作为提示词，还可以两者同时输入一起来控制视频的生成。

Runway支持很多视频生成需要的额外辅助元素，比如通过镜头的移动设置可以实现大片感觉的运镜效果。

其除了设置镜头的三维移动，还提供的十分便捷的方法用于设置图像中物体的三维方向移动。你可以很轻易的通过毛刷选取图片的物体区域，单独配置其在视频中的三维状态。Runway的镜头运动和物体运动的控制器，可以理解成是一个解决目前视频生成工具无法准确理解现实世界物理状态的一个折中办法。通过设计者，用户手动来调整图片中物体的三维状态可以实现生成视频的可控性，特别是展示物理运动的场景。

一切都按照自己的需求和预期调整好了，可以直接点击生成按钮合成视频即可。Runway每次操作都需要消耗4s时长对应的credits数量，包括重新调整一个参数，重新修改提示词，修改了物体的运动状态，或者扩展视频的长度（它支持扩展视频长度到16s）都需要消耗credit。因此使用时请尽量调整好了再提交生成。
生成好了最后可以下载视频，当然也可以在Runway里面做后续的配音和视频合成。

其他多段内容可以按照该方法持续生成导出即可。

4）使用Minimax将生成好的文案内容合成个人满意的音频内容并导出为mp3文件。
5）使用剪辑软件将多段视频片段、音频文件按照个人需求进行剪辑最后就完成了视频的制作。这里推荐Pr或者剪映。

成本问题，博主使用的GPT4：每月20刀，Runway-Gen使用新用户免费的额度(一个新用户有90s左右的视频额度)，会员订阅参考下图。Minimax也是使用新用户的免费额度。

minmax的语言合成技术体验十分好，现在内测，免费额度博主有70元，按照5元/万字符，体验合成一些短视频的文案完全够用。

近来我们看到新产品SORA和EMO的示例视频展示出超强视频生成能力，有理由相信未来AI视频生成会走入千家万户，更加简单平常。

有哪些好用的AI视频生成工具？

本周热门