sunnylong LV
发表于 前天 08:25
如果要使用 AI 工具进行短视频的创作，工具还是蛮多的，以下是几种免费的视频创作工具：
第一种：ComfyUI + Animatediff：
首先，我们需要在 ComfyUI 管理器中下载 Animatediff 插件。
安装完插件以后，记得重启 ComfyUI 哦。
然后把网盘中对应的模型放入指定的文件夹目录下，v2 开头的文件放入以下文件夹下。\ComfyUI_windows_portable\ComfyUI\custom_nodes\comfyui-animatediff\loras
然后把网盘中 models 中的文件放入以下目录：\ComfyUI_windows_portable\ComfyUI\custom_nodes\comfyui-animatediff\models
以上就是 Animatediff 在 ComfyUI 中的安装步骤了。
使用方式也很简单了，只需要导入不同的工作流就可以体验 Animatediff 的不同用法。
我们先来一个最简单的工作流。只是通过文本来生成动漫效果。
虽然可以直接无脑用工作流文件，但是我们还是把 Animatediff 相关的几个工作流节点简单介绍一下。第一个节点动态扩散组件加载器，主要就是 Animatediff 的算法模型了，里边的模型都可以选，小伙伴们可以看看不同模型的动漫效果，选择一个自己最喜欢的。
第二个节点，基本的参数，用过 WebUI 的小伙伴应该都清楚，听雨这里就不讲了，我们把 Animatediff 相关的几个参数再介绍一下。
运动模块对应的就是动态扩散组件加载器。他们是需要连接的，不过工作流里已经连接好了。
sliding_window_opts：自定义滑动窗口选项，这个我们后续讲另外一个配置的一起讲。
模块插入方式，选择默认就可以了。
帧数：动画总共包括的画面数量。和后续的帧率是配套使用的。
帧率：每秒多少帧。如果帧数设置为16，帧率设置为8，则单个动画的播放时长为2秒。
循环次数：循环播放几次，0 代表一直重复播放。
是否保持：是否把动画保存到本地。
格式：输出的动漫的格式。默认输出 gif 格式，如果要输出视频格式的话，需要配合 ffmpeg 使用。
纯粹文本生成的动画可控性还是蛮差的。
然后我们加入动态滑动窗口。
动态滑动窗口：能够在没有帧长度限制的情况下生成 GIF。它可以将总帧数拆分成多个批次生成，每个批次之间会有重叠的地方。主要是针对我们内存不够，但是又想要生成足够长的动漫情况下使用。
上下文帧长度：每个窗口的帧数，官方建议默认 16 帧，不过模型有长度上限设置，有些模型，最高只能设置 24 帧。
上下文帧步长：和采样步数类似。
上下文帧重叠：每个窗口之间的重叠帧数。
闭合循环：使GIF成为闭环。
看下效果，不过这种动态滑动窗口比较适合一些自然景观的场景。
添加 Animatediff 动态 Lora 的工作流。
以下 Lora 分别代表了向上向下、向左向右、拉远拉近、顺时针逆时针运动。小伙伴们可以选择对应的运动 Lora。
看一下运用了拉近 Lora 的效果。
通过上传开始图片和结束图片，来生成动漫。主要用到了 ControlNet 模型中的 tile 模型。相当于我们控制了动画的第一帧和最后一帧。
相比于第一个 gif ，是不是好了很多，这个就是 Animatediff + ControlNet 的魅力了，可控性太强了。
接下来我们再来尝试一下 Animatediff + ControlNet 的 openpose，看看可以产生咋样的效果呢，openpose 小伙伴们应该都知道主要是控制动作的，配合 Animatediff 可以让动画中人物的动作更可控。不仅是真人转动漫或者动漫转真人，感觉离我们这些小白也可以做动画的时代不远了。
以上工作流，听雨都已经放到网盘中了，小伙伴们需要的自取哈！网盘链接：https://pan.quark.cn/s/398ab66104b8
首先我们需要把 ComfyUI 更新到最新版本，我们打开 ComfyUI 管理器，点击更新 ComfyUI，然后重启就可以了。
然后我们需要下载更省内存的 fp16 版本，当然，如果小伙伴们的显卡内存够高，也可以不用 fp16 版本的模型。模型听雨都会放在文末的网盘中，小伙伴们可以自取。
模型和我们绘画大模型放置的路径是一样的，我们的绘画大模型放在哪里，这个 SVD 模型就放在哪。
如果 ComfyUI 和 WebUI 共用大模型路径的，那就放在 \models\Stable-diffusion 下，如果是单独 ComfyUI，那就放在 \models\checkpoints 下。
正常版本的模型和 fp16 版本都有两个模型，svd 模型默认用于生成 14 帧的视频，svd_xt 模型默认用于生成 25 帧的视频。svd_xt 是基于 svd 模型进行微调的版本。
官方提供了两个 ComfyUI + SVD 工作流，一个是图生视频工作流，一个是文生视频工作流。工作流听雨也会放在文末的网盘中。
图生视频工作流：
看下视频效果：
文生视频工作流：
文生视频的效果：
感觉也很不错呀，有么有，不过现在也只能生成固定秒数的视频。
接下来，我们来简单介绍一下 SVD 工作流相关的参数吧：
min_cfg：代表初始 cfg，和采样器中的 cfg 相关，比如 min_cfg 设置 1.0，cfg 设置 2.5，则视频的初始帧为 1.0，中间帧则为 1.75，最后帧则为 2.5，是动态调整的。我们知道 cfg 主要是用来平衡生成图像的多样性和对文本描述的准确性的。
video_frames：生成视频的帧数。相同时间，生成的图片数。25 帧则代表由 25 张图片拼接成的视频。
motion_bucket_id：数字越大，视频中的动作就越多。
fps：fps 越高，视频看起来越流畅。
augmentation_level：值越高，和初始图像的相似度越小。
网盘链接：https://pan.quark.cn/s/8da99ee1d7f3
网址：https://moonvalley.ai/
前提是需要先有 discord 的账号哈，因为 moonvalley 是搭建在 discord 服务器上的。
然后我们进入 moonvalley 的官方网址，点击「Try the Beta」，会跳到 discord 的授权页面，按照流程往下走就行。
进来以后，左下角可以看到有六个公共子区，我们随便进入一个子区就可以，由于是公共的区，我们可以看到别人的作品，别人也可以看到我们的，用的人多的时候可能会被刷屏。
所以，最好是建一个自己的子区。点击右上角的子区按钮，然后点击创建。
输入子区的名字，随便发送点消息就可以创建自己的子区了。子区里就只有自己的消息，不会被别人的消息所干扰。
好了，接下来我们就实际体验一下效果吧。使用方式也很简单，在命令框中输入「/create」，然后回车，按它的要求填写就可以了。
我们可以看到它主要需要填写三个参数：
prompt：提示词。就是你想生成的视频的描述，需要翻译成英文哦！某些敏感词会被拒绝执行，小伙伴们需要注意一下哦。
style：风格。点击主要有 5 种风格 Comic book 「连环漫画」，Fantasy「幻想」，Anime/Manga「动漫/漫画」，Realism「现实主义」，3D Animation「3D动画」，我们可以选择自己中意的风格。
duration：持续时间，视频播放的时长。有三个时长选择 Short「1 秒」、Medium「3 秒」、Long「5 秒」，三个时长分别需要等待不同的时间，2 分钟到 12 分钟不等。
除了以上的默认参数以下，我们还可以添加反向提示词「negative」和种子数「seed」。可能有小伙伴第一次看到这两个值哈，这里也简单的解释一下：
negative：反向提示词，简单说就是你不想视频中出现什么东西，你就在反向提示词中写什么。
seed：相同的提示词和风格生成的视频也会不一样，如果使用相同的 seed 值，那就可以保持视频的一致性。
操作是不是很简单，接下来我们就可以生成视频玩玩啦！
<hr/>第四种：AI视频生成工具 Runway
网址：https://app.runwayml.com/login
登录以后，红框中的两个按钮随便点击哪个都行，一个是文生视频，一个是图生视频。免费用户会赠送 125 个积分，每个视频 5个积分，也就是说一个账户可以免费生成二十几个视频。
进入 Gen-2 以后，有三种功能可以选择。
TEXT「文生视频」只需要在提示词框中，输入我们想要生成的视频的提示词就可以了，和文生图是一样的，只不过这里是文生视频。
IMAGE「图生视频」只需要我们上传一张图片，会根据图片来生成视频。
IMAGE + DESCRIPTION 「图片和文字描述生成视频」，上传图片的同时，还可以通过文字描述来影响视频的走向。
点击以下按钮，主要是用来增加视频的运动强度的，值越高，运动幅度越大。
以下选项主要是视频的运动方向和运动速度。
小伙伴们看箭头应该也能理解按钮的具体作用哈，分别是向左向右，向上向下，逆时针选择顺时针旋转，镜头拉远拉近。最后一个 Speed 代表运动的速度，值越大，速度越快。
Gen-2 的操作，听雨就简单的介绍到这里了，小伙伴们尝试一下应该很快就可以上手的。
接下来我们来看看官方发布的宣传视频，还是很震撼的。声音是后期加的哈，生成视频的时候是没有生成音频的。
看这视频，真的相当真实有么有！AI 的发展真的太快了！
https://www.zhihu.com/video/1714413018102734848
然后我们再来看看网络上大神的作品。简直大片的既视感有没有！完全看不出来是 AI 生成的，这完全就是一个成片啊！细节满满，人物一致，画面还相当稳定。
听雨只能用一句效果炸裂来形容了。
https://www.zhihu.com/video/1714413149606854656
<hr/>第五种：DomoAI
上网址：https://domoai.app/
进入 DomoAI 的官网以后，点击红框中的选择进入 Discord，DomoAI 也是依托在 Discord 中进行操作的。
进入 Discord 以后，选中 DomoAI 的机器人，然后进入左下角的频道就可以愉快玩耍啦！
DomoAI 主要有四个指令，我们一个一个来介绍吧:
第一个是文生图指令，也支持图生图。
输入「/gen」，选中当前指令。
除了输入提示词的 prompt，我们可以看到命令后边还可以增加两个选项，一个是 model 想要生成何种风格的图像，第二个 img2img 这个就是上传我们想要图生图的图片了，后边两个选项不是必填的，小伙伴们按需就可以了。
可以看到内置风格还是蛮多了，动漫风格、真实风格、插图风格等等。
我们还是来生成一个最简单的一个女孩，现在生成的是动漫风格。
然后我们可以看到图片下方有U1~U4和V1~V4这些按钮，这个用过 MJ 的小伙伴应该是了解的，U 代表的单独生成指定的图片，可以从生成的四张图中选择你喜欢的图片单独生成。
V 则代表生成指定图片相似风格的图片，也是从生成的四张图片中选择一张会生成相似风格的四张图片。
还可以看到最下方还有三个按钮「ani Model」「ill Model」「real Model」，这个三个按钮是可以把图片风格转换成三种不同的风格、漫画、插画以及真实风格。
以上是转换成真实风格的图片。
接下来我们来介绍第二个指令「/real」，可以把上传的图片转换成真实风格的图片。
效果还原的还是可以的。
接下来我们就来看看 DomoAI 的视频生成功能，指令「/animate」,图生视频功能。
视频统一生成时长是 3 秒，animate 中有一个选项 intensity ，分别代表视频生成的强度依次是低、中、高，强度越高，视频生成的动作幅度也越大。
以下是生成中等强度的视频。
https://www.zhihu.com/video/1727812415075577856
最后一个就是视频转视频啦，指令是「/video」，上传视频以后，填写提示词，回车提交。
提交以后，会让我们选择想要生成的视频风格，总共有六种风格可供选择，接下来会让你选择生成的视频是以上传的视频权重大还是你的提示词权重大，模式是上传的视频的权重更大。
视频的生成时间有三个选项，最多可生成 10s 的视频！
最后都选好以后，点击 start 开始生成，生成的视频也会同时保留音乐哦！
以下就是生成好了，我们点击视频上方的下载按钮就可以下载了！
以下听雨选择的两种动画风格的视频：
https://www.zhihu.com/video/1727812486991179776
https://www.zhihu.com/video/1727812517559214080
最后说一下，每个账号是免费 100 个积分哦，小伙伴们使用的时候可以用「/info」命令查看自己的剩余积分。
<hr/>第六种：Pika
直接上网址：https://pika.art/
进来还是还是蛮简单的一个页面，首页上就可以看到别人生成的作品！
操作界面也很简单，最简单的文生图，只需要填写提示词，然后点击右边的星星按钮生成视频就可以了。
点击「Image or video」可以上传图片和视频，也就是图片生成视频和视频生成视频了，操作也都蛮简单！
AI 发展到后来肯定操作是越来越简单，但是效果越来越好的！
然后点击红框中的按钮，可以选择视频的生成比例，有六种比例可以选择，棒棒的！
第二个选项则是修改视频的每秒帧数，就是一秒的画面中闪过多少张图片。值越大，画面流转越快。
摄像头这个菜单中则主要是设置我们视频画面的走向，小伙伴们看图标应该就可以明白意思哦！主要就是画面运镜向左向右、向上向下，逆时针顺时针，以及画面推近以及推远也就是画面放大缩小。
第二个选项运动强度，针对的就是画面运镜的快慢了！
最后一个菜单，第一个参数就是填下反面提示词，就是不想要画面中出现什么就填什么也可以默认不填。
第二个参数种子数，这个一般默认不填就行，如果想要生成相同的视频，配置都一致的情况下，种子数也一致就会生成相同的视频。
最后一个参数代表的是生成的视频和你提示词的相关性，越大，生成的视频越倾向于你的提示词；越小，AI 自己发挥的空间越大。
我们先来生成一个简单的雪景，还是蛮真实的有么有！
https://www.zhihu.com/video/1727812794580443136
生成视频以后，我们点击视频可以看到视频下方有5个选项。
第一个选项没什么好说的，如果对生成的视频不满意，点击「Retry」就可以重新生成视频。
第二个选项重新填写提示词重新生成视频。
第三个选项编辑视频，待会再讲。
第四个选项在生成的 3s 视频上再延长 4s，就是 7s 的视频，后续在 7s 的基础上还可以延长哦！这个真的是绝了！
最后一个选项把视频高清处理。
我们来看下最后高清处理以后的视频，是不是比第一个视频清晰一些！
https://www.zhihu.com/video/1727812830844379136
然后我们来看看第三个选项「Edit」的功能，也就是修改编辑视频中的物体。
我们换一个视频，点击「Edit」按钮以后，可以看到视频下方有两个选项「Modify region」和「Expand canvas」。
「Modify region」选中我们想要修改的部分，比如听雨要把女孩脖子上的项链改成珍珠项链。那就选中项链的位置，提示词修改成珍珠项链即可。
可以看到项链已经改成珍珠项链了。
https://www.zhihu.com/video/1727812874477674497
https://www.zhihu.com/video/1727812899563868160
「Expand canvas」可以修改视频的尺寸，可以看到也有六个尺寸可以选择！主要是扩充我们的视频画面！
听雨这里选择 16:9 进行扩充，大家看下效果：
https://www.zhihu.com/video/1727812943083925505
总的操作下来，Pika整体给听雨的感觉不管是操作还是视频的生成都很丝滑！而且现在免费体验哦！感兴趣的小伙伴快去试试吧！ |
|
