跳转到正文
AI 实用笔记

AI 实用笔记

Hy-Nomas 开源了:边生成视频,边改剧情和镜头

一只背着红色背包的熊猫爬上石柱,走到平台边缘,接着展开竹叶滑翔伞,从云雾里飞了出去。这段有点天马行空的视频,来自腾讯混元 Hy-Nomas 的官方演示。

整个过程分四轮指令推进。前一段出来后,还能继续安排后面的动作、场景和镜头。你可以看着已经生成的画面,再决定下一段怎么拍。Hy-Nomas 的代码和权重已经公开,想试一下,可以先打开官方网页 Demo。

从熊猫爬石柱,说说它能做到哪一步

这段官方样片一开始,先设定云雾中的石柱和背红色背包的熊猫。第二轮让它攀爬、站上平台;第三轮让它走向边缘,并在远处加入蝴蝶;第四轮才安排展开滑翔伞、离开平台。

故事是在几轮指令里往前走的。换成自己的题材,你也可以先把人物和场景定下来,等第一段出来,再补一个动作、加一件物体,或者换一种画面风格。需要移动视点时,还能在文字指令之间插入相机控制。

连续拍下去,另一个关键是前后能不能接上。官网专门放了“镜头转回来,背景仍能保留”的记忆演示,展示地标和空间布局的延续。这些是官方样片呈现的能力,具体到自己的提示词,仍要检查生成结果。

官网给出的规格是 720p、最长 60 秒,展示了写实、CG、游戏和动漫等风格,以及第一人称、第三人称跟随等视角。模型卡列出的输出帧率是 24 FPS,指视频播放帧率;实际生成要等多久,取决于硬件和配置。

Hy-Nomas 官方样片第四轮:背红色背包的熊猫展开绿色滑翔伞,在云雾和石柱间飞行
官方样片第 4 轮:熊猫展开竹叶滑翔伞。可以对照起始画面,或打开官网完整演示。2026-10-25 截取,非本站生成。

先拿一个连续镜头试试

做分镜预演时,可以拿它试动作顺序和机位。比如宇航员走在月球基地里,先看人物走路和场景是否自然,再让一辆月球车开过来,最后把镜头绕到侧面。每次只加一个变化,出了问题,也容易知道该改哪里。

做交互项目,也能用这种方式验证“在场景里走一走”的感觉:移动视点,再决定接下来出现什么。它适合做视觉原型,产物仍是视频。完整游戏里的碰撞、任务和交互逻辑,还需要另外实现。

如果现在只是想先完成一条短片,也可以接着看 可灵 4.0 视频生成教程。要不要用 Hy-Nomas,可以从自己是否需要反复调整后续剧情和镜头来判断。

先从网页版开始,跟着填就行

  1. 打开 Hy-Nomas 在线 Demo,点右上角 Login,按页面提示登录。
  2. 在 Environment Description 填场景,在 Subject Description 填人物或主体。
  3. 在 Perspective 选视角。想看角色在场景中行走,可以先选 Third person。
  4. 点 Enter world。第一段完成后,继续给文字指令,或通过 Camera path 控制镜头。
  5. 满意后点 Download 保存视频;想换一个设定,用 New world 重新开始。具体键位和操作可看右上角 User Tutorial。

第一次可以先填下面这组英文,设定很简单:废弃月球基地里,一名宇航员背着橙色背包。这是本文准备的尝试模板,还没有验证生成效果。

Environment Description:

An abandoned moon base with glass corridors, distant mountains, and Earth above the horizon.

Subject Description:

An astronaut in a white spacesuit carrying a small orange backpack.

下一轮可以试着输入:A small rover approaches the astronaut from the left.,让月球车从左侧靠近。先只加一个变化,观察角色、背包和场景是否接得上,再增加镜头动作。

Hy-Nomas 官方 Demo 表单:已填写月球基地场景和宇航员主体,视角选为 Third person,顶部显示登录入口
本次打开官方 Demo 并填写示例后的界面,未登录提交生成。图中两项分别对应环境和主体。截图日期:2026-10-25。

本次能打开体验页并查看官方样片,页面要求登录。账号可用额度和等待状态以 Demo 当时显示为准,本文没有验证登录后的生成耗时。

代码和权重,都已经放出来了

开源之后,开发者可以自己部署、改界面,或者拿自己的视频数据做 LoRA 微调。官方也放出了影视风格和双臂机器人场景的适配权重。后者用于机器人视觉场景模拟研究,不能直接当成真实机械臂的控制模型。

项目的 LICENSE将腾讯公开的代码、参数和权重列为 Apache-2.0;第三方模型与组件仍遵守各自许可。

想下载部署:单张 RTX 4090 有官方方案

官方提供了单张 RTX 4090 的离线视频生成配置。需要 Linux、兼容的 NVIDIA 驱动、Docker 和 NVIDIA Container Toolkit。单卡方案使用 INT8 生成模型、FP8 解码器,并把部分模型放到系统内存中,所以还要有足够内存和磁盘空间。

仅这两份量化权重合计约 18.2GB,文本编码器和 Docker 镜像还要另占空间。12GB 显卡能否运行,本文没有可确认的官方配方,不建议把“支持单卡”直接套到所有显卡。

下面的命令按 官方模型卡整理,用于离线生成。完整交互网页还需要另占 GPU 资源的 Nomas-PE 提示词服务、前端和网关,部署入口在 官方网页 Demo 部署说明。

有 RTX 4090,想本地跑一次,再展开这些步骤(Linux / Bash)

本节依据 2026-10-25 的官方文档和 代码版本 911cea6整理,本站未用 4090 实机运行。默认配置为 720×1280、24 FPS、8 步生成、随机种子 42;耗时和峰值显存以实际运行记录为准。

1. 下载代码,进入官方 Docker 环境

在已装好 NVIDIA Container Toolkit 的 Linux 主机运行。此示例假设主机只有一张 GPU;多卡主机请让容器只看到要使用的一张卡。

git clone https://github.com/Tencent-Hunyuan/Hy-Nomas.git
cd Hy-Nomas
docker pull hynomasoss/hynomasoss:cu130
docker run --rm -it --gpus all --ipc=host --network=host \
  -v "$PWD:/workspace/Hy-Nomas" \
  -w /workspace/Hy-Nomas \
  hynomasoss/hynomasoss:cu130 bash

进入容器后,后面的命令都在同一个终端、同一个代码目录继续运行。这些是 Bash 命令,不能直接贴到 Windows PowerShell。

2. 下载单卡权重和官方示例

python -m pip install -U huggingface_hub
export HY_NOMAS_MODEL_DIR="$PWD/checkpoints"
hf download tencent/Hy-Nomas --local-dir "$HY_NOMAS_MODEL_DIR" \
  --include 'DiT/distilled_int8/*' 'VAE/PixelUMM_FT_FP8/*' 'examples/*'

这条命令只取单卡配置所需的两类量化权重和示例。默认文本编码器为 Qwen/Qwen2.5-VL-7B-Instruct,首次启动还会按需下载;下载机要能访问 Hugging Face。

3. 准备 4090 解码所需的 CUTLASS

单卡配置启用了 CUTLASS FP8 解码。当前实现要求源码中有 Ada GemmBlockwise(example 94)对应头文件:

mkdir -p third_party
git clone --depth 1 https://github.com/NVIDIA/cutlass.git third_party/cutlass
export CUTLASS_PATH="$PWD/third_party/cutlass"
test -s "$CUTLASS_PATH/include/cutlass/gemm/device/gemm_blockwise.h" && echo "CUTLASS ready"

最后一行应输出 CUTLASS ready。对应依赖检查可查看 项目的 CUTLASS 加载代码;首次运行可能需要编译 CUDA 内核。

4. 用官方示例生成第一段视频

bash scripts/inference/inference_from_config.sh configs/experiment/single_gpu_low_mem_inference.yaml \
  dit_weight="$HY_NOMAS_MODEL_DIR/DiT/distilled_int8/diffusion_pytorch_model_ema_0_995_int8.safetensors" \
  model.vae.checkpoint="$HY_NOMAS_MODEL_DIR/VAE/PixelUMM_FT_FP8/diffusion_pytorch_model_fp8.safetensors" \
  inference.prompt="$HY_NOMAS_MODEL_DIR/examples/prompts.json" \
  inference.save_path=./outputs/single_gpu

成功后应在 outputs/single_gpu 下找到生成视频,也会保存提示词和中间数据。这个目录映射到主机的 Hy-Nomas 代码目录,退出容器后仍能找到。

先跑通官方示例,再改自己的内容。自定义提示词需要按模型卡中的 JSON 格式保存,并把 inference.prompt 换成那个文件的路径。

  • 提示 SP_SIZE 必须匹配 GPU 数量:检查是否误用了默认八卡的 inference.yaml,单卡应使用上面的 single_gpu_low_mem_inference.yaml。
  • 提示 Set CUTLASS_PATH:检查环境变量是否指向完整 CUTLASS 源码,以及上面的头文件检查是否通过。
  • 显存不足:检查是否用了 INT8 DiT 与 FP8 解码器这一对权重,并关闭其他占显存程序;分辨率、片段长度和历史缓存都会影响占用。

资料与截图核对:2026-10-25。依据腾讯官方项目页、GitHub、模型卡与 Demo 文档整理。官方样片、本文提示词模板和文档部署步骤已分别注明;未运行本地生成或性能测试。