[lapis] 字节跳动 Lance 3B 多模态模型全解析

字节跳动 Lance 3B 多模态模型全解析

Lance 是字节跳动智能创作实验室于 2026 年 5 月开源的轻量级原生统一多模态模型，仅 3B 激活参数，实现了图像/视频的理解、生成、编辑三大类六项核心任务的统一建模，是目前部署门槛极低的全能型多模态模型之一。

核心亮点

维度	关键信息
模型规模	仅 3B 激活参数，bf16 精度运行约需 6GB 显存
部署门槛	消费级显卡（RTX 3090）、Mac M 系列芯片均可本地运行
核心能力	文生图/图生图、文生视频/视频编辑、图像理解/视频理解
开源协议	Apache-2.0，支持免费商用
训练成本	128 张 A100 GPU 完成训练，效率远低于行业常规方案

技术架构解析

Lance 的核心创新在于打破了”理解模型”与”生成模型”割裂的行业现状，采用了多项关键技术实现统一建模：

1. 双流混合专家（MoE）架构

共享底层多模态表征主干，同时为理解任务、生成任务配置独立专家子网络，避免任务间冲突。

理解专家：处理文本/语义视觉 token，负责多模态推理
生成专家：处理 VAE 潜在表示，负责视觉合成与编辑

2. 统一交织序列建模

将文本 token、ViT 视觉语义 token、VAE 潜在表示整合为单一序列，统一支撑理解、生成、编辑三类任务。提出模态感知旋转位置编码（MaPE），解决不同模态数据的位置歧义问题。

3. 分阶段多任务训练

从零开始训练，而非拼接现有模型，让不同任务能力相互促进、协同成长。

核心能力表现

多任务覆盖（六大核心能力）

图像生成/编辑：文生图、图生图、图像局部修改/风格迁移
视频生成/编辑：文生视频、视频补全/风格修改、背景替换
图像/视频理解：图文问答、视频问答、跨模态推理

性能表现

在 GenEval、VBench 等主流基准测试中，多项指标超越同参数甚至更大规模的模型。3B 参数实现了接近大模型的图像/视频生成质量，同时大幅降低部署门槛。

官方资源与部署

资源类型	链接
项目官网	https://lance-project.github.io/[1]
GitHub 仓库	https://github.com/bytedance/Lance[2]
HuggingFace 模型库	https://huggingface.co/bytedance-research/Lance[3]
技术论文（arXiv）	https://arxiv.org/abs/2605.18678[4]

本地部署快速上手

# 克隆仓库 git clone https://github.com/bytedance/Lance.git cd Lance # 安装依赖 pip install -r requirements.txt # 启动图像生成/编辑界面 python lance_gradio_t2i.py # 启动视频生成/理解界面 python lance_gradio_t2v_v2t.py

部署要点：