中文版 ｜ English

实时交互流式数字人引擎，实现音视频同步对话，已在业内获得广泛商用

效果演示: wav2lip | ernerf | musetalk

国内镜像:

Features

• 支持多种数字人模型: ernerf、musetalk、wav2lip、Ultralight-Digital-Human
• 支持声音克隆
• 支持数字人说话被打断
• 支持全身视频拼接
• 支持 WebRTC、RTMP、虚拟摄像头输出
• 支持动作编排：不说话时播放自定义视频
• 支持多并发
• 支持自定义数字人形象
• 提供前端API接口对接

使用场景

LiveTalking 基于实时流式数字人技术，通过文本或语音驱动虚拟形象说话，结合 LLM 实现智能对话。适用于以下场景：

| 场景 | 说明 | |------|------| | 虚拟主播/直播带货 | 24 小时无人直播，通过 LLM 自动生成带货话术，配合动作编排实现自然表现 | | AI 数字人客服 | 接入企业知识库，用户语音提问，数字人实时回答，支持打断重说 | | 在线教育/培训 | 教师数字分身录制课程，或通过 API 驱动数字人讲师实时授课 | | 智能语音助手 | 结合智能音箱或 APP，调用 /human 接口驱动数字人进行语音对话交互 | | 大屏讲解 | 数字人讲解员在展厅大屏、活动现场等场景进行内容讲解和互动 | | 短视频批量制作 | 通过 API 批量提交文案生成数字人出镜视频，无需真人拍摄，调用 /human + /record 接口 |

核心流程：用户输入文字/音频 → LLM 生成回复（可选）→ TTS 合成语音 → 数字人实时口型同步 → 音视频推流输出

1. 安装

已在 Ubuntu 22.04、Python 3.12、PyTorch 2.9.1、CUDA 12.8 测试通过。

1.1 安装依赖

git clone https://github.com/lipku/LiveTalking.git 
conda create -n livetalking python=3.12
conda activate livetalking
如果 CUDA 版本不为 13.0 (运行 nvidia-smi 确认)，请根据 PyTorch 官网(https://pytorch.org/get-started/previous-versions)安装对应版本
pip install torch==2.9.1 torchvision==0.24.1 torchaudio==2.9.1 --index-url https://download.pytorch.org/whl/cu128
cd LiveTalking
pip install -r requirements.txt

安装常见问题：FAQ

Linux CUDA 环境搭建参考:

2. 快速开始

2.1 下载模型

| 网盘 | 地址 | |------|------| | 夸克云盘 | | | Google Drive | MD6wdogyyX7V1d4NDIO7P9NlSAJ?usp=sharing> |

• 将 wav2lip256.pth 拷贝到项目的 models/ 目录下，重命名为 wav2lip.pth
• 将 wav2lip256_avatar1.tar.gz 解压后整个文件夹拷贝到 data/avatars/ 目录下

2.2 启动服务

python app.py --transport webrtc --model wav2lip --avatarid wav2lip256avatar1

注意: 服务端需开放端口 TCP:8010, UDP:1-65536

2.3 客户端接入

| 方式 | 说明 | |------|------| | 浏览器 | 打开 http://serverip:8010/index.html，点击"开始连接"播放数字人视频，在文本框输入文字提交即可 | | API 调用 | 参考 API 文档 通过 HTTP 接口驱动 | | 桌面客户端 | 下载地址: |

2.4 Web 页面

| 页面 | 地址 | 说明 | |------|------|------| | 首页 | /index.html | WebRTC 连接 + 文本/音频驱动 + 录制控制 | | Avatar 生成 | /avatar.html | 上传视频自动生成数字人形象 | | 管理后台 | /admin.html | 实时监控会话状态与全局配置 |

2.5 快速体验

• 使用在线镜像创建实例即可运行:

• Windows整合包
• 商用版体验地址

2.6 使用说明