🔄 GPT-4与DELL-3协同,模拟历史中庞贝古城火山爆发情景,提供沉浸式体验。
🔍 技术特点: DreamTalk利用扩散模型生成高质量动画,实现逼真嘴唇动作和丰富表情,支持多语言同步,可用于不同场景和环境。
对平行数据的依赖性:DeWave方法在训练过程中需要使用平行的脑电波和文本对数据,以进行监督学习。
除了可以从文字生成音乐外,它还支持图像、视频和音频生成音乐,并且还可以编辑已有的音乐。该项目利用了MERT等编码器进行音乐理解,ViT进行图像理解,ViViT进行视频理解,并使用MusicGen/AudioLDM2模型作为音乐生成模型(音乐解码器)。用户可以轻松移除或替换特定乐器,调整音乐的节奏和速度。这使得用户能够创造出符合其独特创意的音乐作品。
腾讯推出的技术 Paint3D 能够根据文本或图像输入,在不具有内嵌光照信息的3D模型上生成高分辨率、无光照的多样化纹理贴图。