模型下载地址:https://huggingface.co/damo-vilab/dreamtalk
推出一个非常优秀的视频生成模型，该模型仅在授权数据基础上进行训练。
DeWave的训练流程主要分为三个阶段:1）自监督编码器预训练（仅原始EEG脑磁波)，这一阶段会先训练一个脑电波自编码模型，输入原始EEG波形，通过重建实现自监督。这样可以提取有用的时域和频域特征。
新鲜AI产品点击了解：https://top.aibase.com/
该研究表明使用大型语言模型可以显著提高文本嵌入的质量。该研究的训练过程极大地减少了对中间预训练的需求，相较于当前的多阶段系统，更加简洁高效。