AG九游会(中国)IOS/安卓通用版/手机APP下载

　　这就是由新加坡国立大学和香港中文大学共同完成的最新研究，团队将项目取名为MinD-Video。

　　值得一提的是，大火的Stable Diffusion也在这次研究中立了不小的功劳。

　　从大脑活动中重建人类视觉任务，尤其是功能磁共振成像技术（fMRI）这种非侵入式方法，一直是受到学界较多的关注。

　　但以往的研究都主要聚焦在重建静态图像，而以高清视频形式来展现的工作还是较为有限。AG九游会app下载

　　之所以会如此，是因为与重建一张静态图片不同，我们视觉所看到的场景、动作和物体的变化是连续、多样化的。

　　而fMRI这项技术的本质是测量血氧水平依赖（BOLD）信号，并且在每隔几秒钟的时间里捕捉大脑活动的快照。

　　相比之下，一个典型的视频每秒大约包含30帧画面，如果要用fMRI去重建一个2秒的视频，就需要呈现起码60帧。

　　因此，这项任务的难点就在于解码fMRI并以远高于fMRI时间分辨率的FPS恢复视频。

　　为了弥合图像和视频大脑解码之间差距AG九游会官方，研究团队便提出了MinD-Video的方法。

　　整体来看，这个方法主要包含两大模块，它们分别做训练，然后再在一起做微调。

　　这个模型从大脑信号中逐步学习，在第一个模块多个阶段的过程，可以获得对语义空间的更深入理解。

　　具体而言新闻信息，便是先利用大规模无监督学习与mask brain modeling（MBM）来学习一般的视觉fMRI特征。

　　然后，团队使用标注数据集的多模态提取语义相关特征，在对比语言-图像预训练（CLIP）空间中使用对比学习训练fMRI编码器。AG九游会app下载

　　在第二个模块中，团队通过与增强版Stable Diffusion模型的共同训练来微调学习到的特征，这个模型是专门为fMRI技术下的视频生成量身定制的。

　　如此方法之下，团队也与此前的诸多研究做了对比，可以明显地看到MinD-Video方法所生成的图片、视频质量要远优于其它方法。AG九游会app下载

　　这项研究的共同一作，其中一位是来自新加坡国立大学的博士生Zijiao Chen，目前在该校的神经精神疾病多模式神经成像实验室（MNNDL_Lab）。

　　另一位一作则是来自香港中文大学的Jiaxin Qing，就读专业是信息工程系。

　　除此之外，通讯作者是新加坡国立大学副教授Juan Helen ZHOU。

　　据了解，这次的新研究是他们团队在此前一项名为MinD-Vis的功能磁共振成像图像重建工作的延伸。

　　原标题：《惊！读取大脑重建高清视频，Stable Diffusion还能这么用》

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场AG九游会官方，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。