电影般的意识景观：从大脑活动中高质量重建视频

MinD-Video

MinD-Video是一个从大脑记录中高质量重建视频的框架。<br/>

电影般的意识景观：从大脑活动中高质量重建视频.<br/> 陈子娇*, 卿佳欣*, 周海伦<br/> * 共同第一作者 <br/>

新闻

2023年9月22日：被NeurIPS 2023接收为口头报告。
2023年5月20日：预印本发布。

摘要

从大脑活动中重建人类视觉一直是一项引人入胜的任务，有助于我们理解认知过程。尽管近期研究在从非侵入性脑记录中重建静态图像方面取得了巨大成功，但在以视频形式恢复连续视觉体验方面的工作仍然有限。在本研究中，我们提出了MinD-Video，它通过掩码大脑建模、使用时空注意力的多模态对比学习，以及与增强型Stable Diffusion模型（融合了网络时间膨胀）的共同训练，从大脑皮层的连续fMRI数据中逐步学习时空信息。我们展示了使用对抗性引导，MinD-Video可以重建任意帧率的高质量视频。重建的视频通过各种语义和像素级指标进行了评估。我们在语义分类任务中达到了85%的平均准确率，结构相似性指数（SSIM）达到0.19，比之前的最先进水平提高了45%。我们还表明，我们的模型在生物学上是合理的，且具有可解释性，反映了已建立的生理过程。

概述

流程图

样本展示

以下展示了一些样本。我们的方法可以重建各种物体、动物、动作和场景。重建的视频质量高，且与地面真实情况一致。更多样本请参阅我们的网站或通过谷歌云盘下载。
以下样本目前是在一块RTX3090上生成的。由于GPU内存限制，下面展示的样本当前是2秒长、3帧每秒、256 x 256分辨率的视频。但如果有更多GPU内存可用，我们的方法可以处理更长的大脑记录并重建更长、全帧率（30帧每秒）和更高分辨率的视频。

环境配置

使用我们的env.yaml创建并激活名为mind-video的conda环境

conda env create -f env.yaml
conda activate mind-video

下载数据和检查点

大规模预训练数据集从HCP下载。有关大规模预训练脚本，请参考这个仓库。我们的目标数据集Wen (2018)可以从这里下载。

从这里下载预训练检查点和预处理的测试数据。相应地更改配置文件中的路径。

复现我们的结果

方法1：使用预训练检查点运行生成

python scripts/eval_all.py --config configs/eval_all_sub1.yaml

将half_precision设置为True，num_inference_steps设置为50以加快推理速度。

方法2：下载生成的视频并运行指标评估

从谷歌云盘下载生成的视频。

python scripts/run_metrics.py /path/to/generated/videos

致谢

我们感谢Tune-A-Video的作者开源他们的代码。我们还要感谢普渡大学综合脑成像实验室公开他们的数据。

BibTeX

@article{chen2023cinematic,
  title={Cinematic Mindscapes: High-quality Video Reconstruction from Brain Activity},
  author={Chen, Zijiao and Qing, Jiaxin and Zhou, Juan Helen},
  journal={NeurIPS},
  year={2023}
}