基于元宇宙混合现实技术实现脑科学认知成像研究 （南京大学医学院附属鼓楼医院张冰/李冠/李茗/杜顺顺/陆加明）

一、需求分析

（一）项目背景

脑肿瘤的死亡率及致残率一直以来居高不下，对人类健康及生活质量造成了严重威胁。尤其是涉及脑功能区的脑肿瘤切除具有较高的手术风险，术中极易损伤脑功能区域中的大脑皮层和神经纤维，造成术后永久性的损伤。所以对于目前的脑功能区的肿瘤手术，肿瘤组织的尽量切除及最大可能的脑功能保护对于减少残疾和改善患者的生活质量非常重要。脑功能组织是由与运动、语言及感觉功能相关的皮质和皮质下蛋白组成的，由于存在于功能区的组织损伤后不可修复，因此在术前准备中，发现病变与功能组织的空间位置关系可能尤为重要。且大脑功能区之间存在差异，脑部病灶对功能区的推挤移位和功能区重塑等多种因素均可对功能造成影响，如何能够最大程度的切除肿瘤且保留重要的神经功能一直是神经外科的难题。

近来，以元宇宙为代表的新型可视化混合现实技术是一种集虚拟现实和增强现实两大技术优势于一身，实现虚拟影像、真实世界及体验者的三者融合和信息反馈通路。由于医学混合现实技术是基于计算机断层扫描（computedtomography,CT）和磁共振成像（magneticresonanceimaging,MRI）检查后生成的数据进行三维重建的，可实现1:1还原肿瘤及周围组织结构的真实性，改变以往传统的二维胶片形式，显著提高手术医生的三维空间感。手术医生可通过放大、旋转、拉伸、消隐及融合等功能，360°全息展示肿瘤与脑功能区、神经及血管的解剖关系，实现术中精准定位导航、精准切除，最大程度的降低肿瘤周围脑功能区、神经及血管的损伤，有望成为脑功能区脑肿瘤精准成像的一把利刃。

随着信息化在医学领域的不断深入,生物医疗行业的大数据急剧膨胀,整合复杂数据、分析生物致病机制并进一步应用于精准医疗已经成为全球科技界、卫生界和工业界关注的热点.美国政府先后开展了“脑活动图谱计划”和“精准医疗计划”。我国科技部也即将启动和部署“精准医疗计划”以及“脑科学与类脑研究计划”,并将其列入我国“十三五国家科技创新规划”中。因此,脑科学的研究已成为未来国家发展的重大需求之一。“中国脑计划”其中的一个主要研究方向是以探索大脑秘密,攻克大脑疾病为导向的研究。近年来，脑影像技术在临床广泛应用，医生借助学习得到的知识和实践经验,解读病人脑影像所反映的解剖结构和病理生理信息。但是，这种传统的人工解读方式，往往依赖于医生个人的经验、知识和情绪，且效率较低。将基于数据驱动的方法应用于多个级别和类型的脑影像数据，以提高对脑疾病的理解。随着计算机和人工智能技术的不断发展，利用计算机技术对脑影像进行分析和处理，例如对脑结构的分割、提取三维重建和显示，可以辅助医生对某些发生病变的区域进行定性、定量分析,从而提高诊断的正确率和效率。此外,脑影像技术还被广泛的应用于脑解码领域。科学家借助功能性磁共振成像技术（functionalmagneticresonanceimaging,fMRI）将大脑划分成不同的体素,并通过不同体素的应答强弱来分析不同的脑活动模式。通过影像学方法对大脑进行解码,人们能够感知和探索所处的视觉环境，进而为理解和破译大脑的运作模式带来了便利。本项目拟采用元宇宙混合现实技术实现脑功能区及脑神经走形的三维成像，并对认知相关疾病“阿尔默茨海默病（alzheimer’sdisease,AD）、轻度认知障碍（mildcognitiveimpairment,MCI）及主观认知下降（subjectivecognitivedecline,SCD）”的进行混合现实成像显示，从而有利于对疾病动态观测、医患沟通及医学教育。

（二）项目意义与目标

1.采用元宇宙混合现实技术实现脑肿瘤及肿瘤周围脑功能区、神经及血管的解剖关系成像，实现术中精准定位导航、精准切除，最大程度的降低肿瘤周围脑功能区、神经及血管的损伤；

2.采用元宇宙混合现实技术实现脑科学认知成像，揭秘脑科学的神秘面纱，有助于认知障碍的早期诊断及治疗效果观测，为医患沟通及医学教育提供新的手段和方法。

（三）国内外现状研究

1.全息可视化技术应用现状

混合现实技术是集虚拟现实（virtualreality,VR）和增强现实（augmentedreality,AR）两大技术优势于一身，（1）混合现实技术区别于VR技术，VR技术是由计算机模拟产生的三维空间虚拟世界，体验者是完全沉浸于这个虚拟环境中，与现实世界是没有任何交互的，而混合现实技术是不切断体验者与现实世界联系的，它允许虚拟环境与现实世界同时保持，体验者可根据自己的需要调整现实世界与虚拟世界的连接，实现无缝交互。（2）混合现实技术与AR技术的区别在于，AR技术是将虚拟信息应用到真实世界中，将真实环境和虚拟物体同时叠加到同一个界面或空间里，通常这个界面或空间的媒介是由电脑、手机或iPad来承载，媒介的外面是现实世界，而混合现实技术是将虚拟世界和现实世界整合生成一个全新的可视化环境中（见图1）。混合现实技术主要是将CT、MRI设备采集到的DICOM原始数据，导入三维重建软件系统，依次对扫描区域内的各种组织运用不同颜色进行区分，使用多个不同蒙版进行可视化分割、提取及计算生成3D虚拟模型，并保存导出STL格式（StereoLithography）的三维网格模型，将经过重建及渲染的3D虚拟模型载入到混合现实设备（Hololens眼镜）中，实现混合现实成像。

2.混合现实定位配准技术的研究进展

实现混合现实技术与现实世界的精准融合和实时交互，很大程度上取决于混合现实配准技术的精确性。传统混合现实配准方法常采用术中超声结合混合现实眼镜进行解剖位点定位、配准。随着混合现实配准技术的进一步发展，国内外各大研发机构相继研发了以下技术：（1）视觉空间坐标技术。将视觉标记设置在操作区域的预设位置上，并根据视觉标记的空间坐标，以及视觉标记与所操作区域的相对位姿关系，获取操作区域在视觉坐标系中的位姿，并将包括操作路径和部件放置位置的虚拟三维模型，转换到视觉坐标系来实现混合现实配准；（2）坐标获取模块技术。将视觉标记设置在操作区域的预设位置处，通过坐标转换模块，根据视觉标记的空间坐标，以及视觉标记与操作区域的相对位姿关系，获取操作区域在视觉坐标系中的位姿，以实现混合现实配准；（3）电子存储与读取设备。主要包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时通过视觉空间坐标技术，实现混合现实配准。本项目拟采用深度学习网络的非刚性配准、半监督小样本联合学习网络架构及不确定性建模、度量等技术，来实现混合现实技术实时配准性能的提升。

3.混合现实手术导航体系的建立

对于混合现实技术辅助手术导航体系的研究尚处于初始阶段。尽管已有研究报道关于混合现实技术在传统手术、微创手术及介入手术中的应用，但是对于混合现实在不同手术中的具体应用条件、最佳操作步骤、使用方式及手术全程中使用的时间点选择尚无明确的标准制定。（1）以传统手术为例，将混合现实与患者体表进行实时定位配准，使手术医生可见第一时间找到病变所在位置，并有效避免重要血管和神经的损伤，提高手术安全性的同时，实现精准手术、精准切除。

（2）以微创手术为例，将混合现实模型与腔镜视频流进行融合，从而实现腔镜显示屏内模型的定位配准，有利于精准定位病灶，并对患者的周围组织解剖结构进行有效显示，起到导航的作用。（3）以介入手术为例，将混合现实模型与患者进行1:1定位配准，从而实现减少介入手术X线管球曝光和降低造影剂剂量，节约手术时间，对医患间均起到保护的作用。

4.混合现实实现传统诊疗模式的转变

近年来，多种呼吸道流行性疾病均高于往年同期水平，安全距离下开展临床诊疗，可有效预防医患间感染呼吸道疾病的风险。医患双方可通过混合现实眼镜（见图2）、手机或iPad，随时随地进行患者全息影像结果读取和会诊。实现传统影像资料，三维重建模型的同时读取，为诊疗模式的转变提供全新的手段。

5.脑肿瘤的影像检查现状及不足

计算机断层扫描（computedtomography,CT）和磁共振成像（magneticresonanceimaging,MRI）影像检查目前已成为脑肿瘤患者术前必不可少的检查手段，它们彼此各有长短，相互补充。CT影像检查可以很好的显示骨性解剖结构，MRI影像检查可以更好的显示软组织结构，尤其是肿瘤及其水肿带的显示明显优于CT。但这些影像数据提供的信息仅限于二维平面，且由于扫描层厚的原因，既不直观，也难免存在片面性，医生仅能依靠自己的临床经验及空间想象力在自己的大脑中重构一个立体的三维模型，既费时又费力，而且每个医生由于临床经验积累的差异，导致这个重构的三维模型或多或少存在误差。如何能够全面的认识肿瘤的病理解剖，提供一个客观的三维病理解剖结构，并应用这一解剖结构制定一个适合患者的个体化手术方案，从而避免术中损伤及术后的并发症。

6.脑科学测量影像研究进展

脑科学影像测量技术的主要研究方向包括：发展高通量三维结构与功能成像和样品处理新技术，以及图像数据处理分析新方法，实现以细胞级分辨率对不同生物全脑神经元类型、连接与活动的快速定量解析；发展大范围、深穿透度的在体高分辨光学成像等新技术，实现清醒和自由活动动物神经活动的高时空分辨解析；发展光电关联等超微成像新技术，实现对神经突触等亚细胞结构的超微解析和定量表征目前，对脑影像测量技术主要有：CT、MRI、脑电图（EEG）、脑磁图（MEG）、经颅磁刺激（TMS）、正电子发射成像（PET）、功能性近红外分光光谱成像（fNIRS）、双光子显微成像技术（FHIRM-TPM）等，根据不同成像技术的特点，可应用于不同临床检查。而对于新型可视化混合现实技术对脑功能区的成像研究尚无报道。

（四）实际需求

本项目采用元宇宙混合现实技术实现脑肿瘤及肿瘤周围脑功能区、神经及血管的解剖关系成像，实现术中精准定位导航、精准切除，最大程度的降低肿瘤周围脑功能区、神经及血管的损伤，对脑肿瘤患者的救治具有一定临床实际需求；同时本项目采用元宇宙混合现实技术实现脑科学认知成像，揭秘脑科学的神秘面纱，有助于认知障碍的早期诊断及治疗效果观测，为医患沟通及医学教育提供新的手段和方法，具有一定的临床、科研及教学需求。

二、作品介绍

（一）作品设计

脑肿瘤混合现实成像

1.MRI数据源获取

采用我院3.0T磁共振扫描仪，8通道相控阵头线圈进行磁共振图像扫描，扫描参数为层厚1mm，扫描序列包括平扫、强化。据肿瘤不同酌情增加其他序列，如磁共振动脉成像（magneticresonanceangiography,MRA）、磁共振静脉成像（magneticresonancevenography,MRV）等。原始影像数据输出为医学标准数字成像和通信格式。

2.头部CT数据源获取

头颅三维CT扫描前，在患者头皮待手术区域附近贴上3-6个标记物，然后行头颅三维CT薄层扫描，采用256层CT进行螺旋扫描，扫描参数为层厚1mm。得到包含标记物在内的原始影像数据，输出为医学标准数字成像和通信格式。

3.脑血管CT数据源获取

头颅CTA扫描前，在患者头皮待手术区域附近贴上3-6个标记物，采用飞利浦256层CT进行螺旋扫描，扫描参数为层厚0.625mm。原始影像数据输出为医学标准数字成像和通信格式。

4.3D-slicer重建3D虚拟模型

将原始数据以DICOM格式导入，利用该软件的LandmarkRegistration（半自动匹配）或GeneralRegistration（Elastix）（自动匹配）模块分别对同一患者的CT、MRI或CTA、MRI进行配准统一坐标系。

5.重建3D虚拟模型

（1）CTA重建动静脉

载入患者头颅CTA数据，运行SegmentEditor模块。新建segment1，阈值法画出颅内血管（颅骨包含在内）。新建segment2，阈值法画出颅骨（注意不要包括血管），选择Margin中的grow，点击1次应用按钮，同时显示segment1、segment2，观察血管与颅骨关系。运用逻辑运算（logicaloperators）中的相减（subtract），segment1减去segment2，Remove移去segment2，segment1显示为血管，shou3D观看血管情况。利用岛屿（islands）进行相关骨质去除，可去除一些不连续的碎片。同时运用剪刀（scissors），将一些连续骨质剪掉，岛屿（islands）、剪刀（scissors）交替进行，可将残余骨质去除。也可运用画笔、橡皮擦等工具将残余骨质去除得到包含动静脉的血管。继续逻辑运算（logicaloperators）中的复制（copy），得到segment2，利用剪刀（scissors）、岛屿（islands）交替进行，segment1中减去静脉系统，可获得动脉。继续逻辑运算（logicaloperators）中的相减（subtract），segment2减去segment1获得静脉系统，3D显示动静脉，segmentation导出动静脉模型，并保存为STL格式。

（2）CT/CTA重建颅骨、皮肤、标记点

载入患者头颅CT数据，运行SegmentEditor模块。新建segment1，阈值法画出颅骨。运用岛屿（islands）去除碎片，3D显示颅骨模型。同样方法得到皮肤、标记点模型。segmentation导出颅骨、皮肤、标记点模型，并保存为STL格式。

（3）MRI/CT/CTA重建脑组织

载入患者头颅MRI/CT/CTA数据，运行SegmentEditor模块。新建segment1，阈值法画出脑组织。选择枕骨大孔层面，运用Erase擦除单层标签图，选择Margin中的shrink，点击2次应用按钮，运用岛屿（islands）中keepselectedisland选择脑组织（枕骨大孔下面及颅骨外面即被清除），选择Margin中的grow，点击2次应用按钮，3D显示脑组织，segmentation导出脑组织模型，并保存为STL格式。

（4）MRI重建肿瘤

载入患者头颅MRI数据，运行SegmentEditor模块。新建segment1，阈值法画出肿瘤，运用岛屿（islands）及剪刀（scissors）交替进行，肿瘤外碎片去除，3D显示肿瘤，segmentation导出肿瘤模型，并保存为STL格式。

（5）MRA/MRV重建动脉/静脉

载入患者头颅MRA/MRV数据，运行SegmentEditor模块。新建segment1，阈值法画出动脉/静脉，运用岛屿（islands）及剪刀（scissors）交替进行，肿瘤外碎片去除，3D显示动脉/静脉，segmentation导出动脉/静脉模型，并保存为STL格式。

（6）脑认知功能障碍混合现实成像

采用脑功能磁共振（fMRI）进行数据源获取，对脑功能区、脑海马区等不同结构数据进行分割标记，并采用上述步骤进行数据导入建模，完成3D建模，并保存为STL格式。

       （二）总体架构

   （三）作品优势

1.首次采用元宇宙混合现实技术实现脑肿瘤及肿瘤周围脑功能区、神经及血管的解剖关系成像，实现术中精准定位导航、精准切除，最大程度的降低肿瘤周围脑功能区、神经及血管的损伤，满足目前国内外外科领域所提倡的“精准手术”的具体要求。

2.首次采用元宇宙混合现实技术实现脑科学认知成像，揭秘脑科学的神秘面纱，有助于认知障碍的早期诊断及治疗效果观测，为医患沟通及医学教育提供新的手段和方法，符合“5G元宇宙智慧医疗”的具体要求，及国家《第十四个五年规划和二〇三五年远景目标纲要》的要求。

       （四）解决问题

1.解决目前脑肿瘤手术切除损伤较大，患者预后较差的现状，尤其是对脑肿瘤周围正常的脑组织功能区、神经及血管的保护，实现元宇宙混合现实技术加持下的精准手术、精准切除。

2.解决目前脑科学领域人类脑认知障碍疾病进展情况的可视化监测，揭秘脑科学领域的神秘面纱，实现肉眼可视化海马功能区疾病的发生发展情况，满足元宇宙技术在人类脑科学领域的应用拓展。

三、应用案例及反馈评价

（一）应用案例

（a~d：低剂量优化组；e~h：常规剂量组；两组混合现实建模质量未见明显差别。）

（a、b：低剂量优化组；c、d：常规剂量组；黄色：左冠状动脉前降支；绿色：左回旋支；蓝色：右冠状动脉。）

（二）应用成果

（红色：动脉；蓝色：静脉；黄色：神经；天蓝色：神经纤维素；绿色：肿瘤）

（NC：正常对照组；MCI：轻度认知障碍；SCD：主观认知下降）

项目申请人以第一作者发表相关应用成果文章：SCI6篇，中文核心20篇

本项目在神经外科领域得到较好的应用，术前做到精准的手术方案制定，术中做到实时的定位导航，实现脑肿瘤精准的切除，有效的提高了救治效率，并极大的改善了患者术后脑功能的恢复，得到了医患之间的一致好评，并在国内神经外科领域中得到较好的应用推广。此外，本项目在脑科学认知方面采用元宇宙混合现实技术进行成像研究，使难以理解的脑科学认知实现可视化，符合国家所提倡的智慧医疗方针政策，利国利民。

四、应用前景

（一）本项目采用元宇宙混合现实技术实现脑肿瘤及肿瘤周围脑功能区、神经及血管的解剖关系成像，实现术中精准定位导航、精准切除，最大程度的降低肿瘤周围脑功能区、神经及血管的损伤，符合“精准医疗、精准手术”的要求。

（二）本项目采用元宇宙混合现实技术实现脑科学认知成像，揭秘脑科学的神秘面纱，有助于认知障碍的早期诊断及治疗效果观测，为医患沟通及医学教育提供新的手段和方法，满足教学医院及高校进行教学模式革新的要求。

（三）项目实施期内，新建立的基于混合现实辅助手术模式体系系统，拟申报专利后转化，年销售5套，实现利润200万，纳税20万；拟进行混合现实医学模型重构，服务医疗多场景应用，销售每月20例，每例3000元，年销售额72万，利润率30万，纳税10万以上。