脑机交互助你“心想事成”
神工—灵犀指。
患者进行脑控微信打字。
216指令集。
脑机海河实验室外景。
神工—神甲。
相关成果参展2023年天津夏季达沃斯论坛。
电影《阿凡达》中的男主角是来自地球的人类战士,当他进入睡眠舱后,科研人员通过计算机技术解读他的大脑信息,将人类的意识转移到克隆人中。电影里出现的意念控制其实就是“脑机接口”技术。
心之所想,随意而动。如今,“脑机接口”技术已经开始慢慢改变人们的生活:瘫痪患者可以用意念使用智能手机;无需双手操作,就可以通过意念回复微信……这些科幻电影中通过意念控制的情节,正在通过“脑机接口”技术,从梦想照进现实,并成为科技创新和产业发展的新赛道。
在新一轮科技革命和产业变革重构全球创新版图的大背景下,以脑科学、机器人、人工智能等为代表的一批前瞻性、战略性领域已经成为国家重点关注和布局的技术突破口。由人机交互、人机交流、人机一体组成的人机共融代表了未来的发展方向,为先进制造、健康医疗、航空航天等场景下实现能力提升提供支持。
今年3月,由天津大学牵头建设的脑机交互与人机共融海河实验室(以下简称脑机海河实验室)在滨海高新区正式揭牌,是天津市对标国家实验室建设成立的第6家海河实验室。实验室聚焦脑机交互与人机共融领域核心技术,重点面向临床医学与神经工程、特种医学与人机工程等重大领域的工程应用,突破核心技术瓶颈,助推我市在脑机交互与人机共融领域的产业化进程,成为我国脑机交互领域自主创新的重要源头,抢占我国在脑机交互领域国际竞争制高点。
完整自主知识产权体系
领跑脑机接口新赛道
对很多人来说,脑机接口技术是个比较陌生的词汇。其实,早在1973年,美国科学家雅克·维达尔就首次提出了脑机接口的概念,设想通过放置在头皮上的电极检测大脑发出的实时信号,经过翻译后用于控制计算机,首次描述了脑机接口的科学概念与设想。如今,脑机接口技术发展已经有整整50年的历史。
什么是脑机接口?脑机接口由“脑”+“机”+“接口”组成,简称为BCI(Brain Computer Interface),指的是将人脑与外界具有处理或计算能力的设备(比如电脑或其他装置)实现连接,进行直接通信的方式。脑机接口技术被誉为人脑与外界沟通交流的“信息高速公路”,是新一代人机交互和人机混合智能的关键核心技术。
近年来,美国、日本、欧盟等国家和地区都在积极布局抢占脑机接口的新赛道,推出了针对脑机技术的许多重大研发计划及投资项目,谷歌、亚马逊等商业巨头在脑机接口领域的成果不断涌现。
放眼国内,在脑机接口这条新赛道,脑机海河实验室科研团队是国内最先从事脑机接口领域研究的团队之一。在脑机交互领域拥有世界最大专利池,形成包括100余项国家发明专利和国际专利在内的完整自主知识产权体系,专利国际占有率达到10.6%,具备世界领先技术优势。
“根据全球专利检索分析数据库最新报告,目前脑机交互领域的研究高度集中在美国和中国。尤其是天津大学和加州大学旧金山分校,在研发规模(表现为专利数量)和技术影响力(表现为专利被引次数)上都遥遥领先于其他研发机构。”脑机海河实验室副主任倪广健告诉记者,近5年,中国的专利申请数量共279件,占全部国家/地区专利申请数量的52.7%,从专利数量排名分析,天津大学位列第一。
目前,脑机海河实验室拥有无创脑机交互关键核心技术,脑电识别精度、控制指令数量和信息传输率三项核心指标均达到国际最高水平(极微弱脑电信号解码0.5μV,最大脑控指令集216维,最快信息传输速率420bit/min)。与此同时,实验室非常重视脑机交互技术在医疗、特种等领域的应用转化,并取得了一系列国际领先的研究成果:
实验室自主研发世界首款脑机接口专用编解码芯片──“脑语者”C系列和D系列,拥有完全自主的知识产权,为实现我国脑机接口关键技术自主可控提供重要支撑;
用于全肢体中风康复的“纯意念控制”人工神经康复机器人系统“神工—神机”(“神工一号”),已经通过国家食品药品监督管理局检测,取得多项医疗器械注册证;
世界首款神经调控式机械外骨骼系统“神工—神甲”,帮助脑卒中下肢功能障碍患者实现步态矫正与运动康复训练;
脑—肌电控外肢体机器人系统“神工—灵犀指”,首次实现了脑机接口和外肢体机器人系统的便携可穿戴集成,通过第三方检验测试并完成多例临床康复病例;
“神工—谛听”脑电采集核心技术及系统,获批国家二类医疗器械注册证;
面向抑郁诊断的情感脑机交互系统“神工—神心”,公开或授权7项国家发明专利、1项国际专利,完成临床病例200余例。
“与传统的科研机构不同,脑机海河实验室不仅要解决‘从0到1’的基础研究,更注重‘从1到N’的成果转化和项目落地。”倪广健说,目前实验室已经建成从电极、芯片、算法、装备到系统应用于一体的,具有完整自主知识产权的全链条国产化创新成果体系,将致力于培育脑机领域新的经济增长点,推动天津市、京津冀区域乃至全国的脑机交互与人机共融相关产业发展,成为国家战略科技力量。
灵活自主机制
加速创新资源聚集
“放权”“自主”,是脑机海河实验室建设的关键词。
脑机海河实验室注册为不设行政级别、不设事业编制、不设岗位设置和工资总额限制、实行综合预算的新型研发机构。机制上大胆突破,让科研组织更加自主灵活。实验室可以重点围绕产业发展需求,自主布局重点科研项目,自主组建科研团队,自主调整研究方案和技术路线。同时,赋予科研经费使用管理更大自主权,充分调动了科研人员成果转化积极性。
目前,脑机海河实验室围绕新型神经信号感知理论与检测方法、仿生组织工程神经、新一代高通量脑机交互关键技术、人机共融基础核心器件开发转化等四个核心研究方向,首批拟启动高性能脑机交互专用脑电采集系统的开发、人工神经康复机器人系统、精神疾病脑机交互诊疗系统、神经重症脑机交互诊疗系统等十大课题。
脑机海河实验室实行独立法人、实体运行,充分体现“去行政化”“科研自主”“助力新兴产业发展”的理念。自获批以来,实验室已经承担包括“面向主动运动增强与重建的高效感知与交互技术及产品研制”“可调控光感智能生物眼的开发与设计”等在内的9项国家重大项目,项目总经费近亿元。
“成立以来,脑机海河实验室有力推动医工结合全国重点实验室、神经重症教育部医药基础研究创新中心等一批重大平台在津落地,打造了技术驱动与应用牵引的先导区,带动了高水平科研团队和相关企业快速形成聚集,并在前沿成果产业化方面形成示范引领效应。”倪广健告诉记者。
从微观到宏观、从科学到工程、从原理到技术,脑机海河实验室面向医工结合等国家重大领域的工程应用,开展了全领域、全尺度研究,形成完整的自主知识产权集群,实现脑机交互全技术链条覆盖,将推动重大应用示范落地及产业化。
中电云脑(天津)科技有限公司是脑机海河实验室的副理事单位。依托中国电子PKS生态天然优势,中电云脑联合天津市环湖医院探索脑机接口技术在本地场景的应用,率先在国内推出“PKS一体化云脑数字医疗平台解决方案”。脑机海河实验室副主任、中电云脑总经理程龙龙说:“这一平台是医院信息化建设实现自主可控的首次尝试,建成后可打通院内各系统间的数据孤岛,有效提升医院临床管控能力和运营能力。”
“今后,实验室将进一步提升技术迭代创新,带动产业发展,推动科技创新资源集聚。同时,设立脑机交互与人机共融技术转移机构,培育技术经理人,实现技术成果本地应用转化突破,让创新和产业互动、互促、互融。”倪广健表示。
人才培养特区
释放科研人员创新创造活力
头上佩戴着小小设备,使用者只需注视电脑屏幕上闪烁的216键虚拟键盘,设备实时捕获蕴藏在脑电波中的交互信息,进而完成字符的高速拼写,实现“意念”打字。在第七届世界智能大会现场,观众见证了科幻一幕如何成为现实。
脑机海河实验室科研团队在智能大会上正式发布了具有完全自主知识产权的超大指令集高速率非侵入式脑机接口系统。该系统创造了目前非侵入式脑机接口最大指令集世界纪录。相关研究已发表于国际神经工程领域权威期刊,支撑技术获批中国、美国发明专利授权。
脑机海河实验室主任助理、天津大学医学工程与转化研究院副院长许敏鹏向记者解释道,目前的脑机接口技术可分为侵入式和非侵入式。他对比了两种方式的特点:“侵入式脑机接口技术需要通过各种手段将信号检测电极放置入颅内一处,这种方式虽具有较高的信噪比和较好的分辨率,但无法获取全域脑信息。基于头皮脑电控制的非侵入式脑机接口技术兼具安全、便捷、高效等特点,可以实现完全无创和对全脑信号的同步监测。随着技术的进步和脑电信号采集质量的持续提升,从受众面的广度和宽度来讲,非侵入式脑机接口在消费级和产业化领域更具优势。”
指令数量是反映非侵入式脑机接口核心能力的重要指标指征。由于指令集个数与解码速度之间的制约关系,超大指令集的高效编解码一直是非侵入式脑机接口亟须突破的技术瓶颈之一。国际上研究的指令集曾长期居于80指令以下,难以突破百量集的技术瓶颈。
为此,实验室团队坚持自主创新,研发了时—频—相混合多址的新型编码范式,首次融合运动诱发电位、P300电位和稳态视觉诱发电位三种脑电特征,成功实现了216键的高速拼写操作,在线平均信息传输速率保持在300bits/min以上,单指令平均输出时间仅为1.2秒。
许敏鹏告诉记者:“天津大学神经工程团队率先研发了百指令集脑机接口系统,实现了真正意义上的全键盘的字符输入,创造了当时最大指令集的世界纪录。在此工作基础上,团队继续优化设计出新型的脑机编码策略,在国际上又率先突破200指令大关,再次刷新了脑机操作指令集的世界纪录。”
30岁出头的年纪,许敏鹏已经是国内脑机接口领域最优秀的青年科学家之一,主持国家级重大项目在内的项目十余项,2021年成为国家优秀青年科学基金获得者,2022年荣获“强国青年科学家”称号,入选《麻省理工科技评论》“35岁以下科技创新35人”,2023年成为天津大学最年轻的国家级领军人才。许敏鹏2006年考入天津大学,至今已经在天津大学度过了17年的时光。在这里,他完成了从学生到科研工作者的转变,创造了多项脑机接口核心指标的世界纪录。
加入脑机海河实验室,许敏鹏的科研开启了新征程。“海河实验室通过‘双聘’‘短期聘用’‘项目承接’‘咨询指导’等多种模式吸引人才,创造了‘人才特区’的条件。”许敏鹏告诉记者,“实验室给人才提供了良好的科研平台和相对宽松的科研环境,加上到位的资金及资源配套,最大限度降低了事务性工作对科研人员时间的占用,为我们开展研究提供了政策和制度保障。”
实验室自主灵活的科研组织让许敏鹏的研发之路更加顺畅。“项目立项评审的关注点兼顾了创新性和实用性,将为脑机接口技术的产业化发展奠定基础。”许敏鹏说,“未来,希望能够把海河实验室建设成为全国范围内的脑机接口人才培养特区,以我们团队为牵引,真正地打通脑机接口全技术链条研发,做出自主可控、领先国际的脑机接口系统。”
筑巢引凤,广纳贤才。脑机海河实验室组建了覆盖脑机接口、人机交互基础理论、器件系统、转化应用全链条所需的研发队伍,科研团队以两院院士领衔,会集国家杰青、长江学者、国家万人计划专家、国务院政府特殊津贴专家、各类国家级青年人才等优秀中青年学者。
“脑机海河实验室最近获批了职称自主评审资格,可以开展工程技术系列医疗器械专业的正高级、副高级和中级职称的自主评审,这将充分释放团队人才的创新创造活力。实验室还依托获批设立的博士后创新实践基地,与已经设立博士后科研流动站的高校、科研院所合作,广泛吸纳更多优秀人才。我们将充分发挥人才激励机制的重要作用,让优质企业和领军人才引得来、留得住、发展好。”倪广健表示。
拓展应用场景
建国际一流脑机交互
与人机共融产业高地
在今年的夏季达沃斯论坛上,国内首款抑郁症筛查机器人正式亮相。这款“神工—神心”抑郁脑机交互辅助诊断系统是脑机海河实验室团队研发的一款面向抑郁症辅助诊断的情感脑机交互系统,可以通过采集患者头部信号来分析其大脑信号,通过解码脑活动实现抑郁症的客观筛查。
“通常情况下,抑郁症的诊断是通过心理评估和访谈等方式进行的,而这些方式容易出现主观因素的干扰。但是,采用抑郁症辅助诊断机器人进行精准筛查,可以更好地保证评估的客观性和准确性,为研究提供了宝贵的数据支持。”脑机海河实验室项目首席专家刘爽告诉记者。
这款抑郁症筛查机器人的使用过程十分简单,患者只需戴上采集信号的设备,其信号经过智能传输技术传送到芯片上进行解码和分析,然后机器人会根据患者的大脑信号做出一个最终的抑郁症倾向判定。
“系统通过声音刺激诱发用户听觉稳态响应,采集脑电信号并解码情绪信息,构建识别模型进行抑郁智能辅助诊断,可以在短时间内对用户进行全面、客观的病症筛查,提高诊断效率,从而更早地发现和干预抑郁症。”刘爽说。
如今,脑机海河实验室的脑机交互成果,呈现出越来越广泛的应用场景。尤其是在提高各类神经系统疾病患者生活质量上,发挥了不可替代的作用。
一位来自天津医院的康复患者,之前是在工作中受伤的,导致7根手指末端遭到严重损伤并被截断,虽然握持功能不受影响,但是丧失了书写、打字等精细运动的能力,给生活带来了极大不便。
患者戴上接触头皮的脑电帽,使用“神工—谛听”脑机微信操作系统,操作面前的电脑显示屏。电脑键盘上的53个基本指令按键,以虚拟键盘的形式在显示屏上闪烁。使用者只要用眼睛依次盯着要拼写的字符,大脑在接收到每一个字符闪烁频率后,脑电帽即可实时采集到使用者的拼写意图,系统通过解码用户脑电波,得到用户意图后进行识别,目标字符就会输出在微信的聊天框中,并输出文字,从而实现“意念聊天”。
脑机海河实验室技术骨干肖晓琳博士说:“‘神工—谛听’脑机微信操作系统引入了视线追踪技术,可对患者视线落点进行检测,进而通过脑机接口数据处理和算法设计,精准解码用户指令输出意图。患者在使用时无需双手操作,不用张嘴说话,仅靠脑机操作系统,就可以使用微信全功能。目前,该系统已在临床上进行了成功测试,并取得了良好的效果。”
“未来脑科学会是生命科学发展中一个重要的领域。实验室将不断拓展应用场景,通过知识产权授权、技术转移、成果转移转化、产业基金投资等多种形式,支持我市乃至京津冀地区脑机交互与人机共融相关研究成果应用落地,建设世界级的脑机交互与人机共融产业高地。”倪广健对未来充满信心。
来源:天津日报
-
官方公众号
-
官方视频号
-
官方小程序
-
官方抖音号
-
邮箱
wic@wicongress.org
-
大会官网
www.wicongress.org.cn
-
400热线
400-019-0516
-
咨询热线
022-83608031