7月25日,《天津日報》整版報道位于高新區的腦機交互與人機共融海河實驗室全鏈條國產化創新體系,搶占腦機交互國際競爭制高點。
腦機海河實驗室外景
電影《阿凡達》中的男主角是來自地球的人類戰士,當他進入睡眠艙后,科研人員通過計算機技術解讀他的大腦信息,將人類的意識轉移到克隆人中。電影里出現的意念控制其實就是“腦機接口”技術。
心之所想,隨意而動。如今,“腦機接口”技術已經開始慢慢改變人們的生活:癱瘓患者可以用意念使用智能手機;無需雙手操作,就可以通過意念回復微信……這些科幻電影中通過意念控制的情節,正在通過“腦機接口”技術,從夢想照進現實,并成為科技創新和產業發展的新賽道。
在新一輪科技革命和產業變革重構全球創新版圖的大背景下,以腦科學、機器人、人工智能等為代表的一批前瞻性、戰略性領域已經成為國家重點關注和布局的技術突破口。由人機交互、人機交流、人機一體組成的人機共融代表了未來的發展方向,為先進制造、健康醫療、航空航天等場景下實現能力提升提供支持。
今年3月,由天津大學牽頭建設的腦機交互與人機共融海河實驗室(以下簡稱腦機海河實驗室)在濱海高新區正式揭牌,是天津市對標國家實驗室建設成立的第6家海河實驗室。實驗室聚焦腦機交互與人機共融領域核心技術,重點面向臨床醫學與神經工程、特種醫學與人機工程等重大領域的工程應用,突破核心技術瓶頸,助推我市在腦機交互與人機共融領域的產業化進程,成為我國腦機交互領域自主創新的重要源頭,搶占我國在腦機交互領域國際競爭制高點。
相關成果參展2023年天津夏季達沃斯論壇
完整自主知識產權體系
領跑腦機接口新賽道
對很多人來說,腦機接口技術是個比較陌生的詞匯。其實,早在1973年,美國科學家雅克·維達爾就首次提出了腦機接口的概念,設想通過放置在頭皮上的電極檢測大腦發出的實時信號,經過翻譯后用于控制計算機,首次描述了腦機接口的科學概念與設想。如今,腦機接口技術發展已經有整整50年的歷史。
什么是腦機接口?腦機接口由“腦”+“機”+“接口”組成,簡稱為BCI(Brain Computer Interface),指的是將人腦與外界具有處理或計算能力的設備(比如電腦或其他裝置)實現連接,進行直接通信的方式。腦機接口技術被譽為人腦與外界溝通交流的“信息高速公路”,是新一代人機交互和人機混合智能的關鍵核心技術。
近年來,美國、日本、歐盟等國家和地區都在積極布局搶占腦機接口的新賽道,推出了針對腦機技術的許多重大研發計劃及投資項目,谷歌、亞馬遜等商業巨頭在腦機接口領域的成果不斷涌現。
放眼國內,在腦機接口這條新賽道,腦機海河實驗室科研團隊是國內最先從事腦機接口領域研究的團隊之一。在腦機交互領域擁有世界最大專利池,形成包括100余項國家發明專利和國際專利在內的完整自主知識產權體系,專利國際占有率達到10.6%,具備世界領先技術優勢。
“根據全球專利檢索分析數據庫最新報告,目前腦機交互領域的研究高度集中在美國和中國。尤其是天津大學和加州大學舊金山分校,在研發規模(表現為專利數量)和技術影響力(表現為專利被引次數)上都遙遙領先于其他研發機構。”腦機海河實驗室副主任倪廣健告訴記者,近5年,中國的專利申請數量共279件,占全部國家/地區專利申請數量的52.7%,從專利數量排名分析,天津大學位列第一。
目前,腦機海河實驗室擁有無創腦機交互關鍵核心技術,腦電識別精度、控制指令數量和信息傳輸率三項核心指標均達到國際最高水平(極微弱腦電信號解碼0.5μV,最大腦控指令集216維,最快信息傳輸速率420bit/min)。與此同時,實驗室非常重視腦機交互技術在醫療、特種等領域的應用轉化,并取得了一系列國際領先的研究成果:
實驗室自主研發世界首款腦機接口專用編解碼芯片──“腦語者”C系列和D系列,擁有完全自主的知識產權,為實現我國腦機接口關鍵技術自主可控提供重要支撐;
用于全肢體中風康復的“純意念控制”人工神經康復機器人系統“神工—神機”(“神工一號”),已經通過國家食品藥品監督管理局檢測,取得多項醫療器械注冊證;
世界首款神經調控式機械外骨骼系統“神工—神甲”,幫助腦卒中下肢功能障礙患者實現步態矯正與運動康復訓練;
神工—神甲
腦—肌電控外肢體機器人系統“神工—靈犀指”,首次實現了腦機接口和外肢體機器人系統的便攜可穿戴集成,通過第三方檢驗測試并完成多例臨床康復病例;
神工—靈犀指
“神工—諦聽”腦電采集核心技術及系統,獲批國家二類醫療器械注冊證;
面向抑郁診斷的情感腦機交互系統“神工—神心”,公開或授權7項國家發明專利、1項國際專利,完成臨床病例200余例。
“與傳統的科研機構不同,腦機海河實驗室不僅要解決‘從0到1’的基礎研究,更注重‘從1到N’的成果轉化和項目落地。”倪廣健說,目前實驗室已經建成從電極、芯片、算法、裝備到系統應用于一體的,具有完整自主知識產權的全鏈條國產化創新成果體系,將致力于培育腦機領域新的經濟增長點,推動天津市、京津冀區域乃至全國的腦機交互與人機共融相關產業發展,成為國家戰略科技力量。
靈活自主機制
加速創新資源聚集
“放權”“自主”,是腦機海河實驗室建設的關鍵詞。
腦機海河實驗室注冊為不設行政級別、不設事業編制、不設崗位設置和工資總額限制、實行綜合預算的新型研發機構。機制上大膽突破,讓科研組織更加自主靈活。實驗室可以重點圍繞產業發展需求,自主布局重點科研項目,自主組建科研團隊,自主調整研究方案和技術路線。同時,賦予科研經費使用管理更大自主權,充分調動了科研人員成果轉化積極性。
目前,腦機海河實驗室圍繞新型神經信號感知理論與檢測方法、仿生組織工程神經、新一代高通量腦機交互關鍵技術、人機共融基礎核心器件開發轉化等四個核心研究方向,首批擬啟動高性能腦機交互專用腦電采集系統的開發、人工神經康復機器人系統、精神疾病腦機交互診療系統、神經重癥腦機交互診療系統等十大課題。
腦機海河實驗室實行獨立法人、實體運行,充分體現“去行政化”“科研自主”“助力新興產業發展”的理念。自獲批以來,實驗室已經承擔包括“面向主動運動增強與重建的高效感知與交互技術及產品研制”“可調控光感智能生物眼的開發與設計”等在內的9項國家重大項目,項目總經費近億元。
“成立以來,腦機海河實驗室有力推動醫工結合全國重點實驗室、神經重癥教育部醫藥基礎研究創新中心等一批重大平臺在津落地,打造了技術驅動與應用牽引的先導區,帶動了高水平科研團隊和相關企業快速形成聚集,并在前沿成果產業化方面形成示范引領效應。”倪廣健告訴記者。
從微觀到宏觀、從科學到工程、從原理到技術,腦機海河實驗室面向醫工結合等國家重大領域的工程應用,開展了全領域、全尺度研究,形成完整的自主知識產權集群,實現腦機交互全技術鏈條覆蓋,將推動重大應用示范落地及產業化。
中電云腦(天津)科技有限公司是腦機海河實驗室的副理事單位。依托中國電子PKS生態天然優勢,中電云腦聯合天津市環湖醫院探索腦機接口技術在本地場景的應用,率先在國內推出“PKS一體化云腦數字醫療平臺解決方案”。腦機海河實驗室副主任、中電云腦總經理程龍龍說:“這一平臺是醫院信息化建設實現自主可控的首次嘗試,建成后可打通院內各系統間的數據孤島,有效提升醫院臨床管控能力和運營能力。”
“今后,實驗室將進一步提升技術迭代創新,帶動產業發展,推動科技創新資源集聚。同時,設立腦機交互與人機共融技術轉移機構,培育技術經理人,實現技術成果本地應用轉化突破,讓創新和產業互動、互促、互融。”倪廣健表示。
人才培養特區
釋放科研人員創新創造活力
頭上佩戴著小小設備,使用者只需注視電腦屏幕上閃爍的216鍵虛擬鍵盤,設備實時捕獲蘊藏在腦電波中的交互信息,進而完成字符的高速拼寫,實現“意念”打字。在第七屆世界智能大會現場,觀眾見證了科幻一幕如何成為現實。
患者進行腦控微信打字
216指令集
腦機海河實驗室科研團隊在智能大會上正式發布了具有完全自主知識產權的超大指令集高速率非侵入式腦機接口系統。該系統創造了目前非侵入式腦機接口最大指令集世界紀錄。相關研究已發表于國際神經工程領域權威期刊,支撐技術獲批中國、美國發明專利授權。
腦機海河實驗室主任助理、天津大學醫學工程與轉化研究院副院長許敏鵬向記者解釋道,目前的腦機接口技術可分為侵入式和非侵入式。他對比了兩種方式的特點:“侵入式腦機接口技術需要通過各種手段將信號檢測電極放置入顱內一處,這種方式雖具有較高的信噪比和較好的分辨率,但無法獲取全域腦信息。基于頭皮腦電控制的非侵入式腦機接口技術兼具安全、便捷、高效等特點,可以實現完全無創和對全腦信號的同步監測。隨著技術的進步和腦電信號采集質量的持續提升,從受眾面的廣度和寬度來講,非侵入式腦機接口在消費級和產業化領域更具優勢。”
指令數量是反映非侵入式腦機接口核心能力的重要指標指征。由于指令集個數與解碼速度之間的制約關系,超大指令集的高效編解碼一直是非侵入式腦機接口亟須突破的技術瓶頸之一。國際上研究的指令集曾長期居于80指令以下,難以突破百量集的技術瓶頸。
為此,實驗室團隊堅持自主創新,研發了時—頻—相混合多址的新型編碼范式,首次融合運動誘發電位、P300電位和穩態視覺誘發電位三種腦電特征,成功實現了216鍵的高速拼寫操作,在線平均信息傳輸速率保持在300bits/min以上,單指令平均輸出時間僅為1.2秒。
許敏鵬告訴記者:“天津大學神經工程團隊率先研發了百指令集腦機接口系統,實現了真正意義上的全鍵盤的字符輸入,創造了當時最大指令集的世界紀錄。在此工作基礎上,團隊繼續優化設計出新型的腦機編碼策略,在國際上又率先突破200指令大關,再次刷新了腦機操作指令集的世界紀錄。”
30歲出頭的年紀,許敏鵬已經是國內腦機接口領域最優秀的青年科學家之一,主持國家級重大項目在內的項目十余項,2021年成為國家優秀青年科學基金獲得者,2022年榮獲“強國青年科學家”稱號,入選《麻省理工科技評論》“35歲以下科技創新35人”,2023年成為天津大學最年輕的國家級領軍人才。許敏鵬2006年考入天津大學,至今已經在天津大學度過了17年的時光。在這里,他完成了從學生到科研工作者的轉變,創造了多項腦機接口核心指標的世界紀錄。
加入腦機海河實驗室,許敏鵬的科研開啟了新征程。“海河實驗室通過‘雙聘’‘短期聘用’‘項目承接’‘咨詢指導’等多種模式吸引人才,創造了‘人才特區’的條件。”許敏鵬告訴記者,“實驗室給人才提供了良好的科研平臺和相對寬松的科研環境,加上到位的資金及資源配套,最大限度降低了事務性工作對科研人員時間的占用,為我們開展研究提供了政策和制度保障。”
實驗室自主靈活的科研組織讓許敏鵬的研發之路更加順暢。“項目立項評審的關注點兼顧了創新性和實用性,將為腦機接口技術的產業化發展奠定基礎。”許敏鵬說,“未來,希望能夠把海河實驗室建設成為全國范圍內的腦機接口人才培養特區,以我們團隊為牽引,真正地打通腦機接口全技術鏈條研發,做出自主可控、領先國際的腦機接口系統。”
筑巢引鳳,廣納賢才。腦機海河實驗室組建了覆蓋腦機接口、人機交互基礎理論、器件系統、轉化應用全鏈條所需的研發隊伍,科研團隊以兩院院士領銜,會集國家杰青、長江學者、國務院政府特殊津貼專家、各類國家級青年人才等優秀中青年學者。
“腦機海河實驗室最近獲批了職稱自主評審資格,可以開展工程技術系列醫療器械專業的正高級、副高級和中級職稱的自主評審,這將充分釋放團隊人才的創新創造活力。實驗室還依托獲批設立的博士后創新實踐基地,與已經設立博士后科研流動站的高校、科研院所合作,廣泛吸納更多優秀人才。我們將充分發揮人才激勵機制的重要作用,讓優質企業和領軍人才引得來、留得住、發展好。”倪廣健表示。
拓展應用場景
建國際一流腦機交互
與人機共融產業高地
在今年的夏季達沃斯論壇上,國內首款抑郁癥篩查機器人正式亮相。這款“神工—神心”抑郁腦機交互輔助診斷系統是腦機海河實驗室團隊研發的一款面向抑郁癥輔助診斷的情感腦機交互系統,可以通過采集患者頭部信號來分析其大腦信號,通過解碼腦活動實現抑郁癥的客觀篩查。
“通常情況下,抑郁癥的診斷是通過心理評估和訪談等方式進行的,而這些方式容易出現主觀因素的干擾。但是,采用抑郁癥輔助診斷機器人進行精準篩查,可以更好地保證評估的客觀性和準確性,為研究提供了寶貴的數據支持。”腦機海河實驗室項目首席專家劉爽告訴記者。
這款抑郁癥篩查機器人的使用過程十分簡單,患者只需戴上采集信號的設備,其信號經過智能傳輸技術傳送到芯片上進行解碼和分析,然后機器人會根據患者的大腦信號做出一個最終的抑郁癥傾向判定。
“系統通過聲音刺激誘發用戶聽覺穩態響應,采集腦電信號并解碼情緒信息,構建識別模型進行抑郁智能輔助診斷,可以在短時間內對用戶進行全面、客觀的病癥篩查,提高診斷效率,從而更早地發現和干預抑郁癥。”劉爽說。
如今,腦機海河實驗室的腦機交互成果,呈現出越來越廣泛的應用場景。尤其是在提高各類神經系統疾病患者生活質量上,發揮了不可替代的作用。
一位來自天津醫院的康復患者,之前是在工作中受傷的,導致7根手指末端遭到嚴重損傷并被截斷,雖然握持功能不受影響,但是喪失了書寫、打字等精細運動的能力,給生活帶來了極大不便。
患者戴上接觸頭皮的腦電帽,使用“神工—諦聽”腦機微信操作系統,操作面前的電腦顯示屏。電腦鍵盤上的53個基本指令按鍵,以虛擬鍵盤的形式在顯示屏上閃爍。使用者只要用眼睛依次盯著要拼寫的字符,大腦在接收到每一個字符閃爍頻率后,腦電帽即可實時采集到使用者的拼寫意圖,系統通過解碼用戶腦電波,得到用戶意圖后進行識別,目標字符就會輸出在微信的聊天框中,并輸出文字,從而實現“意念聊天”。
腦機海河實驗室技術骨干肖曉琳博士說:“‘神工—諦聽’腦機微信操作系統引入了視線追蹤技術,可對患者視線落點進行檢測,進而通過腦機接口數據處理和算法設計,精準解碼用戶指令輸出意圖。患者在使用時無需雙手操作,不用張嘴說話,僅靠腦機操作系統,就可以使用微信全功能。目前,該系統已在臨床上進行了成功測試,并取得了良好的效果。”
“未來腦科學會是生命科學發展中一個重要的領域。實驗室將不斷拓展應用場景,通過知識產權授權、技術轉移、成果轉移轉化、產業基金投資等多種形式,支持我市乃至京津冀地區腦機交互與人機共融相關研究成果應用落地,建設世界級的腦機交互與人機共融產業高地。”倪廣健對未來充滿信心。