在人機(jī)交互領(lǐng)域，一項(xiàng)突破性的研究成果正引領(lǐng)著可穿戴技術(shù)的未來(lái)。國(guó)際期刊《Nature Communications》在線刊發(fā)了由華中科技大學(xué)、中國(guó)科學(xué)院上海硅酸鹽研究所、中國(guó)科學(xué)院大連化學(xué)物理研究所等機(jī)構(gòu)的科學(xué)家們聯(lián)合發(fā)表的最新研究成果“Crossmodal sensory neurons based on high performance flexible memristors for human-machine in-sensor computing system”，介紹了一種基于高性能柔性VO2憶阻器的跨模態(tài)感覺(jué)神經(jīng)元（CSSN），這項(xiàng)技術(shù)有望極大地提升人機(jī)交互系統(tǒng)的性能，為可穿戴人機(jī)交互系統(tǒng)的發(fā)展提供了新的可能性。

 01  
 跨模態(tài)感知的重要性  

在現(xiàn)實(shí)世界中，我們通過(guò)視覺(jué)、聽覺(jué)、觸覺(jué)等多種感官來(lái)感知環(huán)境并與之互動(dòng)。同樣，機(jī)器人和智能設(shè)備若要在復(fù)雜環(huán)境中自如地工作，也需要具備類似的多模態(tài)感知能力。例如，在搜索救援、醫(yī)療手術(shù)或深海探索等任務(wù)中，機(jī)器人需要能夠識(shí)別和處理各種信息，如物體的形狀、質(zhì)地、溫度等，以做出準(zhǔn)確的判斷和反應(yīng)。然而，現(xiàn)有的技術(shù)往往依賴于多個(gè)分離的傳感器和復(fù)雜的數(shù)據(jù)處理系統(tǒng)，這不僅增加了系統(tǒng)的復(fù)雜性，也限制了其靈活性和效率。

Fig. 1 | Bio-inspired crossmodal intelligent in-sensor computing system.

 02  
 憶阻器的創(chuàng)新應(yīng)用  

為了解決這一問(wèn)題，科學(xué)家們將目光投向了憶阻器這一新興的電子元件。憶阻器，作為電路的第四種基本元件，因其獨(dú)特的記憶功能和非線性特性，成為了實(shí)現(xiàn)這一目標(biāo)的關(guān)鍵。在這項(xiàng)研究中，科學(xué)家們利用柔性VO2憶阻器，成功構(gòu)建了一種新型的跨模態(tài)感覺(jué)神經(jīng)元（CSSN），它能夠模擬人類神經(jīng)元的工作方式，將感知到的壓力和溫度信息轉(zhuǎn)換為電信號(hào)。

這種CSSN的設(shè)計(jì)靈感來(lái)源于人類的感覺(jué)神經(jīng)系統(tǒng)，它通過(guò)高度集成的電路模擬了人類神經(jīng)元的尖峰編碼機(jī)制。圖1所示，CSSN由柔性VO2憶阻器和壓阻傳感器組成，能夠?qū)崟r(shí)響應(yīng)外部刺激，產(chǎn)生類似于生物神經(jīng)元的尖峰信號(hào)。這種信號(hào)的頻率和幅度隨著刺激的強(qiáng)度而變化，從而實(shí)現(xiàn)了對(duì)多模態(tài)信號(hào)的編碼。

在實(shí)現(xiàn)CSSN的過(guò)程中，研究團(tuán)隊(duì)面臨著如何制造出既具有良好的電學(xué)性能，又能夠適應(yīng)各種工作環(huán)境的柔性憶阻器的挑戰(zhàn)。為了克服這一難題，科學(xué)家們采用了一種創(chuàng)新的制造工藝，成功地將VO2薄膜的沉積溫度降低至280°C，同時(shí)保持了材料的高性能。這種柔性VO2憶阻器展現(xiàn)出了卓越的耐久性，能夠承受超過(guò)1012次的循環(huán)測(cè)試，且在循環(huán)間和設(shè)備間的一致性方面表現(xiàn)優(yōu)異。

Fig. 2 | Structure and electrical characterization of the flexible VO2 memristor.

圖2所示，柔性VO2憶阻器在不同的彎曲半徑下均能保持穩(wěn)定的閾值開關(guān)特性，證明了其出色的機(jī)械柔性。此外，它的響應(yīng)速度極快，小于30納秒，這意味著CSSN能夠以極高的速度處理感知到的信息，滿足實(shí)時(shí)交互的需求。

 04  
 溫度和壓力感應(yīng)及編碼特性  

CSSN的核心功能之一是能夠同步編碼溫度和壓力信息。通過(guò)精確控制電路參數(shù)，并對(duì)不同的溫度和壓力變化做出響應(yīng)，產(chǎn)生不同頻率的尖峰信號(hào)。這種編碼機(jī)制不僅能夠提高信號(hào)的傳輸效率，還能夠減少信息在傳輸過(guò)程中的損失和干擾。

Fig. 3 | Temperature and pressure sensing and encoding characteristics of the artificial spiking sensory neuron.

CSSN在不同的溫度和壓力條件下均能產(chǎn)生穩(wěn)定的尖峰信號(hào)（圖3所示）。隨著溫度的升高，CSSN的尖峰頻率增加，而電壓幅度降低，與人類皮膚對(duì)溫度變化的感知方式相似。同樣，隨著壓力的增加，CSSN的尖峰頻率也增加，模擬了人類對(duì)觸覺(jué)刺激的響應(yīng)。

這種跨模態(tài)的感知和編碼能力，使得CSSN在實(shí)時(shí)監(jiān)測(cè)和數(shù)據(jù)處理方面具有巨大的潛力。例如，在醫(yī)療健康監(jiān)測(cè)領(lǐng)域，CSSN可以用于實(shí)時(shí)監(jiān)測(cè)患者的體溫和血壓變化，為醫(yī)生提供重要的生理信息。在環(huán)境感知方面，CSSN可以用于監(jiān)測(cè)環(huán)境溫度和壓力變化，為環(huán)境監(jiān)測(cè)和災(zāi)害預(yù)警提供技術(shù)支持。

 05  
 柔性跨模態(tài)傳感器內(nèi)編碼和觸覺(jué)反饋系統(tǒng)  

在人機(jī)交互的探索中，如何讓機(jī)器理解并模擬人類的觸覺(jué)反應(yīng)一直是一個(gè)挑戰(zhàn)。為了實(shí)現(xiàn)這一目標(biāo)，研究團(tuán)隊(duì)開發(fā)了一種柔性跨模態(tài)傳感器內(nèi)編碼和觸覺(jué)反饋系統(tǒng)，該系統(tǒng)能夠?qū)⒏兄降耐獠看碳まD(zhuǎn)化為機(jī)器人可以理解的信號(hào)，從而實(shí)現(xiàn)更加自然和直觀的交互。

Fig. 4 | Crossmodal in-sensor encoding and haptic-feedback for human machine interaction.

該系統(tǒng)的核心CSSN，不僅能夠編碼壓力和溫度信息，還能夠通過(guò)集成的硬件實(shí)現(xiàn)實(shí)時(shí)的觸覺(jué)反饋。如圖4所示，CSSN與機(jī)器人手相連，能夠模擬人類的抓握和避障行為。當(dāng)系統(tǒng)檢測(cè)到溫和的觸摸時(shí)，CSSN產(chǎn)生低頻的尖峰信號(hào)，指示機(jī)器人手輕柔地抓取物體；而當(dāng)系統(tǒng)檢測(cè)到高溫或強(qiáng)烈的壓力時(shí)，CSSN則產(chǎn)生高頻的尖峰信號(hào)，觸發(fā)機(jī)器人手的避障反應(yīng)，以防止?jié)撛诘膫Α?

這種柔性系統(tǒng)的開發(fā)，不僅提高了機(jī)器人對(duì)環(huán)境的適應(yīng)能力，也為機(jī)器人提供了更加復(fù)雜和精細(xì)的操作能力。例如，在醫(yī)療手術(shù)中，這種系統(tǒng)可以幫助機(jī)器人更精確地感知手術(shù)區(qū)域的溫度和壓力變化，從而提高手術(shù)的安全性和效果。

 06  
 跨模態(tài)傳感器內(nèi)尖峰儲(chǔ)備計(jì)算系統(tǒng)  

為了進(jìn)一步提升系統(tǒng)的智能處理能力，研究者們構(gòu)建了一個(gè)跨模態(tài)尖峰儲(chǔ)備計(jì)算系統(tǒng)。該系統(tǒng)利用CSSN作為感覺(jué)層，直接將感知到的多模態(tài)信息編碼成尖峰序列，并傳遞給尖峰儲(chǔ)備層進(jìn)行處理和分類。

Fig. 5 | Crossmodal in-sensor spiking reservoir computing for object recogni tion and feedback.

該系統(tǒng)通過(guò)模擬大腦的神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了對(duì)動(dòng)態(tài)物體的快速準(zhǔn)確識(shí)別（圖5）。在實(shí)驗(yàn)中，系統(tǒng)能夠準(zhǔn)確地識(shí)別出不同形狀和大小的物體，即使在部分感知信息丟失或受到噪聲干擾的情況下，系統(tǒng)依然能夠保持較高的識(shí)別準(zhǔn)確率。

這一跨模態(tài)傳感器內(nèi)尖峰儲(chǔ)備計(jì)算系統(tǒng)的成功構(gòu)建，不僅展示了CSSN在處理復(fù)雜信息方面的強(qiáng)大能力，也為未來(lái)智能設(shè)備的發(fā)展提供了新的可能性。例如，在自動(dòng)駕駛領(lǐng)域，這種系統(tǒng)可以幫助車輛更準(zhǔn)確地感知和理解周圍環(huán)境，提高自動(dòng)駕駛的安全性和可靠性。

隨著技術(shù)的不斷進(jìn)步，基于CSSN的柔性電子設(shè)備在智能機(jī)器人、健康監(jiān)測(cè)、環(huán)境感知等多個(gè)領(lǐng)域的應(yīng)用前景廣闊。這些設(shè)備不僅能夠提供更加自然和直觀的交互體驗(yàn)，還能夠在各種復(fù)雜環(huán)境中穩(wěn)定工作，為人類社會(huì)的發(fā)展帶來(lái)更多的便利和福祉。

科學(xué)家們相信，隨著研究的深入和技術(shù)的成熟，CSSN將在未來(lái)的人機(jī)交互領(lǐng)域發(fā)揮越來(lái)越重要的作用。從醫(yī)療健康監(jiān)測(cè)到環(huán)境感知，從智能機(jī)器人到自動(dòng)駕駛，CSSN的應(yīng)用將極大地?cái)U(kuò)展智能設(shè)備的能力和范圍，為人類帶來(lái)更加智能化和個(gè)性化的生活體驗(yàn)。

參考資料：

[2] Chortos, A., Liu, J. & Bao, Z. Pursuing prosthetic electronic skin. Nat. Mater. 15, 937–950 (2016).

[3]  Mittendorfer, P. & Cheng, G. Humanoid multimodal tactile-sensing modules. IEEE Trans. Robot. 27, 401–410 (2011).

[4] Liu, M. et al. A star-nose-like tactile-olfactory bionic sensing array for robust object recognition in non-visual environments. Nat. Commun. 13, 79 (2022).

[5] Wang, M. et al. Gesture recognition using a bioinspired learning architecture that integrates visual data with somatosensory data from stretchable sensors. Nat. Electron. 3, 563–570 (2020).

[6] Pei, J. et al. Towards artificial general intelligence with hybrid Tianjic chip architecture. Nature 572, 106–111 (2019).

[7] Yu, F. et al. Brain-inspired multimodal hybrid neural network for  robot place recognition. Sci. Robot. 8, eabm6996 (2023).

[8] Li, Z., Li, Z., Tang, W., Yao, J., Dou, Z., Gong, J., Li, Y., Zhang, B., Dong, Y., Xia, J., Sun, L., Jiang, P., Cao, X., Yang, R., Miao, X., & Yang, R. (2024). Crossmodal sensory neurons based on high-performance flexible memristors for human-machine in-sensor computing system. Nature Communications, 15, 7275. https://doi.org/10.1038/s41467-024-51609-x