在元宇宙中，虚拟世界正与现实环境并行。虚拟场景如篮球比赛需要从现实世界中获取视觉、听觉和触觉数据来渲染。当前技术通过计算机视觉(CV)和计算机听觉(CA)实现视觉和听觉的虚拟再现，但触觉渲染仍面临挑战。这要求通过计算可穿戴设备，如VR眼镜和触觉手套，提供真实的触觉体验，如握持和传球，同时再现虚拟篮球的形状、纹理和表面粗糙度等物理属性。

计算机触觉(CH)关注于元宇宙中的触觉和渲染集成。目前缺乏通用的触觉数据捕获设备，类似于相机在计算机视觉(CV)中的作用。研究人员提出了一种触觉扫描仪和神经形态工程系统，通过模仿人类神经系统的电生理过程，实现了闭环触觉采集和渲染。该扫描仪使用压电换能器模拟神经元，并通过基于薄膜晶体管(TFT)的电路模拟突触行为和神经功能。这种装置能捕捉表面纹理信息，并用于在虚拟环境中重现真实的触觉体验。

仿生神经形态触觉系统架构

为了了解人类皮肤的神经机制，图1a展示了一个简化的神经系统，描述了如何通过握住篮球等机械刺激产生触觉信号。慢适应（SA）感受器如默克尔盘（SAI）和鲁菲尼末梢（SAII）负责检测静态力量，而快速适应（FA）感受器如迈斯纳小体（FAI）和帕西尼小体（FAII）则对动态力量更为敏感。当感觉神经元接收机械刺激时，会产生脉冲状动作电位（AP），通过突触和树突传递到脊髓，然后由楔状核的中间神经元传输到丘脑和体感皮层，最终被解码为感觉知觉并由联合皮层做出动作决策。运动皮层计划运动，产生脑电波，并通过类运动神经元传递运动脉冲到骨骼肌，完成“抓”篮球的动作。

基于这种生物触觉信号处理机制，研究人员设计了一种人工神经形态触觉系统，如图1b和1c所示。这种系统可以被视为触觉应用专用的“计算机”，相较于传统计算系统，它能以更低的计算成本和功耗完成相似的任务。为实现类似皮肤的神经形态处理单元（NPU），人们考虑使用薄膜晶体管（TFT）技术，因为其具有大面积和大规模生产的优势，得益于显示器行业和消费电子产品的应用。

仿生触觉扫描仪

从生物学角度看，皮肤通过初级传入系统的轴突连接感觉受体（如默克尔细胞），接收并处理机械刺激（图2a）。信号通过突触传递给下一个神经元，释放神经递质。图2b描述了机械激活的Piezo1/Piezo2通道的机械门控模型，显示了其在力和加速度响应中的作用。电气模拟方面，HHM模型复杂但生物反映性强，Izhikevich模型计算简便，LIF模型则易于实现且适合神经假体应用。基于这些模型，我们设计了一个触觉扫描仪，简化为感知、处理、接收三个阶段，并构建了一个神经形态处理单元(NPU)，包括压电换能器、突触TFT和基于TFT的1T1C电路。

为了设计轴突神经元换能器，研究人员选择了聚偏氟乙烯(PVDF)由于其压电特性和灵活性。压电换能器由电压源(VPVDF)和电容器(CPVDF)串联组成，将机械刺激转换为电势。突触神经元采用双栅极TFT，其中顶栅极(TG)调节突触权重，底栅极(BG)与漏极短接以模拟突触电行为。等效通道电阻(rsyn)代表突触电阻，等效栅极绝缘体电容(csyn)视为细胞膜的寄生电容。TFT的TG调节阈值电压以模拟突触的兴奋性或抑制性。树突神经元由存储电容器(CS)构成，通过单栅极TFT(TFTN2)和触发栅极电压(VF)生成树突尖峰(ISPIKE)。为克服视觉和听觉的局限性，设计了一个触觉扫描仪，包含10×10的压电换能器阵列和10×10的NPU阵列，两者通过柔性印刷电路板(FPC)连接。图2f展示了集成有TFTN1、TFTN2和CS的NPU显微照片。

图2 触觉扫描仪的设计和部署。a突触前、突触后神经元和突触的示意图。b机械门控模型展示Piezo1/Piezo2通道由压缩力激活。c神经元的泄漏积分和激发(LIF)电路模型。d触觉扫描仪中传感器单元的神经形态模型图示。e基于压电传感器的10×10轴突传感阵列原型和由触觉扫描仪的NPU形成的神经形态电路阵列。轴突感觉阵列具有灵活性和适应性，以适应物体的表面。f基于2T1C神经形态电路制造的NPU的显微图像。

突触TFT作为人工突触

突触在神经信号传递中很重要，决定了触觉信息是否继续传递。生物突触通过释放神经递质传递信号，而人工突触TFTN1使用双栅极TFT模拟这一过程，正脉冲增强电流，负脉冲减少电流。TFTN1自主运行，功耗低。测量其对压电换能器的响应表明，其电导随刺激增加而呈指数变化，符合一阶非线性系统模型。IEPSC代表刺激诱导的稳态电流，频率高时突触电容降低，电导增加，尖峰电流增大，饱和时间缩短。动态刺激下，IEPSC在不同触觉压力下变化显著，更高的压力和更长的刺激时间会增大IEPSC。这表明，TFTN1和PVDF换能器在触觉扫描仪中有效响应外部力刺激。

触觉扫描仪中的NPU

在触觉智能的研究中，触觉扫描仪中的神经形态电路需要模拟神经元的积分（图3a）和发射过程。我们设计的系统中，触觉信号首先在电容器中进行积分，模拟神经元的积分过程，然后通过比较器触发发射尖峰以模拟神经元的发射行为。实验中使用了不同波形和持续时间的模拟信号，结果显示，较长的刺激持续时间会导致更多的尖峰发射，而较高的刺激幅度则缩短了激发时间并提高了尖峰频率（图3b、图3c）。这表明，触觉刺激的强度和持续时间对尖峰的产生有显著影响（图3d）。通过设置阈值电压，可以调整系统的响应，使其符合生物神经元的行为。施加高强度或高频触觉刺激会使CS中积累更多电荷，从而增加ISPIKE的幅度，这类似于生物神经元的压力/频率-电流响应（图3e、图3f）。该研究还表明，系统的功耗远低于传统电路，证明了在低功耗下实现有效的触觉感知和信号编码的可能性。

触觉扫描仪的应用：触觉渲染

触觉扫描仪能够捕捉物体的触觉信息并用于虚拟现实中的触觉渲染（TR）。以“篮球”为例，扫描仪首先捕捉篮球的纹理、形状和粗糙度。轴突状换能器阵列将机械刺激转换为电荷，NPU将其处理为神经形态的尖峰信息。预处理后的触觉信息被存储为虚拟篮球，必要时可恢复以在虚拟环境中实现TR（图4a）。信号处理方面，触觉系统首先对原始振动信息进行分类，然后将其编码为脉冲序列，输入体感皮层进行感知。扫描仪通过特征表面捕捉纹理和粗糙度的TA信号，并存储在分层数据集中（图4e）。选择了五种不同材料（棉、羊毛、针织、金属、木材），通过快速傅里叶变换（FFT）对TA信号进行频谱预处理，结果表明纹理特征频率簇有显著差异（图4b）。基于机器学习的纹理识别准确率达到93%，显著高于未预处理的光谱数据（图4c）。触觉扫描仪在神经处理单元（NPU）编码后生成脉冲序列（图4d），并传送至体感皮层。触觉刺激解码目前基于幅度解调，而非精确的脉冲时间测量。解码后的TA信号包含幅度和频率信息，并通过商用TDK执行器进行TR信号渲染。TR信号经基准测试显示与TA信号具有良好的相似性（图4e），且在五种材料的平均Spearman相关系数为0.68，表明TR信号为TA信号的有效复制（图4f）。心理物理实验中，超过75%的志愿者能感知TR信号中的粗糙度差异。此研究展示了闭环触觉反馈的有效性。

图4触觉扫描仪的应用a 示意图，说明触觉扫描仪在篮球元宇宙中的应用。b 不同质地（棉、羊毛、针织、金属和木材）的频域频谱。c 真实纹理和预测纹理之间的混淆矩阵。d NPU编码的木材TA信号（0-100毫秒）和14.5至16毫秒的详细ISPIKE。e 触觉采集（TA）和触觉渲染（TR）信号的比较。f频域中TA和TR信息集的Spearman相关系数，以展示TA和TR信号之间的相关水平。

讨论

受人类触觉系统启发，研究人员开发了一种具有10×10触觉传感阵列的触觉扫描仪。该扫描仪配备压电换能器和神经形态电路，能实时获取触觉刺激。压电换能器刺激感受器，神经形态电路模拟神经元传输机制。该系统成功捕获了五种不同纹理的触觉信息，识别和分类准确率超过85%。通过商用执行器，触觉刺激的再现效率达到68%。因此，该触觉扫描仪和神经形态系统有助于实现CH。

本文来自新知号自媒体，不代表商业新知观点和立场。
若有侵权嫌疑，请联系商业新知平台管理员。
联系方式：system@shangyexinzhi.com