华南师范大学研究团队提出基于接触界面分析的视触觉感知策略

视触觉传感器中，接触感知是灵巧手实现准确操作指令的关键。其中，弹性体表面的可变形能力为捕获多模态物理信息提供了机会，这为其在机器人灵巧手的触觉感知提供了可能性。目前，视触觉传感器围绕弹性表面变形的实时动态表征具有重要的需求。因此，如何有效地对动态软接触过程中变形的介质界面形貌进行实时监测，成为了触觉传感系统面临的一大挑战。

针对上述挑战，华南师范大学李昕明研究员团队提出一种基于理想漫反射的视触觉系统进行实时动态软变形表征，该方案能够可视化软介质表面轮廓的演变过程。基于深度神经网络模型，可用于基于视觉的触觉传感器获取的接触界面图像中分析接触物体的运动信息。该研究成果以论文题为“A Real-Time Imaging Sensing System to Visualize Elastomer Surface Profile Evolution for Dynamic Tactile Recognition”发表在国际知名期刊Advanced Functional Materials上。
视触觉传感器通过捕捉接触引起的光学变化，实现了对物体接触状态的精准感知。弹性介质表面的变化在触觉图像中表现为像素亮度的变化，这些变化成为研究人员分析物体接触行为的关键线索。本研究提出了一种基于平行入射光的反射光学传感方法来构造接触界面变形与光信号之间的相关性。在平行光反射到CMOS的过程中，弹性体表面变形转化为光学信息。为了评估视触觉传感系统在识别接触信息方面的性能，该研究验证了系统的静态接触状态分析能力，还通过案例展示了其在实时动态运动行为检测任务中的潜力。

为了验证系统的触觉感知能力，该研究通过视触觉系统成功区分不同尺寸、硬度的球体在不同运动速度下的运动图像。基于深度学习框架构建的智能分类模型在单帧图像解析中，对球体滑移速率的辨识准确率可达82.7%。该动态解析架构创新性地将接触动力学分析与实时运动特征提取相结合，为仿生灵巧手触觉系统中运动学特征驱动的行为指令解码提供了技术实现路径。

综上所述，基于视觉的触觉感知方案具有高精度等特性，可适用于精细且复杂的触觉识别任务，广泛应用于人机交互、机器人触觉感知等多个领域。该技术也有望向跨尺度触觉表征、多物理信息耦合分析等维度延伸，为相关领域的发展提供新思路。

https://advanced.onlinelibrary.wiley.com/doi/abs/10.1002/adfm.202416731