CN1757591A - 基于纳米操作的实时力感与可视图像人机交互方法及*** - Google Patents

Abstract

本发明公开一种基于纳米操作的实时力感与可视图像交互方法及***，它将具有力感的多自由度机电装置及图像仿真界面与纳米操作装置结合起来，为操作者提供了力觉与视觉反馈，这是以往的纳米操作所不具备的。操作者不仅可以通过多自由度的机电装置实时控制纳米操作装置的运作，而且可以感受到操作过程中纳米操作装置与***作物间的作用力，同时通过图像仿真界面实时看到操作的状况。该交互***在微观世界与宏观世界架设了一座桥梁，使得对微观世界中物体的操作如同对宏观世界中物体的操作一样方便，灵活。使纳米操作更贴近于现实情况，大大提高了纳米操作的效率，为进行大规模纳米操作及装配开辟了道路。

Description

基于纳米操作的实时力感与可视图像人机交互方法及***

技术领域

本发明涉及纳米尺度下的操作与加工的纳米科技，具体地说是一种基于纳米操作的实时力感与可视图像人机交互方法及***。

背景技术

纳米科学技术是新兴的科科研领域。纳米尺度下的操作与加工是纳米科技的重要组成部分。只有在可操作的前提下，才能研究纳米尺度下物质的各种物理、化学等自然特性，才能研制纳米器件，纳米传感器以及纳米计算机等先进的技术装备。因此，纳米操作是当前微纳米科技前沿的热点。但是现有的用于纳米技术研究的设备基本是基于SPM(隧道电流扫描或原子力扫描成像)机理的设备。这类设备(如SPM)缺乏实时力反馈信息、视觉反馈信息和人机交互能力，因而只能进行离线扫描规划的纳米现象观察，不能进行人机交互方式的纳米尺度操作。因而研究和开发具有实时的力及视觉反馈信息的人机交互式纳米操作技术具有特别重要的意义。

发明内容

为了实现纳米尺度下的人机交互操作，本发明提供一种基于纳米操作的实时力感与可视图像人机交互方法及***。

本发明技术方案如下：

基于纳米操作的实时力感与可视图像人机交互方法：将纳米操作装置与具有力感的多自由度机电装置结合起来，实现由多自由度机电装置控制纳米操作装置的运作；通过纳米操作装置中光电传感器的信息及对扫描探针悬臂梁进行动力学分析，得到作用在扫描探针针尖的作用力模型，在人机交互界面中利用此力模型与***作物体的动力学模型实时更新扫描的图像，进而动态显示纳米操作的过程；基于UDP协议的点到点通信的工作流程，操作人员通过具有力感的多自由度机电装置实时感觉到真实作业场景中的探针与对象间的相互作用力，并在此情况下进行操作，同时在图形界面上观察到人工操作的结果。

本发明方法所用***：纳米操作装置输入为多自由度机电装置的位置信号，输出为扫描探针的形变信号，接至信号处理***，信号处理***的输出为代表探针针尖作用力的力信号，再传送给具有力感的多自由度机电装置；多自由度机电装置的输出为位置信号，经由信号处理***将转化为控制纳米操作装置运作的命令信号输入给纳米操作装置，同时，信号处理***将通过多自由度机电装置的位置信号及***作物的运动模型实时更新的仿真图像传给图像仿真界面。

本发明具有如下优点：

A、采用本发明所述方法，可以将无法感知的微观作用力转换为宏观力，并通过具有力感的多自由度机电装置输出，使操作者可以实时感受到纳米环境中的3D操作力(大小和方向)。

B、采用本发明在可视化仿真图形指导下，操作员可以直观的在纳米环境中利用实时更新的作业图形提示进行纳米级操作。

C、采用本发明操作者可以在力反馈和视觉反馈的辅助下进行人机交互式纳米操作，大大提高了操作的灵活性及效率。

附图说明

图1为本发明***结构示意图。

图2为本发明一个实施例具有力感的多自由度机电装置(Phantom)结构示意图。

图3为图1所述***的详细结构示意图。

图4为本发明纳米级杆状物体的动力学建模。

图5为本发明一个实施例基于UDP协议的点到点通信的工作流程图。

图6a为本发明一个实施例力反馈传送的程序流程图。

图6b为本发明一个实施例位置控制及图像更新的程序流程图。

图7为本发明一个实施例图像仿真界面程序流程图。

具体实施方式

实施例1

如图1所示，该人机交互***主要有纳米操作装置、信号处理***、图像仿真界面及多自由度机电装置组成，纳米操作装置将其探针的形变信号传给信号处理***，信号处理***将其转化为代表探针针尖作用力的力信号，再传送给具有力感的多自由度机电装置；多自由度机电装置的位置信号经由信号处理***转化为控制纳米操作装置运作的控制命令后，输入给纳米操作装置，同时，信号处理***通过多自由度机电装置的位置信号及***作物的运动模型实时更新仿真图像，并将更新的图像传给图像仿真界面用来显示。

参见图1～3，本发明所述***具体结构为：

一纳米操作装置(本实施例采用市购产品如原子力显微AFM(AtomicForce Microscope)，用来进行纳米扫描及操作，并向信号处理***传送装置中探针形变的信号，及接收由多自由度机电装置传送来的控制命令。

一信号处理***，用于力信息及视觉信息的转换、处理及传输。接收多自由度机电装置的位置信号，并将其转化为控制纳米操作装置运作的控制命令经网络传送给纳米操作装置，实现纳米操作装置与多自由度机电装置的同步运作；同时根据多自由度机电装置位置信号及***作物的运动模型实时更新仿真图像，传给图像仿真界面，使操作者在图像仿真界面上实时看到操作的结果；接受纳米操作装置传来的探针形变信号，将其转化为代表探针所受的力信号，并由网络传送给多自由度机电装置，使操作者实时感受到在操作过程中的力。

一具有力感的多自由度机电装置，通过信号处理***与纳米操作装置相连，以实现由多自由度机电装置实时控制纳米操作装置与的运作。

其中所述具有力感的多自由度机电装置，为具有三段式操作手柄1和电机***2的机电装置。其输入信号为操作手柄1的位置信号，电机***2将位置信号输出给信号处理***；并由信号处理***接受纳米操作装置传来的实时的力反馈信息。

其中所述纳米操作装置(AFM)由激光器3，光电传感器4，扫描探针5，压电陶瓷驱动器6构成，其中：扫描探针5在压电陶瓷上对准预进行扫描的样品，由激光器3提供光源，光电传感器4获得扫描探针5形变信号，通过信号处理***将形变信号转变为相应的力信号，通过网络经载体计算机A将其传至计算机B，压电陶瓷驱动器6接收多自由度机电装置的传来的控制信号，产生相对探针的运动，进而实现探针欲进行的操作。

这种由纳米操作装置、具有力感的多自由度机电装置和图像仿真界面构成的的人机交互式纳米操作***，为纳米尺度下的人工介入作业与加工、装配和制造提供了新的可行性技术途径。

本发明方法及***具有以下功能：

1、作用力的生成与感知功能。实时采集AFM***在操作中光电传感器信号，将其在力的分解模型作用下生成相应的电信号，经具有力感的多自由度机电装置的机电***转换生成XYZ三个方向上的机械力，这种力作用在具有力感的多自由度机电装置的的操作手柄上，可以使操作员感受到各向操作力的存在和大小。

2、纳米操作环境的可视化图像仿真功能。由信息处理***根据AFM型纳米操作装置扫描图象和对象的运动学模型生成，并根据操作动作信号实时更新，为操作员提供可视化的实时操作图像界面。以辅助操作员进行操作，提高操作效率和操作精度。

3、交互式探针动作控制功能。操作者对多自由度机电装置的操作手柄的操作(推、拉、刻划、敲击等)，经多自由度机电装置的机电信号转换，在线传递到纳米操作装置AFM，控制压电陶瓷的运作，进而使探针产生相应的三维运动。

所述具有力感的多自由度机电装置目前市场上多种，普遍具有一个或一个以上的自由度，并且至少在一个方向上可以提供力反馈，本实施例采用美国Sensable公司的六自由度Phantom^TM机电操作装置，它可以在X、Y、Z三个方向上提供力反馈，其结构如图2所示，其中：由第一、二、三段操作杆I、II、III构成直角坐标系X、Y、Z三个自由度，其机电***输出值是第三段操作杆III末端在参考系W的坐标，在W的三个方向可产生作用力。这样即可以实现三个方向上的力反馈，又可以输出操作位移量，以作为位置控制信号。

所述AFM可以在纳米扫描过程中，提供反映扫描探针受力形变的光电信号，该信号将作为操作力在操作***中作为力反馈信号。

所述纳米操作流程为：

1)通过AFM对样品进行扫描，提供作业环境和对象的基本数据，生成操作环境仿真的初始图形；

2)操作者通过观察操作环境和对象状态，使用六自由度Phantom^TM机电操作装置的操作手柄进行操作，输出位移信号；

3)位移信号从六自由度Phantom^TM机电操作装置输出，由计算机B解释并通过以太网传输给计算机A；

4)计算机A将所述位移信号的数字量转化为AFM位置控制量，作为压电陶瓷(PZT)驱动器的输入信号；

5)所述位置控制量输入到压电陶瓷驱动器放大后加到压电陶瓷上，控制陶瓷管的微运动；由于陶瓷管的运动，使安装在其上的扫描探针与***作样品间的作用力发生改变，接至光电传感器的输入端；

6)光电传感器检测到扫描探针受力产生的形变检测信号后，将该力采集信息输入到计算机A由其处理程序处理；

7)计算机A将经处理后的该形变检测信号通过以太网传输给计算机B；

8)在计算机B内，根据建立的悬臂梁受力变形模型将其解释为受力反馈信号，计算出应输出到六自由度Phantom^TM机电操作装置电信号的大小，同时根据建立的***作对象的动力学模型，计算出***作物体的运动姿态，更新操作场景仿真界面；

9)六自由度Phantom^TM机电操作装置将来自计算机B的电信号转化为机械力，输出到操作杆，反馈给操作者；

10)操作者根据操作场景图形仿真界面的视觉显示，结合六自由度Phantom^TM机电操作装置输出的力信息，在线规划出下一步的操作策略，然后回到步骤1；如此反复，直到纳米操作顺利完成。

其中，信号处理***由控制纳米操作装置的计算机A，控制具有力感的多自由度机电装置的计算机B，计算机间的传输网络及相应的信号处理程序组成。

信号处理程序流程图如下：

如图6a所示，力反馈传送程序流程：纳米操作装置(AFM)将扫描探针的形变信号采用FIR数字滤波器对得到的光电传感器的电压信号去除工频干扰(使得到的信号真实反映光电传感器的电压变化情况)，传给控制纳米操作装置的计算机A，计算机A将此形变信号经网络传送给控制具有力感的多自由度机电装置的计算机B，并根据形变与力的关系将此形变信号转化为代表探针所受的力信号，然后将此信号输入给具有力感的多自由度机电装置，使操作者实时感受到在操作过程中的力。这里所用的FIR数字滤波器将所得到的探针形变数字信号的序列通过运算变换成输出序列，本FIR滤波器采用运算函数的Z变换形势为：

$H\left(z\right)=\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}h\left(n\right)z^{-n};$

其中，h(n)为***的单位冲击响应，H(z)为***函数，该函数的差分方程表达式为：

$y\left(n\right)=\underset{m=0}{\overset{N-1}{\mathrm{\Σ}}}h\left(m\right)x(n-m).$

如图6b所示，位置控制及图像更新程序流程为：操作者运用多自由度机电装置进行操作，当多自由度机电装置位置改变时，多自由度机电装置的位置信号传给控制具有力感的多自由度机电装置的计算机B，一方面计算机B将此位置信号经网络传送给控制纳米操作装置(AFM)的计算机，并转换为控制纳米操作装置运作的电压信号输入给纳米操作装置，实现纳米操作装置与具有力感的多自由度机电装置的同步运作；同时根据***作物的运动模型及多自由度机电装置位置信号实时更新仿真图像，传给图像仿真界面，使操作者在仿真界面上实时看到操作的结果。

上述操作的信号传递与生成均具有实时性，因此人的操作在感觉上是与动作同步的，因而可实现具有实时力感与可视图像的人机交互式纳米操作。

本发明所述纳米操作装置(AFM)的针尖作用力模型为：通过对扫描探针悬臂梁进行动力学建模，得到的作用在扫描探针针尖的作用力模型，其表达式为：

$\left\{\begin{array}{c}{F}_y=\frac{k_l{K}_l}{h}{S}_l\\ F_x=-F_{y}c\tan \mathrm{\φ}\\ F_z=k{K}_n{S}_n-\frac{h}{l}{F}_x\end{array}\right.;$

其中，F_x，F_y，F_z分别为作用在扫描探针针尖上的三维力，S_n表示悬臂梁受法向力F_z作用下产生垂直变形时对应的光电传感器输出信号，S_l表示悬臂梁受切向力F_l所产生的扭转量，l为悬臂梁的长度，h为针尖长度，K_l和K_n为***光学放大系数，k为悬臂梁弹性系数，k_l为悬臂梁的扭转系数，φ为切向力Fl与Fx的夹角。

本发明***作物体(本实施例为杆状物体)在外力推动下的动力学模型是根据推动棒状纳米线的实验，为了能够实时更新人机交互界面的扫描图像的变化，对纳米线的运动进行了建模分析。纳米线与基底平面的受力图如图4所示，首先确定它在外里作用下的旋转点S，推导出的确定旋转点S位置的公式为：

$s=\left\{\begin{array}{cc}l+\sqrt{l^2-\mathrm{lL}+L^2/2}& l<L/2\\ l-\sqrt{l^2-\mathrm{lL}+L^2/2}& l>L/2\end{array}\right.;$

图4中， S为旋转点距纳米线下端点的长度，1为外力F的作用点到纳米线下端点的距离；针尖对纳米线施加的力可表示为：

$F=\left\{\begin{array}{cc}\mathrm{fs}-f(L-s)=f(2s-L)& l<L/2\\ f(L-s)-\mathrm{fs}=f(L-2s)& l>L/2\end{array}\right.;$

又由摩擦力的关系可知摩擦力为：

$\mathrm{fL}={\mathrm{\&mu;}}_{\mathrm{os}}{F}_{\mathrm{os}}^r+v{F}_{\mathrm{os}}^a;$

进而外力F可表示为：

$F=\left\{\begin{array}{cc}(2s/L-1)({\mathrm{\&mu;}}_{\mathrm{os}}{F}_{\mathrm{os}}^r+v{F}_{\mathrm{os}}^a)& l<L/2\\ (1-2s/L)({\mathrm{\&mu;}}_{\mathrm{os}}{F}_{\mathrm{os}}^r+v{F}_{\mathrm{os}}^a)& l>L/2\end{array}\right.;$

通过以上模型的建立，可以在人机交互界面中利用这些模型实时更新扫描的图像，进而动态显示纳米操作的过程。其中F_os ^r为扫描基底对纳米线的排斥力，F_os ^a为扫描基底对纳米线的黏附力，μ_os为为针尖和纳米线间的摩擦系数，v为剪切力系数。

本发明基于UDP协议的点到点通信的工作流程(参见图5)，实现了装有人机交互图像仿真界面的计算机与控制扫描探针显微镜运动的计算机间的点到点的直接通信，无需建立连接服务器的过程，使传输速度得到了提高，也提高了***的性能。其中传向纳米操作装置的信号为多自由度机电装置的位置信息；传向操作界面的信号是扫描探针在操作过程中的力反馈信号。

如图7所示，图像仿真界面的流程为：操作者在图像仿真界面中用多自由度机电装置(本实施例用Phantom)选中***作物，并用Phantom进行相应操作，如推，拉，刻划等操作。图像仿真界面程序根据Phantom的位置信息及***作物在纳米环境中的运动模型计算出***作物新的位置坐标，实时更新仿真图像，并将其在图像仿真界面上显示出来。进而操作者可以实时看到***作物在操作者控制下的运动情况。

本发明创新性在于：

1.将具有力感的多自由度机电装置及图像仿真界面与纳米操作装置相连，搭建了基于纳米操作的人机交互***。该交互***为操作者提供了力觉与视觉反馈，使操作者可以通过多自由度的机电装置实时控制纳米操作装置的运作，并感受到操作过程中纳米操作装置中的探针针尖与***作物间的作用力，同时通过图像仿真界面实时看到操作的状况。该交互***使纳米操作更贴近与现实情况，大大提高了纳米操作的效率。

2.实现了有效的滤波计算方法可以在光电检测传感器输出的含有大量干扰噪声的信号中有效地进行探针形变信号提取，进而可以将其转化为探针所受的力信号，以供操作者实时感受到该探针与***作物间的作用力。

3.设计并实现了基于纳米操作装置(AFM)扫描信息的可视化作业环境—实时图像仿真界面。通过该图像仿真界面，操作者可以实时地看到***作物在操作者控制下的运动状况。使得对微观世界中物体的操作如同对现实宏观世界中物体的操作一样，而这是以往的纳米操作所不具备的。通过该图像仿真界面，使得在纳米环境下的操作更加方便，更体贴近于现实，进而大大提高了操作的效率。

4.实现了操作对象的运动学建模，使图像仿真界面中的***作物的运动状况与在纳米操作环境中真实物体的运动状况一致。

5.基于UDP协议，且为点对点工作方式的以太网通信软件，解决了操作过程中操作***信息处理计算机***间指令信号与反馈信息的实时通讯问题。

总之，通过上述技术开发和创新工作，就可以在纳米操作装置(如AFM)、多自由度机电装置(如Phantom)、计算机***构成的纳米作业平台上实现既有实时视觉反馈，又有实时力反馈的纳米操作。

Claims (4)

1.一种基于纳米操作的实时力感与可视图像人机交互方法，其特征在于：将纳米操作装置与具有力感的多自由度机电装置结合起来，实现由多自由度机电装置控制纳米操作装置的运作；通过纳米操作装置中光电传感器的信息及对扫描探针悬臂梁进行动力学分析，得到作用在扫描探针针尖的作用力模型，在人机交互界面中利用此力模型与***作物体的动力学模型实时更新扫描的图像，进而动态显示纳米操作的过程；基于UDP协议的点到点通信的工作流程，操作人员通过具有力感的多自由度机电装置实时感觉到真实作业场景中的探针与对象间的相互作用力，并在此情况下进行操作，同时在图形界面上观察到人工操作的结果。

2.按照权利要求1所述基于纳米操作的实时力感与可视图像人机交互方法，其特征在于：具体纳米操作流程如下：

1)通过纳米操作装置对样品进行扫描，提供作业环境和对象的基本数据，生成操作环境仿真的初始图形；

2)操作者通过观察操作环境和对象状态，使用具有力感的多自由度机电装置的操作手柄进行操作，输出位移信号；

3)位移信号从多自由度机电装置输出，由计算机B解释并通过以太网传输给计算机；

4)计算机A将所述位移信号的数字量转化为纳米操作装置位置控制量，作为压电陶瓷驱动器的输入信号；

5)所述位置控制量输入到压电陶瓷驱动器放大后加到压电陶瓷上，控制陶瓷管的微运动；由于陶瓷管的运动，使安装在其上的扫描探针与***作样品间的作用力发生改变，接至光电传感器的输入端；

6)光电传感器检测到扫描探针受力产生的形变检测信号后，将该力采集信息输入到计算机A中，由其处理程序处理；

7)计算机A将经处理后的形变检测信号通过以太网传输给计算机B；

8)在计算机B内，根据建立的悬臂梁受力变形模型将其解释为受力反馈信号，计算出应输出到多自由度机电装置电信号的大小，同时根据建立的***作对象的动力学模型，计算出***作物体的运动姿态，更新操作场景仿真界面；

9)多自由度机电装置将来自计算机B的电信号转化为机械力，输出到操作杆，反馈给操作者；

10)操作者根据操作场景图形仿真界面的视觉显示，结合多自由度机电装置输出的力信息，在线规划出下一步的操作策略，然后回到步骤1；如此反复，直到纳米操作顺利完成。

3.按照权利要求1所述基于纳米操作的实时力感与可视图像人机交互方法，其特征在于：其中纳米操作装置将所述扫描探针的形变信号采用FIR数字滤波器对其进行滤波处理，将所得到的扫描探针形变数字信号的序列通过运算变换成输出序列，所述FIR滤波器采用运算函数的Z变换形势为：

$H\left(z\right)=\underset{n=0}{\overset{N-1}{\mathrm{\&Sigma;}}}h\left(n\right)z^{-n};$

其中，h(n)为***的单位冲击响应，H(z)为***函数，该函数的差分方程表达式为：

$y\left(n\right)=\underset{m=0}{\overset{N-1}{\mathrm{\&Sigma;}}}h\left(m\right)x(n-m).$

4.一种基于纳米操作的实时力感与可视图像人机交互方法所用的***，其特征在于：包括纳米操作装置、信号处理***、图像仿真界面及多自由度机电装置。纳米操作装置输入为多自由度机电装置的位置信号，输出为扫描探针的形变信号，输出接至信号处理***，信号处理***的输出为代表探针针尖作用力的力信号，再传送给具有力感的多自由度机电装置；多自由度机电装置的输出为位置信号，经由信号处理***将转化为控制纳米操作装置运作的命令信号输入给纳米操作装置，同时，信号处理***将通过多自由度机电装置的位置信号及***作物的运动模型实时更新得到的仿真图像传给图像仿真界面。

Images