CN102221884B - 一种基于摄像机实时定标的可视遥在装置及其工作方法 - Google Patents
一种基于摄像机实时定标的可视遥在装置及其工作方法 Download PDFInfo
- Publication number
- CN102221884B CN102221884B CN2011101607395A CN201110160739A CN102221884B CN 102221884 B CN102221884 B CN 102221884B CN 2011101607395 A CN2011101607395 A CN 2011101607395A CN 201110160739 A CN201110160739 A CN 201110160739A CN 102221884 B CN102221884 B CN 102221884B
- Authority
- CN
- China
- Prior art keywords
- camera
- frame
- real
- mounted display
- helmet mounted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000000007 visual effect Effects 0.000 title claims abstract description 12
- 238000000605 extraction Methods 0.000 claims description 8
- 230000008878 coupling Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 4
- 238000005859 coupling reaction Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 2
- 230000008520 organization Effects 0.000 claims description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 claims 2
- 238000005516 engineering process Methods 0.000 description 8
- 210000003128 head Anatomy 0.000 description 7
- 238000011161 development Methods 0.000 description 5
- 230000004886 head movement Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001589086 Bellapiscis medius Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000002674 ointment Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于摄像机实时定标的可视遥在装置及其工作方法。该装置由两台计算机、一台头盔显示器和一台云台控制转动的双目相机构成。其基本工作方法是通过对头盔显示器摄像头进行摄像机定标,计算出操作者头部的朝向和运动轨迹;通过对双目相机的摄像机定标,计算出云台精确位置和朝向,两者结合生成云台转动控制指令,使云台和操作者头部具有相同的运动轨迹,并将双目相机获得的左右眼图像实时传回本地计算机,在头盔上实时显示,实现在本地看到符合人体头部运动姿态的远程立体场景。除了可以远程场景的真实立体显示,还可用作虚拟现实等其他应用。
Description
技术领域
本发明涉及遥在***,尤其涉及种基于摄像机实时定标的可视遥在装置及其工作方法。
背景技术
早在上个世纪80年代中期,Susumu Tachi就提出了遥在(tele-existence)的概念并在早期作了大量的工作,提出了各种具有前瞻性的概念,并在有限的硬件条件下进行了测试,奠定遥在技术研究的基础。这一时期的研究还主要集中在如何能够通过本地设备感受到遥远场景的视觉和听觉信息,着重于在遥远场景的“出现”。其后Susumu Tachi在1990年首次提出了用于远程遥控的遥在主从***(Tele-existence Master Salve System),通过传感设备捕获人类手臂的运动信息,通过计算机将其转换为远程机器人的控制信息,控制远程机器手臂做出相同的动作,使人类操作者可以进行远程操作任务,并且具有存在于远程场景中某个远程机器人之后的感觉。
1、最新发展
随着现代技术的快速发展,各种测量仪器越来越精密,对人类运动信息的捕捉越来越快速精确;另一方面机器人技术日益成熟,现有机器人的性能越来越出色,尤其是拟人机器人的出现使可以完成的任务越来越复杂,遥在技术获得了快速发展。Oyama Eimei以及Tsunemoto Naoki在1993年在虚拟现实环境中的远程操作,使遥在技术研究不再局限于真实环境的局限,可以在虚拟现实环境中进行各种测试实验。之后Susumu Tachi提出了虚拟现实环境中交互式的遥在***,可以使多个操作者看到其他操作操作者在虚拟现实环境中的实时投影。
C.DiSalvo等人在2000年提出一种拟人机器人头部的设计和感知方法。Susumu Tachi在2003年发明一种对于远程拟人机器人控制的遥在驾驶***(tele-existence cockpitsystem),使操作者的真实感受又上了新的台阶。H.Baier等在2003年提出一种交互式的用于远程展示的立体视觉。R.Tadakuma,Y.Asahara等人在2005年发明了一种用于遥在主从***的多自由度的拟人机器人手臂,可以完成灵巧复杂的远程操作任务甚至可以通过手势与其它人交流。Kouichi Watanabe等人在2008年开发了一种可以精确的模拟人的头部和颈部运动的6自由度机器人-TORSO,并构造了一个遥在视觉***HMD-TORSO System。
2、交互式遥在***
随着遥在技术不断成熟完善,人们更加注重交互式遥在***的研究和实现,M.Inami等人提出一种新的视觉展示技术RPT(Retro-reflective Projection Technology),可以将人的影像投影到机器人里,使交互更加真实,其后S.Tachi详细的讲述了该技术在tele-existence中的应用。S.Tachi在2005年中提出了交互式遥在***的两种发展方式:TELESAR,TWISTER,并总结现有遥在***中使用的机器人,提出机器人发展两条思路:“机器人作为单独的智能体”,“机器人作为人类的延伸”,并提出下一代人-机器人网络***概念。N.Kawakami等在2005年提出一种基于机器人的面对面远程交流的概念原形telesarPHONE.而Susumu Tachi在2008年,对基于RPT的telesarPHONE进行了完善,可以使人与远程场景的中人与物进行快速、真实的交互,并且各种感觉直接反馈给用户。
目前遥在技术研究中,各种技术越来越完善,给人的感觉越来越真是,但对于操作者头部的运动信息,大多使用传感器进行捕获,既增加了***造价,另一方面跟踪的精度也不高。因此可以通过计算机视觉的方法,使用实时摄像机定标算法去计算操作者头部运动信息,即可以获得很好的跟踪精度,又不需要增加额外的设备。
发明内容
本发明的目的在于针对遥在***用户头部运动信息跟踪问题,提供一种基于摄像机实时定标的可视遥在装置及其工作方法。该装置简便易行,两台计算机、一台云台控制的双目相机和头盔显示器。该方法不需要在头盔显示器上额外安装传感设备,直接通过对头盔显示器摄像头进行实时定标就可以获得用户头部运动信息,并通过远程计算机控制云台作出相应的运动,同时将双目相机捕获左右眼图像传回本地计算机,在头盔显示器上实时显示。
一种基于摄像机实时定标的可视遥在装置,包括两台计算机、一台云台控制的双目相机和头盔显示器,本地计算机和头盔显示器直接连接,远程计算机和双目相机以及云台直接连接,本地计算机和远程计算机通过网络互联。
一种基于摄像机实时定标的可视遥在装置的工作方法如下:
1)头盔显示器摄像头拍摄本地场景的完整离线视频序列,双目相机拍摄远程场景的完整离线视频序列,对本地场景的完整离线视频序列和远程场景的完整离线视频序列通过SIFT特征点的提取与匹配、三维坐标求解和关键帧选取,获得本地和远程场景的三维描述;
2)头盔显示器摄像头将实时捕获的左右眼图像序列传送到本地计算机,同时双目相机将实时捕获的左右眼图像序列传送到远程计算机;
3)当前帧图像为图像序列第一帧时,本地计算机计算出头盔显示器摄像头的初始相机参数,并传送到远程计算机,控制云台转向与头盔显示器摄像头相同的朝向,使头盔显示器和双目相机有相同的朝向;
4)通过获得的图像序列,本地计算机和远程计算机分别进行相机参数计算;
5)本地计算机将实时定标获得的相机参数传送到远程计算机,远程计算机根据本地计算机传送来的头盔显示器摄像头相机参数和当前求解出的双目相机相机参数,生成云台转动控制指令;
6)远程计算机将双目相机获得的左右眼图像实时传送回本地计算机,并在头盔显示器上实时显示;
7)判断当前帧是否为最后一帧?是,工作结束;否,则下一帧作为当前帧,重复步骤(4)至(6)。
具体介绍本发明的五个方面:
1)基于GPU加速的摄像机实时定标算法
实时定标算法整体上分为离线和在线两个阶段。离线阶段主要用于构建真实场景的三维描述,包括建立SIFT特征点库,选取关键帧等工作。这时需要获取场景的离线视频序列,提取SIFT特征点,求解特征点的球面坐标,采用关键帧单位组织SIFT特征点,构成离线特征点库。在线阶段,我们使用KLT进行连续帧特征跟踪,根据跟踪结果进行相邻帧相机参数求解,逐帧求解过程中,相机定标误差会逐渐积累,因此我们会选取合适的策略定期在某一帧上,提取SIFT特征点,并选取合适的关键帧进行特征匹配,计算出精确的相机参数,进行积累误差消除。
由于视频序列的数据流量很大,帧画面上的特征点的提取、匹配与跟踪,往往需要耗费大量时间,是定标计算的瓶颈。在CPU上直接执行640x480解像度的KLT算法和SIFT算法,单CPU的运行时间大约需要几百毫秒;而无论是KLT算法还是SIFT算法,在进行图像滤波、金字塔构造、特征点提取,以及对特征点进行相应计算时,都会对大量的像素和特征点进行雷同的操作,算法具有很高的并行度。因此,可以通过GPU的并行运算功能,大大缩减运行时间。
我们的KLT算法和SIFT算法由CUDA编程实现。CUDA(Compute Unified DeviceArchitecture)是在GPU上的一个通用并行计算架构,相比于一般的GPU编程语言如Cg、HLSL等,它不需要映射到一个图型API便可在GPU上管理和进行并行数据计算,数据的读取方式更加多样,因此CUDA的编程更加容易灵活,更能够充分利用GPU的计算能力。在用GPU编程实现KLT算法及SIFT算法时,由于图像数据以及中间计算结果保存在GPU的全局内存中,反复读取会耗费大量时间,因此使用纹理对需要读取的数据进行绑定,以获取高速的读取速度,同时使用共享内存以减少块内线程对相同数据的反复读取。另外,KLT算法在进行特征点选择时,需要计算的最小特征根数据传回CPU中进行选点计算,为减少数据的传输时间,在计算的同时对最小特征根数据进行初步的筛选,并通过atomic函数,只将经过筛选的数据进行保存。另外SIFT在进行局部极值检测时,需要对DOG中间层图像的每个像素进行检测,而实际的极值点数目是少量的,因此我们使用原子函数实现对临界区的互斥访问,从而只保存获得的极值点数据,减少后续步骤计算的线程数。最后在获取SIFT特征描述符时,特征点的特征描述符的计算量和使用的资源比较大,而特征点的数目是比较小的,因此我们利用共享内存,实现用4个线程并行计算特征点的特征描述符,减少线程的运行时间,增加线程的并行度。
经实验测试,对于640x480的图像序列,经过GPU加速后,KLT特征跟踪时间可以减少到10毫秒以内,SIFT特征提取也可以缩减到20-30毫秒,很好的满足实时性要求。
2)相邻参数求解
摄像机拍摄的视频序列具有很好的连贯性,因此帧画面间的定位需要充分考虑连贯性带来的优越性。固定视点下摄像机几何模型为:
设摄像机位置为世界坐标系原点,世界坐标系中的一点M=[X Y Z 1]T与其在视频序列第i帧上的投影mi=[x y 1]之间的关系可以表示为:
mi~KiRiM (1)
其中,Ki为第i帧的摄像机内部参数矩阵。Ri为世界坐标系到第i帧摄像机坐标系旋转变换矩阵,也可以由欧拉角表示,即R=RZ(γ)RX(β)RZ(α),这里使用了Z-X-Z协定的欧拉旋转。视频序列任意两帧对应点之间的关系可以表示为:
因此,任意两帧间的点可以用一个单应性矩阵来表达。
采用摄像机的单应矩阵求解,仍是摄像机参数的非线性函数,其最优化问题难以求解。因此,利用帧画面间的连贯性,在摄像机平稳运动,并且旋转角度充分小时,将由摄像机旋转引起的相邻两帧图像变换,近似为同一平面上的平移和旋转,忽略两帧之间的镜头畸变,从而简化模型。
若第i-1帧中的点mi-1=(xi-1,yi-1)与第i帧中的点mi=(xi,yi)是对应特征点,则它们之间的关系为:
其中点mi与mi-1都是以图像中心点为坐标原点,Δγi是第i-1帧到第i帧图像的旋转角,Δλi是第i-1帧到第i帧的缩放系数,(Δxi,Δyi)是第i-1帧到第i帧的图像中心点位移。(Δxi,Δyi,Δλi,Δγi)构成了视频序列中第i-1帧到第i帧的变换参数,与摄像机内参fi和旋转角(αi,βi,γi)之间的对应关系为:
fi=Δλifi-1
γi=γi-1+Δγi (6)
其中,
为了求解(Δxi,Δyi,Δλi,Δγi)的值,我们分两个步骤来分别迭代计算(Δxi,Δyi)以及(Δλi,Δγi),直到二者同时收敛。其中,(Δxi,Δyi)的搜索方法可以采用线性最小二乘法;(Δλi,Δγi)的参数估计是非线性的,我们采用叠代搜索的方法,实现快速求解算法。
3)基于实时定标算法的用户头部运动轨迹计算
现有遥在***对用户头部运行信息的捕获,使用传感器完成,需要在头盔显示器上额外安装传感设备,价格昂贵,精度有限。而我们通过视觉的方法,直接通过对头盔显示器摄像头进行实时定标就可以获得用户头部运动信息,不需要安装额外的传感器,降低***造价。
4)基于实时定标算法的云台精确位置定位
一般情况下云台的转动总是存在误差的,尤其是在***执行一段时间后误差可能变得很大,这时我们无法知道云台转动的精确朝向,因此我们会在远程计算机上通过获得的双目相机图像数据,进行摄像机定标计算出相机的精确参数,从而获得云台的精确转动位置。
5)基于双目相机的立体显示
我们通过双目相机捕获远程场景的左右眼图像,并实时传送回本地计算机,用于头盔显示器的事实显示,从而使用户可以获得远程场景的实时立体感受。
附图说明
图1是本发明方法的软件流程图。
图2是本发明装置的结构示意图。
其中,1、头盔显示器
2、头盔摄像头
3、显示装置
4、本地计算机
5、GPU
6、CPU
7、云台双目相机
8、云台
9、双目相机
10、远程计算机
11、图像数据
12、相机参数
具体实施方式
下面结合附图和实例对本发明作进一步说明。
实施例:
一种基于摄像机实时定标的遥在装置,如图2所示,包括两台计算机、一台云台控制的双目相机和头盔显示器,其特征在于,本地计算机和头盔显示器直接连接,远程计算机和双目相机以及云台直接连接,本地计算机和远程计算机通过网络互联。
一种基于摄像机实时定标的遥在装置的工作方法,如图1所示,方法如下:
1)头盔显示器摄像头拍摄本地场景的完整离线视频序列,双目相机拍摄远程场景的完整离线视频序列,对本地场景的完整离线视频序列和远程场景的完整离线视频序列通过SIFT特征点的提取与匹配、三维坐标求解和关键帧选取,获得本地和远程场景的三维描述;
2)头盔显示器摄像头将实时捕获的左右眼图像序列传送到本地计算机,同时双目相机将实时捕获的左右眼图像序列传送到远程计算机;
3)当前帧图像为图像序列第一帧时,本地计算机计算出头盔显示器摄像头的初始相机参数,并传送到远程计算机,控制云台转向与头盔显示器摄像头相同的朝向,使头盔显示器和双目相机有相同的朝向;
4)通过获得的图像序列,本地计算机和远程计算机分别进行相机参数计算;
5)本地计算机将实时定标获得的相机参数传送到远程计算机,远程计算机根据本地计算机传送来的头盔显示器摄像头相机参数和当前求解出的双目相机相机参数,生成云台转动控制指令;
6)远程计算机将双目相机获得的左右眼图像实时传送回本地计算机,并在头盔显示器上实时显示;
7)判断当前帧是否为最后一帧?是,工作结束;否,则下一帧作为当前帧,重复步骤(4)至(6)。
Claims (1)
1.一种基于摄像机实时定标的可视遥在装置的工作方法,其特征在于,工作方法如下:
1)头盔显示器摄像头拍摄本地场景的完整离线视频序列,双目相机拍摄远程场景的完整离线视频序列,使用GPU加速的摄像机实时定标方法,分别对头盔显示器摄像头和双目相机进行实时定标,所述实时定标方法整体上分为离线和在线两个阶段,离线阶段主要用于构建真实场景的三维描述,包括建立SIFT特征点库,选取关键帧工作,这时需要获取场景的离线视频序列,提取SIFT特征点,求解特征点的球面坐标,采用关键帧单位组织SIFT特征点,构成离线特征点库,在线阶段,使用KLT进行连续帧特征跟踪,根据跟踪结果进行相邻帧相机参数求解,逐帧求解过程中,相机定标误差会逐渐积累,因此提取SIFT特征点,并选取关键帧进行特征匹配,计算出精确的相机参数,进行积累误差消除;
帧画面上的特征点的提取、匹配与跟踪是定标计算的瓶颈,因此所述KLT算法和SIFT算法由CUDA编程实现:CUDA(Compute Unified Device Architecture)是在GPU上的一个通用并行计算架构,另外,所述KLT算法在进行特征点选择时,需要计算的最小特征根数据传回CPU中进行选点计算,在计算的同时对最小特征根数据进行初步的筛选,并通过atomic函数,只将经过筛选的数据进行保存;另外,所述SIFT算法在进行局部极值检测时,需要对DOG中间层图像的每个像素进行检测,只保存获得的极值点数据;最后在获取SIFT特征描述符时,利用共享内存,实现用4个线程并行计算特征点的特征描述符;
2)头盔显示器摄像头将实时捕获的左右眼图像序列传送到本地计算机,同时双目相机将实时捕获的左右眼图像序列传送到远程计算机;
3)当前帧图像为图像序列第一帧时,本地计算机计算出头盔显示器摄像头的初始相机参数,并传送到远程计算机,控制云台转向与头盔显示器摄像头相同的朝向,使头盔显示器和双目相机有相同的朝向;
4)通过获得的图像序列,本地计算机和远程计算机分别进行相机参数计算;
5)本地计算机将实时定标获得的相机参数传送到远程计算机,远程计算机根据本地计算机传送来的头盔显示器摄像头相机参数和当前求解出的双目相机相机参数,生成云台转动控制指令;
6)远程计算机将双目相机获得的左右眼图像实时传送回本地计算机,并在头盔显示器上实时显示;
7)判断当前帧是否为最后一帧?是,工作结束;否,则下一帧作为当前帧,重复步骤(4)至(6)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011101607395A CN102221884B (zh) | 2011-06-15 | 2011-06-15 | 一种基于摄像机实时定标的可视遥在装置及其工作方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011101607395A CN102221884B (zh) | 2011-06-15 | 2011-06-15 | 一种基于摄像机实时定标的可视遥在装置及其工作方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102221884A CN102221884A (zh) | 2011-10-19 |
CN102221884B true CN102221884B (zh) | 2013-04-24 |
Family
ID=44778449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011101607395A Expired - Fee Related CN102221884B (zh) | 2011-06-15 | 2011-06-15 | 一种基于摄像机实时定标的可视遥在装置及其工作方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102221884B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103929669A (zh) * | 2014-04-30 | 2014-07-16 | 成都理想境界科技有限公司 | 可交互视频生成器、播放器及其生成方法、播放方法 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101926563B1 (ko) * | 2012-01-18 | 2018-12-07 | 삼성전자주식회사 | 카메라 추적을 위한 방법 및 장치 |
CN104240214A (zh) * | 2012-03-13 | 2014-12-24 | 湖南领创智能科技有限公司 | 一种用于三维重建的深度摄像机快速标定方法 |
CN102799271A (zh) * | 2012-07-02 | 2012-11-28 | Tcl集团股份有限公司 | 一种基于人手手势的交互命令识别方法及*** |
CN105388851B (zh) * | 2015-10-30 | 2018-03-27 | 黑龙江大学 | 运动体视觉控制***和方法、机电运动体以及移动终端 |
CN106095134B (zh) * | 2016-06-07 | 2019-01-18 | 苏州佳世达电通有限公司 | 一种电子装置及其记录与显示方法 |
CN106303246A (zh) * | 2016-08-23 | 2017-01-04 | 刘永锋 | 基于虚拟实现的实时视频获取方法 |
CN106931962A (zh) * | 2017-03-29 | 2017-07-07 | 武汉大学 | 一种基于gpu‑sift的实时双目视觉定位方法 |
CN107918765A (zh) * | 2017-11-17 | 2018-04-17 | 中国矿业大学 | 一种移动目标检测并追踪***及其方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101794349A (zh) * | 2010-02-09 | 2010-08-04 | 北京邮电大学 | 机器人遥操作增强现实实验***及方法 |
CN101916429A (zh) * | 2010-07-09 | 2010-12-15 | 浙江大学 | 双目相机的几何校正及视差提取装置 |
-
2011
- 2011-06-15 CN CN2011101607395A patent/CN102221884B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101794349A (zh) * | 2010-02-09 | 2010-08-04 | 北京邮电大学 | 机器人遥操作增强现实实验***及方法 |
CN101916429A (zh) * | 2010-07-09 | 2010-12-15 | 浙江大学 | 双目相机的几何校正及视差提取装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103929669A (zh) * | 2014-04-30 | 2014-07-16 | 成都理想境界科技有限公司 | 可交互视频生成器、播放器及其生成方法、播放方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102221884A (zh) | 2011-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102221884B (zh) | 一种基于摄像机实时定标的可视遥在装置及其工作方法 | |
CN102848389B (zh) | 基于视觉运动捕捉的机械臂标定及跟踪***实现方法 | |
CN110480634B (zh) | 一种针对机械臂运动控制的手臂引导运动控制方法 | |
US7714895B2 (en) | Interactive and shared augmented reality system and method having local and remote access | |
Wang et al. | Video-based hand manipulation capture through composite motion control | |
Straka et al. | Skeletal Graph Based Human Pose Estimation in Real-Time. | |
WO2015134794A2 (en) | Method and system for 3d capture based on structure from motion with simplified pose detection | |
EP4307233A1 (en) | Data processing method and apparatus, and electronic device and computer-readable storage medium | |
US10964104B2 (en) | Remote monitoring and assistance techniques with volumetric three-dimensional imaging | |
CN104820418A (zh) | 一种针对机械臂的嵌入式视觉***及其使用方法 | |
KR20210058686A (ko) | 동시적 위치 추정 및 맵 작성을 구현하는 장치 및 방법 | |
US20230067081A1 (en) | System and method for real-time creation and execution of a human Digital Twin | |
CN113221726A (zh) | 一种基于视觉与惯性信息融合的手部姿态估计方法及*** | |
US11373329B2 (en) | Method of generating 3-dimensional model data | |
Xin et al. | 3D augmented reality teleoperated robot system based on dual vision | |
CN107145822A (zh) | 偏离深度相机的用户体感交互标定的方法和*** | |
Gulde et al. | RoPose: CNN-based 2D pose estimation of industrial robots | |
KR102333768B1 (ko) | 딥러닝 기반 손 인식 증강현실 상호 작용 장치 및 방법 | |
CN115546829A (zh) | 基于zed立体相机的行人空间信息感知方法及装置 | |
Xia et al. | Development and application of parts assembly guidance system based on augmented reality | |
KR102375135B1 (ko) | 구형 물체를 이용한 다시점 카메라 위치 보정 장치 및 방법 | |
CN113850860A (zh) | 一种遥操作姿态跟踪估计***和方法 | |
Kästner et al. | A markerless deep learning-based 6 degrees of freedom pose estimation for mobile robots using rgb data | |
Yang et al. | Research on Satellite Cable Laying and Assembly Guidance Technology Based on Augmented Reality | |
Hong et al. | Research of robotic arm control system based on deep learning and 3D point cloud target detection algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130424 |
|
CF01 | Termination of patent right due to non-payment of annual fee |