CN106970713A - 桌面型空间立体交互***及方法 - Google Patents
桌面型空间立体交互***及方法 Download PDFInfo
- Publication number
- CN106970713A CN106970713A CN201710320428.8A CN201710320428A CN106970713A CN 106970713 A CN106970713 A CN 106970713A CN 201710320428 A CN201710320428 A CN 201710320428A CN 106970713 A CN106970713 A CN 106970713A
- Authority
- CN
- China
- Prior art keywords
- infrared
- dimensional
- interactive
- actuation means
- interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明公开了一种桌面型空间立体交互***及方法,交互***包括:立体交互设备,用于通过红外坐标组件跟踪操作人员的视觉观察点,获取交互操控装置的操作指令并显示与视觉观察点对应的虚拟立体内容;红外坐标组件,用于获取第一空间坐标数据、第二空间坐标数据并传输到立体交互设备;助视装置,用于从立体交互设备中获取虚拟立体内容;交互操控装置,用于输出操作指令到立体交互设备;方法包括桌面空间数据处理方法和空间立体交互方法,实施本发明提出的一种桌面型空间立体交互***及方法,大大提高了交互操控装置的精确性,杜绝了交互操控装置操作过程中的信号漂移问题,降低了立体交互设备的处理负担。
Description
技术领域
本发明涉及多空间立体交互技术领域,特别涉及一种能够快速处理操控装置空间数据的桌面型空间立体交互***、空间数据处理及交互方法。
背景技术
2D视频显示时,连续显示不分左右眼视角的视频图像帧,图象帧之间的时间很短,因此,人眼看到的是场景连续的视频,而立体图像或视频的获取过程则复杂得多,拍摄时需要两台并列的摄像机,专用的立体摄像机包括两个成像镜头,相当于人的两个眼睛,因此得到有视差的两组图像,这两组图像经过专门的设备或软件被合成为一组图像,现在标准的合成各式是左右格式,即左眼像宽度压缩1/2,放在画面的左边,右眼像宽度压缩1/2,放在画面的右边。用专用的立体设备显示时,左右眼像都被移到屏幕的中间,并在宽度上放大一倍,恢复到原始图像的比例,在不借助助视设备例如偏振眼镜、快门式主动眼镜的情况下,人眼看到屏幕上的图像会有重影,因为每次拍摄的图像都会有视角不同的两个,这是左右视角的图像在屏幕上叠加的结果。在实际运用中获取较佳的立体效果不仅需要助视设备,还要获取观看人员的头部空间坐标信息以确定其视觉观察点信息,如果要操控立体图像,还需要操控装置,操控装置对立体图像在空间中进行抓取、拖拽移动及缩放操作,需要精确跟踪操控装置的空间位置信息。
现有的交互***中,通过红外定位单元确定交互操控装置的空间位置,进而与立体交互设备进行交互,但是由于交互操控装置操作复杂,在实际交互过程中会出现交互操控装置信号漂移的问题,导致用户在交互过程中不能及时准确选中立体内容,用户体验差。
发明内容
针对现有的空间立体交互***中的交互操控装置操作复杂,在实际交互过程中会出现交互操控装置信号漂移的问题,导致用户在交互过程中不能准确选中立体内容,用户体验差的问题,提出一种桌面型空间立体交互***、空间数据处理方法及交互方法,通过、检测其在操作过程中X、Y、Z三维的加速度、角速度及地磁方向的原始数据,大大提高了交互操控装置的精确性,杜绝了交互操控装置操作过程中的信号漂移问题;获得交互操控装置的欧拉角参数和四元数,立体交互设备只需将欧拉角参数和四元数与空间坐标数据进行融合就可以获取精确姿态位置,降低了立体交互设备的处理负担。
第一方面,提供一种桌面型空间立体交互***,用于实现操作人员与立体交互设备进行交互,所述空间交互***包括:
立体交互设备,用于通过红外坐标组件跟踪操作人员的视觉观察点,获取交互操控装置的操作指令并显示与所述视觉观察点对应的虚拟立体内容;
红外坐标组件,用于获取第一空间坐标数据、第二空间坐标数据并传输到所述立体交互设备;
助视装置,用于从所述立体交互设备中获取虚拟立体内容;
交互操控装置,用于输出操作指令到所述立体交互设备。
结合第一方面,第一种可能的实现方式中所述红外坐标组件包括设于所述立体交互设备上的红外发射单元、光学捕捉单元、设于所述助视装置上的第一光学识别点以及设于所述交互操控装置上的第二光学识别点。
结合第一方面的第一种可能的实现方式,第二种可能的实现方式中所述红外发射单元包括至少1个用于发射红外光的红外发射装置,所述光学捕捉单元包括至少2个用于采集目标图像的红外捕捉相机;所述红外发射装置与红外捕捉相机嵌入安装在所述立体交互设备上。
结合第一方面,第三种可能的实现方式中所述九轴运动传感器包括加速度传感器单元、陀螺仪单元及地磁传感器单元。
结合第一方面,第四种可能的实现方式中所述第一、二光学识别点为主动式红外发射器件或被动式光学反射点。
结合第一方面的第一种可能的实现方式,第五种可能的实现方式中所述第一光学识别点为被动式光学反射点,所述光学反射点的数量至少为2个;所述第二光学识别点为主动式红外发射器件,所述红外发射器件设置在所述交互操控装置的顶端位置。
结合第一方面,第六种可能的实现方式中所述交互操控装置设置有可编程功能按键,用于操作所述立体交互设备显示的虚拟立体内容。
结合第一方面,第七种可能的实现方式中所述助视装置为偏光式立体眼镜或快门式立体眼镜。
结合第一方面,第八种可能的实现方式中所述红外捕捉相机镜头的视角至少为70度。
结合第一方面,第九种可能的实现方式中所述立体交互设备的红外坐标组件的捕获距离为0~3m。
第二方面,提供一种空间位置数据处理方法、利用第一方面中任一可能的实现方式提供的桌面型空间立体交互***,所述数据处理方法包括:
采集第一、二空间位置图像,结合空间位置算法获取第一、二空间坐标数据;
获取所述交互操控装置的空间姿态原始数据,将所述空间姿态原始数据处理成空间姿态欧拉角参数和四元数;
根据所述第二空间坐标数据、欧拉角参数及四元数,利用空间数据融合算法确定所述交互操控装置的空间位置姿态。
第三方面,提供一种利用第二方面所述的桌面型空间位置数据处理方法的空间立体交互方法,所述交互方法包括:
确定佩戴所述助视装置操作人员的视觉观察点并获取所述交互操控装置的功能按键操作指令;
根据所述操作指令,显示与所述视觉观察点匹配的虚拟立体内容。
实施本发明所述的一种空间立体交互***及方法,通过检测其在操作过程中X、Y、Z三维的加速度、角速度及地磁方向的原始数据,大大提高了交互操控装置的精确性,杜绝了交互操控装置操作过程中的信号漂移问题;立体交互设备只需将欧拉角参数和四元数与空间坐标数据进行融合就可以获取精确姿态位置,降低了立体交互设备的处理负担。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明中一种桌面型空间立体数据处理方法的实施步骤流程示意图;
图2是本发明中一种桌面型空间立体交互方法的实施步骤流程示意图;
图3是本发明中一种桌面型空间立体交互***逻辑连接示意图;
图4是本发明中一种桌面型空间立体交互***中的交互操控装置包含的组件的逻辑组成示意图;
图5是本发明中一种桌面型空间立体交互***中的交互操控装置包含组件的逻辑组成及信号流向示意图;
图6是本发明中一种桌面型空间立体交互***中的助视装置状态自测电路示意图;
附图中各数字所指代的部位名称为:30——立体交互设备、31——红外坐标组件、32——交互操控装置、33——助视装置、311——红外发射单元、312——红外捕捉单元、313——第一光学识别单元、314——第二光学识别单元、321——MCU、322——九轴运动传感器、3221——加速度传感器单元、3222——陀螺仪单元、3223——地磁传感器单元、331——状态自测电路、3311——加速度传感器检测电路、3312——角速度检测电路、3313——距离传感器检测电路。
具体实施方式
下面将结合发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的其他实施例,都属于本发明保护的范围。
1、本技术方案中的***
请参考图3,图3是一种桌面型空间立体交互***逻辑连接示意图,本技术方案旨在提供一种能够高精度追踪交互操控装置32的桌面型空间立体交互***,解决现有技术中的信号漂移问题;空间交互***包括立体交互设备30、红外坐标组件31及助视装置33,红外坐标组件31跟踪助视装置33,并将其空间坐标数据传输到立体交互设备30,助视装置33的空间坐标数据与操作人员的视觉观察点一致,这里的视觉观察点指的是人眼相对于立体交互设备30显示屏幕的空间位置关系,立体交互设备30确定视觉观察点的目的在于显示对应的立体图象帧,以便获得最佳的立体效果,实现操作人员视觉观察点与立体交互设备30交互。用于完成操作人员与立体交互设备30的主要交互任务,需要确定其精确空间姿态,本技术方案桌面型空间立体交互***无死角检测空间姿态变化,并对检测到的空间姿态原始数据进行预处理,得出空间姿态位置,大大降低立体交互设备30的处理负担;操作人员根据需要通过可编程功能按键操作立体交互设备30虚拟场景中的立体对象,实现人机交互。
2、***实施例1
提供一种桌面型空间立体交互***,用于实现操作人员与立体交互设备30进行交互,空间交互***包括:
立体交互设备30,用于通过红外坐标组件31跟踪操作人员的视觉观察点。
请参考图5,图5是本发明中一种桌面型空间立体交互***中的交互操控装置32包含组件的逻辑组成及信号流向示意图;
进一步地,红外坐标组件31,用于荻取第一、二空间坐标数据并传输到立体交互设备30,上述第一、二空间坐标数据分别为助视装置33。
进一步地,红外坐标组件31包括设于立体交互设备30上的红外发射单元311、光学捕捉单元312、设于助视装置33上的第一光学识别点313以及第二光学识别点314。红外发射单元311包括至少1个用于发射红外光的红外发射装置,光学捕捉单元312包括至少2个用于采集目标图像的红外捕捉相机;上述红外发射装置与红外捕捉相机嵌入安装在立体交互设备上。
具体地,立体交互设备30,支持快门式立体技术,当立体图像或视频输入到立体交互设备30后,立体交互设备30的刷新率至少120Hz的图像便以帧序列的格式实现左右帧交替产生,快门式眼镜接收立体交互设备30的同步信号,以同样的频率打开或关闭左右液晶镜片,刷新同步实现左右眼观看对应的图像,并且保持与2D视像相同的帧数,操作人员的两只眼睛看到快速切换的不同画面,并且在大脑中产生错觉,便观看到立体影像。本技术方案中的立体交互设备30,内置光学处理单元,例如光阀,因此可以配合偏光式立体眼镜使用,通过改变立体交互设备30中液晶显示屏幕的液晶分子的排列分解原始图像,把原始图像分为垂直向偏振光和水平向偏振光两组画面,然后立体眼镜左右分别采用不同偏振方向的偏光镜片,这样人的左右眼就能接收两组画面,再经过大脑合成立体影像。
红外坐标组件31中的红外发射单元311包括至少1个用于发射红外光的红外发射装置,红外发射装置用于发射红外光到助视装置33的光学反射点,嵌入安装至立体交互设备30,用于使红外坐标组件31中的红外捕捉相机采集图像,并确定其空间坐标。因此红外发射装置的角度与数量对于红外捕捉相机的采集图像效果有影响,作为一种优选实施方案,红外发射单元311优选为四台红外发射装置,安装的位置优选为两两设置在立体交互设备30的左右两侧,以保证发射的红外光线能有效覆盖整个立体设备的液晶显示屏幕,四台红外发射装置也可以两两嵌入式安装上述显示屏幕的上下两侧或任意一侧。四台红外发射装置用于发射红外光,经过光学识别点反射后,红外捕捉单元312获取设有光学识别点的助视装置33的空间图像,立体交互设备30获取空间图像后,根据空间图像坐标算法,获取上述助视装置33的空间坐标。但是在对红外捕捉相机的捕捉距离范围要求不高的情况下,一个红外发射装置也能实现对助视装置的追踪,这里对红外发射装置安装的位置及数量不做限制。
光学捕捉单元312包括至少2个用于采集目标图像的红外捕捉相机,才能有效获取目标的空间坐标数据,同时采集空间目标的具有视差特性的空间图像,根据红外捕捉相机的位置及投影原理获取空间目标的空间坐标;作为一种优选实施方式,红外捕捉单元312优选为四台红外捕捉相机,嵌入安装至立体交互设备上,相邻的两个相机相互补偿,也可以为两台或4台以上,增加红外捕捉相机镜头的视角度数可以扩大捕捉距离范围,但是采集的图像畸变较大,获取的目标空间坐标的误差也较大,本技术方案中的红外捕捉相机仰角度数至少为70度,优选度数为70度-130度,在优选度数范围内能够使红外捕捉相机在捕获距离为0~3m内获取几乎不畸变的空间图像,在捕捉距离较大的情况下能获取较为准确的目标空间坐标。
本技术方案中的红外捕捉相机,刷新率大于60Hz,能大幅度提高红外捕捉相机捕捉目标轨迹的平滑性,提高其跟踪精度,使助视装置33获取的图像的立体效果更佳。
安装前,根据显示屏幕的尺寸对四台红外发射装置发射的红外光进行测试,以确定四台红外发射装置及四台红外捕捉相机镜头的仰角度数。四台红外发射装置同侧相邻近的两台可以相互补偿,确定无死角覆盖整个液晶显示屏幕,同理,四台红外捕捉相机同侧相邻近的两台可以相互补偿,保证能有效抓取红外光发射范围内的助视装置33。
第一光学识别点313设置助视装置33上,第二光学识别点314设置交互操控装置32上,第一、二光学识别点可以为主动式的红外发射器件,也可以为被动式的光学反射点,作为优选实施方式,第一光学识别点313优选为光学反射点,第二光学识别点314为红外发射器件,光学反射点上设有红外光反射物质,被动式光学识别点设置在偏光眼镜上时,可以避免主动快门眼镜的红外发射器件电路成本增加的问题。
第二光学识别点314设置在交互操控装置32内部的电路板上,采用主动式的红外发射器件可以避免被动式的红外反射点带来的手持不便以及磨损问题。本技术方案中的红外发射器件数量优选为两个:分别设置在交互操控装置32的内部电路板的两顶端位置,这样即使其中有一个红外发射器件被遮挡也能保证交互操控装置32能够被立体交互设备30有效追踪到,需要说明的是,红外发射器件的数量可以为多个,这里不做限制,具体的红外发射器件数量应根据实际需要来确定。
助视装置33佩戴在头部,通过红外反射点反射红外光、红外捕捉相机抓拍图像,确定操作人员头部坐标,红外反射点的数量至少为2个,红外反射点的位置可以设置在上述助视装置33的任意位置,优选地:
红外反射点为3个时,其中有一个红外反射点设置助视装置33的鼻托位置,另外两个相对于鼻托对称,分别设置在在左镜片的左上角位置、右镜片右上角位置,以便能完整跟踪头部动态坐标;
红外反射点为4个时,其中有一个红外反射点设置助视装置33的鼻托位置,剩下三个中的两个相对于鼻托对称,分别设置在在左镜片的左上角位置、右镜片右上角位置,最后一个设置在左镜片的左下角位置、右镜片右下角位置;
红外反射点为5个时,其中有一个红外反射点设置助视装置33的鼻托位置,剩余的4个分别设置左上角位置、左下角位置、右镜片右上角位置、右下角位置,5个红外反射点确定了偏光眼镜的框架,保证了操作人员头部跟踪的精确性。
在不考虑成本因素的情况下,红外发射点的数量还可以更多。
立体交互***还包括:
助视装置33,用于从立体交互设备30中获取虚拟立体内容。
助视装置33可以为设有特定数量红外反射点的偏光式立体眼镜,本技术方案中的立体交互设备30,内置光学处理单元,通过改变立体交互设备30中液晶显示屏幕的液晶分子的排列分解原始图像,把原始图像分为垂直向偏振光和水平向偏振光两组画面,然后偏光式立体眼镜左右分别采用不同偏振方向的偏光镜片,人的左右眼就能接收两组画面,再经过大脑合成立体影像。
助视装置33也可以为设置了特定数量红外反射点的主动快门式眼镜,当立体图像或视频输入到立体交互设备30后,立体交互设备30的刷新率至少120Hz的图像便以帧序列的格式实现左右帧交替产生,快门式眼镜接收立体交互设备30的同步信号,以同样的频率打开或关闭左右液晶镜片,刷新同步实现左右眼观看对应的图像,并且保持与2D视像相同的帧数,操作人员的两只眼睛看到快速切换的不同画面,并且在大脑中产生错觉,便观看到立体影像。
请参考图6,图6是本发明中一种桌面型空间立体交互***中的助视装置状态自测电路示意图。
本技术方案中的快门式眼镜具有状态自测功能,以便能及时关闭电源,减少电耗;具体地,状态自测电路331可以为加速度传感器检测电路3311,加速度传感器检测电路3311检测主动快门式眼镜状态,加速度传感器检测电路3311可以为两轴或三轴,状态发生改变时或检测到距离参数小于一定的阈值时,在设定的时间内,对蓝牙主控芯片的工作模式进行控制,例如,检测到主动快门式眼镜的状态由静止转为运动时,唤醒蓝牙主控芯片的时间为2s,到2s时,使主动快门式眼镜的蓝牙主控芯片进入工作状态,用户开始使用;当检测到主动快门式眼镜的状态由运动转为静止时,时间设置3s,到3s时,使主动快门式眼镜的蓝牙主控芯片,用户停止使用。通过检测主动快门式眼镜的状态,实现了对蓝牙主控芯片工作模式的自动控制,减少了电能的浪费,提高了有效续航时间及用户体验,提高了用户体验;
为了实现对电源的自动控制,减少电能的浪费,提高有效续航时间,状态自测电路也可以为角速度检测电路3312,用于检测主动快门式眼镜的运动角度变化,通过对主动快门式眼镜的角度变化进行检测来实现对蓝牙主控芯片工作模式的控制,这里不再赘述。
状态自测电路也可以为角速度检测电路3312距离传感器检测电路3313,距离传感器检测电路3313用于检测主动快门式眼镜到面部的距离,当检测到面部的距离小于一阈值时,对主动快门式眼镜蓝牙主控芯片进行开关操作,例如,当检测到主动快门式眼镜到用户面部的距离小于20mm时间超过2s时,使主动快门式眼镜的蓝牙主控芯片进入工作状态,当检测到主动快门式眼镜到用户面部的距离大于40mm时间超过3s时,使主动快门式眼镜的蓝牙主控芯片进入睡眠状态。
当然,也可以在主动快门式眼镜同时设置加速度传感器检测电路3311、角速度检测电路3312以及距离传感器检测电路3313进行组合来实现对主动快门式眼镜蓝牙主控芯片工作模式的自动控制,以达到提高有效续航时间以及用户体验的目的,因此,任何采用加速度传感器检测电路3311、角速度检测电路3312以及距离传感器检测电路3313检测主动快门式眼镜运动状态或距离参数,或者三者的组合来实现对其蓝牙主控芯片工作模式的自动控制的技术方案都属于本发明的保护范围。
为了降低电路板功耗,作为一种优选实施方式,本技术方案中的主动快门式的蓝牙主控芯片采用BCM系列芯片,BCM系列芯片,是美国博通公司生产的蓝牙主控芯片,具有增强型数据传输能力,支持蓝牙通信技术,功耗低,有利于增加主动快门式眼镜的有效续航时间。
请参考图4,图4是本发明中一种桌面型空间立体交互***中的交互操控装置32包含的组件的逻辑组成示意图;
本技术方案中的立体交互***还包括:
交互操控装置32,用于输出操作指令到立体交互设备30。
进一步地,运动传感器为九轴运动传感器322,立体交互设备30通过红外捕捉相机拍摄图像,只能确定空间坐标位置,并不能追踪相对于立体交互设备30屏幕的完整运动姿态。九轴运动传感器322是三种传感器的组合:三轴加速度传感器单元3221、三轴陀螺仪单元3222和三轴地磁传感器单元3223,三个部分相互配合、作用。利用加速度传感器单元3221和陀螺仪单元3222,基本可以描述设备的完整运动状态。但是随着长时间运动,也会产生累计偏差,不能准确描述运动姿态,比如操控画面发生倾斜。地磁传感器单元3223利用测量地球磁场,通过绝对指向功能进行修正补偿,可以有效解决累计偏差,从而修正交互操控装置32的运动方向、姿态角度、运动力度和速度等。
进一步地,九轴运动传感器322检测到的姿态原始数据包括三个自由度的加速度、角速度以及方向,九轴运动传感器322由加速度传感器单元3221、陀螺仪单元3222以及地磁传感器单元3223构成,九轴运动传感器322输出的绝对方向来自于地球的重力场和地球的磁场,九轴运动传感器322的静态终精度取决于对磁场的测量精度和对重力的测量精度,而动态性能取决于陀螺仪单元3222。消费级九轴运动传感器322中的加速度传感器单元3221和陀螺仪单元3222干扰噪声很大,以平面陀螺为例用ADI的陀螺仪单元3222进行积分一分钟会漂移2度左右,这种前提下如果没有磁场和重力场来校正三轴陀螺的话,那么基本上3分钟以后物体的实际姿态和测量输出姿态就完全变样了,所以,低价陀螺仪单元3222和加速度传感器单元3221的架构下必须运用场向量来进行修正。本技术方案中的九轴运动传感器322利用三维的陀螺仪单元3222来快速跟踪交互操控装置32的三维姿态,它以陀螺仪单元3222单元为核心,同时也测量加速度和地磁场的方向为***提供可靠的参考。具体测量载体三个方向的的绝对角速率、加速度以及磁场强度,得到交互操控装置32的四元数、姿态数据等。需要实时的集成算法为***提供准确、可靠、及时以及稳定的姿态输出。
本技术方案中的九轴运动传感器322的刷新率大于60Hz,保证立体交互设备30获取的交互操控装置32空间姿态轨迹的平滑性,使操作光标信号连续性更强,并及时响应操作指令。
进一步地,交互操控装置32设置有多个功能按键,用于操作立体交互设备30显示的虚拟立体内容。交互操控装置32采用HID传输协议的USB数据线,与立体交互设备30连接,相比于传统的HDMI数据线,USB数据线通用性更强,相比于无线连接方式,其数据传输更可靠。
交互操控装置32上还设有多个功能按键,在进入立体内容显示前,相当于普通鼠标的功能,在立体交互设备30的显示屏幕上移动,选中要显示的立体内容资源,例如点击进入,或者,显示立体内容;进入立体内容后,按键单元还可以弹出菜单快捷键、抓取、拖动立体内容向各个方向移动。
本技术方案中的空间姿态数据处理过程为:红外坐标组件31分别荻取助视装置33和交互操控装置32的空间位置图像传输到立体交互设备30,立体交互设备30根据空间位置算法获取第一、二空间坐标数据。立体交互设备30根据第二空间坐标数据及欧拉角参数和四元数确定交互操控装置32的空间位置姿态。第一、二空间坐标数据分别为助视装置33、交互操控装置32的空间坐标数据。具体的交互方法为:操作人员移动交互操控装置32的光标到立体交互设备30显示的虚拟立体内容的特定位置,立体交互设备30获取交互操控装置32的操作指令。立体交互设备30根据操作指令运行特定的虚拟立体显示功能。立体交互设备30通过红外坐标组件31获取操作人员视觉观察点,并将与视觉观察点匹配的立体显示内容通过助视装置33传输到操作人员眼中。
需要说明的是在确定交互操控装置32的空间姿态时,九轴运动传感器检测的空间姿态数据对红外坐标组件31检测的空间坐标数据进行修正,有效提高了交互操控装置32的空间位置的追踪精度。
3、方法实施例1
参考图1,图1是本发明中一种桌面型空间数据处理方法实施例的实施步骤流程示意图,应当说明的是本方法实施例的执行主体是图3所示的桌面型空间立体交互***,空间数据处理方法包括:
步骤101采集第一、二空间位置图像,结合空间位置算法获取第一、二空间坐标数据。
第一、二空间位置图像分别为助视装置33和交互操控装置32的空间位置图像,第一、二空间坐标数据分别指的是助视装置33和交互操控装置32通过红外坐标组件31确定的空间坐标数据。
红外坐标组件31分别获取助视装置33和交互操控装置32的空间位置图像传输到立体交互设备30,立体交互设备30根据空间位置算法获取第一、二空间坐标数据。
红外坐标组件31中的红外发射单元311,作为一种优选实施方案,红外发射单元311优选为四台红外发射装置,也可以为两台,四台红外发射装置用于发射红外光,经过光学识别点反射后,红外捕捉单元312获取设有光学识别点的助视装置33或交互操控装置32的空间图像,立体交互设备30获取空间图像后,根据空间图像坐标算法,获取上述助视装置33或交互操控装置32的空间坐标。作为一种优选实施方式,红外捕捉单元312优选为四台红外捕捉相机。
步骤102、获取所述交互操控装置32的空间姿态原始数据,将所述空间姿态原始数据处理成空间姿态欧拉角参数和四元数;
立体交互设备30通过红外相机拍摄图像,只能确定交互操控装置32的空间坐标位置,并不能追踪交互操控装置32相对于立体交互设备30屏幕的完整运动姿态。九轴运动传感器322是三种传感器的组合:三轴加速度传感器单元3221、三轴陀螺仪单元3222和三轴地磁传感器单元3223,三个部分相互配合、作用。利用加速传感器单元和陀螺仪单元3222,基本可以描述设备的完整运动状态。但是随着长时间运动,也会产生累计偏差,不能准确描述运动姿态,比如操控画面发生倾斜。地磁传感器单元3223利用测量地球磁场,通过绝对指向功能进行修正补偿,可以有效解决累计偏差,从而修正交互操控装置32的运动方向、姿态角度、运动力度和速度等。通过采用九轴运动传感器322提高对交互操控装置32动态姿态位置追踪的精度,避免了交互操控装置32在立体交互设备30上光标的“漂移”问题的出现。
步骤103、根据所述第二空间坐标数据、欧拉角参数及四元数,利用空间数据融合算法确定所述交互操控装置32的空间位置姿态;
立体交互设备30根据第二空间坐标数据及欧拉角参数和四元数确定交互操控装置32的空间位置姿态。
立体交互设备30需要将交互操控装置32的空间坐标数据和姿态原始数据(欧拉角参数和四元数)进行融合得到最终的姿态,并生成对应的空间操作光标。
4、方法实施例2
请参考图2,图2是本发明中一种桌面型空间交互方法的实施步骤流程示意图;一种空间位置数据处理方法的桌面型空间立体交互方法,交互方法包括:
步骤201,确定佩戴所述助视装置33操作人员的视觉观察点,获取所述交互操控装置32的功能按键操作指令,这里的视觉观察点为所述助视装置33相对于虚拟立体内容的空间坐标点。
图象帧的立体性是具有视差特性的左右图象帧在人的大脑中合成的结果,实际上是一种错觉,因此视觉观察点对于立体交互设备30显示的虚拟立体内容的立体效果具有十分重要的影响,在操作的过程中,操作人员的视觉观察点无意识地不停地变化,或出于某种观察的目的变换视觉观察点进行观察,红外坐标组件31跟踪操作人员的头部运动空间坐标,进而确定其视觉观察点,目的是为了使立体交互设备30显示的虚拟立体内容具有更好的立体效果,实现操作人员与立体交互设备30的交互性。
步骤202,根据所述操作指令,显示与所述视觉观察点匹配的虚拟立体内容。
交互操控装置32设有三种不同类型的可编程功能按键,用于对立体交互设备30显示的虚拟立体内容进行操作,进入虚拟立体内容前,交互操控装置32相当于普通鼠标的功能;在立体交互设备30的显示屏幕上移动,选中要显示的立体内容资源,例如点击进入,或者,显示虚拟立体内容;进入虚拟立体内容后,按键单元还可以弹出菜单快捷键、抓取、拖动虚拟立体内容向各个方向移动。
立体交互设备30根据操作指令运行特定的虚拟立体显示功能。步骤203,立体交互设备30通过红外坐标组件31获取操作人员视觉观察点,并将与视觉观察点匹配的立体显示内容通过助视装置33传输到操作人员眼中。
本技术方案旨在解决现有技术中的信号漂移问题;空间交互***包括立体交互设备30、红外坐标组件31、交互操控装置32及助视装置33,红外坐标组件31跟踪助视装置33及交互操控装置32,并将其空间坐标数据传输到立体交互设备30,助视装置33的空间坐标数据与操作人员的视觉观察点一致,这里的视觉观察点指的是人眼相对于立体交互设备30显示屏幕的空间位置关系,立体交互设备30确定视觉观察点的目的在于显示对应的立体图象帧,以便获得最佳的立体效果,实现操作人员视觉观察点与立体交互设备30交互。交互操控装置32上设有多个可编程功能按键,操作复杂,用于完成操作人员与立体交互设备30的主要交互任务,需要确定精确空间姿态,本技术方案桌面型空间立体交互***中的交互操控装置32采用九轴传感器,无死角检测空间姿态变化,并对检测到的空间姿态原始数据进行预处理,只需要根据空间数据融合算法,将空间坐标数据与欧拉角参数和四元数进行融合处理即可获取交互操控装置32的精确空间姿态位置,大大降低立体交互设备30的处理负担;操作人员根据需要通过功能按键操作立体交互设备30虚拟场景中的立体对象,实现人机交互。
以上仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (12)
1.一种桌面型空间立体交互***,其特征在于,用于实现操作人员与立体交互设备进行交互,所述空间交互***包括:
立体交互设备,用于通过红外坐标组件跟踪操作人员的视觉观察点,获取交互操控装置的操作指令并显示与所述视觉观察点对应的虚拟立体内容;
红外坐标组件,用于获取第一、二空间坐标数据并传输到所述立体交互设备;
助视装置,用于从所述立体交互设备中获取虚拟立体内容;
交互操控装置,用于输出操作指令到所述立体交互设备;
其中,所述视觉观察点为所述助视装置相对于虚拟立体内容的空间坐标点。所述交互操控装置包括用于获取检测空间姿态原始数据的九轴运动传感器及用于将所述空间姿态原始数据处理成欧拉角参数和四元数的MCU,所述九轴运动传感器与所述MCU连接。
2.根据权利要求1所述的一种桌面型空间立体交互***,其特征在于,所述红外坐标组件包括设于所述立体交互设备上的红外发射单元、光学捕捉单元、设于所述助视装置上的第一光学识别点以及设于所述交互操控装置上的第二光学识别点。
3.根据权利要求2所述的一种桌面型空间立体交互***,其特征在于,所述红外发射单元包括至少1个用于发射红外光的红外发射装置,所述光学捕捉单元包括至少2个用于采集目标图像的红外捕捉相机;所述红外发射装置与红外捕捉相机嵌入安装在所述立体交互设备上。
4.根据权利要求1所述的一种桌面型空间立体交互***,其特征在于,所述九轴运动传感器包括加速度传感器单元、陀螺仪单元及地磁传感器单元。
5.根据权利要求2所述的一种桌面型空间立体交互***,其特征在于,所述第一、二光学识别点为主动式红外发射器件或被动式光学反射点。
6.根据权利要求2所述的一种桌面型空间立体交互***,其特征在于,所述第一光学识别点为被动式光学反射点,所述光学反射点的数量至少为2个;所述第二光学识别点为主动式红外发射器件,所述红外发射器件设置在所述交互操控装置的顶端位置。
7.根据权利要求1所述的一种桌面型空间立体交互***,其特征在于,所述交互操控装置设置有可编程功能按键,用于操作所述立体交互设备显示的虚拟立体内容。
8.根据权利要求1所述的一种桌面型空间立体交互***,其特征在于,所述助视装置为偏光式立体眼镜或快门式立体眼镜。
9.根据权利要求3所述的一种桌面型空间立体交互***,其特征在于,所述红外捕捉相机镜头的视角至少为70度。
10.根据权利要求1所述的一种桌面型空间立体交互***,其特征在于,所述立体交互设备的红外坐标组件的捕获距离为0~3m。
11.一种空间位置数据处理方法、利用权利要求1-10任一提供的桌面型空间立体交互***,其特征在于,所述数据处理方法包括:
采集第一、二空间位置图像,结合空间位置算法获取第一、二空间坐标数据;
获取所述交互操控装置的空间姿态原始数据,将所述空间姿态原始数据处理成空间姿态欧拉角参数和四元数;
根据所述第二空间坐标数据、欧拉角参数及四元数,利用空间数据融合算法确定所述交互操控装置的空间位置姿态;
所述交互操控装置包括用于获取检测空间姿态原始数据的九轴运动传感器及用于将所述空间姿态原始数据处理成欧拉角参数和四元数的MCU,所述九轴运动传感器与所述MCU连接。
12.一种利用权利要求11所述的桌面型空间位置数据处理方法的空间立体交互方法,其特征在于,所述交互方法包括:
确定佩戴所述助视装置操作人员的视觉观察点并获取所述交互操控装置的操作指令;
根据所述操作指令,显示与所述视觉观察点匹配的虚拟立体内容。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710320428.8A CN106970713A (zh) | 2017-05-09 | 2017-05-09 | 桌面型空间立体交互***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710320428.8A CN106970713A (zh) | 2017-05-09 | 2017-05-09 | 桌面型空间立体交互***及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106970713A true CN106970713A (zh) | 2017-07-21 |
Family
ID=59332145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710320428.8A Pending CN106970713A (zh) | 2017-05-09 | 2017-05-09 | 桌面型空间立体交互***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106970713A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108205373A (zh) * | 2017-12-25 | 2018-06-26 | 北京致臻智造科技有限公司 | 一种交互方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104811641A (zh) * | 2015-04-24 | 2015-07-29 | 段然 | 一种带有云台的头戴式摄录***及其控制方法 |
CN204990186U (zh) * | 2015-07-28 | 2016-01-20 | 深圳市中视典数字科技有限公司 | 一种桌面式立体显示交互*** |
CN106200985A (zh) * | 2016-08-10 | 2016-12-07 | 北京天远景润科技有限公司 | 桌面型个人沉浸虚拟现实交互设备 |
-
2017
- 2017-05-09 CN CN201710320428.8A patent/CN106970713A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104811641A (zh) * | 2015-04-24 | 2015-07-29 | 段然 | 一种带有云台的头戴式摄录***及其控制方法 |
CN204990186U (zh) * | 2015-07-28 | 2016-01-20 | 深圳市中视典数字科技有限公司 | 一种桌面式立体显示交互*** |
CN106200985A (zh) * | 2016-08-10 | 2016-12-07 | 北京天远景润科技有限公司 | 桌面型个人沉浸虚拟现实交互设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108205373A (zh) * | 2017-12-25 | 2018-06-26 | 北京致臻智造科技有限公司 | 一种交互方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP4217834A1 (en) | Touchless photo capture in response to detected hand gestures | |
CN104243959B (zh) | 基于偏振定向和组合定位的智能复合眼镜 | |
CN108022302B (zh) | 一种Inside-Out空间定位的AR立体显示装置 | |
CN108846867A (zh) | 一种基于多目全景惯导的slam*** | |
US11284061B2 (en) | User input device camera | |
US10866820B2 (en) | Transitioning between 2D and stereoscopic 3D webpage presentation | |
US10701346B2 (en) | Replacing 2D images with 3D images | |
CN104995583A (zh) | 用于混合现实环境的直接交互*** | |
CN206741431U (zh) | 桌面型空间立体交互*** | |
CN108616752B (zh) | 支持增强现实交互的头戴设备及控制方法 | |
CN102045577A (zh) | 用于三维立体显示的观察者跟踪***及三维立体显示*** | |
US11740852B2 (en) | Eyewear including multi-user, shared interactive experiences | |
WO2021061326A1 (en) | Automated video capture and composition system | |
US20180205939A1 (en) | Stereoscopic 3D Webpage Overlay | |
US10701347B2 (en) | Identifying replacement 3D images for 2D images via ranking criteria | |
CN115735150A (zh) | 增强现实眼戴器与3d服装 | |
WO2022066853A1 (en) | Context-sensitive remote eyewear controller | |
CN106970713A (zh) | 桌面型空间立体交互***及方法 | |
EP4172732A1 (en) | Augmented reality eyewear with mood sharing | |
US20230258756A1 (en) | Augmented reality precision tracking and display | |
US20220390773A1 (en) | Pi cell drive waveform | |
US20210084197A1 (en) | Data processing | |
CN206991244U (zh) | 可触控立体3d显示设备 | |
CN112053444B (zh) | 基于光通信装置叠加虚拟对象的方法和相应的电子设备 | |
CN206515917U (zh) | 热像显示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |