CN104536579A - 交互式三维实景与数字图像高速融合处理***及处理方法 - Google Patents
交互式三维实景与数字图像高速融合处理***及处理方法 Download PDFInfo
- Publication number
- CN104536579A CN104536579A CN201510026769.5A CN201510026769A CN104536579A CN 104536579 A CN104536579 A CN 104536579A CN 201510026769 A CN201510026769 A CN 201510026769A CN 104536579 A CN104536579 A CN 104536579A
- Authority
- CN
- China
- Prior art keywords
- module
- head
- dimensional
- stereo
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 title claims abstract description 9
- 230000033001 locomotion Effects 0.000 claims abstract description 37
- 239000004973 liquid crystal related substance Substances 0.000 claims abstract description 10
- 210000003128 head Anatomy 0.000 claims description 68
- 230000009471 action Effects 0.000 claims description 22
- 230000004886 head movement Effects 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 17
- 238000005516 engineering process Methods 0.000 claims description 14
- 239000007787 solid Substances 0.000 claims description 14
- 238000003909 pattern recognition Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000009966 trimming Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 238000005267 amalgamation Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 4
- 238000003672 processing method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 208000002173 dizziness Diseases 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 210000001328 optic nerve Anatomy 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种交互式三维实景与数字图像高速融合处理***，至少包括图像信号识别模块、头部定位与运动传感模块、液晶显示模块、立体图像编码模块以及应用处理器；图像信号识别模块包括立体空间识别单元和手部图像识别单元，立体图像编码模块连接于图像信号识别模块和头部定位与运动传感模块，应用处理器连接立体图像编码模块和液晶显示模组，完成虚拟图像和特征点所显示的图像在同一空间坐标系的融合；此外还公开了运用该***的处理方法。该***和方法能在立体的虚拟现实数字环境中实时融合周边现实环境空间的视觉、听觉，可以实时观测自己的肢体动作，并让肢体动作可以完成操作数字世界的模型等互动。
Description
技术领域
本发明属于虚拟现实领域技术，具体涉及一种交互式三维实景与数字图像高速融合处理***及该***的处理方法。
背景技术
虚拟现实是多种技术的综合，包括实时三维计算机图形技术，广角(宽视野)立体显示技术，对观察者头、眼和手的跟踪技术，以及触觉/力觉反馈、立体声、网络传输、语音输入输出技术等。随着虚拟现实的显示技术和模式识别的技术发展，体验者可以将现实世界的实际环境视觉和听觉由立体摄像机导入到数字世界中，并通过立体的头戴显示器让人的视觉神经产生出虚拟现实的数字世界。
专利号为201310678103.9的专利申请文件公开了一种沉浸式虚拟现实体验***，包括视频输出模块、语音模块以及3D沉浸式眼镜，视频输出模块和3D眼镜有线或无线连接，3D眼镜包括控制芯片模块、控制芯片模块分别连接的陀螺仪模块、视频获取模块，把图像显示在可穿戴设备的显示屏上，这样图像可以充满用户的整个视野，使得客户有身在虚拟场景的真实感。同时通过设备内置的陀螺仪和加速计等传感实现头部追踪技术，可以根据现实中用户头部方向变化来计算用户的在现实中的视线角度，显示对应的图像，进一步增强真实性。
但是，不管是上述专利还是目前技术的发展，还没有有机的把现实世界和虚拟现实的数字世界结合起来，不能在立体的视觉体验中，精确无差别地融合现实世界和虚拟现实的数字世界，从而严重影响使用体验，阻碍技术广泛应用于生活。目前的问题主要体现在：
1、无法实时并同时立体观测和操作现实环境和虚拟数字空间，现在的头戴显示器采用的是电子陀螺仪和电子加速度计，它们在使用中都有漂移，导入到虚拟空间软件中计算，就会产生眼部看到的位置产生误差，再叠加上最后在虚拟空间的画面输出到液晶屏上，又会有100毫秒左右的延迟，那么，由于两者空间位置不匹配，人的视觉画面有偏差和延迟，容易造成眩晕；
2、受头戴显示器的遮挡，人不方便看到真实世界的输入装置或者肢体动作，需要让人们的视觉神经集中注意力在头戴显示器显示的画面上，无法正常观察身边的实景环境会给人带来“看不见”的感觉，产生不安全和不舒适的体验；
3、人们在日常的使用习惯中，肢体动作完成的功能，无法正常交互到虚拟的数字视觉中；
4、***复杂，需要显示、拍摄以及处理等多个***，***复杂，成本高昂，便携性不好。
发明内容
本发明要解决的技术问题为提供一种交互式三维实景与数字图像高速融合处理***及***的处理方法，该***和方法能在立体的虚拟现实数字环境中实时融合周边现实环境空间的视觉、听觉，可以实时观测自己的肢体动作，并让肢体动作可以完成操作数字世界的模型等互动。
为解决上述技术问题，本发明包括以下的技术方案：
一种交互式三维实景与数字图像高速融合处理***，适用于虚拟现实头盔，该***至少包括图像信号识别模块、头部定位与运动传感模块、液晶显示模块、立体图像编码模块以及应用处理器；
其中，图像信号识别模块包括连接立体摄像机和麦克风的立体空间识别单元，立体空间识别单元对现实环境的图像声音进行识别并上传至立体图像编码模块；
头部定位与运动传感模块用于获取头部运动的原始姿态信息；
立体图像编码模块连接于图像信号识别模块和头部定位与运动传感模块，用于将特征点数据进行预先存储和预测头部运动轨迹，并根据预测运动轨迹的特征点进行头部定位与运动传感模块的修正；
应用处理器连接立体图像编码模块和液晶显示模组，用于完成所有的虚拟图像和特征点所显示的图像在同一的空间坐标系的融合，并将处理后的图像显示在液晶显示模块中的显示屏上。
本发明的***在应用中，可以识别自身常用肢体动作进行与虚拟现实数字世界交互，具体方案为，图像信号识别模块还包括手部图像识别单元，该手部图像识别单元连接有2个红外摄像头，用于做模式识别手部动作，并以头部位置为原点，建立空间坐标系，计算出手的位置。
进一步地，***还包括低速与高速存储模块，所述低速与高速存储模块设于应用处理器和立体图像编码模块之间。
进一步地，***采用四口的Usb hub接口连接外部设备，其中两口设于图像信号识别模块，分别用于接入立体摄像机和麦克风、以及红外摄像头；一口设于液晶显示模组，用于接入显示屏，另一口设于头部定位与运动传感模块中，用于接入头部位置传感器。
本发明另一方面还提供了一种交互式三维实景与数字图像高速融合处理方法，包括以下步骤，
S100***各模块初始化；
S200计算机建立立体的数字场景；
S300利用立体视觉图像技术修正头部位置，在虚拟现实软件中生成新视角的立体图像；
S400高速混入现实环境的立体视觉图像和声音信号；
S500最终将融合了现实环境与虚拟现实场景的立体图像和音频在显示屏中输出。
上述方法中还包括：在建立立体的数字场景后，***的红外摄像头捕捉手部的动作，手部图像识别模块进行手部动作的模式识别，同时操作虚拟数字场景中的模型。
进一步地，捕捉手部的动作并进行肢体动作的模式识别具体为：红外摄像头捕捉手部动作，手部图像识别单元做模式识别，识别出手部的动作，然后以头部的位置为原点，建立空间的坐标系，计算出手的位置。
本发明中利用立体视觉图像技术修正头部位置包括如下步骤：
S301自动复位头部定位模块，设定空间原点；
S302通过立体摄像机抓取实际环境中的目标特征点，同时复位虚拟空间坐标并将头部定位模块每秒计算并上传至立体图像编码模块；
S303把实际环境中的目标特征点标定到虚拟空间坐标2，并根据头部运动变化位置而变化的画面特征点，计算每毫秒的头部位置并上传至立体图像编码模块；
S304所述立体图像编辑模块根据光学的数据定期修正头部定位与运动传感模块的电子陀螺仪及加速度计；
S305根据修正的数据进行复位虚拟空间坐标，重新定位计算每秒的头部位置并根据头部位置，在虚拟现实软件中生成新视角的立体图像。
其中，立体摄像头抓取实际环境中的目标特征点具体为：立体摄像机以立体空间中的位置，在头部定位模块中的陀螺仪复位为原点的瞬间，根据立体画面选其实际环境中的特征点，并对这些特征目标标定空间位置坐标。
根据头部运动变化位置计算每毫秒的头部位置具体为：在头部运动中，目标特征在立体画面中发生的位置变化，不断的根据立体画面中同一目标特征在左右眼中的位置，计算目标特征相对双眼中心点的空间位置，得出精确的位置。
本发明的交互式三维实景与数字图像高速融合***，为虚拟现实应用提供了全新的一种应用，让现实环境和虚拟场景无缝的融合，并且现实环境中的肢体动作在虚拟场景中都拥有现实行为的意义。
现在的头戴显示器采用的是电子陀螺仪和电子加速度计，这个在使用中都有漂移，导入到虚拟空间软件中计算，就会产生眼部看到的位置产生误差，再叠加上最后在虚拟空间的画面输出到液晶屏上，又会有100毫秒左右的延迟，那么，人的感觉就会觉的视觉有偏差和延迟，容易造成眩晕。而本发明加入前置摄像头的现实立体空间识别单元，可以先对现实环境进行一些特征点在空间定位，而这个定位是用光学图像在空间的定位，不会发生偏移，在头部的运动中，立体图像编码模块不断用运动中的特征点进行差值计算，推导出现在的头部位置，不断修正电子陀螺仪和电子加速度计，保证头部位置的误差神经无法感知。
因此，本发明现实环境的立体视频与虚拟场景视频流进行无延迟混合，最终可以让使用者带着立体虚拟现实头盔的同时可以看到外部真实的环境。此外，本发明还通过采用2个红外摄像头安装在头盔的双眼位置，做模式识别出手部的动作，用头部的位置为原点，建立空间的坐标系，计算出手的位置；然后通过Usb3.0的接口送给应用处理模块，如手机；实现直接使用双手操作虚拟现实和现实环境混合后的场景中的各种模型。
附图说明
上述仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，以下结合附图与具体实施方式对本发明作进一步的详细说明。
图1为实施例1的处理***的结构示意图；
图2为实施例1的处理***的结构示意图；
图3为实施例1的头盔的结构示意图；
图4为实施例1的头盔的结构示意图；
图5为实施例1的头盔结构***示意图；
图6为实施例2的处理方法的步骤示意图；
图7为实施例2的处理方法中修正头部位置的步骤示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点表达得更加清楚明白，下面结合附图及具体实施例对本发明实施方式再作进一步详细的说明。
实施例1
图1为根据本发明实施方式的交互式三维实景与数字图像高速融合处理***的结构示意图。该处理***包括：图像信号识别模块10、头部定位与运动传感模块20、液晶显示模块60、立体图像编码模块30以及应用处理器50。
图像信号识别模块10包括连接立体摄像机和麦克风的立体空间识别单元11，立体空间识别单元11对现实环境的图像声音进行识别并上传至立体图像编码模块30。
头部定位与运动传感模块20包括电子陀螺仪和加速度计，用于获取头部运动的原始姿态信息。
立体图像编码模块30连接于图像信号识别模块10和头部定位与运动传感模块20，用于将特征点数据进行预先存储和预测头部运动轨迹，具体为通过头部运动中的特征点进行差值计算，推导出现的头部位置，并不断修正电子陀螺仪及加速度计，保证头部误差神经无法感知。
应用处理器50分别与立体图像编码模块30和液晶显示模块60连接，用于完成所有的虚拟图像和特征点所显示的图像在同一的空间坐标系的融合，并将处理后的图像显示在液晶显示模块60中的显示屏上。本实施例的应用处理器50可以通过有线或无线通信连接移动终端、智能电视、计算机或基于云计算的信息服务平台。
图像信号识别模块10还连接有前置于人体眼部位置的2个红外摄像头，以及连接红外摄像头的手部图像识别单元12；手部图像识别单元12用于做模式识别手部动作，并以头部位置为原点，建立空间坐标系，计算出手的位置。
本发明进一步的改进中，***还包括有低速与高速存储模块40，所述低速与高速存储模块40设于应用处理器50和立体图像编码模块30之间。
本实施例的***中，图2所示，通过Usb3.0hub1分4口的接口连接各外部设备，包括立体摄像机为两个800万像素的摄像头组成，通过Usb3.0接口连接于立体摄像模块和麦克风的电路；2个红外摄像头通过Usb3.0接入手部图像识别模块的电路；图示100为红外摄像头的接口，200为立体摄像机和麦克风的接口组。液晶显示屏通过Usb3.0接入液晶显示模组中的液晶驱动电路；头部位置传感器亦通过Usb3.0接口连接于头部定位与运动传感模块的处理电路中。
本实施例还将该处理***运用于虚拟现实头盔，图3～5所示，具体的实施方式为头盔由前壳1、后壳3以及连接前壳1和后壳3的固定框2构成，固定框2的前侧固定有基板8。基板8的前端中下方通过卡合方式连接图像信号识别模块6，上方通过卡合方式连接立体摄像机模组5；所述立体摄像机模组5包括沿水平向居中的2个红外摄像头50、以及设于两端的立体摄像机51和麦克风；此外，基板8的后面还卡合有头部定位与运动传感模块7，且头部定位与运动传感模块7的后端设有应用处理器50和低速与高速存储模块40集成的板卡9。前壳1的前侧开设有用于安装液晶显示屏4的目镜框，以及相应的摄像头外露口。该头盔装置一体化设计，能在立体的虚拟现实数字环境中实时融合了周边现实环境空间的视觉和听觉，实时观测自己的肢体动作，并让肢体动作可以完成操作数字世界的模型等互动。
实施例2
一种交互式三维实景与数字图像高速融合处理方法，图6所示，包括以下步骤，
S100***各模块初始化；
S200计算机建立立体的数字场景；
计算机的处理模块从现实场景信息中提取出现实场景特征，基于预先设定的映射关系，将现实场景特征映射为用于虚拟场景的特征，并基于用于构建虚拟场景的特征构建虚拟现实场景信息。
S300利用立体视觉图像技术修正头部位置，在虚拟现实软件中生成新视角的立体图像；
图7所示，具体的修正步骤如下，
S301自动复位头部定位模块，设定空间原点；
S302通过立体摄像机抓取实际环境中的目标特征点，同时复位虚拟空间坐标并将头部定位每秒计算并上传至立体图像编码模块；
其中立体摄像机以立体空间中的位置，在头部定位模块中的陀螺仪复位为原点的瞬间，根据立体画面选其实际环境中的特征点，如房价中的灯、桌子和椅子等，并对这些特征目标标定空间位置坐标。
S303把实际环境中的目标特征点标定到虚拟空间坐标2，并根据头部运动变化位置而变化的画面特征点，计算每毫秒的头部位置并上传至立体图像编码模块；
其中，在头部运动中，目标特征在立体画面中发生的位置变化，不断的根据立体画面中同一目标特征在左右眼中的位置，计算目标特征相对双眼中心点的空间位置，得出精确的位置。
S304所述立体图像编辑模块根据光学的数据定期修正头部定位与运动传感模块的电子陀螺仪及加速度计；
利用目前的3轴陀螺仪技术可以计算出人头部的位置，利用3轴加速度传感器可以追踪人头部的运动，对人头部位置和运动的计算，根据运动惯性的原理，可以***出头部的运动轨迹，就可以预测知道人双眼的视觉窗口的位置。
该过程中，立体图像编辑模块对现实空间进行格子化的划分，根据采样原理，将每个远格子的尺寸小于1/4个视场，对每个视场的数据进行预先的存储，在头部运动视场在移动到位之前将数据准备好，在视场移动到位后马上就显示，就不会有延迟产生。以现在的虚拟现实技术，这个过程远小于1毫秒，此时人的视觉神经上没有感觉，整个现实世界进行立体数字化编码与虚拟化视觉混合后的图像是连续的。
S305根据修正的数据进行复位虚拟空间坐标，重新定位计算每秒的头部位置并根据头部位置，在虚拟现实软件中生成新视角的立体图像；
S400高速混入现实环境的立体视觉图像和声音信号；
S500最终将融合了现实环境与虚拟现实场景的立体图像和音频在显示屏中输出。
本实施例中优选的，上述处理方法还包括：在建立立体的数字场景后，所述***的红外摄像头捕捉手部的动作，手部图像识别单元做模式识别，识别出手部的动作，然后以头部的位置为原点，建立空间的坐标系，计算出手的位置；同时操作虚拟数字场景中的模型。
本发明的装置和方法能在立体的虚拟现实数字环境中实时融合，周边现实环境空间的视觉、听觉。处理过程中，随着头部运动，目标物也将在立体画面中发生位置变化，立体图像编码模块不断的根据立体画面中同一目标物在左右眼中的位置，计算目标物相对双眼中心点的空间位置，得出的位置是精确的，可以定期(如1秒)修正电子陀螺仪测出来数据，保持头部定位和头部的运动后的实际位置的误差在人体无法感知的误差内，如0.1弧度以下，从而达到消除眩晕的目的。同时还通过采用2个红外摄像头做模式识别出手部的动作，用头部的位置为原点，建立空间的坐标系，计算出手的位置；可以实时观测自己的肢体动作，并让肢体动作完成操作数字世界的模型等互动。
以上所述实施例仅仅是本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。
Claims (10)
1.一种交互式三维实景与数字图像高速融合处理***，适用于虚拟现实头盔，其特征在于，所述***至少包括图像信号识别模块、头部定位与运动传感模块、液晶显示模块、立体图像编码模块以及应用处理器；
其中，所述图像信号识别模块包括连接立体摄像机和麦克风的立体空间识别单元，立体空间识别单元对现实环境的图像声音进行识别并上传至立体图像编码模块；
所述头部定位与运动传感模块用于获取头部运动的原始姿态信息；
所述立体图像编码模块连接于图像信号识别模块和头部定位与运动传感模块，用于将特征点数据进行预先存储和预测头部运动轨迹，并根据预测运动轨迹的特征点进行头部定位与运动传感模块的修正；
所述应用处理器连接立体图像编码模块和液晶显示模组，用于完成所有的虚拟图像和特征点所显示的图像在同一的空间坐标系的融合，并将处理后的图像显示在液晶显示模块中的显示屏上。
2.如权利要求1所述的交互式三维实景与数字图像高速融合处理***，其特征在于，所述图像信号识别模块还包括手部图像识别单元，所述手部图像识别模块连接有2个红外摄像头，用于做模式识别手部动作，并以头部位置为原点，建立空间坐标系，计算出手的位置。
3.如权利要求2所述的交互式三维实景与数字图像高速融合处理***，其特征在于，所述***还包括低速与高速存储模块，所述低速与高速存储模块设于应用处理器和立体图像编码模块之间。
4.如权利要求2所述的交互式三维实景与数字图像高速融合处理***，其特征在于，所述***采用四口的Usb hub接口连接外部设备，其中两口设于图像信号识别模块，分别用于接入立体摄像机和麦克风、以及红外摄像头；一口设于液晶显示模组，用于接入显示屏，另一口设于头部定位与运动传感模块中，用于接入头部位置传感器。
5.一种交互式三维实景与数字图像高速融合处理方法，包括以下步骤，
S100***各模块初始化；
S200计算机建立立体的数字场景；
S300利用立体视觉图像技术修正头部位置，在虚拟现实软件中生成新视角的立体图像；
S400高速混入现实环境的立体视觉图像和声音信号；
S500最终将融合了现实环境与虚拟现实场景的立体图像和音频在显示屏中输出。
6.如权利要求5所述的处理方法，其特征在于，还包括：
在建立立体的数字场景后，所述***的红外摄像头捕捉手部的动作，手部图像识别模块进行手部动作的模式识别，同时操作虚拟数字场景中的模型。
7.如权利要求6所述的处理方法，其特征在于，捕捉手部的动作并进行肢体动作的模式识别具体为：红外摄像头捕捉手部动作，手部图像识别单元做模式识别，识别出手部的动作，然后以头部的位置为原点，建立空间的坐标系，计算出手的位置。
8.如权利要求5所述的处理方法，其特征在于，所述利用立体视觉图像技术修正头部位置包括如下步骤：
S301自动复位头部定位模块，设定空间原点；
S302通过立体摄像机抓取实际环境中的目标特征点，同时复位虚拟空间坐标并将头部定位每秒计算并上传至立体图像编码模块；
S303把实际环境中的目标特征点标定到虚拟空间坐标2，并根据头部运动变化位置而变化的画面特征点，计算每毫秒的头部位置并上传至立体图像编码模块；
S304立体图像编辑模块根据光学的数据定期修正头部定位与运动传感模块的电子陀螺仪及加速度计；
S305根据修正的数据进行复位虚拟空间坐标，重新定位计算每秒的头部位置并根据头部位置，在虚拟现实软件中生成新视角的立体图像。
9.如权利要求8所述的处理方法，其特征在于，所述立体摄像头抓取实际环境中的目标特征点具体为：立体摄像机以立体空间中的位置，在头部定位模块中的陀螺仪复位为原点的瞬间，根据立体画面选其实际环境中的特征点，并对这些特征目标标定空间位置坐标。
10.如权利要求8所述的处理方法，其特征在于，所述根据头部运动变化位置计算每毫秒的头部位置具体为：在头部运动中，目标特征在立体画面中发生的位置变化，不断的根据立体画面中同一目标特征在左右眼中的位置，计算目标特征相对双眼中心点的空间位置，得出精确的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510026769.5A CN104536579B (zh) | 2015-01-20 | 2015-01-20 | 交互式三维实景与数字图像高速融合处理***及处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510026769.5A CN104536579B (zh) | 2015-01-20 | 2015-01-20 | 交互式三维实景与数字图像高速融合处理***及处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104536579A true CN104536579A (zh) | 2015-04-22 |
| CN104536579B CN104536579B (zh) | 2018-07-27 |
Family
ID=52852119
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510026769.5A Active CN104536579B (zh) | 2015-01-20 | 2015-01-20 | 交互式三维实景与数字图像高速融合处理***及处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104536579B (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104867175A (zh) * | 2015-06-02 | 2015-08-26 | 孟君乐 | 一种虚拟效果图实景展示装置及其实现方法 |
| CN105094335A (zh) * | 2015-08-04 | 2015-11-25 | 天津锋时互动科技有限公司 | 场景提取方法、物体定位方法及其*** |
| CN105812708A (zh) * | 2016-03-18 | 2016-07-27 | 严俊涛 | 视频通话方法及*** |
| CN105929958A (zh) * | 2016-04-26 | 2016-09-07 | 华为技术有限公司 | 一种手势识别方法，装置和头戴式可视设备 |
| CN106020449A (zh) * | 2016-05-06 | 2016-10-12 | 广东欧珀移动通信有限公司 | 一种虚拟现实的交互方法及装置 |
| CN106028001A (zh) * | 2016-07-20 | 2016-10-12 | 上海乐相科技有限公司 | 一种光学定位方法及装置 |
| CN106066701A (zh) * | 2016-07-05 | 2016-11-02 | 成都福兰特电子技术股份有限公司 | 一种ar和vr数据处理设备与方法 |
| CN106157731A (zh) * | 2015-04-07 | 2016-11-23 | 深圳威阿科技有限公司 | 一种具有混合现实功能的模拟飞行座舱***及其处理方法 |
| CN106708259A (zh) * | 2016-12-01 | 2017-05-24 | 福建网龙计算机网络信息技术有限公司 | 一种vr视频的定位方法及*** |
| CN107368192A (zh) * | 2017-07-18 | 2017-11-21 | 歌尔科技有限公司 | Vr眼镜的实景观测方法及vr眼镜 |
| CN107844191A (zh) * | 2016-09-21 | 2018-03-27 | 北京诺亦腾科技有限公司 | 用于虚拟现实的动作捕捉装置 |
| CN107957774A (zh) * | 2016-10-18 | 2018-04-24 | 阿里巴巴集团控股有限公司 | 虚拟现实空间环境中的交互方法及装置 |
| CN110134222A (zh) * | 2018-02-02 | 2019-08-16 | 上海集鹰科技有限公司 | 一种vr头显定位瞄准***及其定位瞄准方法 |
| CN110515452A (zh) * | 2018-05-22 | 2019-11-29 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
| CN110657796A (zh) * | 2018-06-29 | 2020-01-07 | 深圳市掌网科技股份有限公司 | 一种虚拟现实辅助定位装置和方法 |
| US10665019B2 (en) | 2016-03-24 | 2020-05-26 | Qualcomm Incorporated | Spatial relationships for integration of visual images of physical environment into virtual reality |
| CN111274910A (zh) * | 2020-01-16 | 2020-06-12 | 腾讯科技（深圳）有限公司 | 场景互动方法、装置及电子设备 |
| CN112656404A (zh) * | 2020-12-30 | 2021-04-16 | 浙江凡聚科技有限公司 | 一种基于图像处理的虚拟现实眩晕程度测量***及方法 |
| CN112773357A (zh) * | 2020-12-30 | 2021-05-11 | 浙江凡聚科技有限公司 | 虚拟现实眩晕程度测量的图像处理方法 |
| US12033241B2 (en) | 2020-01-16 | 2024-07-09 | Tencent Technology (Shenzhen) Company Limited | Scene interaction method and apparatus, electronic device, and computer storage medium |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1514239A (zh) * | 2003-07-23 | 2004-07-21 | 西安交通大学 | 一种气体传感器漂移抑制的方法 |
| CN101805050A (zh) * | 2010-03-17 | 2010-08-18 | 上海大学 | 通过在线预测絮凝水沉后浊度来控制混凝剂加注量的方法和*** |
| CN102591449A (zh) * | 2010-10-27 | 2012-07-18 | 微软公司 | 虚拟内容和现实内容的低等待时间的融合 |
| CN202468160U (zh) * | 2012-03-23 | 2012-10-03 | 黑龙江瑞好科技集团有限公司 | 3mw风力发电机组智能调控装置 |
| CN102789313A (zh) * | 2012-03-19 | 2012-11-21 | 乾行讯科（北京）科技有限公司 | 一种用户交互***和方法 |
| CN103402106A (zh) * | 2013-07-25 | 2013-11-20 | 青岛海信电器股份有限公司 | 三维图像显示方法及装置 |
| CN103575770A (zh) * | 2012-07-26 | 2014-02-12 | 森斯瑞股份公司 | 用于操作便携式电子装置的方法 |
| CN104076513A (zh) * | 2013-03-26 | 2014-10-01 | 精工爱普生株式会社 | 头戴式显示装置、头戴式显示装置的控制方法、以及显示*** |
| CN104090660A (zh) * | 2014-05-30 | 2014-10-08 | 贺杰 | 一种基于立体视觉的动作采集和反馈方法及*** |
| CN104197987A (zh) * | 2014-09-01 | 2014-12-10 | 北京诺亦腾科技有限公司 | 一种组合式运动捕捉*** |
-
2015
- 2015-01-20 CN CN201510026769.5A patent/CN104536579B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1514239A (zh) * | 2003-07-23 | 2004-07-21 | 西安交通大学 | 一种气体传感器漂移抑制的方法 |
| CN101805050A (zh) * | 2010-03-17 | 2010-08-18 | 上海大学 | 通过在线预测絮凝水沉后浊度来控制混凝剂加注量的方法和*** |
| CN102591449A (zh) * | 2010-10-27 | 2012-07-18 | 微软公司 | 虚拟内容和现实内容的低等待时间的融合 |
| CN102789313A (zh) * | 2012-03-19 | 2012-11-21 | 乾行讯科（北京）科技有限公司 | 一种用户交互***和方法 |
| CN202468160U (zh) * | 2012-03-23 | 2012-10-03 | 黑龙江瑞好科技集团有限公司 | 3mw风力发电机组智能调控装置 |
| CN103575770A (zh) * | 2012-07-26 | 2014-02-12 | 森斯瑞股份公司 | 用于操作便携式电子装置的方法 |
| CN104076513A (zh) * | 2013-03-26 | 2014-10-01 | 精工爱普生株式会社 | 头戴式显示装置、头戴式显示装置的控制方法、以及显示*** |
| CN103402106A (zh) * | 2013-07-25 | 2013-11-20 | 青岛海信电器股份有限公司 | 三维图像显示方法及装置 |
| CN104090660A (zh) * | 2014-05-30 | 2014-10-08 | 贺杰 | 一种基于立体视觉的动作采集和反馈方法及*** |
| CN104197987A (zh) * | 2014-09-01 | 2014-12-10 | 北京诺亦腾科技有限公司 | 一种组合式运动捕捉*** |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106157731A (zh) * | 2015-04-07 | 2016-11-23 | 深圳威阿科技有限公司 | 一种具有混合现实功能的模拟飞行座舱***及其处理方法 |
| CN106157731B (zh) * | 2015-04-07 | 2018-09-18 | 深圳威阿科技有限公司 | 一种具有混合现实功能的模拟飞行座舱***及其处理方法 |
| CN104867175A (zh) * | 2015-06-02 | 2015-08-26 | 孟君乐 | 一种虚拟效果图实景展示装置及其实现方法 |
| CN105094335B (zh) * | 2015-08-04 | 2019-05-10 | 天津锋时互动科技有限公司 | 场景提取方法、物体定位方法及其*** |
| CN105094335A (zh) * | 2015-08-04 | 2015-11-25 | 天津锋时互动科技有限公司 | 场景提取方法、物体定位方法及其*** |
| CN105812708A (zh) * | 2016-03-18 | 2016-07-27 | 严俊涛 | 视频通话方法及*** |
| US10665019B2 (en) | 2016-03-24 | 2020-05-26 | Qualcomm Incorporated | Spatial relationships for integration of visual images of physical environment into virtual reality |
| CN105929958A (zh) * | 2016-04-26 | 2016-09-07 | 华为技术有限公司 | 一种手势识别方法，装置和头戴式可视设备 |
| CN105929958B (zh) * | 2016-04-26 | 2019-03-01 | 华为技术有限公司 | 一种手势识别方法，装置和头戴式可视设备 |
| CN106020449B (zh) * | 2016-05-06 | 2019-12-03 | Oppo广东移动通信有限公司 | 一种虚拟现实的交互方法及装置 |
| CN106020449A (zh) * | 2016-05-06 | 2016-10-12 | 广东欧珀移动通信有限公司 | 一种虚拟现实的交互方法及装置 |
| CN106066701A (zh) * | 2016-07-05 | 2016-11-02 | 成都福兰特电子技术股份有限公司 | 一种ar和vr数据处理设备与方法 |
| CN106066701B (zh) * | 2016-07-05 | 2019-07-26 | 上海智旭商务咨询有限公司 | 一种ar和vr数据处理设备与方法 |
| CN106028001A (zh) * | 2016-07-20 | 2016-10-12 | 上海乐相科技有限公司 | 一种光学定位方法及装置 |
| CN107844191A (zh) * | 2016-09-21 | 2018-03-27 | 北京诺亦腾科技有限公司 | 用于虚拟现实的动作捕捉装置 |
| CN107957774A (zh) * | 2016-10-18 | 2018-04-24 | 阿里巴巴集团控股有限公司 | 虚拟现实空间环境中的交互方法及装置 |
| CN106708259A (zh) * | 2016-12-01 | 2017-05-24 | 福建网龙计算机网络信息技术有限公司 | 一种vr视频的定位方法及*** |
| CN106708259B (zh) * | 2016-12-01 | 2019-06-25 | 福建网龙计算机网络信息技术有限公司 | 一种vr视频的定位方法及*** |
| CN107368192A (zh) * | 2017-07-18 | 2017-11-21 | 歌尔科技有限公司 | Vr眼镜的实景观测方法及vr眼镜 |
| CN110134222A (zh) * | 2018-02-02 | 2019-08-16 | 上海集鹰科技有限公司 | 一种vr头显定位瞄准***及其定位瞄准方法 |
| CN110515452A (zh) * | 2018-05-22 | 2019-11-29 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
| CN110515452B (zh) * | 2018-05-22 | 2022-02-22 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
| CN110657796A (zh) * | 2018-06-29 | 2020-01-07 | 深圳市掌网科技股份有限公司 | 一种虚拟现实辅助定位装置和方法 |
| CN110657796B (zh) * | 2018-06-29 | 2022-12-27 | 深圳市掌网科技股份有限公司 | 一种虚拟现实辅助定位装置和方法 |
| CN111274910A (zh) * | 2020-01-16 | 2020-06-12 | 腾讯科技（深圳）有限公司 | 场景互动方法、装置及电子设备 |
| WO2021143315A1 (zh) * | 2020-01-16 | 2021-07-22 | 腾讯科技（深圳）有限公司 | 场景互动方法、装置、电子设备及计算机存储介质 |
| CN111274910B (zh) * | 2020-01-16 | 2024-01-30 | 腾讯科技（深圳）有限公司 | 场景互动方法、装置及电子设备 |
| US12033241B2 (en) | 2020-01-16 | 2024-07-09 | Tencent Technology (Shenzhen) Company Limited | Scene interaction method and apparatus, electronic device, and computer storage medium |
| CN112656404A (zh) * | 2020-12-30 | 2021-04-16 | 浙江凡聚科技有限公司 | 一种基于图像处理的虚拟现实眩晕程度测量***及方法 |
| CN112773357A (zh) * | 2020-12-30 | 2021-05-11 | 浙江凡聚科技有限公司 | 虚拟现实眩晕程度测量的图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104536579B (zh) | 2018-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104536579B (zh) | 交互式三维实景与数字图像高速融合处理***及处理方法 | |
| CN113168007B (zh) | 用于增强现实的***和方法 | |
| US10643394B2 (en) | Augmented reality | |
| CN106873778B (zh) | 一种应用的运行控制方法、装置和虚拟现实设备 | |
| US11024083B2 (en) | Server, user terminal device, and control method therefor | |
| EP3070680B1 (en) | Image-generating device and method | |
| JP7095602B2 (ja) | 情報処理装置、情報処理方法及び記録媒体 | |
| US10999412B2 (en) | Sharing mediated reality content | |
| CN105393158A (zh) | 共享的和私有的全息物体 | |
| CN108983982B (zh) | Ar头显设备与终端设备组合*** | |
| CN114730094A (zh) | 具有人工现实内容的变焦显示的人工现实*** | |
| CN109840946B (zh) | 虚拟对象显示方法及装置 | |
| CN108830944B (zh) | 光学透视式三维近眼显示***及显示方法 | |
| EP2583131B1 (en) | Personal viewing devices | |
| EP3991142A1 (en) | Fast hand meshing for dynamic occlusion | |
| US10296098B2 (en) | Input/output device, input/output program, and input/output method | |
| JP7405083B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN111047713A (zh) | 一种基于多目视觉定位的增强现实交互*** | |
| WO2022176450A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN112034980B (zh) | 一种家庭vr影院*** | |
| CN114020150A (zh) | 图像显示方法、装置、电子设备及介质 | |
| RU2695053C1 (ru) | Способ и устройство для управления трехмерными объектами в виртуальном пространстве | |
| EP4206867A1 (en) | Peripheral tracking system and method | |
| WO2020244576A1 (zh) | 基于光通信装置叠加虚拟对象的方法和相应的电子设备 | |
| CN109313823A (zh) | 信息处理装置、信息处理方法和程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20151229 Address after: 518102 Guangdong city of Shenzhen province Baoan District Xixiang Street Silver Road No. 4 Baoan Chi Technology Park building C room 511-512-513 Applicant after: Shenzhen Wei A Science and Technology Ltd. Address before: 100125 No. 7, West Park, Chaoyang Park, Beijing, Chaoyang District 25802, China Applicant before: Liu Wanping |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Interactive high speed fusion processing system of 3D real scene and digital image and its processing method Effective date of registration: 20210420 Granted publication date: 20180727 Pledgee: Bank of Jiangsu Limited by Share Ltd. Shenzhen branch Pledgor: SHENZHEN WEIA TECHNOLOGY Co.,Ltd. Registration number: Y2021440020019 |