CN117475115B - 虚实融合环境中路径引导***的工作方法 - Google Patents
虚实融合环境中路径引导***的工作方法 Download PDFInfo
- Publication number
- CN117475115B CN117475115B CN202311497689.9A CN202311497689A CN117475115B CN 117475115 B CN117475115 B CN 117475115B CN 202311497689 A CN202311497689 A CN 202311497689A CN 117475115 B CN117475115 B CN 117475115B
- Authority
- CN
- China
- Prior art keywords
- user
- algorithm
- sight
- path
- teaching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000004927 fusion Effects 0.000 title claims abstract description 25
- 230000033001 locomotion Effects 0.000 claims description 38
- 239000013598 vector Substances 0.000 claims description 25
- 238000005457 optimization Methods 0.000 claims description 16
- 230000003068 static effect Effects 0.000 claims description 16
- 210000003128 head Anatomy 0.000 claims description 15
- 241001310793 Podium Species 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 10
- 230000004888 barrier function Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 230000036544 posture Effects 0.000 claims description 7
- 210000001747 pupil Anatomy 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 239000002245 particle Substances 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000010845 search algorithm Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000033764 rhythmic process Effects 0.000 claims description 4
- 238000012706 support-vector machine Methods 0.000 claims description 4
- 210000004087 cornea Anatomy 0.000 claims description 3
- 210000000744 eyelid Anatomy 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 210000000554 iris Anatomy 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000003042 antagnostic effect Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims description 2
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 238000003708 edge detection Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 230000005021 gait Effects 0.000 claims description 2
- 239000002932 luster Substances 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 210000004279 orbit Anatomy 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 230000002787 reinforcement Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 230000001105 regulatory effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明属于虚拟现实的教学应用领域，提供一种虚实融合环境中路径引导***的工作方法，包括教学场景创设、用户空间定位、用户视线追踪、行进方向估算、障碍物识别、预测路径优化和引导提示生成。本发明实现虚实融合空间中用户定位，根据用户视场范围，估算空间航向以及预测的动态障碍物轨迹，规划行径路径，并由引导提示，引导用户在阶梯教室教学空间中的路径。本发明能够聚合物理‑虚拟‑社会三元空间信息，有助于提高教育教学的效果。
Description
技术领域
本发明属于虚拟现实的教学应用领域，更具体地，涉及虚实融合环境中路径引导***的工作方法。
背景技术
以ChatGPT为代表的人工智能通用大模型的广泛应用，生成式人工智能(AIGC)正快速渗透到教育领域的各个环节，其应用广度和深度将超过以往的程度。在虚实融合的教学场景中，路径引导技术能够帮助用户在真实环境中实现虚拟世界中定位、导航和避障，以更加轻松、高效的方式到达目的地或完成特定教学任务。根据用户的空间位置和视场范围，AIGC可以提供智能避障、路径规划、路径优化以及实时导航等功能。虚实融合环境可汇聚物理—虚拟—社会三元空间信息，将会创造出一批新的教育应用形式和内容，塑造未来教育发展的新优势。如虚实融合环境下的路径引导可辅助感知能力较弱的师生用户，在场景元素较为复杂的教学环境中有效预测方向和规划行进路径。因此，AIGC技术在虚实融合的教学环境中应用，能够丰富教学手段，有助于提高数字化转型大背景下教育教学的效果，具有广泛的应用价值。
当前虚实融合环境中路径引导还存在诸多的问题：(1)行进方向估算受多路径效应影响：当前方向估算主要依据场景元素的感应区域，而在布局紧密的教学空间中感应区域会相互干扰，导致用户难以准确预测行进方向；(2)路径规划未考虑特殊约束：传统路径规划通常只考虑静态障碍物，未考虑动态障碍物、地形环境以及其它师生用户位置的约束，生成的行进路径往往不符合用户的期望；(3)路径引导信息的过载：为了让用户更积极地参与教学活动，在虚实融合环境中常常提供大量的路径引导信息，包括繁琐的语音提示、复杂的图像呈现等，然而过量的引导信息会增加用户的认知负荷，导致用户产生空间的“信息迷航”。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种虚实融合环境中路径引导***的工作方法，为新型数字化教学提供一种智能、***的交互方法。
本发明的目的是通过以下技术措施实现的。
本发明提供一种虚实融合环境中路径引导***，包括：
教学场景创设模块，用于拍摄多目图像，重建三维教学场景，布设和调整各个场景元素的参数；
用户空间定位模块，用于采集模型的点云坐标，生成教学空间的三维地图，确定用户的空间位置；
用户视线追踪模块，用于追踪用户的头部变化，更新视场内的信息，推断用户的视线方向，确定视线注视点；
行进方向估算模块，用于计算视线向量和注意线段之间的交点，推断用户在视场内可行进的方向；
障碍物识别模块，用于区分动态和静态障碍物，预测动态障碍物的运动轨迹，在2D鹰眼图上标记障碍物图标；
预测路径优化模块，用于预测可行走的候选路径，将阶梯教室的三维地图网格化，修正绕行、冗余、重复和非连续路径；
引导提示生成模块，用于将文本线索转换为导航指令，依据用户的视线方向，更新虚拟罗盘的指针方向。
本发明还提供一种上述的虚实融合环境中路径引导***的工作方法，包括以下步骤：
(1)教学场景创设，运用多目摄像机沿着阶梯教室的走道台阶，拍摄阶梯教室的高清图像；使用多视图立体重建算法生成教学场景中墙壁、讲台、台阶、交互式电子白板和桌椅元素；在阶梯平面位置完成桌椅的布局，使用共轭梯度算法调整阶梯教室中各个场景元素的位置、朝向和姿态；
(2)用户空间定位，依据用户移动的位移和方向，结合移动前后位置点云数据的差值，确定各个模型的点云3D坐标，生成教学空间的实时三维地图；使用前方交会算法估算用户在三维地图中位置坐标；运用正射投影法生成教学空间的2D鸟瞰视图，使用不同的点、线、面符号表示教学空间中桌椅、讲台和走道；
(3)用户视线追踪，采用头部追踪算法实时检测用户的位置和姿态参数变化，更新该用户视场范围内障碍物、通行动线、其它师生用户的位置和姿态；使用卷积神经网络算法提取用户眼部区域图像的结构特征，推断用户的视线方向；采用视觉搜索算法确定用户的视线注视点坐标，并确定注视点所在区域为兴趣区域；
(4)行进方向估算，使用最小二乘拟合算法分析面片集合，提取各个近似三角面片的重心坐标，连接各个重心生成注视线段；根据用户的瞳孔位置和视线方向获得视线向量，使用参数化方程表示注视对象线段，运用数值法计算向量与参数化方程之间的相交点；采用航向估计算法推断用户在视场范围内可行进的方向；
(5)障碍物识别，将墙壁、讲台、桌椅和其它用户视作用户行进路线上的障碍物，采用卷积神经网络算法区分动态和静态障碍物；使用基于粒子群优化的启发式算法预测动态障碍物的运动轨迹；采用最近邻采样算法缩放障碍物图标的栅格图像，并标记到鹰眼图；
(6)预测路径优化，以用户所在当前位置作为起点，结合阶梯教室中三维地图的特征信息、静态障碍物和其它师生用户的位置，采用路径规划算法预测可行走的候选路径；根据用户的平均步长，在水平面上将阶梯教室的三维地图划分为正方形格网；使用双三次插值算法修正绕行、冗余、重复和非连续路径；
(7)引导提示生成，使用生成对抗网络算法生成上台阶、下台阶、直行、左转向和右转向的文本线索；使用词频-逆文档频率算法转换文本线索为导航指令，依次采用声学特征生成网络和声码器，将特征映射为语音信号；依据用户视线方向估计结果，更新虚拟罗盘的指针方向。
本发明的有益效果在于：
采用计算机视觉和深度学习技术生成教学空间三维地图，根据用户视场范围，推断该用户视线并定位空间视线，将注视对象线段化，检测用户视线与线段化的注视对象之间的交点，进而估计行进方向，根据教学空间中的静态和动态障碍物，以及预测的动态障碍物轨迹，规划为用户的行径路径，并由文本线索、语音导航以及罗盘指向提示，引导用户在教学空间中行进。本发明相较于现有技术，能够根据用户视场信息，实现更为精确的行进方向预测，并结合动态障碍物的运动轨迹，以此实现更符合用户期望的行进路径，削减繁琐、复杂的路径引导信息，提高用户在复杂环境中的空间认知能力和自主探索能力，从而实现高效的教学活动。
附图说明
图1是本发明实施例中虚实融合环境中路径引导***架构图。
图2是本发明实施例中教学场景3D模型示意图。
图3是本发明实施例中阶梯教室场景元素布设示意图。
图4是本发明实施例中用户空间在阶梯教室的定位示意图，401-前墙面的光源，402-后墙面的光源，403-左墙面的光源，404-右墙面的光源，405-顶部墙面的光源，406-用户所在位置。
图5是本发明实施例中阶梯教室的2D鸟瞰视示意图，501-教室讲台，502-教室桌椅，503-用户的注视区域，504-用户的空间位置，505-范围指示器。
图6是本发明实施例中卷积神经网络架构图，601-眼部区域图像，602-卷积核为9的卷积神经网络层，603-最大池化层，604-卷积核为7的卷积神经网络层，605-平均池化层，606-全连接层，607-正前方视线方向，608-上方视线防线，609-下方视线方向，610-左方视线方向，611-右方视线方向，612-斜上方视线方向，613-斜下方视线方向。
图7是本发明实施例中用户视场范围内虚拟对象的注视线段示意图。
图8是本发明实施例中三维罗盘示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本实施例提供一种虚实融合环境中路径引导***包括教学场景创设模块、用户空间定位模块、用户视线追踪模块、行进方向估算模块、障碍物识别模块、预测路径优化模块和引导提示生成模块。
上述虚实融合环境中路径引导***的工作方法，包括以下步骤：
(1)教学场景创设。运用多目摄像机沿着阶梯教室的走道台阶，拍摄阶梯教室的高清图像；使用多视图立体重建算法生成教学场景中墙壁、讲台、台阶、交互式电子白板和桌椅元素；在阶梯的平面位置完成桌椅布局，使用共轭梯度算法调整阶梯教室中各个场景元素的位置、朝向和姿态。
(1-1)教学场景的多目图像采集。统一设置多目摄像头的曝光时间和快门速度，沿着阶梯教室的走道台阶，运用多目摄像机拍摄阶梯教室的高清图像，使用多视图几何算法估计高清图像的相机姿态，按照相机姿态将高清图像划分为基本、局部、斜视、旋转和时序视图。
(1-2)场景模型生成。根据多视图图像之间的平行视角、重叠视角和时空关系，使用多视图立体重建算法生成教学场景中墙壁、讲台、台阶、交互式电子白板和桌椅元素，采用高斯滤波器组获取图像中模型的方向性、细节、颜色、光泽和结构纹理信息，并运用纹理映射算法将纹理信息映射到3D模型，生成如图2所示的场景模型。
(1-3)场景元素布设，如图3所示。运用高程差值算法计算视图图像中阶梯教室的高程和坡向参数，确定各个阶梯的高度、宽度和长度，并在阶梯的平面位置完成桌椅的布局，在教室前端区域分布放置讲台和交互式电子白板，使用共轭梯度算法调整阶梯教室中各个场景元素的位置、朝向和姿态。调整阶梯教室场景元素的具体步骤：
I：初始化场景元素的位置、朝向和姿态为p、o和t；
II：使用公式1构造目标函数：
其中，p'、o'和t'分别表示场景元素调整后的位置、朝向和姿态；
III：梯度计算如公式2所示：
Ⅳ：使用公式3更新场景元素的位置、朝向和姿态：
其中，α为搜索步长。
(2)用户空间定位。依据用户移动的位移和方向，结合移动前后位置点云数据的差值，确定各个模型的点云3D坐标，生成教学空间的实时三维地图；使用前方交会算法估算用户在三维地图中位置坐标；运用正射投影法生成教学空间的2D鸟瞰视图，使用不同的点、线、面符号表示教学空间中桌椅、讲台和走道。
(2-1)教学空间三维地图生成。用户佩戴头显在教学空间中移动时，头显内置超宽带通信(UWB)传感器扫描教学场景，根据接受的反射波长推断用户身前教学场景中各模型的布局，依据用户移动的位移和方向，结合移动前后位置点云数据的差值，确定各个模型的点云3D坐标，生成教学空间的实时三维地图。
(2-2)用户位置确定，如图4所示。在阶梯教室的前、后、左、右、顶部墙面安装非共面光源，将用户作为目标对象，使用光敏传感器捕捉目标对象接收入射光角度信息，采用球坐标系表示教学空间的位置和方向，运用前方交会算法，依据用户与各个光源之间的角度信息，估算用户在三维地图中位置坐标。估算用户位置坐标具体步骤：
I：将如图4所示阶梯教室前、后、左、右、顶部墙面的光源分别定义为A、B、C、D和E，五个点呈非共面形态，获取光源的空间位置坐标为(XA,YA,ZA)、(XB,YB,ZB)、(XC,YC,ZC)、(XD,YD,ZD)和(XE,YE,ZE)；
II：使用公式4计算出每个光源对应的像点坐标向量mA、mB、mC、mD和mE：
其中，K、R和T分别为相机内参数矩阵、相机的旋转矩阵和平移向量，(Xi,Yi,Zi)表示光源i＝{A,B,C,D,E}在阶梯教室中空间位置坐标；
III：运用公式5计算每个光源的视线向量和/>
Ⅳ：前方交会点的空间坐标计算如公式6所示：
其中，Pi表示光源i对应的前方交会点的空间坐标，O表示相机光心在世界坐标系中坐标；
Ⅴ：使用公式7估计用户位置坐标：
其中，表示光源j,k＝{A,B,C,D,E},且j≠k的连线向量；
Ⅵ：获取用户当前空间位置坐标为(Xu,Yu,Zu)。
(2-3)鹰眼地图生成。使用正射投影法生成如图5所示的教学空间的2D鸟瞰视图，使用不同的点、线、面符号表示教学空间中桌椅、讲台和走道，在鹰眼地图上使用黄色圆圈标注用户的空间位置，使用白色圆锥面表示用户的视线区域，根据用户位置和视线的变化，刷新圆圈和圆锥面的位置。
(3)用户视线追踪。采用头部追踪算法实时检测用户的位置和姿态参数变化，更新该用户视场范围内障碍物、通行动线、其它师生用户的位置和姿态；使用卷积神经网络算法提取用户眼部区域图像的结构特征，推断用户的视线方向；采用视觉搜索算法确定用户的视线注视点坐标，并确定注视点所在区域为兴趣区域。
(3-1)视觉信息采集。根据用户的头部姿态和视线方向，运用用户界面自适应算法获得用户视野的范围，采用头部追踪算法实时检测用户的位置和姿态参数变化，实时识别行进路线上阶梯，更新该用户视场范围内障碍物、通行动线、其它师生用户的位置和姿态。
(3-2)用户视线推断。运用头显内置的摄像头追踪用户行进过程中的视线变化，使用基于局部运动估计的防抖算法消除图像的运动模糊，采用目标检测算法识别图像的眼部区域，使用如图6所示的卷积神经网络算法提取眼部区域的瞳孔、虹膜、角膜、眼睑和眼眶特征，推断用户的视线方向。推断用户视线方向具体步骤：
I：定义用户视线方向为正前方、上方、下方、左方、右方、斜上方和斜下方，并表示为y0、y1、y2、y3、y4、y5和y6；
II：按照从上到下获取眼部区域图像X＝[xi,j]，其中xij表示图像第i＝{0,1,2,...,n-1}行和第j＝{0,1,2,...,m-1}列的像素点；
III：运用公式8提取眼部区域的瞳孔、虹膜、角膜、眼睑和眼眶眼睛特征向量：
其中，Ol为特征向量中的第l＝{0,1,2,3,4,5,6}个元素值，xl-i,l-j表示输入图像的第l-i行、第l-j列的像素值，ai,j表示卷积核的第i行、第j列的权重值，b表示偏置；
Ⅳ：使用公式9推断用户视线方向类别的概率值：
Ⅴ：排序视线方向类别概率值为P(y0),P(y1),P(y5),P(y3),P(y6),P(y2)和P(y4)，估计用户视线方向为正前方。
(3-3)空间视线定位。运用支持向量机算法计算视线方向、焦点距离和视线轨迹属性，采用视觉搜索算法确定用户的视线注视点坐标，使用变换矩阵将用户视线注意力映射到教学空间，根据用户视场范围将教学空间划分为不同区域，并确定注视点所在区域为兴趣区域。
(4)行进方向估算。使用最小二乘拟合算法分析面片集合，提取各个近似三角面片的重心坐标，连接各个重心生成注视线段；根据用户的瞳孔位置和视线方向获得视线向量，使用参数化方程表示注视对象线段，运用数值法计算向量与参数化方程之间的相交点；采用航向估计算法推断用户在视场范围内可行进的方向。
(4-1)注视对象的线段化生成。提取用户视场范围内的点云数据，使用虚拟对象查找算法确定点云数据中用户注视对象的名称，运用网格化操作处理对象点云，生成各个对象的三角形网格面片集合，使用最小二乘拟合算法分析面片集合，提取各个近似三角面片的重心坐标，连接各个重心生成如图7所示的注视线段。注视线段生成具体步骤：
I：获取第i＝{1,2,3,...,n}个近似三角面片的顶点坐标为(xi1,yi1,zi1),(xi2,yi2,zi2),(xi3,yi3,zi3)；
II：使用公式10计算第i个三角形网格面片的法向量：
其中，(a,b,c)为平面的法向量；
III：运用公式11计算三角形平面的重心坐标：
Ⅳ：按照步骤III，获取两个相邻的第i和j个三角形面片的重心坐标分别为(xic,yic,zic)和(xjc,yjc,zjc)；
Ⅴ：连接重心坐标，获取如公式12所示的注视线段：
(4-2)视线与线段相交检测。将用户视线的起点和方向表示为空间向量，使用参数化方程表示注视对象线段，运用数值法计算向量与参数化方程之间的相交点，若有相交点，则表示前方有障碍对象，用户无法沿着视线方向行进；否则就可以沿着视线方向行进。
(4-3)方向估计。使用步态检测和步长估计算法实时采集用户在阶梯和平面上行进速度、加速度和方向运动状态，根据视线与线段相交的检测结果，使用航向估计算法推断用户在视场范围内可行进的方向，若用户的视场范围发生变化，则为重新估计新的、可行进的候选路线。
(5)障碍物识别。将墙壁、讲台、桌椅和其它用户视作用户行进路线上的障碍物，采用卷积神经网络算法区分动态和静态障碍物；使用基于粒子群优化的启发式算法预测动态障碍物的运动轨迹；采用最近邻采样算法缩放障碍物图标的栅格图像，并标记到鹰眼图。
(5-1)障碍物分类。根据教学空间三维地图上各场景元素类型，将墙壁、讲台、桌椅和其它用户元素视作用户行进路线上的障碍物，采用边缘检测和轮廓提取算法获取各个障碍物轮廓形状，采用卷积神经网络算法实现动态和静态障碍物的分类，使用运动模型检测算法实时获取动态障碍物的运动方向、速度和加速度属性。
(5-2)动态障碍物轨迹预测。按照动态障碍物的运动状态，构建匀速运动和均加速运动模型，使用基于粒子群优化的启发式算法预测动态障碍物的运动轨迹，运用拟牛顿算法调整曲率、挠率和光滑度轨迹参数，平滑动态障碍物的运动轨迹，获取轨迹的空间位置坐标序列。
(5-3)障碍物标记。根据障碍物的轮廓形状，采用红色填充障碍物的轮廓，将生成的填充图像作为该障碍物的符号，使用最近邻采样算法缩放图标，并将该图标标记到与鹰眼图等比例的栅格图像上，运用高亮的蓝色虚线线段表示动态障碍物的运动轨迹预测结果。
(6)预测路径优化。以用户所在当前位置作为起点，结合阶梯教室中三维地图的特征信息、静态障碍物和其它师生用户位置，采用路径规划算法预测可行走的候选路径；根据用户的平均步长，在水平面上将阶梯教室的三维地图划分为正方形格网；使用双三次插值算法修正绕行、冗余、重复和非连续路径。
(6-1)路径预测。使用高程差值算法实时计算用户视域范围内阶梯教室中各台阶的高度、宽度和长度信息，根据用户在鹰眼图上设置的终点位置，以用户所在当前位置作为起点，结合阶梯教室中三维地图的特征信息、静态障碍物和其它师生用户的位置，采用路径规划算法预测可行走的候选路径。
(6-2)路径的网格化剖分。根据用户的平均步长，在水平面上将阶梯教室的三维地图划分为正方形格网，并将动态和静态障碍物所投影到的格网设置为不可通行标记，计算格网中心点，将所有候选路径与中心点的交点构建成新的离散点集，根据相邻两点经过的网格单元是否被障碍物占据，筛选路径是否可通行。计算格网中心点的具体步骤：
I：使用公式13计算格网的数量：
其中，表示向上取整函数，L为S分别为候选路径长度和格网面积；
II：计算候选路径上格网的位置坐标如公式14所示：
xi，yi，zi＝x0+i·S·cos(θ)，y0+i·S·sin(θ)，z0+i·S·tan(θ) (公式14)
其中，(xi,yi,zi)表示第i＝{1,2,3,...,n}个网格的空间坐标，(x0,y0,z0)和θ分别表示路径线段的起点坐标和方向角度；
III：运用公式15计算第i个格网中心点坐标：
(6-3)路径优化。剔除存在不可通行网格单元的候选路径，采用支持向量机算法计算路径的评估值，获取评估值最小的路径，使用双三次插值算法修正绕行、冗余、重复和非连续路径，并运用基于值函数的增强学***滑修正后的候选路径。
(7)引导提示生成。使用生成对抗网络算法生成上台阶、下台阶、直行、左转向和右转向的文本线索；使用词频-逆文档频率算法转换文本线索为导航指令，依次采用声学特征生成网络和声码器，将特征映射为语音信号；依据用户视线方向估计结果，更新虚拟罗盘的指针方向。
(7-1)文本线索生成。将路径离散点集作为输入序列，使用序列转换模型，结合注意力机制，生成各个路径点的位置编码，运用双向循环神经网络算法提取位置编码中的位置、距离和方向特征，使用生成对抗网络算法生成上台阶、下台阶、直行、左转向和右转向的文本线索。文本线索生成具体步骤：
I：定义位置编码中的位置、距离和方向特征为xloc、xdis和xdir；
II：拼接特征作为输入特征向量X＝{xloc,xdis,xdir}；
III：使用公式16计算噪声向量：
z＝g(WX+b) (公式16)
其中，W和b分别为权重和阈值，g表示归一化指数函数；
Ⅳ：运用公式17计算词向量：
V＝f((Win+Wres+Wback)z) (公式17)
其中，Win、Wres和Wback分别为输入连接权值、内部连接权值和反馈连接权值，f为状态激活函数；
Ⅴ：使用公式18转换词向量为上台阶、下台阶、直行、左转向和右转向词项：
word＝v2w(V) (公式18)
其中，w2v为预训练word2vec逆词向量矩阵。
(7-2)声音路径引导。使用词频-逆文档频率算法转换文本线索为导航指令，运用语音合成算法为指令添加节奏、拍子、旋律、和声、音色、韵律和声调语音特征，依次采用声学特征生成网络和声码器，实现滤波、降噪和增益操作处理，将特征映射为语音信号。
(7-3)视觉路径引导。使用如图8所示的虚拟罗盘，应用淡蓝色表示罗盘指针，依据用户视线方向估计结果，结合所在阶梯教室的空间位置，更新虚拟罗盘的指针方向，如果用户视线发生变化，可实时更新指针角度。
本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进，均应包含在本发明的保护范围之内。
Claims (6)
1.虚实融合环境中路径引导***的工作方法，其特征在于：所述虚实融合环境中路径引导***包括教学场景创设模块、用户空间定位模块、用户视线追踪模块、行进方向估算模块、障碍物识别模块、预测路径优化模块和引导提示生成模块；
所述教学场景创设模块，用于拍摄多目图像，重建三维教学场景，布设和调整各个场景元素的参数；
所述用户空间定位模块，用于采集模型的点云坐标，生成教学空间的三维地图，确定用户的空间位置；
所述用户视线追踪模块，用于追踪用户的头部变化，更新视场内的信息，推断用户的视线方向，确定视线注视点；
所述行进方向估算模块，用于计算视线向量和注意线段之间的交点，推断用户在视场内可行进的方向；
所述障碍物识别模块，用于区分动态和静态障碍物，预测动态障碍物的运动轨迹，在2D鹰眼图上标记障碍物图标；
所述预测路径优化模块，用于预测可行走的候选路径，将阶梯教室的三维地图网格化，修正绕行、冗余、重复和非连续路径；
所述引导提示生成模块，用于将文本线索转换为导航指令，依据用户的视线方向，更新虚拟罗盘的指针方向；
所述虚实融合环境中路径引导***的工作方法包括以下步骤：
(1)教学场景创设，运用多目摄像机沿着阶梯教室的走道台阶，拍摄阶梯教室的高清图像；使用多视图立体重建算法生成教学场景中墙壁、讲台、台阶、交互式电子白板和桌椅元素；在阶梯平面位置完成桌椅的布局，使用共轭梯度算法调整阶梯教室中各个场景元素的位置、朝向和姿态；
(2)用户空间定位，依据用户移动的位移和方向，结合移动前后位置点云数据的差值，确定各个模型的点云3D坐标，生成教学空间的实时三维地图；使用前方交会算法估算用户在三维地图中位置坐标；运用正射投影法生成教学空间的2D鸟瞰视图，使用不同的点、线、面符号表示教学空间中桌椅、讲台和走道；
(3)用户视线追踪，采用头部追踪算法实时检测用户的位置和姿态参数变化，更新该用户视场范围内障碍物、通行动线、其它师生用户的位置和姿态；使用卷积神经网络算法提取用户眼部区域图像的结构特征，推断用户的视线方向；采用视觉搜索算法确定用户的视线注视点坐标，并确定注视点所在区域为兴趣区域；
(4)行进方向估算，使用最小二乘拟合算法分析面片集合，提取各个近似三角面片的重心坐标，连接各个重心生成注视线段；根据用户的瞳孔位置和视线方向获得视线向量，使用参数化方程表示注视对象线段，运用数值法计算向量与参数化方程之间的相交点；采用航向估计算法推断用户在视场范围内可行进的方向；具体包括：
(4-1)注视对象的线段化生成，提取用户视场范围内的点云数据，使用虚拟对象查找算法确定点云数据中用户注视对象的名称，运用网格化操作处理对象点云，生成各个对象的三角形网格面片集合，使用最小二乘拟合算法分析面片集合，提取各个三角面片的重心坐标，连接各个重心生成注视线段；
(4-2)视线与线段相交检测，根据用户的瞳孔位置和视线方向获得视线向量，使用参数化方程表示注视对象线段，运用数值法计算向量与参数化方程之间的相交点，若有相交点，则表示前方有障碍对象，用户无法沿着视线方向行进；否则就可以沿着视线方向行进；
(4-3)方向估计，使用步态检测和步长估计算法实时采集用户在阶梯和平面上行进速度、加速度和方向运动状态，根据视线与线段相交的检测结果，使用航向估计算法推断用户在视场范围内可行进的方向，若用户的视场范围发生变化，则为重新估计新的、可行进的候选路线；
(5)障碍物识别，将墙壁、讲台、桌椅和其它用户视作用户行进路线上的障碍物，采用卷积神经网络算法区分动态和静态障碍物；使用基于粒子群优化的启发式算法预测动态障碍物的运动轨迹；采用最近邻采样算法缩放障碍物图标的栅格图像，并标记到鹰眼图；
(6)预测路径优化，以用户所在当前位置作为起点，结合阶梯教室中三维地图的特征信息、静态障碍物和其它师生用户的位置，采用路径规划算法预测可行走的候选路径；根据用户的平均步长，在水平面上将阶梯教室的三维地图划分为正方形格网；使用双三次插值算法修正绕行、冗余、重复和非连续路径；
(7)引导提示生成，使用生成对抗网络算法生成上台阶、下台阶、直行、左转向和右转向的文本线索；使用词频-逆文档频率算法转换文本线索为导航指令，依次采用声学特征生成网络和声码器，将特征映射为语音信号；依据用户视线方向估计结果，更新虚拟罗盘的指针方向；具体包括：
(7-1)文本线索生成，将路径离散点集作为输入序列，使用序列转换模型，结合注意力机制，生成各个路径点的位置编码，运用双向循环神经网络算法提取位置编码中的位置、距离和方向特征，使用生成对抗网络算法生成上台阶、下台阶、直行、左转向和右转向的文本线索；
(7-2)声音路径引导，使用词频-逆文档频率算法转换文本线索为导航指令，运用语音合成算法为指令添加节奏、拍子、旋律、和声、音色、韵律和声调语音特征，依次采用声学特征生成网络和声码器，实现滤波、降噪和增益操作处理，将特征映射为语音信号；
(7-3)视觉路径引导，使用虚拟罗盘，应用蓝色表示罗盘指针，依据用户视线方向估计结果，结合所在阶梯教室的空间位置，更新虚拟罗盘的指针方向，如果用户视线发生变化，可实时更新指针角度。
2.根据权利要求1所述的虚实融合环境中路径引导***的工作方法，其特征在于步骤(1)中所述教学场景创设具体包括：
(1-1)教学场景的多目图像采集，统一设置多目摄像头的曝光时间和快门速度，沿着阶梯教室的走道台阶，运用多目摄像机拍摄阶梯教室的高清图像，使用多视图几何算法估计高清图像的相机姿态，按照相机姿态将高清图像划分为基本、局部、斜视、旋转和时序视图；(1-2)场景模型生成，根据多视图图像之间的平行视角、重叠视角和时空关系，使用多视图立体重建算法生成教学场景中教室、讲台、台阶、交互式电子白板和桌椅元素，采用高斯滤波器组获取图像中模型的方向性、细节、颜色、光泽和结构纹理信息，并运用纹理映射算法将纹理信息映射到3D模型；
(1-3)场景元素布设，运用高程差值算法计算视图图像中阶梯教室的高程和坡度参数，确定各个阶梯的高度、宽度和长度，并在阶梯的平面位置完成桌椅的布局，在教室前端区域分布放置讲台和交互式电子白板，使用共轭梯度算法调整阶梯教室中各个场景元素的位置、朝向和姿态。
3.根据权利要求1所述的虚实融合环境中路径引导***的工作方法，其特征在于步骤(2)中所述用户空间定位具体包括：
(2-1)教学空间三维地图生成，用户佩戴头显在教学空间中移动时，头显内置超宽带通信传感器扫描教学场景，根据接受的反射波长推断用户身前教学场景中各模型的布局，依据用户移动的位移和方向，结合移动前后点位云数据的差值，确定各个模型的点云3D坐标，生成教学空间的实时三维地图；
(2-2)用户位置确定，在阶梯教室的前、后、左、右、顶部墙面安装非共面光源，将用户作为目标对象，使用光敏传感器捕捉目标对象接收入射光角度信息，采用球坐标系表示教学空间的位置和方向，运用前方交会算法，依据用户与各个光源之间的角度信息，估算用户在三维地图中位置坐标；
(2-3)鹰眼地图生成，使用正射投影法生成教学空间的2D鸟瞰视图，使用不同的点、线、面符号表示教学空间中桌椅、讲台和走道，在鹰眼地图上使用黄色圆圈标注用户的空间位置，使用白色圆锥面表示用户的视线区域，根据用户位置和视线的变化，刷新圆圈和圆锥面的位置。
4.根据权利要求1所述的虚实融合环境中路径引导***的工作方法，其特征在于步骤(3)中所述用户视线追踪具体包括：
(3-1)视觉信息采集，根据用户的头部姿态和视线方向，运用用户界面自适应算法获得用户视野的范围，采用头部追踪算法实时检测用户的位置和姿态参数变化，实时识别行进路线上阶梯，更新该用户视场范围内障碍物、通行动线、其它师生用户的位置和姿态；
(3-2)用户视线推断，运用头显内置的摄像头追踪用户行进过程中的视线变化，使用基于局部运动估计的防抖算法消除图像的运动模糊，采用目标检测算法识别图像的眼部区域，使用卷积神经网络算法提取眼部区域的瞳孔、虹膜、角膜、眼睑和眼眶特征，推断用户的视线方向；
(3-3)空间视线定位，运用支持向量机算法计算视线方向、焦点距离和视线轨迹属性，采用视觉搜索算法确定用户的视线注视点坐标，使用变换矩阵将用户视线注意力映射到教学空间，根据用户视场范围将教学空间划分为不同区域，并确定注视点所在区域为兴趣区域。
5.根据权利要求1所述的虚实融合环境中路径引导***的工作方法，其特征在于步骤(5)中所述障碍物识别具体包括：
(5-1)障碍物分类，根据教学空间三维地图上各场景元素类型，将墙壁、讲台、桌椅和其它用户视作用户行进路线上的障碍物，采用边缘检测和轮廓提取算法获取各个障碍物轮廓形状，采用卷积神经网络算法实现动态和静态障碍物的分类，使用运动模型检测算法实时获取动态障碍物的运动方向、速度和加速度属性；
(5-2)动态障碍物轨迹预测，按照动态障碍物的运动状态，构建匀速运动和均加速运动模型，使用基于粒子群优化的启发式算法预测动态障碍物的运动轨迹，运用拟牛顿算法调整曲率、挠率和光滑度轨迹参数，平滑动态障碍物的运动轨迹，获取轨迹的空间位置坐标序列；(5-3)障碍物标记，根据障碍物的轮廓形状，采用红色填充障碍物，将生成的填充图像作为该障碍物的符号，使用最近邻采样算法缩放图标的栅格图像，并将该图标标记到鹰眼图，运用高亮的蓝色虚线线段表示动态障碍物的运动轨迹预测结果。
6.根据权利要求1所述的虚实融合环境中路径引导***的工作方法，其特征在于步骤(6)中所述预测路径优化具体包括：
(6-1)路径预测，使用高程差值算法实时计算用户视域范围内阶梯教室中各台阶的高度、宽度和长度信息，根据用户在鹰眼图上设置的终点位置，以用户所在当前位置作为起点，结合阶梯教室中三维地图的特征信息、静态障碍物和其它师生用户的位置，采用路径规划算法预测可行走的候选路径；
(6-2)路径的网格化剖分，根据用户的平均步长，在水平面上将阶梯教室的三维地图划分为正方形格网，并将动态和静态障碍物所投影到的格网设置为不可通行标记，计算格网中心点，将所有候选路径与中心点的交点构建成新的离散点集，根据相邻两点经过的网格单元是否被障碍物占据，筛选路径是否可通行；
(6-3)路径优化，剔除存在不可通行网格单元的候选路径，采用支持向量机算法计算路径的评估值，获取评估值最小的路径，使用双三次插值算法修正绕行、冗余、重复和非连续路径，并运用基于值函数的增强学***滑修正后的候选路径。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311497689.9A CN117475115B (zh) | 2023-11-11 | 2023-11-11 | 虚实融合环境中路径引导***的工作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311497689.9A CN117475115B (zh) | 2023-11-11 | 2023-11-11 | 虚实融合环境中路径引导***的工作方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117475115A CN117475115A (zh) | 2024-01-30 |
| CN117475115B true CN117475115B (zh) | 2024-06-21 |
Family
ID=89634575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311497689.9A Active CN117475115B (zh) | 2023-11-11 | 2023-11-11 | 虚实融合环境中路径引导***的工作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117475115B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116678394A (zh) * | 2023-05-10 | 2023-09-01 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 基于多传感器信息融合实时动态智能路径规划方法及*** |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RO123627B1 (ro) * | 2006-07-11 | 2015-01-30 | Vistrian Mătieş | Laborator portabil, pentru educaţie mecatronică |
| US8705892B2 (en) * | 2010-10-26 | 2014-04-22 | 3Ditize Sl | Generating three-dimensional virtual tours from two-dimensional images |
| US10353532B1 (en) * | 2014-12-18 | 2019-07-16 | Leap Motion, Inc. | User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments |
| CN108073432B (zh) * | 2016-11-07 | 2020-12-22 | 亮风台（上海）信息科技有限公司 | 一种头戴式显示设备的用户界面显示方法 |
| CN107316344B (zh) * | 2017-05-18 | 2020-08-14 | 深圳市佳创视讯技术股份有限公司 | 一种虚实融合场景中漫游路径规划的方法 |
| CN109724610A (zh) * | 2018-12-29 | 2019-05-07 | 河北德冠隆电子科技有限公司 | 一种全信息实景导航的方法及装置 |
| CN110110389B (zh) * | 2019-04-03 | 2022-10-21 | 河南城建学院 | 一种虚实结合的室内外疏散仿真方法 |
| CN111400963B (zh) * | 2020-03-04 | 2023-04-18 | 山东师范大学 | 基于鸡群算法和社会力模型的人群疏散仿真方法及*** |
| CN114034308A (zh) * | 2020-08-03 | 2022-02-11 | 南京翱翔信息物理融合创新研究院有限公司 | 一种基于虚实融合的导航地图构建方法 |
| CN112230772B (zh) * | 2020-10-14 | 2021-05-28 | 华中师范大学 | 一种虚实融合的教具自动生成方法 |
| CN112540673A (zh) * | 2020-12-09 | 2021-03-23 | 吉林建筑大学 | 虚拟环境交互方法及设备 |
| CN113269832B (zh) * | 2021-05-31 | 2022-03-29 | 长春工程学院 | 面向极端天气环境的电力作业增强现实导航***和方法 |
| CN113340294A (zh) * | 2021-06-02 | 2021-09-03 | 南京师范大学 | 一种融合地标的ar室内地图导航方法 |
| CN113837059B (zh) * | 2021-09-22 | 2023-12-19 | 哈尔滨工程大学 | 一种规劝行人及时佩戴口罩的巡视车及其控制方法 |
| CN113672097B (zh) * | 2021-10-22 | 2022-01-14 | 华中师范大学 | 一种立体综合教学场中教师手部感知交互方法 |
| CN114038254A (zh) * | 2021-11-01 | 2022-02-11 | 华中师范大学 | 一种虚拟现实教学方法以及*** |
| CN115470707A (zh) * | 2022-09-22 | 2022-12-13 | 上海时氪信息技术有限公司 | 一种城市场景仿真模拟*** |
| CN115985122A (zh) * | 2022-10-31 | 2023-04-18 | 内蒙古智能煤炭有限责任公司 | 无人驾驶***感知方法 |
| CN116576857A (zh) * | 2023-04-19 | 2023-08-11 | 东北大学 | 一种基于单线激光雷达的多障碍物预测导航避障方法 |
| CN116188700B (zh) * | 2023-04-27 | 2023-07-14 | 南京大圣云未来科技有限公司 | 一种基于aigc自动生成3d场景的*** |
| CN116644666A (zh) * | 2023-06-02 | 2023-08-25 | 西安理工大学 | 基于策略梯度优化算法的虚拟装配路径规划引导方法 |
| CN116881426B (zh) * | 2023-08-30 | 2023-11-10 | 环球数科集团有限公司 | 一种基于aigc的自解释问答*** |
-
2023
- 2023-11-11 CN CN202311497689.9A patent/CN117475115B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116678394A (zh) * | 2023-05-10 | 2023-09-01 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 基于多传感器信息融合实时动态智能路径规划方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117475115A (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11900536B2 (en) | Visual-inertial positional awareness for autonomous and non-autonomous tracking | |
| CN113096252B (zh) | 一种混合增强教学场景中多移动机制融合方法 | |
| US10366508B1 (en) | Visual-inertial positional awareness for autonomous and non-autonomous device | |
| WO2022121645A1 (zh) | 一种教学场景中虚拟对象的真实感生成方法 | |
| US10410328B1 (en) | Visual-inertial positional awareness for autonomous and non-autonomous device | |
| Duh et al. | V-eye: A vision-based navigation system for the visually impaired | |
| KR101650799B1 (ko) | 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법 | |
| CN106840148A (zh) | 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法 | |
| Thorpe et al. | Vision and navigation for the Carnegie Mellon Navlab | |
| CN110033411A (zh) | 基于无人机的公路施工现场全景图像高效拼接方法 | |
| CN106871906A (zh) | 一种盲人导航方法、装置及终端设备 | |
| CN109000655A (zh) | 机器人仿生室内定位导航方法 | |
| CN115933868A (zh) | 翻转讲台的立体综合教学场***及其工作方法 | |
| Liu et al. | A novel trail detection and scene understanding framework for a quadrotor UAV with monocular vision | |
| Yao et al. | Rca: Ride comfort-aware visual navigation via self-supervised learning | |
| CN117475115B (zh) | 虚实融合环境中路径引导***的工作方法 | |
| CN117156298A (zh) | 一种基于人虫复合仿生的低慢小目标感知方法及*** | |
| Kress et al. | Pose based trajectory forecast of vulnerable road users | |
| Gokl et al. | Towards urban environment familiarity prediction | |
| Muhlbauer et al. | Navigation through urban environments by visual perception and interaction | |
| CN115690343A (zh) | 一种基于视觉跟随的机器人激光雷达扫描建图方法 | |
| Manderson et al. | Gaze selection for enhanced visual odometry during navigation | |
| CN116385757B (zh) | 一种基于vr设备的视觉语言导航***及方法 | |
| CN114494616B (zh) | 一种景区多源客流数据的实时三维仿真模拟方法 | |
| Stricker et al. | R2D2 reloaded: Dynamic video projection on a mobile service robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |