CN114077310A - 提供虚拟环境的方法与***及非暂态电脑可读取储存介质 - Google Patents

提供虚拟环境的方法与***及非暂态电脑可读取储存介质 Download PDF

Info

Publication number
CN114077310A
CN114077310A CN202110930287.8A CN202110930287A CN114077310A CN 114077310 A CN114077310 A CN 114077310A CN 202110930287 A CN202110930287 A CN 202110930287A CN 114077310 A CN114077310 A CN 114077310A
Authority
CN
China
Prior art keywords
image
depth
mobile device
interior space
classifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110930287.8A
Other languages
English (en)
Other versions
CN114077310B (zh
Inventor
郭士杰
陈远东
杨宛玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of CN114077310A publication Critical patent/CN114077310A/zh
Application granted granted Critical
Publication of CN114077310B publication Critical patent/CN114077310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

一种于移动中提供虚拟环境的方法，其包含以下流程：撷取第一影像，第一影像关联于至少部分封闭的壳体的内部空间，且关联于由内部空间向外撷取到的壳体的外部环境的一部分；将第一影像分类为第一部分和第二部分，第一部分关联于内部空间，第二部分关联于由内部空间向外撷取到的外部环境的部分；估测行动装置分别关联于壳体与外部环境的第一姿态与第二姿态，第一定位模型基于第一部分估测第一姿态，第二定位模型基于关联于外部环境的第二影像估测第二姿态；以及依据第一姿态与第二姿态，在行动装置的视野中显示多个虚拟物件。无论穿戴行动装置的使用者的视野为何，此方法可以将虚拟物件维持于真实世界环境中的正确位置。

Description

提供虚拟环境的方法与***及非暂态电脑可读取储存介质
技术领域
本公开文件有关一种提供虚拟环境的方法与***以及非暂态电脑可读取储存介质，尤指一种移动中提供虚拟环境的方法与***以及非暂态电脑可读取储存介质。
背景技术
在汽车业界，增强现实(AR)技术原本被设计为显示关于车辆本身的资讯，例如速度和方向。经过汽车业界积极研发后，增强现实技术已能够实现辅助驾驶功能，例如导航和道路偏移警示。为了让虚拟物件在无论使用者何时观看的情况下都维持于现实世界环境中的正确位置，头戴式装置(HMD)或其他能够提供虚拟物件的装置需要实时定位使用者的位置和视野。实时定位技术例如包含内向外(inside out)追踪技术和外向内(outside in)追踪技术。外向内追踪技术需要多个固定位置的灯塔，且利用光学追踪技术以定位使用者的位置。高准确度与适用简单的演算法是外向内追踪技术的优点。不过，固定位置的灯塔不适用于经常处于移动状态的车辆。内向外追踪技术需要复杂的影像处理演算法，但内向外追踪技术允许头戴式装置透过撷取周遭环境的影像来进行自我定位。然而，当内向外追踪技术被实作于车用应用中时，车辆内部和外部以不同速度移动的现实世界物件会干扰内向外追踪技术的定位过程，导致头戴式装置难以同时在车内外的正确位置显示虚拟物件。
发明内容
本公开文件提供一种于移动中提供虚拟环境的方法，其包含以下流程：撷取第一影像，第一影像关联于至少部分封闭的壳体的内部空间，且关联于由内部空间向外撷取到的壳体的外部环境的一部分；将第一影像分类为第一部分和第二部分，第一部分关联于内部空间，第二部分关联于由内部空间向外撷取到的外部环境的部分；估测行动装置分别关联于壳体与外部环境的第一姿态与第二姿态，第一定位模型基于第一部分估测第一姿态，第二定位模型基于关联于外部环境的第二影像估测第二姿态；以及依据第一姿态与第二姿态，在行动装置的视野中显示多个虚拟物件。
在上述方法的一些实施例中，将第一影像分类为第一部分与第二部分包含：选择深度阈值子集，其中深度阈值子集中的多个深度阈值分别对应于内部空间的地图的多个不同部分。在第一影像对应于地图的每个部分的多个像素中，对应于小于或等于深度阈值子集中的对应深度阈值的深度值的像素被分类至第一部分，对应于大于对应深度阈值的深度值的像素被分类至第二部分，且第二影像包含第二部分。
在上述方法的一些实施例中，第一影像由行动装置的相机***所撷取，且关联于第一影像的多个深度值由行动装置的深度计所撷取。
在上述方法的一些实施例中，将第一影像分类为第一部分与第二部分包含：将第一影像中对应于小于或等于深度阈值的深度值的像素分类至第一部分；以及将第一影像中对应于大于深度阈值的深度值的像素分类至第二部分，且第二影像包含第二部分。
在上述方法的一些实施例中，将第一影像分类为第一部分与第二部分包含：将第一影像中对应于小于或等于速度阈值且由光流演算法计算出的速度大小的像素分类至第一部分；以及将第一影像中对应于大于速度阈值且由光流演算法计算出的速度大小的像素分类至第二部分。
在上述方法的一些实施例中，将第一影像分类为第一部分与第二部分包含辨识第一影像中的多个地标。多个地标用于指示对应于内部空间的像素与对应于由内部空间向外撷取到的外部环境的部分的像素之间的边界，且第二影像包含第二部分。
在上述方法的一些实施例中，第一影像由行动装置的相机***所撷取，且第二影像由安装于壳体上的额外相机***所撷取。额外相机***用于撷取外部环境的影像。
在上述方法的一些实施例中，壳体包含车辆的外壳。将第一影像分类为第一部分与第二部分包含：获取车辆的速度或方向盘角度；以及依据车辆的速度或方向盘角度将第一影像分类为第一部分与第二部分。
在上述方法的一些实施例中，将第一影像分类为第一部分与第二部分包含：获取行动装置撷取第三影像时的速度、加速度、角速度或角加速度，且第三影像是第一影像的前一帧；以及依据行动装置的速度、加速度、角速度或角加速度将第一影像分类为第一部分与第二部分。
本公开文件提供一种于移动中提供虚拟环境的***，其包含行动装置与主控装置。行动装置用于撷取第一影像。第一影像关联于至少部分封闭的壳体的内部空间，且关联于由内部空间向外撷取到的壳体的外部环境的一部分。主控装置通讯连接于行动装置，且用于执行以下运作：将第一影像分类为第一部分和第二部分，第一部分关联于内部空间，第二部分关联于由内部空间向外撷取到的外部环境的部分；以及估测行动装置分别关联于壳体与外部环境的第一姿态与第二姿态，第一定位模型基于第一部分估测第一姿态，第二定位模型基于关联于外部环境的第二影像估测第二姿态。行动装置还用于依据第一姿态与第二姿态，在行动装置的视野中显示多个虚拟物件。
在上述***的一些实施例中，当主控装置将第一影像分类为第一部分与第二部分时，主控装置还用于：选择深度阈值子集，其中深度阈值子集中的多个深度阈值分别对应于内部空间的地图的多个不同部分。在第一影像对应于地图的每个部分的多个像素中，对应于小于或等于深度阈值子集中的对应深度阈值的深度值的像素被分类至第一部分，对应于大于对应深度阈值的深度值的像素被分类至第二部分，且第二影像包含第二部分。
在上述***的一些实施例中，第一影像由行动装置的相机***所撷取，且关联于第一影像的多个深度值由行动装置的深度计所撷取。
在上述***的一些实施例中，当主控装置将第一影像分类为第一部分与第二部分时，主控装置还用于：将第一影像中对应于小于或等于深度阈值的深度值的像素分类至第一部分；以及将第一影像中对应于大于深度阈值的深度值的像素分类至第二部分，且第二影像包含第二部分。
在上述***的一些实施例中，当主控装置将第一影像分类为第一部分与第二部分时，主控装置还用于：将第一影像中对应于小于或等于速度阈值且由光流演算法计算出的速度大小的像素分类至第一部分；以及将第一影像中对应于大于速度阈值且由光流演算法计算出的速度大小的像素分类至第二部分。
在上述***的一些实施例中，当主控装置将第一影像分类为第一部分与第二部分时，主控装置还用于辨识第一影像中的多个地标。多个地标用于指示对应于内部空间的像素与对应于由内部空间向外撷取到的外部环境的部分的像素之间的边界，且第二影像包含第二部分。
在上述***的一些实施例中，第一影像由行动装置的相机***所撷取，且第二影像由安装于壳体上的额外相机***所撷取。额外相机***用于撷取外部环境的影像。
在上述***的一些实施例中，壳体包含车辆的外壳。当主控装置将第一影像分类为第一部分与第二部分时，主控装置还用于：获取车辆的速度或方向盘角度；以及依据车辆的速度或方向盘角度将第一影像分类为第一部分与第二部分。
在上述***的一些实施例中，当主控装置将第一影像分类为第一部分与第二部分时，主控装置还用于：获取行动装置撷取第三影像时的速度、加速度、角速度或角加速度，其中第三影像是第一影像的前一帧；以及依据行动装置的速度、加速度、角速度或角加速度将第一影像分类为第一部分与第二部分。
本公开文件提供一种非暂态电脑可读取储存介质，其储存有多个电脑可读取指令。多个电脑可读取指令用于控制用于在移动中提供虚拟环境的***。当多个电脑可读取指令被***执行时，多个电脑可读取指令使***执行以下运作：撷取第一影像，第一影像关联于至少部分封闭的壳体的内部空间，且关联于由内部空间向外撷取到的壳体的外部环境的一部分；将第一影像分类为第一部分和第二部分，第一部分关联于内部空间，第二部分关联于由内部空间向外撷取到的外部环境的部分；估测行动装置分别关联于壳体与外部环境的第一姿态与第二姿态，第一定位模型基于第一部分估测第一姿态，第二定位模型基于关联于外部环境的第二影像估测第二姿态；以及依据第一姿态与第二姿态，在行动装置的视野中显示多个虚拟物件。
在上述非暂态电脑可读取储存介质的一些实施例中，将第一影像分类为第一部分与第二部分包含：选择深度阈值子集，其中深度阈值子集中的多个深度阈值分别对应于内部空间的地图的多个不同部分。在第一影像对应于地图的每个部分的多个像素中，对应于小于或等于深度阈值子集中的对应深度阈值的深度值的像素被分类至第一部分，对应于大于对应深度阈值的深度值的像素被分类至第二部分，且第二影像包含第二部分。
附图说明
图1为依据本公开文件一实施例的用于在移动中提供虚拟环境的***的示意图。
图2为依据本公开文件一实施例的用于说明图1的***用于在图1的壳体处于移动状态时提供虚拟环境的操作的流程图。
图3绘示了根据本公开文件一实施例的由行动装置捕捉且被使用于图2的操作中的影像。
图4A为依据本公开文件一实施例的在图2的步骤210中产生的第一部分的示意图。
图4B为依据本公开文件一实施例的在图2的步骤210中产生的第二部分的示意图。
图5绘示了根据本公开文件一实施例的由行动装置捕捉且被使用于图2的操作中的影像。
图6绘示了根据本公开文件一实施例的由行动装置捕捉且被使用于图2的操作中的影像。
图7是图1的***提供的依据本公开文件一实施例的虚拟环境的示意图。
图8是图1的***提供的依据本公开文件一实施例的另一虚拟环境的示意图。
图中：
100:***
103:壳体
105:内部空间
107:外部环境
110:行动装置
111:网络接口
112:处理器
113:存储器
114:相机***
115:显示***
120:主控装置
121:网络接口
122:处理器
123:存储器
123a:第一定位模型
123b:第二定位模型
123c:物件分割模型
210～250:步骤
300,500,600:影像
310:位置
D_th1～D_th4:深度阈值
410,420,430:区域
510:光流向量
610:标示物
620:边界
710:第一虚拟物件
720:第二虚拟物件
具体实施方式
以下将配合相关图式来说明本公开文件的实施例。在图式中，相同的标号表示相同或类似的元件或方法流程。
图1为依据本公开文件一实施例的***100的示意图。***100用于在移动中提供虚拟环境。***100包含行动装置110和主控装置120，其中两者皆具有资料处理能力。行动装置110包含用于与主控装置120通讯的网络接口111、处理器112、存储器113、相机***114和显示***115。在一些实施例中，行动装置110为头戴式装置，且包含用于提供增强现实(AR)环境的光学透视***及/或视讯透视***。当使用者穿戴光学透视头戴式装置时，光学透视头戴式装置能令使用者实际且直接地观看到真实世界环境(例如透过透明镜片)，且可以同时将虚拟物件的影像投影至使用者的视野(例如透过显示***115)，藉此透过虚拟物件增强了使用者感知到的现实世界环境。视讯透视头戴式装置会撷取现实世界环境的影像(例如透过相机***114)，并将这些影像提供给使用者(例如透过显示***115)以令使用者间接观看到现实世界环境，视讯透视头戴式装置还可同时将虚拟物件的影像重叠于现实世界环境的影像。
主控装置120包含用于与行动装置110通讯的网络接口121、处理器122和存储器123。在一些实施例中，主控装置120可以由车用电脑来实现。行动装置110和主控装置120可以于非暂态电脑可读取储存介质(例如存储器113和123)储存多个电脑可读取指令。这些电脑可读取指令可以被执行(例如由处理器112和122执行)以执行以下配合图2说明的操作步骤，但本公开文件不以此为限。在一些实施例中，主控装置120可以整合进行动装置110，亦即行动装置110可以是能够执行配合图2说明的所有操作步骤的一体式(all-in-one)头戴式装置。
主控装置120的存储器123包含第一定位模型123a、第二定位模型123b和物件分割模型123c。当行动装置110位于壳体103(例如，车辆的外壳)的内部空间105时，物件分割模型123c用于分割行动装置110撷取到的影像，且第一定位模型123a和第二定位模型123b用于依据物件分割模型123c的输出产生行动装置110关联于壳体103与壳体103的外部环境107的多个姿态。多种物件分割模型皆适用于本公开文件，这些模型例如包含R-CNN模型、Fast R-CNN模型、Faster R-CNN模型、Mask R-CNN模型以及YOLO模型等等。关联于壳体103的姿态可以包含六自由度(6DOF)姿态，且此六自由度姿态可以由内部空间105的坐标系来描述。相似地，关联于外部环境107的姿态可以包含可以由外部环境107的坐标系来描述的六自由度姿态。在一些实施例中，第一定位模型123a和第二定位模型123b使用了即时定位与地图建构(SLAM)技术。
在一些实施例中，处理器112和122的每一者可以由单或多晶片通用处理器、特殊应用积体电路(ASIC)、现场可程式化逻辑闸阵列(FPGA)或上述多者的组合来实现。网络接口111和121的每一者可以包含例如蓝牙、WIFI、WIMAX、GPRS或WCDMA等无线网络接口；或包含例如以太网络、USB或IEEE-1364等有线网络接口。
图2为依据本公开文件一实施例的用于说明图1的***100的操作的流程图。前述操作用于在图1的壳体103处于移动状态时(例如，穿戴行动装置110的使用者正在驾驶车辆时)提供虚拟环境。为便于理解，壳体103在本公开文件的示例性实施例中被描述为车辆的外壳。在步骤210，行动装置110透过相机***114撷取多张影像(例如，图3、图5和图6中的影像300、500和600)。每张图像可包含(1)关联于内部空间105的部分，此部分例如包含方向盘和空调出风口等等的资讯；以及(2)关联于外部环境107的部分，此部分例如包含其他车辆和路树等等的资讯。换言之，关联于外部环境107的部分包含由内部空间105向外撷取到的现实世界物件。
在步骤220，主控装置120接收到行动装置110所撷取的多张图片。主控装置120的物件分割模型123c会对这些图片进行影像分割。对于每张图片而言，其像素会被分类至对应于内部空间105的子集与对应于外部环境107的另一子集。对应于内部空间105的子集中的像素接着被分割为一第一部分，其中第一部分作为图1的第一定位模型123a的输入资料。另一方面，对应于外部环境107的子集中的像素被分割为一第二部分，其中第二部分作为图1的第二定位模型123b的输入资料。分类像素的方法将配合图3至图6进一步讨论。
图3绘示了依据本公开文件一实施例的影像300。影像300由行动装置110于步骤210中所撷取，且被用于执行图2的步骤220。在多种适用于步骤220的分类技术中，第一种是透过将关联于影像300的多个深度值与一深度阈值子集(例如，深度阈值Dth_1-Dth_4)进行比较以分类像素，其中深度阈值子集是自多个深度阈值中选出。主控装置120可以产生对应于内部空间105的地图，并基于由影像300中辨识出的地图的多个部分分别选择对应的多个深度阈值以作为深度阈值子集。例如，地图中对应于驾驶座车门的部分可以对应于较小的深度阈值Dth_1；地图中对应于挡风玻璃的部分可以对应于较大的深度阈值Dth_2和Dth_3；地图中对应于副驾驶座车门的部分可以对应于更大的深度阈值Dth_4，其中图3中的位置310代表相机***114撷取影像300时的位置。总之，透过在地图和影像300之间执行特征比对以搜寻出现在影像300中的地图的多个部分，主控装置120可以于多个深度阈值中选择出对应于影像300的深度阈值子集。
在一些实施例中，透过深度差技术，主控装置120可以计算关联于影像300的多个深度值。行动装置110的相机***114包含多个相机，这些相机的其中之一撷取了影像300，而在撷取影像300的时间点其他相机可以撷取一或多张辅助影像。接着，关联于影像300的多个深度值可以依据影像300和该一或多张辅助影像之间的视差(disparity)来计算。在其他实施例中，在撷取影像300的时间点，关联于影像300的多个深度值可以由深度计(未绘示)量测。深度计可以设置于行动装置110之中且与相机***114具有相同的拍摄角度。深度计可以由飞时测距(ToF)相机、结构光相机、超音波距离感测器等等来实现。
在影像300对应于地图的每个部份的像素中(例如，对应于驾驶座车门的部分)，物件分割模型123c会将对应于小于或等于一对应深度阈值(例如，深度阈值Dth_1)的深度值的像素分类至关联于内部空间105的第一部分，藉此包含内部空间105的物件(例如，方向盘和空调出风口)的第一部分被生成，如图4A所示。另一方面，在对应于地图的该部份的像素中，物件分割模型123c会将对应于大于该对应深度阈值的深度值的像素分类至关联于由内部空间105向外撷取到的部分外部环境107(以下简称为「撷取到的外部环境107」)的第二部分，藉此包含撷取到的外部环境107的物件(例如，其他车辆和路树)的第二部分被生成，如图4B所示。如图4A和图4B所示，在一些实施例中，在物件被滤除的区域410、420和430中像素可以被设为0灰阶(以网底绘示)或被以其他合适的方式标注，以通知第一定位模型123a和第二定位模型123b区域410、420和430不可追踪。
内部空间105的地图可以包含密集型地图(dense map)，且密集型地图包含密集三维表面网格(dense 3D surface mesh)。在一些实施例中，当行动装置110第一次被携带进内部空间105时，行动装置110及/或主控装置120可以利用相机***114及/或深度计扫描内部空间105以产生地图。行动装置110及/或主控装置120可以进一步依据新产生的地图产生多个深度阈值，其中产生多个深度阈值包含多个流程，例如：估测相机***114的位置310与地图不同部分(例如，门和挡风玻璃)之间的多个距离；以及将这些距离设为深度阈值。在另一些实施例中，地图和深度阈值可以由壳体103的制造商(例如，车辆制造商)事先载入存储器113及/或存储器123。
在一些实施例中，物件分割模型123c可以将关联于影像300的多个深度值与仅一个深度阈值进行比较。影像300中对应于小于或等于该深度阈值的深度值的像素会被分类至第一部分。另一方面，影像300中对应于大于该深度阈值的深度值的像素会被分类至第二部分。在此情况下，内部空间105的地图可以被省略，因而能降低计算复杂度。
图5为依据本公开文件一实施例的影像500。影像500由行动装置110于步骤210撷取，且被用于执行图2的步骤220。在本实施例中，藉由将关联于影像500的多个速度大小与一速度阈值进行比较，影像500中的像素被物件分割模型123c分类至分别关联于内部空间105和撷取到的外部环境107的第一部分和第二部分，其中前述速度大小是由光流法所计算。光流法用于透过计算个别像素的速度或移动量来侦测移动物件。许多用于分析光流的方法皆适用于本公开文件，这些方法例如包含相位相关方法(phase correlationmethod)、块相关方法(block-based methods)、梯度方法(例如Lucas-Kanade光流法、Horn-Schunk方法、Buxton-Buxton方法与Black Jepson方法)以及离散优化方法等等。
基于连续撷取且包含影像500的多张影像，主控装置120可以产生关连于影像500且具有多个光流向量510的光流场。为便于理解，光流向量510与影像500一起绘示于图5中。多个光流向量510对应于影像500中的多个取样点(或多个真实世界物件)，且用于指出主控装置120自每个取样点计算出的速度的大小和方向。
如图5中的，对应于内部空间105的取样点的光流向量510较小或接近于零(绘示为圆点)，代表着车辆中(亦即内部空间105中)的物件几乎为静止状态。反之，对应于撷取到的外部环境107的光流向量510辐射状地向外延伸且具有递增的大小，代表着外部环境107中的物件以一定的速度相对于车辆(亦即，壳体103)移动。因此，影像500中对应于小于或等于速度阈值的速度大小的像素被分类至图4A所示的第一部分，而影像500中对应于大于速度阈值的速度大小的像素被分类至图4B所示的第二部分。在一些实施例中，速度阈值的单位可以是像素/微秒(pixel/ms)，且可以对应于物件介于0.1～0.5公里/小时(km/h)之间的实际移动速度。
图6为依据本公开文件一实施例的影像600。影像600由行动装置110于步骤210中撷取且被用于执行图2的步骤220。多个标示物(landmarks)610被设置于壳体103之内以指示对应于内部空间105的像素与对应于撷取到的外部环境107的像素之间的多个边界620。多个标示物610例如包含具有QR码的贴纸或绘示于边界620附近的特定图案等等。主控装置120可以包含物件侦测模型，且物件侦测模型用于辨识标示物610以获取边界620的形状和分布。物件分割模型123c会将影像600中被边界620围绕的像素分类至图4B的第二部分，而其余像素则被分类至图4A的第一部分。
在一些实施例中，物件分割模型123c被输入一或多个辅助参数以辅助影像分割。辅助参数可以由行动装置110所产生，且例如包含在行动装置110撷取前一帧影像(例如，比影像300、500或600早一帧的影像)的时间点时行动装置110的速度、加速度、角速度或角加速度。由于穿戴行动装置110的使用者的头部通常具有连续的运动轨迹，藉由考虑这些有关前一帧的辅助参数，物件分割模型123c可以较佳地估测当前一帧中对应于撷取到的外部环境107的部分的位置(例如，车窗的位置)。在此情况下，行动装置110可以包含三轴加速度计、陀螺仪及/或全球定位***测速计。藉由量测车辆(例如，壳体103)的参数，主控装置120也可获取辅助参数，例如车辆的速度及/或方向盘角度。
请再次参考图2，在经由配合图3至图6讨论的技术产生第一部分和第二部分后，主控装置120可以执行步骤230和240以分别产生第一姿态和第二姿态。详细而言，关联于内部空间105的第一部分会被输入至第一定位模型123a以产生第一姿态，其中第一姿态的位置和旋转可以由内部空间105的坐标系来描述。关联于撷取到的外部环境107的第二部分会被输入至第二定位模型123b以产生第二姿态，其中第二姿态的位置和旋转可以由外部环境107的坐标系来描述。内部空间105的坐标系独立于外部环境107的坐标系，因而行动装置110依据第一姿态提供的虚拟物件以及依据第二姿态提供的虚拟物件可以不同的方式移动，于后续段落中将配合图7和图8进行说明。
在一些实施例中，壳体103上装设有额外的相机***(未绘示)，该额外的相机***用于撷取外部环境107的影像。相较于行动装置110的相机***114，该额外的相机***可以具有较高的性能(例如，较广的视角、较高的解析度或较短的快门时间)。主控装置120会在第二部分与该额外相机***撷取到的影像(以下称为「额外影像」)之间进行特征比对，以辨识出额外影像中对应于第二部分但具有较高影像品质的部分。接着，额外影像的该部分会被输入至第二定位模型123b以产生第二姿态，而非将第二部分输入至第二定位模型123b。总而言之，使用额外相机***产生的第二姿态会因为额外影像的较高影像品质而具有较高的准确度。
在图2的步骤250，主控装置120将第一姿态和第二姿态传送至行动装置110。图7是图1的***100提供的依据本公开文件一实施例的虚拟环境的示意图。行动装置110透过显示***115依据第一姿态和第二姿态分别提供一或多个第一虚拟物件710和一或多个第二虚拟物件720给使用者。同时，如前述配合图1所讨论的，穿戴行动装置110的使用者可以是透过直接观看或透过显示装置115观察到现实物件。因此，第一虚拟物件710和第二虚拟物件720看起来像是位于真实世界环境中。详细而言，依据第一姿态提供的第一虚拟物件710(例如，虚拟仪表板和虚拟显示器)看起来像是放置于或接合于壳体103中的真实物件(例如，驾驶座中的物件)。使用者所感知到的第一虚拟物件710可以是对于内部空间105相对静止，或是与第一虚拟物件710所接合的内部空间105中的真实物件一起移动。另一方面，依据第二姿态提供的第二虚拟物件720(例如，虚拟路标和虚拟方形指标)看起来像是放置于或接合于外部环境107中的真实物件(例如，其他车辆或路树)。使用者所感知到的第二虚拟物件720可以是对于外部环境107相对静止，或是与第二虚拟物件720所接合的外部环境107中的真实物件一起移动。
如上述配合图1所讨论的，内部空间105和外部环境107分别具有独立的坐标系以描述第一虚拟物件710和第二虚拟物件720的姿态。因此，每个第一虚拟物件710的位置和旋转不会受到外部环境107的变化影响，且每个第二虚拟物件720的位置和旋转不会受到内部空间105的变化影响，以下将配合图8进一步说明。
在一些实施例中，当穿戴行动装置110的使用者在图7的虚拟环境产生后控制车辆向右转时，图7的虚拟环境会更新为图8中的新虚拟环境。由于多个第一虚拟物件710和多个第二虚拟物件720在各自的坐标系中维持原本的姿态，多个第一虚拟物件710会在使用者的(或行动装置110的)视野中保持原位，而多个第二虚拟物件720会在使用者的(或行动装置110的)视野中向左移动。总而言之，当使用者改变行动装置110的视野时(例如，透过转动他/她的头部)，第一虚拟物件710和第二虚拟物件720不受视野变化的影响，使得第一虚拟物件710和第二虚拟物件720看起来像是真实存在于真实世界环境中。
综上所述，在***100中，追踪车辆内部物件的运作与追踪车辆外部物件的运作互相独立。因此，图1的***100适用于在移动车辆中执行内向外(inside out)追踪以实现自我定位任务，而不会受到车辆内部物件和外部物件之间不同移动速度的影响。如此一来，无论穿戴行动装置110的使用者的视野为何，***100都可以将虚拟物件维持于真实世界环境中的正确位置。
在说明书及申请专利范围中使用了某些词汇来指称特定的元件。然而，所属技术领域中具有通常知识者应可理解，同样的元件可能会用不同的名词来称呼。说明书及申请专利范围并不以名称的差异做为区分元件的方式，而是以元件在功能上的差异来做为区分的基准。在说明书及申请专利范围所提及的「包含」为开放式的用语，故应解释成「包含但不限定于」。另外，「耦接」在此包含任何直接及间接的连接手段。因此，若文中描述第一元件耦接于第二元件，则代表第一元件可通过电性连接或无线传输、光学传输等信号连接方式而直接地连接于第二元件，或者通过其他元件或连接手段间接地电性或信号连接至该第二元件。
在此所使用的「及/或」的描述方式，包含所列举的其中之一或多个项目的任意组合。另外，除非说明书中特别指明，否则任何单数格的用语都同时包含复数格的涵义。
以上仅为本公开文件的较佳实施例，凡依本公开文件权利要求所做的均等变化与修饰，皆应属本公开文件的涵盖范围。

Claims (20)

1.一种于移动中提供虚拟环境的方法，其特征在于，包含：
撷取一第一影像，其中该第一影像关联于至少部分封闭的一壳体的一内部空间，且关联于由该内部空间向外撷取到的该壳体的一外部环境的一部分；
将该第一影像分类为一第一部分和一第二部分，其中该第一部分关联于该内部空间，该第二部分关联于由该内部空间向外撷取到的该外部环境的该部分；
估测一行动装置分别关联于该壳体与该外部环境的一第一姿态与一第二姿态，其中一第一定位模型基于该第一部分估测该第一姿态，一第二定位模型基于关联于该外部环境的一第二影像估测该第二姿态；以及
依据该第一姿态与该第二姿态，在该行动装置的一视野中显示多个虚拟物件。
2.如权利要求1所述的方法，其特征在于，将该第一影像分类为该第一部分与该第二部分包含：
选择一深度阈值子集，其中该深度阈值子集中的多个深度阈值分别对应于该内部空间的一地图的多个不同部分，
其中在该第一影像对应于该地图的每个部分的多个像素中，对应于小于或等于该深度阈值子集中的一对应深度阈值的深度值的像素被分类至该第一部分，对应于大于该对应深度阈值的深度值的像素被分类至该第二部分，
其中该第二影像包含该第二部分。
3.如权利要求2所述的方法，其特征在于，该第一影像由该行动装置的一相机***所撷取，且关联于该第一影像的多个深度值由该行动装置的一深度计所撷取。
4.如权利要求1所述的方法，其特征在于，将该第一影像分类为该第一部分与该第二部分包含：
将该第一影像中对应于小于或等于一深度阈值的深度值的像素分类至该第一部分；以及
将该第一影像中对应于大于该深度阈值的深度值的像素分类至该第二部分，
其中该第二影像包含该第二部分。
5.如权利要求1所述的方法，其特征在于，将该第一影像分类为该第一部分与该第二部分包含：
将该第一影像中对应于小于或等于一速度阈值且由一光流演算法计算出的速度大小的像素分类至该第一部分；以及
将该第一影像中对应于大于该速度阈值且由该光流演算法计算出的速度大小的像素分类至该第二部分。
6.如权利要求1所述的方法，其特征在于，将该第一影像分类为该第一部分与该第二部分包含辨识该第一影像中的多个地标，其中该多个地标用于指示对应于该内部空间的像素与对应于由该内部空间向外撷取到的该外部环境的该部分的像素之间的边界，且该第二影像包含该第二部分。
7.如权利要求1所述的方法，其特征在于，该第一影像由该行动装置的一相机***所撷取，且该第二影像由安装于该壳体上的一额外相机***所撷取，其中该额外相机***用于撷取该外部环境的影像。
8.如权利要求1所述的方法，其特征在于，该壳体包含一车辆的外壳，且将该第一影像分类为该第一部分与该第二部分包含：
获取该车辆的一速度或一方向盘角度；以及
依据该车辆的该速度或该方向盘角度将该第一影像分类为该第一部分与该第二部分。
9.如权利要求1所述的方法，其特征在于，将该第一影像分类为该第一部分与该第二部分包含：
获取该行动装置撷取一第三影像时的一速度、一加速度、一角速度或一角加速度，其中该第三影像是该第一影像的前一帧；以及
依据该行动装置的该速度、该加速度、该角速度或该角加速度将该第一影像分类为该第一部分与该第二部分。
10.一种于移动中提供虚拟环境的***，其特征在于，包含：
一行动装置，用于撷取一第一影像，其中该第一影像关联于至少部分封闭的一壳体的一内部空间，且关联于由该内部空间向外撷取到的该壳体的一外部环境的一部分；以及
一主控装置，通讯连接于该行动装置，且用于：
将该第一影像分类为一第一部分和一第二部分，其中该第一部分关联于该内部空间，该第二部分关联于由该内部空间向外撷取到的该外部环境的该部分；以及
估测该行动装置分别关联于该壳体与该外部环境的一第一姿态与一第二姿态，其中一第一定位模型基于该第一部分估测该第一姿态，一第二定位模型基于关联于该外部环境的一第二影像估测该第二姿态，
其中该行动装置还用于依据该第一姿态与该第二姿态，在该行动装置的一视野中显示多个虚拟物件。
11.如权利要求10所述的***，其特征在于，当该主控装置将该第一影像分类为该第一部分与该第二部分时，该主控装置还用于：
选择一深度阈值子集，其中该深度阈值子集中的多个深度阈值分别对应于该内部空间的一地图的多个不同部分，
其中在该第一影像对应于该地图的每个部分的多个像素中，对应于小于或等于该深度阈值子集中的一对应深度阈值的深度值的像素被分类至该第一部分，对应于大于该对应深度阈值的深度值的像素被分类至该第二部分，
其中该第二影像包含该第二部分。
12.如权利要求11所述的***，其特征在于，该第一影像由该行动装置的一相机***所撷取，且关联于该第一影像的多个深度值由该行动装置的一深度计所撷取。
13.如权利要求10所述的***，其特征在于，当该主控装置将该第一影像分类为该第一部分与该第二部分时，该主控装置还用于：
将该第一影像中对应于小于或等于一深度阈值的深度值的像素分类至该第一部分；以及
将该第一影像中对应于大于该深度阈值的深度值的像素分类至该第二部分，
其中该第二影像包含该第二部分。
14.如权利要求10所述的***，其特征在于，当该主控装置将该第一影像分类为该第一部分与该第二部分时，该主控装置还用于：
将该第一影像中对应于小于或等于一速度阈值且由一光流演算法计算出的速度大小的像素分类至该第一部分；以及
将该第一影像中对应于大于该速度阈值且由该光流演算法计算出的速度大小的像素分类至该第二部分。
15.如权利要求10所述的***，其特征在于，当该主控装置将该第一影像分类为该第一部分与该第二部分时，该主控装置还用于辨识该第一影像中的多个地标，其中该多个地标用于指示对应于该内部空间的像素与对应于由该内部空间向外撷取到的该外部环境的该部分的像素之间的边界，且该第二影像包含该第二部分。
16.如权利要求10所述的***，其特征在于，该第一影像由该行动装置的一相机***所撷取，且该第二影像由安装于该壳体上的一额外相机***所撷取，其中该额外相机***用于撷取该外部环境的影像。
17.如权利要求10所述的***，其特征在于，该壳体包含一车辆的外壳，当该主控装置将该第一影像分类为该第一部分与该第二部分时，该主控装置还用于：
获取该车辆的一速度或一方向盘角度；以及
依据该车辆的该速度或该方向盘角度将该第一影像分类为该第一部分与该第二部分。
18.如权利要求10所述的***，其特征在于，当该主控装置将该第一影像分类为该第一部分与该第二部分时，该主控装置还用于：
获取该行动装置撷取一第三影像时的一速度、一加速度、一角速度或一角加速度，其中该第三影像是该第一影像的前一帧；以及
依据该行动装置的该速度、该加速度、该角速度或该角加速度将该第一影像分类为该第一部分与该第二部分。
19.一种非暂态电脑可读取储存介质，储存有多个电脑可读取指令，其中该多个电脑可读取指令用于控制用于在移动中提供虚拟环境的一***，其特征在于，当该多个电脑可读取指令被该***执行时，该多个电脑可读取指令使该***执行以下运作：
撷取一第一影像，其中该第一影像关联于至少部分封闭的一壳体的一内部空间，且关联于由该内部空间向外撷取到的该壳体的一外部环境的一部分；
将该第一影像分类为一第一部分和一第二部分，其中该第一部分关联于该内部空间，该第二部分关联于由该内部空间向外撷取到的该外部环境的该部分；
估测一行动装置分别关联于该壳体与该外部环境的一第一姿态与一第二姿态，其中一第一定位模型基于该第一部分估测该第一姿态，一第二定位模型基于关联于该外部环境的一第二影像估测该第二姿态；以及
依据该第一姿态与该第二姿态，在该行动装置的一视野中显示多个虚拟物件。
20.如权利要求19所述的非暂态电脑可读取储存介质，其特征在于，将该第一影像分类为该第一部分与该第二部分包含：
选择一深度阈值子集，其中该深度阈值子集中的多个深度阈值分别对应于该内部空间的一地图的多个不同部分，
其中在该第一影像对应于该地图的每个部分的多个像素中，对应于小于或等于该深度阈值子集中的一对应深度阈值的深度值的像素被分类至该第一部分，对应于大于该对应深度阈值的深度值的像素被分类至该第二部分，
其中该第二影像包含该第二部分。
CN202110930287.8A 2020-08-14 2021-08-13 提供虚拟环境的方法与***及非暂态电脑可读取储存介质 Active CN114077310B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063065504P 2020-08-14 2020-08-14
US63/065,504 2020-08-14

Publications (2)

Publication Number Publication Date
CN114077310A true CN114077310A (zh) 2022-02-22
CN114077310B CN114077310B (zh) 2023-08-25

Family

ID=80224279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110930287.8A Active CN114077310B (zh) 2020-08-14 2021-08-13 提供虚拟环境的方法与***及非暂态电脑可读取储存介质

Country Status (3)

Country Link
US (1) US11514617B2 (zh)
CN (1) CN114077310B (zh)
TW (1) TWI791261B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020112300A1 (de) * 2020-05-06 2021-11-11 Audi Aktiengesellschaft 6 Degree of Freedom (6DOF) Tracking von mobilen Head Mounted Displays (HMD)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130136358A1 (en) * 2011-11-29 2013-05-30 Microsoft Corporation Foreground subject detection
CN104580878A (zh) * 2013-10-28 2015-04-29 宏达国际电子股份有限公司 电子装置以及自动效果方法
US20180239144A1 (en) * 2017-02-16 2018-08-23 Magic Leap, Inc. Systems and methods for augmented reality
US20180307914A1 (en) * 2017-04-22 2018-10-25 Honda Motor Co., Ltd. System and method for remapping surface areas of a vehicle environment
US20190172212A1 (en) * 2017-12-06 2019-06-06 Blueprint Reality Inc. Multi-modal data fusion for scene segmentation
US20190180717A1 (en) * 2017-12-12 2019-06-13 Volkswagen Aktiengesellschaft Method, computer readable storage medium having instructions, apparatus and system for gauging augmented reality goggles in a transportation vehicle, transportation vehicle suitable for the method, and augmented reality goggles suitable for the method
CN109979014A (zh) * 2017-12-27 2019-07-05 中华电信股份有限公司 扩增实境应用产生***及方法
CN110999276A (zh) * 2017-09-08 2020-04-10 苹果公司 增强现实自摄像

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI524212B (zh) * 2013-12-05 2016-03-01 由田新技股份有限公司 互動顯示方法及其電子裝置
US9710957B2 (en) * 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Graphics processing enhancement by tracking object and/or primitive identifiers
US10296086B2 (en) 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
TWI595446B (zh) * 2016-10-19 2017-08-11 國立清華大學 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法
TWI603287B (zh) * 2016-11-11 2017-10-21 財團法人工業技術研究院 虛擬物件之影像合成方法與裝置
TWI615776B (zh) * 2016-12-23 2018-02-21 李雨暹 移動物件的虛擬訊息建立方法、搜尋方法與應用系統
AU2019270095B2 (en) * 2018-05-17 2024-06-27 Niantic, Inc. Self-supervised training of a depth estimation system
KR102622882B1 (ko) * 2019-08-26 2024-01-09 엘지전자 주식회사 Xr 컨텐츠 제공 방법 및 xr 디바이스

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130136358A1 (en) * 2011-11-29 2013-05-30 Microsoft Corporation Foreground subject detection
CN104580878A (zh) * 2013-10-28 2015-04-29 宏达国际电子股份有限公司 电子装置以及自动效果方法
US20180239144A1 (en) * 2017-02-16 2018-08-23 Magic Leap, Inc. Systems and methods for augmented reality
US20180307914A1 (en) * 2017-04-22 2018-10-25 Honda Motor Co., Ltd. System and method for remapping surface areas of a vehicle environment
CN110999276A (zh) * 2017-09-08 2020-04-10 苹果公司 增强现实自摄像
US20190172212A1 (en) * 2017-12-06 2019-06-06 Blueprint Reality Inc. Multi-modal data fusion for scene segmentation
US20190180717A1 (en) * 2017-12-12 2019-06-13 Volkswagen Aktiengesellschaft Method, computer readable storage medium having instructions, apparatus and system for gauging augmented reality goggles in a transportation vehicle, transportation vehicle suitable for the method, and augmented reality goggles suitable for the method
CN109979014A (zh) * 2017-12-27 2019-07-05 中华电信股份有限公司 扩增实境应用产生***及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张怡暄;徐士彪;孔彦;李红军;: "基于深度的虚实场景高清图像的融合方法", 中国体视学与图像分析, no. 03, pages 15 - 23 *
陆平: "移动增强现实中的图像处理关键技术研究及应用", 中国博士学位论文全文数据库 信息科技辑, no. 2016, pages 138 - 18 *

Also Published As

Publication number Publication date
TWI791261B (zh) 2023-02-01
CN114077310B (zh) 2023-08-25
US20220051449A1 (en) 2022-02-17
TW202207164A (zh) 2022-02-16
US11514617B2 (en) 2022-11-29

Similar Documents

Publication Publication Date Title
CN109690623B (zh) 用于识别场景中的相机的姿势的***和方法
US11204253B2 (en) Method and apparatus for displaying virtual route
US20210012520A1 (en) Distance measuring method and device
JP4899424B2 (ja) 物体検出装置
CN110060297B (zh) 信息处理装置、***、信息处理方法和存储介质
KR101947619B1 (ko) 모바일 디바이스에서의 slam
EP2208021B1 (en) Method of and arrangement for mapping range sensor data on image sensor data
US11887336B2 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
CN109074078A (zh) 用于捕捉交通标志的图像的方法和装置
KR102531888B1 (ko) 자동차에서 디스플레이 장치를 작동하기 위한 방법
US20230065018A1 (en) Method for operating data glasses in a motor vehicle and system of a motor vehicle and data glasses
CN116420096A (zh) 用于标记lidar点云数据的方法和***
CN114077310B (zh) 提供虚拟环境的方法与***及非暂态电脑可读取储存介质
CN116443256A (zh) 用于空中加油的方法、***及计算机程序产品
JP7337617B2 (ja) 推定装置、推定方法及びプログラム
US11645364B2 (en) Systems and methods for object detection using stereovision information
JP4250391B2 (ja) 指標検出装置、指標検出方法
CN114503044A (zh) 用于在3d点云中自动标记对象的***和方法
JP7249919B2 (ja) 推定装置、推定方法及びプログラム
US12050661B2 (en) Systems and methods for object detection using stereovision information
CN117727011A (zh) 基于图像融合的目标识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant