CN104704384A - 具体用于装置的基于视觉的定位的图像处理方法 - Google Patents

具体用于装置的基于视觉的定位的图像处理方法 Download PDF

Info

Publication number
CN104704384A
CN104704384A CN201380049204.8A CN201380049204A CN104704384A CN 104704384 A CN104704384 A CN 104704384A CN 201380049204 A CN201380049204 A CN 201380049204A CN 104704384 A CN104704384 A CN 104704384A
Authority
CN
China
Prior art keywords
image
degree
processing method
image processing
freedom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380049204.8A
Other languages
English (en)
Other versions
CN104704384B (zh
Inventor
彼得·梅耶尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Metaio GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Metaio GmbH filed Critical Metaio GmbH
Publication of CN104704384A publication Critical patent/CN104704384A/zh
Application granted granted Critical
Publication of CN104704384B publication Critical patent/CN104704384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0247—Determining attitude
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/53—Determining attitude
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种图像处理方法，包括以下步骤：提供至少一个对象或所述至少一个对象的一部分的至少一个图像，并提供与所述图像相关的坐标系；提供所述坐标系中的至少一个自由度或所述坐标系中的至少一个传感器数据；以及计算由所述至少一个自由度或所述至少一个传感器数据约束或对准的所述至少一个图像或所述至少一个图像的一部分的图像数据。

Description

具体用于装置的基于视觉的定位的图像处理方法
本发明涉及一种具体用于装置的基于视觉的定位的图像处理方法，该方法包括，提供至少一个对象或该至少一个对象的至少一部分的至少一个图像。本发明还涉及一种包括软件代码部分或硬件加速处理单元的计算机程序产品，用于执行所述方法。
包括对来自图像的信息进行滤波和提取的图像处理是解决更高级问题所需的关键工具，诸如但不限于，计算机视觉、机器学习、机器人或普通图像增强的领域。许多实例中的一个是检测可包含已知对象或已知对象的一部分的图像中的边缘，其可以用于将这些边缘与已知对象的边缘匹配，其中已知对象与参考坐标系相关联。基于图像中的边缘与对象本身之间的匹配，用来捕获图像的相机可相对于已知对象的参考坐标系定位。
可以以不同的方式，诸如但不限于形态学算子和基于内核(kernels)的卷积，并且通过对早期或并行处理步骤的中间结果的应用或组合相同或不同的处理步骤、滤波或提取方法来进行对来自图像的信息的图像处理、滤波和提取。信息的图像处理、滤波和提取可以进行，但不限于执行、分析、提取或创建强度、梯度、导数、边缘、线条、区段、拐角、特征、平滑、模糊、变换、去噪、锐化、侵蚀和/或扩张。除了各向同性的图像处理、滤波或提取方法外，某些方法是各向异性的，诸如但不限于1D或图像轴线对准的卷积内核，例如梯度滤波器，(像是已知的Sobel、Prewitt或Scharr滤波器)，其利用图像轴线对准的卷积内核，这意味着通常这些内核提取图像的图像水平或图像垂直梯度。各向同性的图像处理、滤波或提取方法也可适于是各向异性的，例如通过利用1D卷积内核，而不是2D卷积内核，例如用于平滑卷积内核。
本文中存在以下类型的用于图像处理的标准方法：
在图像处理方法的图像处理算子包括图像边缘检测的情况下，通常图像梯度计算包括，应用图像滤波器(诸如Sobel、Prewitt或Scharr滤波器)，其具有与图像轴线对准的内核。这意味着，通常这些内核产生图像水平的或图像垂直的梯度(见图3中的上排A)。这些方法不考虑关于一些自由度的任何附加信息(如果有的话)，因此，它们本身不能检测到关于已知方向的任何的对象性质，诸如重力对准边缘。
如果根据基于这些图像的轴线对准的内核的滤波器，特定方向的边缘，诸如图像中的重力对准边缘需要被滤波，可以应用图像轴线对准的滤波器的早期结果的附加后处理。例如，可以基于用于该点的图像水平和图像垂直的梯度来计算图像中的每个边缘点的方向。最后，可将图像中的每个像素的边缘方向与图像中的投射重力方向对比。这意味着，对于此方法，图像水平和图像垂直的梯度需要预先通过应用轴线对准的内核两者来计算，并且需要应用该对比的附加后处理步骤。这将使这种方法中计算上更昂贵。
第二种方法利用关于某些自由度的附加信息，其首先调整整个图像以与该附加信息对准(参见图4)。例如，在约束图像处理方法以计算重力对准数据的情况下，可以首先校正整个图像，使得一个图像轴线与图像中的投射重力矢量对准，之后，可以应用图像轴线对准的图像处理。在梯度滤波器的情况下，这将产生重力对准梯度。该第二种方法具有两个缺点：第一，图像滤波器不再在原始图像上进行处理，并且因此，最终滤波器的结果取决于所执行的校正方法的中间结果；第二，校正本身是需要的，因此该方法在计算上比在原始图像上直接进行处理的方法更昂贵。
因此，有益的是，提供一种图像处理方法，该方法在其结果质量和处理速度方面能够提供更有效的结果。
根据一方面，提供一种图像处理方法，包括以下步骤：提供至少一个对象或该至少一个对象的一部分的至少一个图像，并提供与图像相关的坐标系；提供该坐标系中的至少一个自由度或该坐标系中的至少一个传感器数据；以及计算由至少一个自由度或至少一个传感器数据约束或对准的至少一个图像或至少一个图像的至少一部分的图像数据。
具体地，提出了使用具有高置信度的至少一个自由度来推导图像处理方法，该图像处理方法由至少一个高置信度的自由度的值约束。可选地，用于约束图像处理方法的高置信度的自由度的实际置信度可用来进一步调整图像处理方法的性质。具体地，图像处理方法可包括以下步骤：提供至少一个对象或该至少一个对象的一部分的至少一个图像，提供与图像相关的坐标系，提供坐标系中的至少一个自由度(可选包括对应置信度)或坐标系中的至少一个传感器数据，以及计算由至少一个自由度或至少一个传感器数据约束的至少一个图像或该至少一个图像的至少一部分的图像数据。例如，所计算的图像数据可以是图像处理的结果，包括形态学图像运算或图像滤波，该结果可根据具有高置信度的自由度而被约束或对准，或者可根据高置信度传感器而被约束或对准，该传感器提供图像处理方法中所使用的与图像或捕获该图像的装置相关的数据。更具体地，在图像处理方法的图像处理算子包括图像边缘检测的情况下，通常，图像梯度计算包括，将图像滤波器(诸如Sobel滤波器或Prewitt滤波器)应用至具有与图像轴线对准的内核。这意味着，通常这些内核产生水平或垂直的梯度。如果具有高置信度的自由度的图像数据，诸如通过假设精确的重力传感器所确定的旋转(其中重力传感器可以与捕获图像的装置相关联)，可以利用与图像中的重力矢量的投射方向对准或者相对于图像中的重力矢量的投射方向具有某预定方向的滤波器的内核。重要的是，应注意到，该图像处理不一定需要对象的表示。
图像处理方法的一个实施例包括匹配处理，诸如将至少一个图像中的对象的至少一个特征与该对象的数字表示的至少一个特征匹配。
该图像处理方法可用于基于图像处理方法的结果而产生距离变换图像。
该图像处理方法的一个实例应用可包括运行全局对准算法，其中不同的自由度被迭代地改进，并且迭代的质量通过某种预定义代价函数(cost-function)来度量，例如包括距离变换图像(诸如S.Holzer，S.Hinterstoisser，S.Ilic，N.Navab的“Distance Transform Templates for ObjectDetection and Pose Estimation”(用于对象检测和姿态估计的距离变换模板)，IEEE Computer Society Conference on Computer Vision and PatternRecognition,2009)。全局对准算法的迭代可以通过粒子滤波器方法来控制(诸如Georg Klein和David Murray的“Full-3D Edge Tracking with aParticle Filter”(具有粒子滤波器的全面3D边缘跟踪)，In Proc.BritishMachine Vision Conference,2006)。例如，该方法用于装置(诸如与用于捕获至少一个图像的捕获装置相关联的装置)的基于视觉的定位。
例如，运行图像处理方法的装置(诸如移动、固定或分布式计算机***)与用于捕获至少一个图像的捕获装置相关联，其中所述方法还包括以下步骤：用捕获装置捕获至少一个图像；以及提供捕获装置的固有参数的估计。
如上所述，图像处理方法的“由图像处理算子约束的可信自由度”的使用可以处于该图像与该对象的表示之间的对应关系的匹配期间。
因此，根据本发明的理念，为了解决更高级任务，诸如但不限于，移动相机相对于室外环境中的复杂场景的基于视觉的定位，定位***可利用关于由例如但不限于所附接传感器提供的相机姿态(包括其位置和方向)的一些自由度的附加信息。不同自由度中的该附加信息相对于与对象或场景关联的参考坐标系给出，相机相对于对象或场景定位并且可以具有不同的置信度。可根据其置信度进行不同地处理和应用，并且在处理更高级任务内的不同步骤中用于支持它，诸如基于视觉的定位。例如，更实际地，连接到配备或连接于相机的现代移动设备(如智能电话)的传感器可提供装置相对于具有高置信度的重力的方向。该信息可以用来从六个自由度到四个自由度的优化方面来约束相机相对于室外环境中的对象的重力对准参考坐标系的基于视觉的定位，这通常会带来更可靠的解决方案。
根据本发明的一个方面，提出了一种方法，其在定位内的特定步骤，即在图像处理期间，利用关于自由度的附加信息，该自由度具有相机的姿态相对于参考坐标系的不同置信度。具体地，这种方法可以通过至少一个自由度约束这些方法来调整现有的图像处理方法，该自由度具有相机的姿态相对于参考(例如对象坐标系)的高置信度。受约束的图像处理方法还可进一步调整为反映一个或多个约束的自由度的相应置信度。这种方法并不局限于在相机的定位内使用，而是也可以利用图像处理而通常被应用或应用于其它任务和应用程序。一般来说，所提出的方法可以应用于任何前面所提到的图像处理、滤波或提取方法。
优选地，所计算的图像数据是图像处理的结果，包括形态学图像算子或图像滤波。
根据一个实施例，图像数据的计算根据具有特定(优选高置信度)的自由度被约束或对准，或者根据优选高置信度的传感器而被约束或对准，传感器提供在图像处理方法中使用的与图像或捕获图像的装置相关的数据。
根据一个实施例，图像处理方法包括图像梯度计算，该图像梯度计算包括图像中的重力对准梯度的滤波。
根据另一个实施例，图像处理方法包括图像梯度计算，该图像梯度计算包括利用内核进行图像滤波，其中根据重力矢量测量来计算所述内核。例如，在图像的图像平面正平行于(fronto-parallel to)重力矢量的情况下，同一重力对准的内核可应用于整个图像。
根据一个实施例，该方法还包括运行全局对准算法，其中不同的自由度迭代地改进，并且通过预定代价函数来测量迭代的质量，尤其是包括距离变换图像。
例如，可以相对于与用于捕获至少一个图像的捕获装置相关联的装置来运行该图像处理方法，其中该方法还包括以下步骤：用捕获装置捕获至少一个图像；以及提供捕获装置的固有参数的估计。
一般而言，该图像处理方法可在与捕获装置相关联的装置上操作，或者可以在与所述装置通信并接收与所述装置有关的数据的远程服务器上操作。
根据另一个实施例，相对于与用于捕获至少一个图像捕获装置相关联的装置来运行该图像处理方法，其中该方法还包括提供位置和方向数据，所述数据提供捕获装置相对于具有相应置信度的坐标系而言的不同自由度的测量值。
根据一个实施例，该方法还包括在图像中生成或滤波附接到重力对准坐标系的平面的或分段平面的对象的水平梯度的步骤。
可以相对于与用于捕获至少一个图像的捕获装置相关联的装置来运行该图像处理方法，其中该方法还包括以下步骤：用捕获装置捕获至少一个图像；以及在捕获装置的运动方向上对图像进行锐化。假定由相对于图像或捕获图像的装置的传感器提供的加速度数据，当相机快门打开时，可以估计与相机轨迹密切相关的运动去模糊内核(motion deblurring kernel)。传统的方法需要这种在计算上昂贵的去模糊内核的估计步骤。相反，我们提出了，使用加速度计传感器来避免这种步骤且使得可以改正例如移动装置上的和/或实时的运动模糊。去模糊允许图像的锐化。同样的原理可用于通过根据相对于重力或相对于某相机运动的特定方向应用定向滤波内核的图像平滑。
根据另一个实施例，相对于与用于捕获至少一个图像的捕获装置相关联的装置来运行图像处理方法，其中该方法还包括以下步骤：用捕获装置捕获至少一个图像；以及根据捕获装置相对于坐标系的位置，对图像滤波器的内核的尺寸进行调整。
根据本发明，可以提供至少一个传感器，所述至少一个传感器提供关于一个或多个自由度的信息，其中所述至少一个传感器选自包括以下传感器的组：GPS传感器、惯性传感器、加速计、陀螺仪、磁力计、里程表、机械传感器(具体是旋转编码器)，或多个传感器的组合和/或诸如测量臂或激光***的跟踪***。
例如，该方法包括图像处理、滤波和信息的提取中的至少一种，特别是执行、分析、提取或创建强度、梯度、导数、边缘、线条、区段、拐角、特征、平滑、模糊、变换、去噪、锐化、侵蚀和扩张中的至少一种。
根据本发明的一方面，该方法是用于确定与用于捕获至少一个图像的捕获装置相关联的装置相对于增强的现实应用或机器人***导航中的对象的位置和方向的方法。
根据一方面，提出了图像处理、滤波或提取，包括形态学图像算子或基于内核的图像滤波，其计算由相对于某参考坐标系的图像坐标系的一定置信度的自由度约束的图像数据。特别地，输入源可以是：
-由捕获装置(诸如相机)捕获的某感兴趣对象或环境的图像数据(也参见图2，如下文所解释)。该图像可以由相机捕获，如但不限于可见光相机、红外相机、飞行时间相机、深度相机***、扫描***或提供来自通过图像处理方法待分析的一个或多个对象的某种图像的任何其它***。感兴趣对象或环境处于称为参考坐标系的特定坐标系中。在所约束的图像处理方法相对于附接到地面的参考坐标系进行的情况下，建筑物可以例如起到感兴趣对象的作用。更一般而言，参考坐标系可以是地球坐标系。
-可选地，参考坐标统中所提供的感兴趣对象的表示，诸如但不限于标记、蓝图、图像、模板、深度表示、有纹理和无纹理的多边形模型、带有纹理或无纹理的CAD模型，和/或特征、点、边缘、线条、梯度、区段、边界、剪影、轮廓、边缘元素(edgelet)、方向和/或极性的组或映射。
-相机固有参数估计。
-任何附加位置和方向数据，其提供相机相对于具有其相应置信度的参考坐标系的不同自由度的测量。该附加信息可以例如由具有各自准确度和精度的传感器提供，诸如但不限于GPS、惯性传感器、加速计、陀螺仪、磁力计、里程表、机械传感器(如旋转编码器)，或者可以是来自多个传感器的组合和/或诸如测量臂或激光***的跟踪***。这些传感器可以直接提供相对于参考坐标系的测量值，或者被集成在校准***中，所述校准***提供对原始传感器数据的某种处理之后的这些数据以及***的可能的附加信息。相机与传感器之间的空间变换需要是已知的或者需要在应用图像处理方法之前被评估。不同传感器的置信度可以变化。例如，嵌入智能电话中的标准GPS给出精确度约10米的位置，磁力计的精度取决于周围环境并且经常精确到几度以内，但也可能完全错误，因此是不可靠的。相反，可以以相当高的精度提供内置于现代手持装置中测量重力方向的加速计和陀螺仪的组合，如D.Kurz,S.BenHimane发表于Computer Visionand Pattern Recognition(计算机视觉和图形识别),2011的“Inertialsensor-aligned visual feature descriptors”(惯性传感器对准的视觉特征描述符)中所述。
本发明还涉及一种计算机程序产品，该计算机程序产品适于加载到数字计算机***的内部存储器中并且包括软件代码部分，通过该计算机程序产品，当所述产品在所述计算机***上运行时，执行根据上述各个方面和实施例的各步骤。
通过下面结合附图的描述，本发明的另外的方面、有利特征和实施例将显而易见，附图中：
图1示出了图像处理滤波器根据配备有相机的装置相对于重力的方向的变化的实例(如果图像平面正平行于重力的话)。
图2示出了用移动装置捕获重力对准对象的示例性正平行图像。
图3示出了在根据图2的正平行捕获的图像上应用Sobel滤波器以滤波图像中的梯度的可能结果。
图4示出了首先将所捕获的图像校正为重力然后应用图像轴线对准的Sobel滤波器的标准方法。
图5示出了所投射的重力矢量与图像中的像素位置的依赖关系：在左列中示出了一般情况，在右列中示出了正平行情况，在右列中，投射在图像中的重力矢量与图像中的像素位置无关。
通常，存在这样的应用，其中，某些对象特性(诸如对象坐标系中的方向)的图像中的特定提取是需要的或能够用于改进图像处理步骤的结果，所述对象特性与附接至参考坐标系的某已知自由度对准。一个实例应用是图像中的重力对准对象边缘或相对于重力具有预定方向的边缘的提取，用于拍摄图像的移动相机相对于与对象相关联(附接至)的重力对准参考坐标系的基于边缘的定位。一般而言，在人造环境中存在许多这样的重力对准的对象和对象边缘，诸如但不限于室外和室内场景，例如但不限于城市、建筑物、工厂厂房或装备的房间。例如，在移动相机在室外环境中进行基于边缘的定位期间，在相机捕获的图像中所检测的边缘需要与相机须被定位至的目标对象的边缘匹配。关于边缘的附加信息(例如它们在图像中的方向)可以支持与目标对象的边缘的匹配过程。因此，如果某方向(诸如图像中的重力矢量)是已知的，可以支持与相应的对象边缘(诸如重力对准的对象边缘)的匹配过程。
附加地，存在传感器或***，它们能够提供关于相机姿态相对于参考坐标系的具有不同置信度的一个或多个自由度的附加信息，诸如但不限于罗盘、GPS、惯性传感器、加速计、陀螺仪、磁力计、里程表、机械传感器(如旋转编码器)，或来自跟踪***(诸如测量臂或激光***)的结果。这些传感器直接提供关于不同自由度的相对于参考坐标系的测量值，或者被集成在校准***中，所述校准***提供对原始传感器数据的某种处理之后的这些数据以及***的可能的附加信息。例如，现代移动装置(诸如但不限于现代智能电话)现在通常配备有提供图像的相机以及提供装置和集成相机相对于具有高置信度的重力的方向等的传感器。根据本发明所提出的方法可以实现为使用任何前述的传感器。
由于现今可以容易地提供相机姿态相对于某参考坐标系的一个或多个可信的自由度，诸如相对于由上述移动装置提供的重力对准坐标系的相机姿态，这里提出了，该可信的信息以不同程度在图像处理步骤中的应用，以使其结果优选地在其结果的质量和/或处理速度方面更有效，并且以利用其结果来解决更高级任务，诸如但不限于将相对于重力具有一定方向的对象边缘与图像中所检测到的其相应边缘匹配。
在下文中，还涉及附图中所描绘的实例，其中，图1示出了图像处理滤波器根据配备有用于捕获图像的捕获装置(例如相机)的装置D相对于重力(由重力矢量GV表示)的方向的变化的实例(如果图像平面正平行于重力的话)。在该实例中，装置D是如上所述的手持装置。重力矢量GV可以由集成在装置D中的重力传感器(未示出)或表示重力矢量的传感器组合(诸如加速计和/或陀螺仪)提供。图2示出了用移动装置D捕获重力对准对象OB的正平行图像IM。本文所述的图像处理方法可以在装置D上或者例如在远程服务器上运行，该远程服务器与装置D通信并从装置D接收与装置D有关的数据且将计算后的数据发送回装置D。
图3示出了对正平行捕获图像IM应用Sobel滤波器以将图像中的梯度进行滤波的结果。所得到的强梯度以实线显示，弱梯度以虚线显示。上排(A)示出了应用图像轴线对准的Sobel滤波器内核(FK)的标准方法，其并不计算强重力对准边缘，而是计算图像垂直边缘。下排(B)示出了本发明的应用重力对准的Sobel滤波器的实施例，其计算重力对准边缘上的强梯度。
图4示出了首先将所捕获的图像IM校正为重力(由重力矢量GV表示)然后应用图像轴线对准的Sobel滤波器的标准方法。由于所捕获的图像是正平行的，所以可以简单地通过旋转进行校正。该方法计算图像中的重力对准边缘上的强梯度，但需要附加的校正步骤。
图5示出了所投射的重力矢量与图像中的像素位置的依赖关系：在左列(A)中示出了一般情况，在右列(B)中示出了正平行情况，在右列中，投射到图像IM中的重力矢量与图像中的像素位置无关。
当相机被定位在距特定对象(诸如建筑物、城市风景、城市天际线、或自然风景(诸如山脉等)较远距离的地方时，可以总是假设正平行情况。在这些情况下，这种假设是合理的。正平行状态可以例如利用消视线以及消视点的位置来检测。如果存在一定数量的对应于物理平行线的可视边缘，则它们在无穷远或非常远处交叉的事实可能引起相机正平行于所观察场景的假设。如果它们在图像边界附近或不远处交叉，则正并行性的假设可能被认为是不合理的。
在不能假设正平行条件的情况下，需要根据图像中的像素位置来计算内核滤波器。图5的左下部图像示出了，对于(取决于)所有像素来说，图像中的投射重力矢量的方向并不相同。它根据像素位置而变化。
更具体地，根据以上动机给出的和所示附图中的实例来解释本发明的各方面，在目标是提取图像IM中的相对于重力具有一定方向的对象OB的边缘的情况下，所述方向被设置在参考坐标系(例如地球坐标系)中，并且附接于装置D的相机的附加传感器提供相机方向相对于具有高置信度的重力的自由度，于是检测图像中的边缘的梯度滤波器的图像处理方法可被约束，使得其直接计算重力对准的图像梯度。如上所述，图像梯度计算的标准方法包括，应用图像滤波器(诸如Sobel、Prewitt或Scharr滤波器)，其具有与图像轴线对准的内核(见图3中的上排A)。这意味着，通常这些图像滤波器的内核产生图像水平或图像垂直的梯度。给出相机方向相对于具有高置信度的重力的自由度，这里提出了，通过应用滤波器的内核对图像滤波进行约束，所述内核根据所测量的重力矢量来定向(参见图1以及图3中的下排B)。通过应用取决于图像上的重力方向的内核，直接计算相对于图像中的重力矢量的具有预定方向的梯度。投射到图像中的重力取决于相机相对于重力的方向、相机的固有参数以及图像中的像素位置。因此，应用于图像中的每个像素以计算重力对准梯度的内核对于整个图像通常是不相同的且需要由例如用于每个像素位置的查找表计算或提供，或者作为每个图像区域的近似(见图5中的左列A)。如果图像平面正平行于重力(见图2以及图5中的右列B)，则重力在图像中的投射在图像中的每个像素位置是相同的，因此，相同的重力对准内核可应用于图像的所有像素。如果图像平面是大致正平行的，则将相同的重力相关的内核应用于整个图像的近似根据该应用情况仍可以是足够的。这能够加快对整个图像的处理。
通过调整滤波器的内核以产生强结果，诸如高梯度值，使得本发明所提出的方法利用了这些图像滤波器的各向异性性质，用于感兴趣方向(诸如重力矢量在图像中的投射方向)或者相对于重力矢量的预定方向。因此，与现有方法相比，它不产生图像轴线对准特性，而是直接产生感兴趣方向的特性，而无需将图像滤波多次应用于整个图像上，且无需额外的后处理。此外，它直接在原始图像数据上工作，因此与不希望的中间处理步骤的质量和速度方面的性能无关，诸如但不限于图像的校正。
进一步地，所提出的方法设想了利用给定置信度高的自由度的置信度，以进一步调整图像滤波器的内核特性。例如，基于高斯的内核可根据高置信度的自由度被定向，同时可根据所提供的保真度等级来调整标准偏差。这种方法的实施例将是在根据包括重力矢量的自由度的置信度来调整的标准偏差的情况下用于边缘检测的相对于重力矢量定向的高斯内核。例如，如果给出具有高置信度的重力，则可以使用非常薄和细长的内核。反之，当给出具有较低置信度的重力时，可以使用较宽的内核，从而考虑更多的线条方向。
这样的图像处理方法的实施例可以基于所给的实例，即如何将图像处理方法约束于确切已知投射到图像中的重力，以提取相对于重力矢量具有一定对准的图像梯度，用于利用相对于重力矢量的已知方向在坐标系中的给定模型的对象边缘之间进行匹配。这种匹配可以嵌入到移动相机(诸如但不限于室外环境中的移动相机)的定位中。受约束的图像滤波器通过缩减可能的匹配候选的量来支持匹配过程，从而增加更正确地匹配对应关系的可能性。这进而基于用于相机定位的对应关系改进了优化。
更一般而言，这种受约束的图像处理方法的另一实施例计算来自图像的经滤波的数据，所述图像被约束于相对于参考坐标系的可信的自由度，该实施例包括匹配处理，诸如其参考坐标系(对于该参考坐标系，该约束是保持着的)中的对象的特征与由受约束图像滤波器引起的图像中的一个计算特征匹配。然后，因而产生的改进匹配可用于拍摄图像(一个或多个)的移动相机相对于参考坐标系的定位。
与相对于重力具有某方向的梯度和边缘的滤波类似，这种受约束的图像处理方法的另一实施例可在图像中产生或滤波平面的水平梯度或附接至重力对准坐标系(如地球坐标系)的分段平面对象。如果对于相对于重力的相机方向附加地，相机的相对于其他旋转自由度的方向(其在地球坐标系中作为实例)对应于其朝向北的方向且可由罗盘传感器提供，并且附加地，平面或分段平面对象相对于参考坐标系的法线是已知的，则可以生成该输出数据。这种水平对准梯度的受约束的图像处理输出可在进一步的处理步骤和类似于对重力对准梯度进行滤波的应用中使用。
受约束的图像处理方法的另一实施例是产生某特性的滤波或处理后的图像数据，该特性被约束于相对于某参考坐标系的可信自由度，以允许两个帧之间的任何类型的匹配而，无需关于对象的确切知识，诸如对象的模型。更具体地，如果参考坐标系是地球坐标系，且相机的可信自由度是其相对于地球坐标系的重力方向，则可利用移动相机的不同帧(即图像)中的重力对准图像处理导出图像数据。不同帧中的这种因而产生的重力对准图像数据可用于匹配帧之间的对应关系。之后，这些匹配可用于依赖于帧对帧匹配的任何方法，诸如但不限于移动相机的帧对帧跟踪、图像拼接或所观察环境的3D重构。
图像处理方法的又一个实施例是产生距离变换图像，所述距离变换图像为图像中的每个像素存储其与具有滤波特性的像素最近的距离。例如，它可以为图像中的每个像素存储其与重力对准梯度最近的距离。该距离变换图像可以稍后在例如全局对准算法中使用，其中不同的自由度迭代地改进，并且通过预定代价函数来测量迭代的质量。全局对准算法的迭代可通过如上所述的粒子滤波器方法来控制。
受约束的图像处理方法的另一个实施例是根据相对于重力测量值定义的或根据加速计或陀螺仪数据测量的某种相机运动定义的某方向通过改正运动模糊效应或通过平滑该图像来锐化图像。基于关于相机相对于参考坐标系的定位的或者由附接于相机的传感器或***直接提供的时间信息，可以提供相对于参考坐标系的运动轨迹。基于该运动矢量，可约束图像处理方法以生成或滤波被约束于该运动轨迹的数据，诸如锐化或平滑或基于与轨迹运动相关联的图像滤波的任何其它处理。该结果可用作另一图像处理步骤的输入，诸如但不局限于锐化后的图像中的特征检测。
受约束的图像处理方法的另一实施例是根据相机相对于参考坐标系的位置调整图像滤波器的内核尺寸。例如，根据相机到参考坐标系中的对象的距离，梯度滤波器的内核尺寸的调整可以改进图像中的边缘的正确检测。这同样适用于平滑或模糊滤波器，其可以在另一图像处理方法之前执行，以例如降低噪声。其内核尺寸的调整可改进随后的处理步骤，诸如梯度搜索。
给出感兴趣的成像对象的某种表示，并且给出允许相机相对于环境和尤其是感兴趣对象近似定位的传感器数据，可以估计感兴趣对象与相机之间的距离。在室外定位的情况下，定位数据可以来自GPS***，并且对象的表示(如果是建筑物)可以来自地理数据***，如公知的开放街道地图或谷歌地图。
给出估计的距离，可以调整内核滤波器的尺寸。
移动捕获装置(诸如相机)或配备有捕获装置(诸如相机)的移动装置相对于与对象相关联的坐标系(定义参考原点和参考方向)中的对象的定位是计算机视觉领域中的一项重要任务。这里已经提出了许多不同的方法，它们可以应用于该应用领域中。
一个大类包括基于视觉的定位，其中从一个或多个相机(诸如但不限于可见光相机、红外相机、飞行时间相机、深度相机***、扫描***或提供来自待定位对象的某种图像的任何其它***)捕获的数据被分析和用于与已知或运行期间获知的对象表示相对准。如本文所示，根据本发明的各个方面，本申请中所提出的方法可以有利地应用于该领域以及前面提及的任何捕获装置。

Claims (21)

1.一种图像处理方法，具体用于装置的基于视觉的定位中，包括以下步骤：
-提供至少一个对象或所述至少一个对象的一部分的至少一个图像，并提供与所述图像相关的坐标系；
-提供所述坐标系中的至少一个自由度或所述坐标系中的至少一个传感器数据；以及
-计算由所述至少一个自由度或所述至少一个传感器数据约束或对准的所述至少一个图像或所述至少一个图像的一部分的图像数据。
2.根据权利要求1所述的方法，其中，所计算的图像数据是包括形态学图像运算或图像滤波的图像处理的结果。
3.根据权利要求2所述的方法，其中，图像数据的计算根据具有特定优选高置信度的自由度被约束或对准，或者根据优选高置信度的传感器被约束或对准，所述传感器提供在所述图像处理方法中使用的与所述图像或捕获所述图像的装置相关的数据。
4.根据权利要求1至3中任一项所述的方法，其中，所述图像处理方法包括图像梯度计算，所述图像梯度计算包括所述图像中的重力对准梯度的滤波。
5.根据权利要求1至4中任一项所述的方法，其中，所述图像处理方法包括图像梯度计算，所述图像梯度计算包括利用内核进行图像滤波，其中所述内核与所述图像的轴线或重力矢量对准。
6.根据权利要求5所述的方法，其中，在所述图像的图像平面正平行于所述重力矢量的情况下，同一重力对准内核应用于整个图像。
7.根据权利要求1至6中任一项所述的方法，所述方法还包括匹配处理，具体是将所述至少一个图像中的对象的至少一个特征与所述对象的数字表示的至少一个特征匹配。
8.根据权利要求1至7中任一项所述的方法，其中，所述图像处理方法用于基于所述图像处理方法的结果而产生距离变换图像。
9.根据权利要求1至8中任一项所述的方法，还包括运行全局对准算法，其中迭代地改进不同的自由度，并且通过预定义代价函数来测定迭代的质量，具体包括距离变换图像。
10.根据权利要求1至9中任一项所述的方法，其中，相对于与用于捕获所述至少一个图像的捕获装置相关联的装置运行所述图像处理方法，其中所述方法还包括以下步骤：用所述捕获装置捕获所述至少一个图像；以及提供所述捕获装置的固有参数的估计。
11.根据权利要求1至10中任一项所述的方法，其中，相对于与用于捕获所述至少一个图像的捕获装置相关联的装置运行所述图像处理方法，其中所述方法还包括提供位置和方向数据，所述数据提供所述捕获装置相对于具有相应置信度的坐标系的不同自由度的测量值。
12.根据权利要求1至11中任一项所述的方法，还包括在所述图像中生成或滤波附接到重力对准坐标系的平面或分段平面的对象的垂直或水平梯度的步骤。
13.根据权利要求1至12中任一项所述的方法，其中，相对于与用于捕获所述至少一个图像的捕获装置相关联的装置来运行所述图像处理方法，其中所述方法还包括以下步骤：用所述捕获装置捕获所述至少一个图像；以及在所述捕获装置的运动方向上对所述图像进行锐化。
14.根据权利要求1至13中任一项所述的方法，其中，相对于与用于捕获所述至少一个图像的捕获装置相关联的装置运行所述图像处理方法，其中所述方法还包括以下步骤：用所述捕获装置捕获所述至少一个图像；以及根据所述捕获装置相对于所述坐标系的位置，调整图像滤波器的内核的尺寸。
15.根据权利要求1至14中任一项所述的方法，进一步提供至少一个传感器，所述至少一个传感器提供关于一个或多个自由度的信息，其中所述至少一个传感器选自包括以下传感器的组：GPS传感器、惯性传感器、加速计、陀螺仪、磁力计、里程表、机械传感器，具体是旋转编码器，或多个传感器的组合和/或跟踪***，诸如测量臂或激光***。
16.根据权利要求1至15中任一项所述的方法，其中，所述方法包括信息的图像处理、滤波和提取中的至少一种，特别是执行、分析、提取或创建强度、梯度、导数、边缘、线条、区段、拐角、特征、平滑、模糊、变换、去噪、锐化、侵蚀和扩张中的至少一种。
17.根据权利要求1至16中任一项所述的方法，其中，所述方法是用于确定装置相对于增强现实应用或机器人***导航中的对象的位置和方向的方法，所述装置与用于捕获所述至少一个图像的捕获装置相关联。
18.根据权利要求1至17中任一项所述的方法，其中，特别是用于捕获所述至少一个图像的捕获装置的所述至少一个自由度设有置信度，所述置信度用于所述图像处理方法。
19.根据权利要求18所述的方法，其中，所述图像处理方法包括利用内核进行图像滤波，其中根据重力矢量和包括所述重力矢量的自由度的置信度来计算所述内核。
20.根据权利要求19所述的方法，其中，所述图像处理方法包括边缘检测方法，所述边缘检测方法包括用于边缘检测的相对于重力矢量定向的高斯内核，同时利用包括所述重力矢量的自由度的置信度来计算标准偏差。
21.一种计算机程序产品，适于装载到数字计算机***的内部存储器中并且包括软件代码部分，当所述计算机程序产品在所述计算机***上运行时，通过所述计算机程序产品执行根据权利要求1至20中任一项的各步骤。
CN201380049204.8A 2012-09-27 2013-06-05 具体用于装置的基于视觉的定位的图像处理方法 Active CN104704384B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/EP2012/069075 WO2014048475A1 (en) 2012-09-27 2012-09-27 Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image
EPPCT/EP2012/069075 2012-09-27
PCT/EP2013/061592 WO2014048590A1 (en) 2012-09-27 2013-06-05 Image processing method, particularly used in a vision-based localization of a device

Publications (2)

Publication Number Publication Date
CN104704384A true CN104704384A (zh) 2015-06-10
CN104704384B CN104704384B (zh) 2017-12-05

Family

ID=47046562

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280075940.6A Withdrawn CN104662435A (zh) 2012-09-27 2012-09-27 确定与用于捕获至少一个图像的捕获装置关联的装置的位置和方向的方法
CN201380049204.8A Active CN104704384B (zh) 2012-09-27 2013-06-05 具体用于装置的基于视觉的定位的图像处理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201280075940.6A Withdrawn CN104662435A (zh) 2012-09-27 2012-09-27 确定与用于捕获至少一个图像的捕获装置关联的装置的位置和方向的方法

Country Status (5)

Country Link
US (2) US9990726B2 (zh)
EP (2) EP2904417A1 (zh)
JP (2) JP2015532077A (zh)
CN (2) CN104662435A (zh)
WO (2) WO2014048475A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108496096A (zh) * 2016-02-02 2018-09-04 高通股份有限公司 可视化惯性里程计参考系与卫星定位***参考系的对准

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103763953B (zh) 2011-09-06 2016-08-17 英美烟草(投资)有限公司 加热可抽吸材料
EP2904417A1 (en) * 2012-09-27 2015-08-12 Metaio GmbH Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image
US9213419B1 (en) * 2012-11-13 2015-12-15 Amazon Technologies, Inc. Orientation inclusive interface navigation
US9870621B1 (en) 2014-03-10 2018-01-16 Google Llc Motion-based feature correspondence
US20150269436A1 (en) * 2014-03-18 2015-09-24 Qualcomm Incorporated Line segment tracking in computer vision applications
US10108254B1 (en) 2014-03-21 2018-10-23 Google Llc Apparatus and method for temporal synchronization of multiple signals
US9317747B2 (en) * 2014-05-06 2016-04-19 Qualcomm Incorporated Determining an orientation of a mobile device
FR3021442B1 (fr) * 2014-05-21 2018-01-12 Airbus Group Sas Procede de traitement d'informations locales
US9600723B1 (en) * 2014-07-03 2017-03-21 Google Inc. Systems and methods for attention localization using a first-person point-of-view device
GB2533788A (en) * 2014-12-30 2016-07-06 Nokia Technologies Oy Method for determining the position of a portable device
WO2016203282A1 (en) * 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
US11924930B2 (en) 2015-08-31 2024-03-05 Nicoventures Trading Limited Article for use with apparatus for heating smokable material
US20170055584A1 (en) 2015-08-31 2017-03-02 British American Tobacco (Investments) Limited Article for use with apparatus for heating smokable material
US20170119046A1 (en) 2015-10-30 2017-05-04 British American Tobacco (Investments) Limited Apparatus for Heating Smokable Material
EP3173979A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for identification of characteristic points of a calibration pattern within a set of candidate points in an image of the calibration pattern
EP3174007A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for calibrating the orientation of a camera mounted to a vehicle
US10270973B2 (en) * 2015-12-08 2019-04-23 Canon Kabushiki Kaisha Control device and imaging apparatus with a subject selectable mode with higher image blur correction
JP2017129567A (ja) * 2016-01-20 2017-07-27 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US10257505B2 (en) * 2016-02-08 2019-04-09 Microsoft Technology Licensing, Llc Optimized object scanning using sensor fusion
US10003732B2 (en) * 2016-02-25 2018-06-19 Foodim Ltd Depth of field processing
JP6987797B2 (ja) 2016-03-11 2022-01-05 カールタ インコーポレイテッド リアルタイムオンラインエゴモーション推定を有するレーザスキャナ
US10989542B2 (en) 2016-03-11 2021-04-27 Kaarta, Inc. Aligning measured signal data with slam localization data and uses thereof
US11567201B2 (en) 2016-03-11 2023-01-31 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
US10019801B2 (en) * 2016-03-11 2018-07-10 Kabushiki Kaisha Toshiba Image analysis system and method
US11573325B2 (en) 2016-03-11 2023-02-07 Kaarta, Inc. Systems and methods for improvements in scanning and mapping
US11232583B2 (en) * 2016-03-25 2022-01-25 Samsung Electronics Co., Ltd. Device for and method of determining a pose of a camera
US20170280130A1 (en) * 2016-03-25 2017-09-28 Microsoft Technology Licensing, Llc 2d video analysis for 3d modeling
JP6744747B2 (ja) * 2016-04-01 2020-08-19 キヤノン株式会社 情報処理装置およびその制御方法
DE102016109628A1 (de) * 2016-05-25 2017-11-30 Deutsche Telekom Ag Verfahren zum Bestimmen der Position und/oder Orientierung einer mobilen elektronischen Einrichtung mit Hilfe einer digitalen Wärmebildkamera
EP3296950A1 (en) * 2016-09-15 2018-03-21 Thomson Licensing Method and device for blurring a virtual object in a video
US10583302B2 (en) 2016-09-23 2020-03-10 Greatbatch Ltd. Gold wetting on ceramic surfaces upon coating with titanium hydride
IT201700009585A1 (it) * 2017-01-30 2018-07-30 The Edge Company S R L Metodo per il riconoscimento di oggeti per motori di realta' aumentata mediante un dispositivo elettronico
US10089750B2 (en) * 2017-02-02 2018-10-02 Intel Corporation Method and system of automatic object dimension measurement by using image processing
US10444506B2 (en) 2017-04-03 2019-10-15 Microsoft Technology Licensing, Llc Mixed reality measurement with peripheral tool
CN110573901A (zh) 2017-04-28 2019-12-13 深圳市大疆创新科技有限公司 激光传感器和视觉传感器的校准
CN107301657B (zh) * 2017-06-12 2018-08-10 西安交通大学 一种考虑目标运动信息的视频目标跟踪方法
EP3646058A4 (en) * 2017-06-30 2020-12-02 Kaarta, Inc. SYSTEMS AND METHODS FOR IMPROVING SCAN AND IMAGING
WO2019019157A1 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated INITIALIZING IMAGE SENSOR IN A ROBOTIC VEHICLE
DE102017217008A1 (de) * 2017-09-26 2019-03-28 Robert Bosch Gmbh Verfahren zum Ermitteln der Steigung einer Fahrbahn
WO2019099605A1 (en) 2017-11-17 2019-05-23 Kaarta, Inc. Methods and systems for geo-referencing mapping systems
US10816334B2 (en) 2017-12-04 2020-10-27 Microsoft Technology Licensing, Llc Augmented reality measurement and schematic system including tool having relatively movable fiducial markers
CN108413970B (zh) * 2017-12-25 2021-11-16 达闼科技（北京）有限公司 一种定位方法、云***、电子设备及计算机程序产品
US10970425B2 (en) * 2017-12-26 2021-04-06 Seiko Epson Corporation Object detection and tracking
US10957072B2 (en) * 2018-02-21 2021-03-23 Cognex Corporation System and method for simultaneous consideration of edges and normals in image features by a vision system
WO2019165194A1 (en) 2018-02-23 2019-08-29 Kaarta, Inc. Methods and systems for processing and colorizing point clouds and meshes
EP3534334B1 (en) 2018-02-28 2022-04-13 Aptiv Technologies Limited Method for identification of characteristic points of a calibration pattern within a set of candidate points derived from an image of the calibration pattern
EP3534333A1 (en) * 2018-02-28 2019-09-04 Aptiv Technologies Limited Method for calibrating the position and orientation of a camera relative to a calibration pattern
EP3714597B1 (en) * 2018-04-03 2023-10-25 Samsung Electronics Co., Ltd. Methods and apparatus for determining rotation angle for spherical multimedia content
WO2019195270A1 (en) 2018-04-03 2019-10-10 Kaarta, Inc. Methods and systems for real or near real-time point cloud map data confidence evaluation
JP2021122079A (ja) * 2018-05-08 2021-08-26 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
WO2020009826A1 (en) 2018-07-05 2020-01-09 Kaarta, Inc. Methods and systems for auto-leveling of point clouds and 3d models
US11238297B1 (en) * 2018-09-27 2022-02-01 Apple Inc. Increasing robustness of computer vision systems to rotational variation in images
KR102627453B1 (ko) * 2018-10-17 2024-01-19 삼성전자주식회사 위치 추정 장치 및 방법
CN111291585B (zh) * 2018-12-06 2023-12-08 杭州海康威视数字技术股份有限公司 一种基于gps的目标跟踪***、方法、装置及球机
EP3667362A1 (en) 2018-12-10 2020-06-17 Infineon Technologies AG Methods and apparatuses for determining rotation parameters for conversion between coordinate systems
US10867441B2 (en) * 2019-02-15 2020-12-15 Microsoft Technology Licensing, Llc Method and apparatus for prefetching data items to a cache
CN109976344B (zh) * 2019-03-30 2022-05-27 南京理工大学 巡检机器人姿态矫正方法
WO2020235539A1 (ja) * 2019-05-17 2020-11-26 株式会社エスイーフォー オブジェクトの位置及び姿勢を特定する方法及び装置
US11107195B1 (en) * 2019-08-23 2021-08-31 Lucasfilm Entertainment Company Ltd. Motion blur and depth of field for immersive content production systems
JP2022551978A (ja) * 2019-10-15 2022-12-14 オラクル・インターナショナル・コーポレイション データセンタオペレーションまたはクラウドインフラストラクチャで仮想現実または拡張現実を使用するためのシステムおよび方法
JP7311447B2 (ja) 2020-03-11 2023-07-19 京セラ株式会社 気密端子
JP7286573B2 (ja) * 2020-03-12 2023-06-05 株式会社日立エルジーデータストレージ 測距装置及び測距方法
US11562560B1 (en) * 2020-03-26 2023-01-24 Apple Inc. Normal estimation for a planar surface
CN113739797A (zh) * 2020-05-31 2021-12-03 华为技术有限公司 视觉定位方法和装置
CN114199275B (zh) * 2020-09-18 2024-06-21 阿里巴巴集团控股有限公司 传感器的参数确定方法和装置
US11887251B2 (en) 2021-04-23 2024-01-30 Lucasfilm Entertainment Company Ltd. System and techniques for patch color correction for an immersive content production system
US11978154B2 (en) 2021-04-23 2024-05-07 Lucasfilm Entertainment Company Ltd. System and techniques for lighting adjustment for an immersive content production system
CN114299192B (zh) * 2021-12-23 2022-12-27 北京百度网讯科技有限公司 定位建图的方法、装置、设备和介质
CN116309883B (zh) * 2023-05-16 2023-08-18 上海仙工智能科技有限公司 一种3D目标6DoF精确定位方法及***
CN116559928B (zh) * 2023-07-11 2023-09-22 新石器慧通（北京）科技有限公司 激光雷达的位姿信息确定方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5647015A (en) * 1991-12-11 1997-07-08 Texas Instruments Incorporated Method of inferring sensor attitude through multi-feature tracking
US5850469A (en) * 1996-07-09 1998-12-15 General Electric Company Real time tracking of camera pose
US6763129B1 (en) * 1999-10-05 2004-07-13 Kabushiki Kaisha Toshiba Image processing apparatus
US20060071945A1 (en) * 2004-09-28 2006-04-06 Canon Kabushiki Kaisha Information processing method and information processing apparatus
US20070092161A1 (en) * 2005-07-27 2007-04-26 Canon Kabushiki Kaisha Information processing method and information processing apparatus
CN102435172A (zh) * 2011-09-02 2012-05-02 北京邮电大学 一种球形机器人视觉定位***及视觉定位方法
WO2012112929A2 (en) * 2011-02-17 2012-08-23 The Johns Hopkins University Methods and systems for registration of radiological images

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5792610A (en) 1996-05-01 1998-08-11 Biorad Laboratories, Inc. Method for conducting multiparametric fluorescence in situ hybridization
JP2000032379A (ja) * 1998-07-08 2000-01-28 Olympus Optical Co Ltd 電子カメラ
FR2801776B1 (fr) 1999-12-03 2002-04-26 Commissariat Energie Atomique Procede d'utilisation d'un systeme d'osteodensitometrie, par rayonnement x bi-energie, a faisceau conique
CA2395257C (en) 1999-12-29 2013-04-16 Geospan Corporation Any aspect passive volumetric image processing method
JP2003281504A (ja) * 2002-03-22 2003-10-03 Canon Inc 撮像部位置姿勢推定装置及びその制御方法並びに複合現実感提示システム
US20060078219A1 (en) 2003-01-22 2006-04-13 Koninklijke Philips Electronics N.V. Image viewing and method for generating filters for filtering image feaures according to their orientation
JP4532856B2 (ja) * 2003-07-08 2010-08-25 キヤノン株式会社 位置姿勢計測方法及び装置
US7224831B2 (en) 2004-02-17 2007-05-29 Honda Motor Co. Method, apparatus and program for detecting an object
US7583858B2 (en) 2004-10-12 2009-09-01 Eastman Kodak Company Image processing based on direction of gravity
US20060078215A1 (en) 2004-10-12 2006-04-13 Eastman Kodak Company Image processing based on direction of gravity
JP4529837B2 (ja) 2005-08-04 2010-08-25 カシオ計算機株式会社 撮像装置、画像補正方法及びプログラム
US8000435B2 (en) 2006-06-22 2011-08-16 Koninklijke Philips Electronics N.V. Method and system for error compensation
WO2008024772A1 (en) * 2006-08-21 2008-02-28 University Of Florida Research Foundation, Inc. Image-based system and method for vehicle guidance and navigation
KR100843094B1 (ko) * 2006-10-30 2008-07-02 삼성전자주식회사 이미지 파일 관리 장치 및 방법
JP5248806B2 (ja) * 2007-04-25 2013-07-31 キヤノン株式会社 情報処理装置、情報処理方法
US20090110267A1 (en) * 2007-09-21 2009-04-30 The Regents Of The University Of California Automated texture mapping system for 3D models
JP5237059B2 (ja) 2008-11-14 2013-07-17 キヤノン株式会社 焦点検出装置及び方法、及び撮像装置
US9036032B2 (en) 2010-05-21 2015-05-19 Panasonic Intellectual Property Corporation Of America Image pickup device changing the size of a blur kernel according to the exposure time
CN102375985A (zh) 2010-08-10 2012-03-14 富士通株式会社 目标检测方法和设备
US8953847B2 (en) * 2010-10-01 2015-02-10 Saab Ab Method and apparatus for solving position and orientation from correlated point features in images
US8831290B2 (en) 2012-08-01 2014-09-09 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining poses of vehicle-mounted cameras for in-road obstacle detection
EP2904417A1 (en) 2012-09-27 2015-08-12 Metaio GmbH Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image
US9443355B2 (en) 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
US9607236B1 (en) 2014-06-27 2017-03-28 Blinker, Inc. Method and apparatus for providing loan verification from an image
US9542732B2 (en) 2015-04-03 2017-01-10 Cognex Corporation Efficient image transformation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5647015A (en) * 1991-12-11 1997-07-08 Texas Instruments Incorporated Method of inferring sensor attitude through multi-feature tracking
US5850469A (en) * 1996-07-09 1998-12-15 General Electric Company Real time tracking of camera pose
US6763129B1 (en) * 1999-10-05 2004-07-13 Kabushiki Kaisha Toshiba Image processing apparatus
US20060071945A1 (en) * 2004-09-28 2006-04-06 Canon Kabushiki Kaisha Information processing method and information processing apparatus
US20070092161A1 (en) * 2005-07-27 2007-04-26 Canon Kabushiki Kaisha Information processing method and information processing apparatus
WO2012112929A2 (en) * 2011-02-17 2012-08-23 The Johns Hopkins University Methods and systems for registration of radiological images
CN102435172A (zh) * 2011-09-02 2012-05-02 北京邮电大学 一种球形机器人视觉定位***及视觉定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108496096A (zh) * 2016-02-02 2018-09-04 高通股份有限公司 可视化惯性里程计参考系与卫星定位***参考系的对准
CN108496096B (zh) * 2016-02-02 2022-06-10 高通股份有限公司 可视化惯性里程计参考系与卫星定位***参考系的对准

Also Published As

Publication number Publication date
US20150245020A1 (en) 2015-08-27
US9888235B2 (en) 2018-02-06
CN104704384B (zh) 2017-12-05
JP6100380B2 (ja) 2017-03-22
WO2014048475A1 (en) 2014-04-03
EP2917754A1 (en) 2015-09-16
EP2904417A1 (en) 2015-08-12
JP2015532077A (ja) 2015-11-05
US20150235367A1 (en) 2015-08-20
CN104662435A (zh) 2015-05-27
EP2917754B1 (en) 2020-10-21
JP2015535980A (ja) 2015-12-17
US9990726B2 (en) 2018-06-05
WO2014048590A1 (en) 2014-04-03

Similar Documents

Publication Publication Date Title
CN104704384A (zh) 具体用于装置的基于视觉的定位的图像处理方法
CN110070615B (zh) 一种基于多相机协同的全景视觉slam方法
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
US9578310B2 (en) Automatic scene calibration
US20180012371A1 (en) Image Registration with Device Data
CN108052103B (zh) 基于深度惯性里程计的巡检机器人地下空间同时定位和地图构建方法
JP2017524932A (ja) ビデオ支援着艦誘導システム及び方法
CN112179373A (zh) 一种视觉里程计的测量方法及视觉里程计
Huai et al. Stereo-inertial odometry using nonlinear optimization
Veth et al. Two-dimensional stochastic projections for tight integration of optical and inertial sensors for navigation
CN111862146B (zh) 一种目标对象的定位方法及装置
Irmisch et al. Simulation framework for a visual-inertial navigation system
CN112731503A (zh) 一种基于前端紧耦合的位姿估计方法及***
US10977810B2 (en) Camera motion estimation
Irmisch et al. Robust visual-inertial odometry in dynamic environments using semantic segmentation for feature selection
CN110648353A (zh) 一种基于单目传感器的机器人室内定位方法和装置
Gakne et al. Skyline-based positioning in urban canyons using a narrow fov upward-facing camera
CN117649619B (zh) 无人机视觉导航定位回收方法、***、装置及可读存储介质
Tomažič et al. Monocular Visual Odometry on a Smartphone
Masher Accurately scaled 3-D scene reconstruction using a moving monocular camera and a single-point depth sensor
CN117629241A (zh) 一种基于连续时间模型的多相机视觉惯性里程计优化方法
Huang et al. An Integrated MEMS IMU/Camera System for Pedestrian Navigation in GPS-denied Environments
Yang Vision based estimation, localization, and mapping for autonomous vehicles
Svasta et al. Numerical processing of stereo optical images for autonomous navigation
Wong Registration of range images using geometric

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C53 Correction of patent of invention or patent application
CB03 Change of inventor or designer information

Inventor after: Peter's Mayer

Inventor after: Selim Benjimani

Inventor before: Peter's Mayer

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: MEIER PETER TO: MEIER PETER BENHIMANE SELIM

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180427

Address after: American California

Patentee after: Apple Computer, Inc.

Address before: Munich, Germany

Patentee before: METAIO GmbH

TR01 Transfer of patent right