CN109242901B - 应用于三维相机的图像校准方法和装置 - Google Patents

应用于三维相机的图像校准方法和装置 Download PDF

Info

Publication number
CN109242901B
CN109242901B CN201710561888.XA CN201710561888A CN109242901B CN 109242901 B CN109242901 B CN 109242901B CN 201710561888 A CN201710561888 A CN 201710561888A CN 109242901 B CN109242901 B CN 109242901B
Authority
CN
China
Prior art keywords
pixel point
distance
pixel
target
phase difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710561888.XA
Other languages
English (en)
Other versions
CN109242901A (zh
Inventor
简羽鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Original Assignee
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Autel Intelligent Aviation Technology Co Ltd filed Critical Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority to CN201710561888.XA priority Critical patent/CN109242901B/zh
Priority to EP18832958.5A priority patent/EP3640892B1/en
Priority to PCT/CN2018/083761 priority patent/WO2019011027A1/zh
Publication of CN109242901A publication Critical patent/CN109242901A/zh
Priority to US16/740,152 priority patent/US10944956B2/en
Application granted granted Critical
Publication of CN109242901B publication Critical patent/CN109242901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明揭示了一种应用于三维相机的图像校准方法和装置，其中，所述方法包括：通过三维相机拍摄被测物体，并在所述三维相机的感光区域中得到被测物体图像，由所述被测物体图像确定所述感光区域中对应所述被测物体的像素点；针对所述被测物体对应的像素点，获取所述像素点对应的深度信息，所述深度信息指示所述被测物体和所述像素点之间的距离；由预先存储的测量偏差集合中获取所述像素点对应的测量偏差值，并根据所述测量偏差值对所述深度信息进行修正。由此，通过修正被测物体对应像素点的深度信息，对三维相机获得的被测物体图像进行校准，以消除被测物体图像所产生的畸变。

Description

应用于三维相机的图像校准方法和装置
技术领域
本公开涉及图像传感器应用技术领域，特别涉及应用于三维相机的图像校准方法和装置。
背景技术
随着图像传感器技术的发展，三维相机得到了越来越广泛的应用。三维相机通过调制光源发射调制近红外光或激光，该调制近红外光或激光遇到被测物体后反射，通过计算发射光和反射光在三维相机和被测物体之间传播的时间差或相位差，可以获得被测物体的距离信息。
在现有技术中，通过基于TOF(Time of Flight，飞行时间)技术的三维相机拍摄被测物体，利用经频率调制的光脉冲传播的时间差或者相位差计算被测物体的距离，即三维相机获得的被测物体图像实质上表示的是被测物体和三维相机的距离。
然而，由于三维相机的感光区域是由图像传感器构成的像素矩阵，位于感光区域中边缘区域的像素点和中心区域的像素点与被测物体之间的距离不完全相同，这就导致了三维相机获得的被测物体图像会在一定程度上产生畸变。
发明内容
为了解决相关技术中存在的由三维相机获得的被测物体图像会在一定程度上产生畸变的技术问题，本公开提供了一种应用于三维相机的图像校准方法和装置。
一种应用于三维相机的图像校准方法，其特征在于，所述方法包括：
通过三维相机拍摄被测物体，并在所述三维相机的感光区域中得到被测物体图像，由所述被测物体图像确定所述感光区域中对应所述被测物体的像素点；
针对所述被测物体对应的像素点，获取所述像素点对应的深度信息，所述深度信息指示所述被测物体和所述像素点的距离；
由预先存储的测量偏差集合中获取所述像素点对应的测量偏差值，并根据所述测量偏差值对所述深度信息进行修正。
在其中一个示例性实施例中，所述针对所述被测物体对应的像素点，获取所述像素点对应的深度信息，包括：
计算预设调制光在所述像素点和被测物体之间传播的相位差，以计算得到的相位差作为所述像素点对应的深度信息。
在其中一个示例性实施例中，所述由预先存储的测量偏差集合中获取各所述像素点对应的测量偏差值之前，所述方法还包括：
由所述感光区域中选取一参考区域，并根据所述参考区域中各参考像素点对应的参考相位差计算平均参考相位差，所述参考相位差指示预设反射面和所述参考像素点之间的参考距离；
根据所述感光区域中目标像素点和所述预设反射面的目标距离，计算所述目标像素点对应的目标相位差，所述目标像素点是所述感光区域中所有像素点中的任意一像素点；
将得到的所述目标相位差和所述平均参考相位差进行比较，得到所述目标像素点对应的测量偏差值；
将所述目标像素点对应的测量偏差值存储至所述测量偏差集合。
在其中一个示例性实施例中，所述根据所述感光区域中目标像素点和所述预设反射面之间的目标距离，计算所述目标像素点对应的目标相位差之前，所述方法还包括：
根据所述目标像素点和中心参考点之间的像素距离确定所述像素距离对应的视场角，所述中心参考点表示所述参考区域中心位置的参考像素点；
根据所述视场角以及所述中心参考点与所述预设反射面之间的参考距离计算所述目标像素点和所述预设反射面之间的目标距离。
在其中一个示例性实施例中，所述根据所述目标像素点和中心参考点之间的像素距离确定所述像素距离对应的视场角，包括：
计算所述感光区域中相邻像素点之间的单位视场角；
根据所述像素距离和所述单位视场角计算得到所述像素距离对应的视场角。
一种应用于三维相机的图像校准装置，所述装置包括：
成像模块，用于通过三维相机拍摄被测物体，并在所述三维相机的感光区域中得到被测物体图像，由所述被测物体图像确定所述感光区域中对应所述被测物体的像素点；
获取模块，用于针对所述被测物体对应的像素点，获取所述像素点对应的深度信息，所述深度信息指示所述被测物体和所述像素点之间的距离；
修正模块，用于由预先存储的测量偏差集合中获取所述像素点对应的测量偏差值，并根据所述测量偏差值对所述深度信息进行修正。
在其中一个示例性实施例中，所述装置还包括：
计算模块，用于计算预设调制光在所述像素点和被测物体之间传播的相位差，以计算得到的相位差作为所述像素点对应的深度信息。
在其中一个示例性实施例中，所述装置还包括：
平均参考相位差获取模块，用于由所述感光区域中选取一参考区域，并根据所述参考区域中各参考像素点对应的参考相位差计算平均参考相位差，所述参考相位差指示预设反射面和所述参考像素点之间的参考距离；
目标相位差获取模块，用于根据所述感光区域中目标像素点和所述预设反射面的目标距离，计算所述目标像素点对应的目标相位差，所述目标像素点是所述感光区域中所有像素点中的任意一像素点；
比较模块，用于将得到的所述目标相位差和所述平均参考相位差进行比较，得到所述目标像素点对应的测量偏差值；
存储模块，用于将所述目标像素点对应的测量偏差值存储至所述测量偏差集合。
在其中一个示例性实施例中，所述装置还包括：
视场角计算模块，用于根据所述目标像素点和中心参考点之间的像素距离确定所述像素距离对应的视场角，所述中心参考点表示所述参考区域中心位置的参考像素点；
目标距离计算模块，用于根据所述视场角以及所述中心参考点与所述预设反射面之间的参考距离计算所述目标像素点和所述预设反射面之间的目标距离。
在其中一个示例性实施例中，所述视场角计算模块还包括：
单位视场角计算单元，用于计算得到所述感光区域中相邻像素点之间的单位视场角；
视场角计算单元，用于根据所述像素距离和所述单位视场角计算得到所述像素距离对应的视场角。
本公开的实施例提供的技术方案可以包括以下有益效果：通过三维相机拍摄被测物体，并在三维相机的感光区域中得到被测物体图像，由被测物体图像确定所述感光区域中对应被测物体的像素点。针对被测物体对应的像素点，获取像素点对应的深度信息，深度信息指示被测物体和像素点之间的距离。由预先存储的测量偏差集合中获取像素点对应的测量偏差值，并根据测量偏差值对所述深度信息进行修正。由此，通过修正被测物体对应像素点的深度信息，对三维相机获得的被测物体图像进行校准，以消除被测物体图像所产生的畸变。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。
图1是一示例性实施例示出的应用于三维相机的图像校准方法的流程图。
图2是另一示例性实施例示出的应用于三维相机的图像校准方法的流程图。
图3是另一示例性实施例示出的应用于三维相机的图像校准方法的流程图。
图4是根据图3对应实施例中步骤1421在一个实施例的流程图。
图5是一应用场景中选定参考区域和设定参考距离的一种具体实现示意图。
图6是一应用场景中计算目标像素点对应的目标距离的一种具体实现示意图。
图7是一应用场景中计算像素距离和视场角的一种具体实现示意图。
图8是一示例性实施例示出的应用于三维相机的图像校准装置的框图。
图9是另一示例性实施例示出的应用于三维相机的图像校准装置的框图。
图10另一示例性实施例示出的应用于三维相机的图像校准装置的框图。
图11根据图10对应实施例的装置中的视场角计算单元在一个实施例的框图。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的应用于三维相机的图像校准方法的流程图。如图1所示，该方法包括但不限于以下步骤：
在步骤1100中，通过三维相机拍摄被测物体，并在三维相机的感光区域中得到被测物体图像，由被测物体图像确定感光区域中对应被测物体的像素点。
三维相机，是指一种利用图像传感器技术拍摄被测物体并获得被测物体图像的相机。三维相机通过调制光源发射调制近红外光或激光，该调制近红外光或激光遇到被测物体后反射，通过计算发射光和反射光在三维相机和被测物体之间传播的时间差或相位差，可以获得被测物体的距离信息。
感光区域，是指三维相机中用于对被测物体进行感光成像的区域，感光区域由图像传感器的像素矩阵构成。例如，图像传感器包括CCD光电传感器、CMOS光电传感器等等。
具体的，由三维相机对被测物体进行拍摄，通过调制光源发射预设调制光，该预设调制光经过被测物体反射至三维相机的感光区域，并在三维相机的感光区域中得到被测物体图像，进而便能够由被测物体图像确定感光区域中对应被测物体的像素点。其中，预设调制光可以是经过不同调制频率调制的近红外光或者激光。
应当说明的是，由被测物体图像所确定得到的被测物体对应的像素点仅是感光区域中所有像素点的一部分，进而使得后续进行图像校准的像素点也仅是该一部分与被测物体相关的像素点。
在步骤1300中，针对被测物体对应的像素点，获取像素点对应的深度信息。
深度信息，是指三维相机的感光区域中由被测物体图像表示的该被测物体的距离信息，即深度信息指示了被测物体与被测物体对应像素点之间的距离。
由基于TOF技术的三维相机获得的被测物体图像能够反映被测物体和三维相机之间的距离，并通过不同的色彩代表不同距离，以记录和表示被测物体对应像素点的深度信息，由此，便能够通过被测物体图像获得像素点对应的深度信息。
进一步地，通过计算预设调制光在感光区域的像素点和被测物体之间传播的时间差或者相位差，进而以计算得到的时间差或者相位差作为像素点对应的深度信息。
在步骤1500中，由预先存储的测量偏差集合中获取像素点对应的测量偏差值，并根据测量偏差值对深度信息进行修正。
测量偏差集合中包含若干像素点对应的测量偏差值，该测量偏差值反映了感光区域中边缘区域的像素点和中心区域的像素点与被测物体之间的距离偏差。
进一步地，测量偏差集合预先存储在三维相机的存储介质中，例如，存储介质包括只读存储器、随机存储器、闪存等。
更进一步，对应预设调制光的不同调制频率，所述三维相机的测量偏差集合是不同的。因此，在通过由预先存储的测量偏差集合中获取各像素点对应的测量偏差值对深度信息进行修正时，应当读取对应调制频率的测量偏差集合所包含的测量偏差值。
由此，当三维相机对被测物体进行拍摄并获得被测物体图像后，便能够通过读取存储介质中测量偏差集合所包含的测量偏差值进行图像校准，即根据测量偏差值修正深度信息，进而使得感光区域中边缘区域的像素点和中心区域的像素点与被测物体之间的距离偏差大致相同，从而避免被测物体图像所产生的畸变。
通过上述过程，由预先存储的测量偏差集合中获取像素点对应的测量偏差值，并根据测量偏差值对深度信息进行修正。通过修正被测物体对应像素点的深度信息，对三维相机获得的被测物体图像进行校准，以消除被测物体图像所产生的畸变。
在一示例性实施例示出的应用于三维相机的图像校准方法，所述方法还包括如下步骤：
通过计算预设调制光在像素点和被测物体之间传播的相位差，得到像素点对应的深度信息，即被测物体和该像素点的距离。
具体地，被测物体和像素点的距离可由如下公式进行计算：
Figure BDA0001347319820000071
其中，
Figure BDA0001347319820000072
代表的是预设调制光在像素点和被测物体之间传播的相位差，相位差的取值范围为-π～π，D为被测物体和像素点的距离，C为光速，f为预设调制光的频率。
需要说明的是，预设调制光在像素点和被测物体之间传播的相位差具体是指发射光与反射光之间的相位差，该发射光和反射光是预设调制光在像素点和被测物体之间传播过程中产生的，即预设调制光由调制光源发射至被测物体形成发射光，预设调制光经过被测物体反射回三维相机形成反射光。
图2是另一示例性实施例示出的应用于三维相机的图像校准方法的流程图。如图2所示，所述方法还包括以下步骤：
在步骤1410中，由感光区域中选取一参考区域，并根据参考区域中各像素点对应的参考相位差计算平均参考相位差，参考相位差指示预设反射面和像素点的参考距离。
如图5所述，选取感光区域中心位置的区域作为参考区域，将该参考区域中的像素点定义为参考像素点，并将参考区域中心位置的参考像素点定义为中心参考点。设定白墙作为预设反射面，dist为预设反射面和中心参考点之间的参考距离，FOV(Field OF View，视场角)表示感光区域的视场角。
通过计算预设调制光在各参考像素点和预设反射面之间传播的相位差，得到各参考像素点对应的参考相位差，然后根据参考区域中各参考像素点对应的参考相位差计算参考区域内所有参考像素点对应的平均参考相位差。
具体地，参考区域内所有参考像素点对应的平均参考相位差可由如下公式进行计算：
Figure BDA0001347319820000081
其中，diffaveerage表示平均参考相位差，k为参考区域包含的参考像素点的个数，phasei为各参考像素点分别对应的参考相位差，指示了预设反射面和参考像素点之间的参考距离。
更进一步，感光区域的参考区域的大小，即参考区域所包括的参考像素点的个数k，可以根据三维相机与预设反射面之间的距离灵活地调整，例如，三维相机与预设反射面之间的距离越近，则k越大。
在步骤1430中，根据感光区域中目标像素点和预设反射面之间的目标距离，计算目标像素点对应的目标相位差。
其中，目标像素点是感光区域中所有像素点中的任意一像素点。
由于位于感光区域中边缘区域的像素点和中心区域的像素点与被测物体之间的距离不完全相同，故而，感光区域中任一目标像素点与预设反射面之间的距离并非均和中心参考点与预设反射面之间的参考距离dist一致，由此，将目标像素点与预设反射面之间的距离定义为目标距离。如图6所述，P为感光区域中任意选取的目标像素点，P同时也是预设反射面中物点A所对应的像点，即P与预设反射面之间的距离实质是P与物点A之间的距离。
具体地，目标相位差可以通过如下公式进行计算：
phase_real＝dist_real×max_phase/max_distance
其中，phase_real为目标像素点对应的目标相位差，dist_real为感光区域中目标像素点和预设反射面之间的目标距离，max_phase为预设调制光的最大相位，max_distance为基于该最大相位时三维相机能够准确拍摄被测物体的最大距离。
进一步地，max_phase与图像传感器的芯片相关，max_distance与预设调制光的调制频率相关，即，如果图像传感器的芯片不同，max_phase会有所区别，如果预设调制光的调制频率不同，max_distance也将所有差别。换而言之，在不同的应用场景中，max_phase和max_distance可以根据图像传感器的芯片以及预设调制光的调制频率进行灵活地调整，以使图像校准达到最佳的效果。
举例来说，如表1所示，不同的调制频率具有不同的max_distance。
表1调制频率与max_distance的关系
调制频率 max_distance
20.00MHz 7.5m
10.00MHz 15m
5.00MHz 30m
2.50MHz 60m
1.25MHz 120m
更进一步，由于预设调制光的相位是一个随时间变化的周期函数，故应保证中心参考点与预设发射面之间的参考距离在一定范围内之内，以使得计算获得的目标像素点对应的预设调制光的目标相位差在同一个周期内。
在步骤1450中，将得到的目标相位差和平均参考相位差进行比较，得到目标像素点对应的测量偏差值。
具体的，求感光区域中各目标像素点对应的目标相位差和平均参考相位差的差值，该差值即为目标像素点对应的测量偏差值，进而由目标像素点的测量偏差值构成三维相机的测量偏差集合。
测量偏差值可以通过如下公式进行计算：
diff[p]＝phase_real-diffaverage
其中，P表示感光区域中任一目标像素点，diff[p]表示目标像素点P对应的测量偏差值。diffaverage表示平均参考相位差，phase_real表示目标像素点P对应的目标相位差。
在步骤1470中，将目标像素点对应的测量偏差值存储至测量偏差集合。
其中，由于在三维相机拍摄被测物体时，被测物体的大小和形状不能***，所以测量偏差集合包括感光区域中所有目标像素点的测量偏差值。由此，每一目标像素点对应的测量偏差值都将被存储至测量偏差集合中，以便于后续通过三维相机拍摄被测物体时，通过确定感光区域中对应被测物体的目标像素点，获取测量偏差集合目标像素点对应的测量偏差值，对被测物体图像进行修正。
图3是另一示例性实施例示出的应用于三维相机的图像校准方法的流程图。如图3所示，包括：
在步骤1421中，根据目标像素点和中心参考点之间的像素距离确定像素距离对应的视场角。
其中，中心参考点表示所述参考区域中心位置的参考像素点。
像素距离，是指像素矩阵的某个像素点与中心参考点之间间隔的像素点的个数。例如，构成感光区域的像素矩阵是一个长为320，宽为240的矩阵。则该像素矩阵的对角线长度为400。此时，位于该像素矩阵四个顶角的像素点对应的像素距离为200，即与中心参考点之间间隔了200个像素点。
具体的，如果已经知道两个相邻像素点对应的视场角的大小，即单位视场角，且像素矩阵中的像素点是均匀分布的，即可根据该像素点和中心参考点的像素距离，计算像素距离对应的视场角。
在步骤1423中，根据视场角以及中心参考点与预设反射面之间的参考距离计算目标像素点和预设反射面之间的目标距离。
目标距离可以通过如下公式进行计算：
dist_real＝diat/cosα
其中，dist_real为目标距离，dist为中心参考点与预设反射面之间的参考距离，cosα为视场角。
图4是根据图3对应实施例中步骤1420在一个实施例的流程图。如图4所示，包括：
在步骤4211中，计算得到感光区域中相邻像素点之间的单位视场角。
具体的，当三维相机的焦距确定时，感光区域中相邻像素点之间的单位视场角仅和相邻像素点之间的距离有关。
在一个具体的实施中，三维相机的感光区域是长为320，宽为240的像素矩阵，相邻像素间的视场角可以通过如下公式进行计算：
θ＝FOV/(180*n)rad/pixel，
其中，n表示构成感光区域的像素矩阵的一行像素点个数。对于长为320，宽为240的像素矩阵，n为320，θ为单位视场角，rad为弧度单位，pixel表示单个像素点。
在步骤4213中，根据像素距离和单位视场角计算得到像素距离对应的视场角。
如图7所示，目标像素点P对应的预设反射面上的物点为A，中心参考点对应的预设反射面上的物点为B。则将目标像素点P与物点A之间的距离定义为目标距离，中心参考点与物点B之间的距离定义为参考距离。
目标像素点P和中心参考点的像素距离为Δz，像素距离Δz对应的视场角为α，则像素距离对应的视场角可以通过如下公式进行计算：
α＝Δz*θrad
其中，α表示视场角，Δz表示像素距离，θ表示单位视场角，rad为弧度单位。
在一个具体的实施中，位于像素矩阵四个顶角的像素点对应的像素距离为200，即距离中心参考点有200个像素点的距离。通过计算得到的单位视场角为A弧度单位，则计算得到的像素距离对应的视场角为A弧度单位的200倍。
图8是一示例性实施例示出的应用于三维相机的图像校准装置的框图。如图8所示，该装置包括但不限于：成像模块6100，获取模块6300，修正模块6500。
成像模块6100，用于通过三维相机拍摄被测物体，并在所述三维相机的感光区域中得到被测物体图像，由所述被测物体图像确定所述感光区域中对应所述被测物体的像素点；
获取模块6300，用于针对所述被测物体对应的像素点，获取所述像素点对应的深度信息，所述深度信息指示所述被测物体和所述像素点的距离；
修正模块6500，用于由预先存储的测量偏差集合中获取所述像素点对应的测量偏差值，并根据所述测量偏差值对所述深度信息进行修正。
另一示例性实施例示出的应用于三维相机的图像校准装置，所述装置还包括计算模块，用于计算预设调制光在所述像素点和被测物体之间传播的相位差，以计算得到的相位差作为所述像素点对应的深度信息。
图9是另一示例性实施例示出的应用于三维相机的图像校准装置的框图。如图9所示，所述装置包括但不限于：平均参考相位差获取模块6410，目标相位差获取模块6430，比较模块6450，存储模块6470。
平均参考相位差获取模块6410，用于由所述感光区域中选取一参考区域，并根据所述参考区域中各参考像素点对应的参考相位差计算平均参考相位差，所述参考相位差指示预设反射面和所述参考像素点的参考距离；
目标相位差获取模块6430，用于根据所述感光区域中目标像素点和所述预设反射面的目标距离，计算所述目标像素点对应的目标相位差，所述目标像素点是所述感光区域中所有像素点中的任意一像素点；
比较模块6450，用于将得到的所述目标相位差和所述平均参考相位差进行比较，得到所述目标像素点对应的测量偏差值；
存储模块6470，用于将所述目标像素点对应的测量偏差值存储至所述测量偏差集合。
图10是另一示例性实施例示出的应用于三维相机的图像校准装置的框图。如图10所示，该缓存模块630包括但不限于：视场角计算模块6421，目标距离计算模块6423。
视场角计算模块6421，用于根据所述目标像素点和中心参考点之间的像素距离确定所述像素距离对应的视场角，所述中心参考点表示所述参考区域中心位置的参考像素点；
目标距离计算模块6423，用于根据所述视场角以及所述中心参考点与所述预设反射面之间的参考距离计算所述目标像素点和所述预设反射面之间的目标距离。
图11是根据图10对应实施例的装置中的视场角计算模块6421在另一个实施例的框图。如图10所示，该视场角计算模块6421包括但不限于：单位视场角计算单元4211，视场角计算单元4213。
单位视场角计算单元4211，用于计算得到所述感光区域中相邻像素点之间的单位视场角；
视场角计算单元4213，用于根据所述像素距离和所述单位视场角计算得到所述像素距离对应的视场角。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种应用于三维相机的图像校准方法，其特征在于，所述方法包括：
通过三维相机拍摄被测物体，并在所述三维相机的感光区域中得到被测物体图像，由所述被测物体图像确定所述感光区域中对应所述被测物体的像素点；
针对所述被测物体对应的像素点，获取所述像素点对应的深度信息，所述深度信息指示所述被测物体和所述像素点之间的距离；
由预先存储的测量偏差集合中获取所述像素点对应的测量偏差值，并根据所述测量偏差值对所述深度信息进行修正；
其中,所述由预先存储的测量偏差集合中获取所述像素点对应的测量偏差值,包括:
读取对应调制频率的测量偏差集合所包含的测量偏差值，其中，所述调制频率是用于拍摄所述被测物体图像的预设调制光的调制频率。
2.根据权利要求1所述的方法，其特征在于，所述针对所述被测物体对应的像素点，获取所述像素点对应的深度信息，包括：
计算预设调制光在所述像素点和被测物体之间传播的相位差，以计算得到的相位差作为所述像素点对应的深度信息。
3.根据权利要求2所述的方法，其特征在于，所述由预先存储的测量偏差集合中获取所述像素点对应的测量偏差值，并根据所述测量偏差值对所述深度信息进行修正之前，还包括：
由所述感光区域中选取一参考区域，并根据所述参考区域中各参考像素点对应的参考相位差计算平均参考相位差，所述参考相位差指示预设反射面和所述参考像素点之间的参考距离；
根据所述感光区域中目标像素点和所述预设反射面的目标距离，计算所述目标像素点对应的目标相位差，所述目标像素点是所述感光区域中所有像素点中的任意一像素点；
将得到的所述目标相位差和所述平均参考相位差进行比较，得到所述目标像素点对应的测量偏差值；
将所述目标像素点对应的测量偏差值存储至所述测量偏差集合。
4.根据权利要求3所述的方法，其特征在于，所述根据所述感光区域中目标像素点和所述预设反射面的目标距离，计算所述目标像素点对应的目标相位差之前，所述方法还包括：
根据所述目标像素点和中心参考点之间的像素距离确定所述像素距离对应的视场角，所述中心参考点表示所述参考区域中心位置的参考像素点；
根据所述视场角以及所述中心参考点与所述预设反射面之间的参考距离计算所述目标像素点和所述预设反射面之间的目标距离。
5.根据权利要求4所述的方法，其特征在于，所述根据所述目标像素点和中心参考点之间的像素距离确定所述像素距离对应的视场角，包括：
计算所述感光区域中相邻像素点之间的单位视场角；
根据所述像素距离和所述单位视场角计算得到所述像素距离对应的视场角。
6.一种应用于三维相机的图像校准装置，其特征在于，所述装置包括：
成像模块，用于通过三维相机拍摄被测物体，并在所述三维相机的感光区域中得到被测物体图像，由所述被测物体图像确定所述感光区域中对应所述被测物体的像素点；
获取模块，用于针对所述被测物体对应的像素点，获取所述像素点对应的深度信息，所述深度信息指示所述被测物体和所述像素点的距离；
修正模块，用于由预先存储的测量偏差集合中获取所述像素点对应的测量偏差值，并根据所述测量偏差值对所述深度信息进行修正；
其中,所述由预先存储的测量偏差集合中获取所述像素点对应的测量偏差值,包括:
读取对应调制频率的测量偏差集合所包含的测量偏差值，其中，所述调制频率是用于拍摄所述被测物体图像的预设调制光的调制频率。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
计算模块，用于计算预设调制光在所述像素点和被测物体之间传播的相位差，以计算得到的相位差作为所述像素点对应的深度信息。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
平均参考相位差获取模块，用于由所述感光区域中选取一参考区域，并根据所述参考区域中各参考像素点对应的参考相位差计算平均参考相位差，所述参考相位差指示预设反射面和所述参考像素点之间的参考距离；
目标相位差获取模块，用于根据所述感光区域中目标像素点和所述预设反射面之间的目标距离，计算所述目标像素点对应的目标相位差，所述目标像素点是所述感光区域中所有像素点中的任意一像素点；
比较模块，用于将得到的所述目标相位差和所述平均参考相位差进行比较，得到所述目标像素点对应的测量偏差值；
存储模块，用于将所述目标像素点对应的测量偏差值存储至所述测量偏差集合。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
视场角计算模块，用于根据所述目标像素点和中心参考点之间的像素距离确定所述像素距离对应的视场角，所述中心参考点表示所述参考区域中心位置的参考像素点；
目标距离计算模块，用于根据所述视场角以及所述中心参考点与所述预设反射面之间的参考距离计算所述目标像素点和所述预设反射面之间的目标距离。
10.根据权利要求9所述的装置，其特征在于，所述视场角计算模块还包括：
单位视场角计算单元，用于计算得到所述感光区域中相邻像素点之间的单位视场角；
视场角计算单元，用于根据所述像素距离和所述单位视场角计算得到所述像素距离对应的视场角。
CN201710561888.XA 2017-07-11 2017-07-11 应用于三维相机的图像校准方法和装置 Active CN109242901B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710561888.XA CN109242901B (zh) 2017-07-11 2017-07-11 应用于三维相机的图像校准方法和装置
EP18832958.5A EP3640892B1 (en) 2017-07-11 2018-04-19 Image calibration method and device applied to three-dimensional camera
PCT/CN2018/083761 WO2019011027A1 (zh) 2017-07-11 2018-04-19 应用于三维相机的图像校准方法和装置
US16/740,152 US10944956B2 (en) 2017-07-11 2020-01-10 Image calibration method and apparatus applied to three-dimensional camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710561888.XA CN109242901B (zh) 2017-07-11 2017-07-11 应用于三维相机的图像校准方法和装置

Publications (2)

Publication Number Publication Date
CN109242901A CN109242901A (zh) 2019-01-18
CN109242901B true CN109242901B (zh) 2021-10-22

Family

ID=65002343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710561888.XA Active CN109242901B (zh) 2017-07-11 2017-07-11 应用于三维相机的图像校准方法和装置

Country Status (4)

Country Link
US (1) US10944956B2 (zh)
EP (1) EP3640892B1 (zh)
CN (1) CN109242901B (zh)
WO (1) WO2019011027A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11669724B2 (en) 2018-05-17 2023-06-06 Raytheon Company Machine learning using informed pseudolabels
US11068747B2 (en) * 2019-09-27 2021-07-20 Raytheon Company Computer architecture for object detection using point-wise labels
CN110703270B (zh) * 2019-10-08 2022-02-22 歌尔光学科技有限公司 深度模组测距方法、装置、可读存储介质及深度相机
EP3859395A1 (en) 2019-12-06 2021-08-04 Shenzhen Goodix Technology Co., Ltd. Three-dimensional image sensing system and related electronic device, and time-of-flight ranging method
EP3865981B1 (de) * 2020-02-12 2023-10-25 Valeo Comfort and Driving Assistance Verfahren und vorrichtung zum kalibrieren eines 3d-bildsensors
US11676391B2 (en) 2020-04-16 2023-06-13 Raytheon Company Robust correlation of vehicle extents and locations when given noisy detections and limited field-of-view image frames
CN113865481B (zh) * 2020-06-30 2024-05-07 北京小米移动软件有限公司 对象尺寸测量方法、装置及存储介质
CN112008234B (zh) * 2020-09-07 2022-11-08 广州黑格智造信息科技有限公司 一种用于隐形矫治器生产的激光打标方法及打标***
CN114189670B (zh) * 2020-09-15 2024-01-23 北京小米移动软件有限公司 显示方法、显示装置、显示设备及存储介质
US11562184B2 (en) 2021-02-22 2023-01-24 Raytheon Company Image-based vehicle classification
CN112991459B (zh) * 2021-03-09 2023-12-12 阿波罗智联(北京)科技有限公司 一种相机标定方法、装置、设备以及存储介质
CN115131215A (zh) * 2021-03-24 2022-09-30 奥比中光科技集团股份有限公司 一种图像的校正方法及及屏下***
CN113256512B (zh) * 2021-04-30 2024-06-21 北京京东乾石科技有限公司 深度图像的补全方法、装置及巡检机器人
CN113298785A (zh) * 2021-05-25 2021-08-24 Oppo广东移动通信有限公司 校正方法、电子设备及计算机可读存储介质
CN114023232B (zh) * 2021-11-05 2024-03-15 京东方科技集团股份有限公司 显示校准方法及显示校准装置、显示器、智能手表

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1799266A (zh) * 2002-10-23 2006-07-05 皇家飞利浦电子股份有限公司 3d数字视频信号的后处理方法
WO2009052143A1 (en) * 2007-10-16 2009-04-23 Accu-Sort Systems, Inc. Dimensioning and barcode reading system
US20100142815A1 (en) * 2008-12-04 2010-06-10 Samsung Electronics Co., Ltd. Method and apparatus for correcting depth image
CN101924878A (zh) * 2009-06-09 2010-12-22 三星电子株式会社 图像处理设备、介质和方法
CN102572505A (zh) * 2010-11-03 2012-07-11 微软公司 家中深度相机校准
CN103824318A (zh) * 2014-02-13 2014-05-28 西安交通大学 一种多摄像头阵列的深度感知方法
CN104380338A (zh) * 2012-05-22 2015-02-25 索尼电脑娱乐公司 信息处理器以及信息处理方法
CN104506838A (zh) * 2014-12-23 2015-04-08 宁波盈芯信息科技有限公司 一种符号阵列面结构光的深度感知方法、装置及***
CN104596444A (zh) * 2015-02-15 2015-05-06 四川川大智胜软件股份有限公司 一种基于编码图案投影的三维照相***及方法
CN105474263A (zh) * 2013-07-08 2016-04-06 高通股份有限公司 用于产生三维人脸模型的***和方法
CN106716489A (zh) * 2014-09-25 2017-05-24 法国大陆汽车公司 机载的形成立体图像的***的摄像机的外在校准方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19727281C1 (de) * 1997-06-27 1998-10-22 Deutsch Zentr Luft & Raumfahrt Verfahren und Vorrichtung zur geometrischen Kalibrierung von CCD-Kameras
JP3417377B2 (ja) * 1999-04-30 2003-06-16 日本電気株式会社 三次元形状計測方法及び装置並びに記録媒体
US8588515B2 (en) * 2009-01-28 2013-11-19 Electronics And Telecommunications Research Institute Method and apparatus for improving quality of depth image
KR101669840B1 (ko) * 2010-10-21 2016-10-28 삼성전자주식회사 다시점 비디오로부터 일관성 있는 변이를 추정하는 변이 추정 시스템 및 방법
CN102722080B (zh) * 2012-06-27 2015-11-18 杭州南湾科技有限公司 一种基于多镜头拍摄的多用途立体摄像方法
WO2014104203A1 (ja) * 2012-12-26 2014-07-03 シチズンホールディングス株式会社 投影装置
KR20150037366A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 깊이 영상의 노이즈를 저감하는 방법, 이를 이용한 영상 처리 장치 및 영상 생성 장치
CN103581648B (zh) * 2013-10-18 2015-08-26 清华大学深圳研究生院 绘制新视点中的空洞填补方法
CN104010178B (zh) * 2014-06-06 2017-01-04 深圳市墨克瑞光电子研究院 双目图像视差调节方法及装置和双目相机
EP3016076A1 (en) * 2014-10-31 2016-05-04 Thomson Licensing Method and apparatus for removing outliers from a main view of a scene during 3D scene reconstruction
CN104537627B (zh) * 2015-01-08 2017-11-07 北京交通大学 一种深度图像的后处理方法
US10368056B2 (en) * 2015-06-19 2019-07-30 Shanghai Percipio Technology Limited Depth data detection and monitoring apparatus
WO2017100487A1 (en) * 2015-12-11 2017-06-15 Jingyi Yu Method and system for image-based image rendering using a multi-camera and depth camera array
CN106767933B (zh) * 2017-02-10 2024-01-12 奥比中光科技集团股份有限公司 深度相机误差的测量***、测量方法、评价方法及补偿方法
US10298912B2 (en) * 2017-03-31 2019-05-21 Google Llc Generating a three-dimensional object localization lookup table
CN109242782B (zh) * 2017-07-11 2022-09-09 深圳市道通智能航空技术股份有限公司 噪点处理方法及装置
CN109961406B (zh) * 2017-12-25 2021-06-25 深圳市优必选科技有限公司 一种图像处理的方法、装置及终端设备
CN108344376A (zh) * 2018-03-12 2018-07-31 广东欧珀移动通信有限公司 激光投射模组、深度相机和电子装置
DE102019118457A1 (de) * 2018-07-13 2020-01-16 Sony Semiconductor Solutions Corporation Tof-(time-of-flight)-kamera, elektronikeinrichtung und kalibrierungsverfahren

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1799266A (zh) * 2002-10-23 2006-07-05 皇家飞利浦电子股份有限公司 3d数字视频信号的后处理方法
WO2009052143A1 (en) * 2007-10-16 2009-04-23 Accu-Sort Systems, Inc. Dimensioning and barcode reading system
US20100142815A1 (en) * 2008-12-04 2010-06-10 Samsung Electronics Co., Ltd. Method and apparatus for correcting depth image
CN101924878A (zh) * 2009-06-09 2010-12-22 三星电子株式会社 图像处理设备、介质和方法
CN102572505A (zh) * 2010-11-03 2012-07-11 微软公司 家中深度相机校准
CN104380338A (zh) * 2012-05-22 2015-02-25 索尼电脑娱乐公司 信息处理器以及信息处理方法
CN105474263A (zh) * 2013-07-08 2016-04-06 高通股份有限公司 用于产生三维人脸模型的***和方法
CN103824318A (zh) * 2014-02-13 2014-05-28 西安交通大学 一种多摄像头阵列的深度感知方法
CN106716489A (zh) * 2014-09-25 2017-05-24 法国大陆汽车公司 机载的形成立体图像的***的摄像机的外在校准方法
CN104506838A (zh) * 2014-12-23 2015-04-08 宁波盈芯信息科技有限公司 一种符号阵列面结构光的深度感知方法、装置及***
CN104596444A (zh) * 2015-02-15 2015-05-06 四川川大智胜软件股份有限公司 一种基于编码图案投影的三维照相***及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《基于稀疏特征点的单视点深度图像校准》;郭庆慧 等；;《计算机科学》;20140630;第41卷(第6期);第191-195页； *
《基于立体图像对的图像校正和深度测量研究》;梁睿;《硕士学位论文库》;20141231;第1-71页； *

Also Published As

Publication number Publication date
EP3640892A4 (en) 2020-06-10
EP3640892A1 (en) 2020-04-22
EP3640892B1 (en) 2022-06-01
WO2019011027A1 (zh) 2019-01-17
US10944956B2 (en) 2021-03-09
CN109242901A (zh) 2019-01-18
US20200267373A1 (en) 2020-08-20

Similar Documents

Publication Publication Date Title
CN109242901B (zh) 应用于三维相机的图像校准方法和装置
KR101497659B1 (ko) 깊이 영상을 보정하는 방법 및 장치
CN110689581B (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
US11461930B2 (en) Camera calibration plate, camera calibration method and device, and image acquisition system
US8743349B2 (en) Apparatus and method to correct image
US11145071B2 (en) Image processing method, non-transitory computer-readable storage medium, and electronic apparatus
US11196919B2 (en) Image processing method, electronic apparatus, and computer-readable storage medium
CN110335211B (zh) 深度图像的校正方法、终端设备以及计算机存储介质
CN112634374B (zh) 双目相机的立体标定方法、装置、***及双目相机
US20020114531A1 (en) Technique for removing blurring from a captured image
TWI624170B (zh) 影像掃描系統及其方法
CN112150528A (zh) 一种深度图像获取方法及终端、计算机可读存储介质
CN107451561A (zh) 虹膜识别补光方法和装置
CN111508011A (zh) 一种飞行时间相机的深度数据校准方法
CN109031333B (zh) 距离测量方法和装置、存储介质、电子设备
KR20190086320A (ko) 영상 처리 장치 및 방법
Langmann Wide area 2D/3D imaging: development, analysis and applications
CN113822938A (zh) Tof误差标定方法、装置、标定板及存储介质
CN107547798A (zh) 拍摄对焦控制方法、装置和终端设备
CN108833884B (zh) 深度校准方法及装置、终端、可读存储介质及计算机设备
CN113340433A (zh) 温度测量方法、装置、存储介质及电子装置
CN112305524A (zh) 测距方法、测距***和计算机可读存储介质
CN107742515A (zh) 语音处理方法和装置
EP4250231A1 (en) Cloud-based training and camera correction
WO2023007625A1 (ja) ３次元計測システム、装置、方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518000 9th floor, building B1, Zhiyuan, 1001 Xueyuan Avenue, Xili street, Shenzhen City, Guangdong Province

Applicant after: Shenzhen daotong intelligent Aviation Technology Co.,Ltd.

Address before: 518000 9th floor, building B1, Zhiyuan, 1001 Xueyuan Avenue, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: AUTEL ROBOTICS Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant