CN113115027A - 校准摄像头的方法和*** - Google Patents

校准摄像头的方法和*** Download PDF

Info

Publication number
CN113115027A
CN113115027A CN202011618542.7A CN202011618542A CN113115027A CN 113115027 A CN113115027 A CN 113115027A CN 202011618542 A CN202011618542 A CN 202011618542A CN 113115027 A CN113115027 A CN 113115027A
Authority
CN
China
Prior art keywords
camera
pixel
computer
light sources
implemented method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011618542.7A
Other languages
English (en)
Other versions
CN113115027B (zh
Inventor
W·德沃拉科夫斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN113115027A publication Critical patent/CN113115027A/zh
Application granted granted Critical
Publication of CN113115027B publication Critical patent/CN113115027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

校准摄像头的方法和***。提供了一种校准摄像头的计算机实现方法，该计算机实现方法包括由计算机硬件组件执行的以下步骤：根据多个启用方案来启用多个光源的子集，其中，各个启用方案指示要启用多个光源中的哪些光源；使用摄像头来拍摄各个启用方案的图像；以及基于所拍摄的图像来校准摄像头。

Description

校准摄像头的方法和***
技术领域
本公开涉及校准摄像头的方法和***，特别地，涉及校准车辆中设置的摄像头的方法和***。
背景技术
诸如数字摄像头的数字成像装置被用于各种汽车应用中。数字摄像头的校准可能很麻烦。
例如，在当前的方法中，可以使用摄像头对照目标的多个设定，或者根据摄像头的单个设定的一个图像。在两种方法中的任一方法中，在精确的已知位置中可能需要大量的特征“点”(例如采用圆形或正方形的形式)，以计算那些对象与摄像头的空间关系。这可能会对图像质量和设置的精度提出很高的要求。当前的汽车摄像头可以使用4k或更高分辨率的成像器(例如，摄像头或图像传感器)，镜头视场可以在几度到150度以上，并且光圈孔径低于f/2，并且超焦距可以在10m到数百米的范围内。这可能会对校准设备提出很高且实际上不可接受的要求，这既涉及所需的精度和空间，又涉及了校准时间。包括特殊即时光学器件(immediate optics)或准直仪的解决方案增加了校准设置的价格，同时降低了可达到的精度。
因此，需要提供校准摄像头的高效方法和***。
发明内容
本公开提供了一种计算机实现方法、计算机***以及非暂时性计算机可读介质。
在一个方面，本公开旨在一种校准摄像头的计算机实现方法。所述方法包括由计算机硬件组件执行(换句话说：实行)的以下步骤：根据多个启用方案来启用多个光源的子集，其中，各个启用方案指示将所述多个光源中的哪些光源启用；使用所述摄像头来拍摄各个启用方案的图像；以及基于所拍摄的图像来校准摄像头。
换句话说，设置了多个光源，并且可以通过摄像头拍摄多个图像，其中，在各个图像中，启用了所述光源中的一个或更多个光源，而未启用其它的光源。在各个图像中，被启用的光源子集可以是不同的。然后，可以将这些图像用于所述摄像头的校准。
例如，所述方法可以是校准车辆感测摄像头的方法。
所述光源可以包括光，所述光可以是预定波长范围的光，或者可以是预定波长的发光二极管。所有光源均可以发射相同的波长或波长范围的光，或者所述光源可以具有不同的波长范围或波长，使得不同的光源可以按照它们的颜色来区分。
可以使用各种校准方法。可以将通常基于具有不同内容的各种图像的常规方法应用于示出在各个图像中启用的不同的光源的多个拍摄的图像。通过使得启用所述光源的步骤和拍摄所述图像的步骤同步，可以以自动方式拍摄这些图像。可以用于校准的方法例如是Zhan法或Tsai法或者使用单个图像上的多个点的其它方法。
根据另一方面，至少一个启用方案包括所述多个光源中的一次一个光源的指示。通过一次仅启用一个光源，所述光源之间可以不发生干扰，即，可以将所述摄像头拍摄的光明确指派给所述光源。
根据另一方面，至少一个启用方案包括一次多个光源的指示。通过一次启用超过一个光源，可以通过各个拍摄的图像获取更多的信息，这可以缩短总校准时间。
根据另一方面，在从所述摄像头的角度观察时，所述一次多个光源相距至少预定距离。这可以避免所述光源的干扰，以使即使一次启用超过一个光源，也可以将所述摄像头拍摄的光明确指派给相应的光源。
根据另一方面，拍摄各个启用方案的所述图像的步骤包括：拍摄所述多个光源的图像。
根据另一方面，所述多个光源是根据彼此之间的预定(即，已知)空间关系设置在三维空间中的，并且是按照与所述摄像头的预定(即，已知)空间关系设置的。可以将所述光源设置在如下位置处，以使得可以使用各种各样的三维空间：所述位置不在单条线上或者不在单个二维平面上的位置中。
根据另一方面，所述计算机实现方法还包括由所述计算机硬件组件执行的以下步骤：在所拍摄的图像中确定所启用的光源的位置。例如，所述图像可以是在所述光源未聚焦的情况下拍摄的，这可以减小所述摄像头与所述光源之间的所需距离，然后可以基于所拍摄的图像中的模糊(由于散焦拍摄)光斑的中心来确定相应的位置。
根据另一方面，所拍摄的图像中的位置是基于用于将校准图案的图像内的候选点标识为该校准图案的可能特征点的方法来确定的，标识候选点的方法包括以下步骤：确定从所述校准图案的图像导出的经滤波的图像内的光斑，其中，光斑被限定为所述经滤波的图像的、具有超过阈值的像素值的相干像素集，针对各个所确定的光斑，计算所确定的光斑的中心点；以及将所有计算出的中心点标识为候选点，其中，确定所述光斑的步骤包括：对所述经滤波的图像逐个个像素地进行扫描。根据另一方面，如果扫描的像素具有超过所述阈值的像素值，则暂停所述扫描，并且以最后一个扫描的像素作为当前像素并且将倒数第二个像素作为前一像素开始，执行光斑轮廓跟踪，所述光斑轮廓跟踪步骤包括记录所述当前像素作为轮廓像素的步骤作为跟踪步骤，并且标识候选点的方法还包括以下步骤：针对与所述当前像素相邻的邻近像素，评估如下条件，即，所述邻近像素是否具有超过所述阈值的像素值，并且相对于围绕所述当前像素的旋转方向恰好在该邻近像素之前的另一邻近像素是否具有未超过所述阈值的像素值；从满足所述条件的所有邻近像素中选择相对于所述旋转方向距前一像素最远的邻近像素；以及将所述当前像素限定为前一像素并且将所述选择的邻近像素限定为当前像素；所述光斑轮廓跟踪步骤还包括以下步骤：重复所述跟踪步骤直到所述当前像素再次等于最后扫描的像素为止，将所述光斑确定为包括所记录的轮廓像素和被所记录的轮廓像素包围的像素的像素集。
然后可以将模糊的光点的重力点确定为所述轮廓像素所包围的像素的重心。
根据另一方面，校准所述摄像头的步骤包括：确定至少一个本征摄像头参数或者至少一个非本征摄像头参数或者至少一个畸变参数。
例如，所述至少一个本征参数包括以下项中的至少一个：所述摄像头的焦距、所述摄像头的灵敏度或者所述摄像头的孔径。例如，所述至少一个非本征参数包括以下项中的至少一个：所述摄像头在空间中的位置或者所述摄像头在空间中的取向。例如，所述至少一个畸变参数包括以下项中的至少一个：所述摄像头的散焦参数、所述摄像头的球面像差参数、所述摄像头的彗差参数、所述摄像头的像散参数、所述摄像头的场曲率参数或者所述摄像头的图像畸变参数。
在另一方面，本公开致力于一种计算机***，所述计算机***包括多个计算机硬件组件，所述多个计算机硬件组件被配置成执行本文所描述的计算机实现方法的若干或所有步骤。
所述计算机***可以包括多个计算机硬件组件(例如，处理单元、至少一个存储器单元以及至少一个非暂时性数据存储部)。应理解，可以提供进一步的计算机硬件组件并用于在所述计算机***中执行所述计算机实现方法的步骤。所述非暂时性数据存储部和/或存储器单元可以包括计算机程序，所述计算机程序用于指示所述计算机例如使用所述处理单元和所述至少一个存储器单元来执行本文所描述的计算机实现方法的若干或所有步骤或各方面。
根据另一方面，所述计算机***还包括所述多个光源。例如，所述多个光源是根据彼此之间的预定空间关系设置在三维空间中的，并且是按照与所述摄像头的预定空间关系设置的。
根据另一方面，所述计算机***还包括存储介质，所述存储介质被配置成存储所拍摄的图像。
在另一方面，本公开致力于一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括用于执行本文所描述的计算机实现方法的若干或所有步骤或各方面的指令。所述计算机可读介质可以被配置为：诸如光盘或数字通用盘(DVD)的光学介质；诸如硬盘驱动器(HDD)的磁介质；固态驱动器(SSD)；诸如闪速存储器的只读存储器(ROM)；等等。而且，所述计算机可读介质可以被配置为能经由诸如互联网连接的数据连接来访问的数据存储部。所述计算机可读介质例如可以是在线数据存储库或云存储。
本公开还致力于一种计算机程序，所述计算机程序用于指示计算机执行本文所描述的计算机实现方法的若干或所有步骤或各方面。
附图说明
本文结合以下示意性地示出的附图，对本公开的示例实施方式和功能进行描述：
图1是根据各种实施方式的校准***；
图2A是示出多个互不干扰的模糊光点的拍摄的图像的例示图；
图2B是根据各种实施方式的拍摄的图像的具有单个模糊的光点放大部分的例示图，该模糊的光点具有计算出的重力点；以及
图3是例示根据各种实施方式的校准摄像头的方法的流程图。
具体实施方式
图1示出了根据各种实施方式的校准***100。可以在3D空间102中提供多个光点104。例如，光点104可以是小的圆形光点104，并且可以提供十到数千个光点104。光点104中的各个光点可以由控制器108(例如计算机)单独控制。点104的位置可以相对于彼此并且相对于摄像头106的估计位置来获知。摄像头106可能正在观看3D空间102处的光点104，并且可以在控制器108同时接通和断开光点104中的一个或更多个光点时拍摄一系列图像(例如，电影)。可以对由摄像头106拍摄的图像进行分析以生成本征或非本征的校准数据。可以对由摄像头106拍摄的图像进行在线分析(即，在光的操作期间)，或者可以进行记录(例如，记录在设置在控制器108中的或附接至控制器108的存储部中，或者记录在外部介质中)以用于在相同或不同的设备上进行分析(即，用于以后使用控制器108进行分析，或者用于使用与控制器108不同的装置进行分析)。
利用图1所示的***，可以提供单姿势多图像校准。例如，经校准的摄像头可以是安全和道路辅助摄像头。
根据各种实施方式，多个光源可以按照固定的排布进行设置，以使多个光源的相应的相对位置可以是固定的且已知的。然后，可以将所述排布设置在与摄像头相对的单个位置(具有采用2D或3D的相对位置)，使得可以在不移动所述排布的情况下拍摄多个图像。从摄像头到所述排布的距离(也可以称为校准场)可以远低于摄像头的超焦距。
可以将拍摄的图像提供为一序列2D或3D图像(示出光源的(模糊的)光点)，该序列2D或3D图像是以使用宽光谱(“白色”)、单色或多色点的光点呈现给摄像头的。
根据各种实施方式，所述校准***和校准方法可以允许在生产线上的有限空间中对非常宽(例如，100度或更宽)的汽车摄像头或者非常窄(例如，30度或更窄)的摄像头，其中，相比得到10m/10m/10m或更大的空间，可以更容易得小于1.8m/1.8m/3m的空间。对于窄的摄像头(例如，超焦距大于50m的28度摄像头)，这可能是使精度校准实际上“可行”或“不实际”的问题。
根据各种实施方式，即使对于通常需要距摄像头较大距离的大图像场，也可以将所述校准***和方法应用在有限的空间。根据各种实施方式，随着假设摄像头在这种情况下将圆形的光点看作畸变的圆，可以使用不清晰的图像。由于并不是所有的点都是同时启用的(换句话说：接通的)，因此可以对光从单个点到拍摄的图像上的像素的分布进行测量，从而可以计算出所述光最初位于投影中的位置(并由此可以计算出在3D空间中与摄像头相对的位置)。这可以针对每一个光点单独进行或者可以在不彼此干扰的情况下按光点组来进行(例如，假设这些光点是充分间隔开的(如下面的图2A所示)，或者假设这些光点具有不同的颜色，即，当相应的光源发射不同波长或不同波长范围的光时)。
图2A示出了根据各种实施方式的拍摄的图像的例示图200，该例示图示出了多个互不干扰的模糊光点202、204、206、208。
图2B示出了根据各种实施方式的拍摄的图像的具有单个模糊的光点252的放大部分250的例示图，该模糊的光点具有计算出的重力点254。
拍摄的图像(例如，在摄像头的成像器中)中的各个光点可以允许计算光点的中心点(换句话说：重心)，以使即使光源未聚焦，也可以获得仿佛拍摄清晰图像(即，聚集图像)一样的相同类型的信息。找到那些点的方法可以与WO/2017/093037中提供的方法相同或相似，例如，其中将相关图像改变成圆形，或者作为被“等势片(equipotential plate)”包围的“重力点”法。作为该处理的结果，可以从多次曝光但在一个位置获得完整点集的位置。然后可以以常见的方式在校准中使用那些位置。作为最终结果，在场的尺寸(即，需要所述光源的3D空间)可能很小(例如，约1.5m/1.5m/1.5m)，并且距摄像头的距离可能取决于焦距但远低于目前现有校准方法所要求的距离时，在对从摄像头的一个单一位置拍摄(或获取)的所述系列图像(或图片)进行分析之后，可以获得校准值(例如，本征值和非本征值两者)。
根据各种实施方式，光开关(即，一个或更多个光源的选择性启用)例如可以通过以下方法来与摄像头操作同步：闭环操作(其中，启用光源并接着拍摄图像，然后可以进行至活动的光源的下一组合(或启用方案))；或者开环方法(其中，可能仅需要知道近似的帧频率来使光源的启用和图像的拍摄同步，并且其中，可以在断开光源的情况下开始拍摄，然后对于各个步骤，可以设定光源的组合，然后可以等待预定的帧时段(例如，等待3个帧时段)，然后可以进行至下一步骤(利用下一启用方案)，其中，最后一个步骤可以是断开所有光源)。
可以改变光源的启用顺序(换句话说：启用方案)，但是当仅存在单波长光源时，可能会较长。在对拍摄的图像(可能采用视频帧的数据格式)进行分析时，可以在可见光源组合的变化之间寻找中心帧。在以下示例中：每秒30帧，5个光源同时可见，并且所述场具有500个点(换句话说：500个光源)，可以在10秒钟内完成测量(换句话说：图像的拍摄)。对于彩色摄像头，这可以使用多种颜色的光源来进行加速，以使即使是部分干扰的点也可以通过它们的颜色来加以区分。利用先前的条件以及(摄像头的)成像器矩阵中的三种基本颜色，对于简单的方案，例如可以在大约3.3秒钟内完成测量，而利用更复杂的方案(相移下的三种颜色)，时间可以下降至大约3秒钟或更短。较简单的方案(换句话说：“更久”或更慢的方法)与更复杂的方案(换句话说：“更短”或更快的方法)之间的差异取决于摄像头能够区分颜色。在这种情况下，可能存在两个具有部分重叠的点并且这两个点具有有区别的原色，这些原色是可以正确检测到的，从而可以适当地除去来自每种颜色的影响。
同时，可以减少或避免从图片中消除彩色马赛克(color mosaic)的问题。成像器中的彩色马赛克通常是在点检测处理的过程中消除的。当使用光源中的多种颜色时，由于光源与成像器色罩上的颜色相关，因此即使使用了不同的颜色集，也可以更容易地消除马赛克。
图3示出了例示根据各种实施方式的校准摄像头的方法的流程图300。在302，可以根据多个启用方案来启用多个光源的子集，其中，各个启用方案皆指示启用多个光源中的哪些光源。在304，可以使用摄像头拍摄各个启用方案的图像。在306，可以基于拍摄的图像来校准摄像头。
根据各种实施方式，至少一个启用方案包括多个光源中的一次一个光源的指示。根据各种实施方式，至少一个启用方案包括一次多个光源的指示。
根据各种实施方式，当从所述摄像头的角度观察时，一次多个光源至少相距预定距离。
根据各种实施方式，拍摄各个启用方案的所述图像的步骤包括：拍摄多个光源的图像。
根据各种实施方式，多个光源是根据彼此之间的预定空间关系设置在三维空间中的，并且是按照与摄像头的预定空间关系来设置的。
根据各种实施方式，所述方法还可以包括以下步骤：在所拍摄的图像中确定所启用的光源的位置。
根据各种实施方式，所拍摄的图像中的位置是基于将校准图案的图像内的候选点标识为该校准图案的可能特征点的方法来确定的，标识候选点的方法包括以下步骤：确定从校准图案的图像导出的经滤波的图像内的光斑，其中，光斑被限定为经滤波的图像的、具有超过阈值的像素值的相干像素集，针对各个确定的光斑，计算所确定的光斑的中心点；以及将所有计算出的中心点标识为候选点，其中，确定所述光斑的步骤包括对滤波图像逐个像素地进行扫描，其中，如果扫描的像素具有超过阈值的像素值，则暂停扫描，并且以最后一个扫描的像素作为当前像素而倒数第二个像素作为前一像素开始，执行光斑轮廓跟踪，所述光斑轮廓跟踪步骤包括记录所述当前像素作为轮廓像素的步骤作为跟踪步骤，针对与所述当前像素相邻的邻近像素，评估这样的条件，即，所述邻近像素是否具有超过所述阈值的像素值，和相对于围绕所述当前像素的旋转方向、恰好在该邻近像素之前的另一邻近像素是否具有未超过所述阈值的像素值；从满足所述条件的所有邻近像素中选择相对于所述旋转方向距所述前一像素最远的邻近像素，并且将所述当前像素限定为前一像素并且将所选择的邻近像素限定为当前像素；所述光斑轮廓跟踪步骤还包括步骤：重复所述跟踪步骤直到所述当前像素再次等于所述最后一个扫描的像素为止，将所述光斑确定为包括所记录的轮廓像素和被所记录的轮廓像素包围的像素的像素集。
根据各种实施方式，校准摄像头的步骤包括：确定至少一个本征摄像头参数或者至少一个非本征摄像头参数或者至少一个畸变参数。
根据各种实施方式，所述至少一个本征参数包括以下项中的至少一个：所述摄像头的焦距、所述摄像头的灵敏度或者所述摄像头的孔径；其中，所述至少一个非本征参数包括以下项中的至少一个：所述摄像头在空间中的位置或者所述摄像头在空间中的取向；并且其中，所述至少一个畸变参数包括以下项中的至少一个：所述摄像头的散焦参数、所述摄像头的球面像差参数、所述摄像头的彗差参数、所述摄像头的像散参数、所述摄像头的场曲率参数或者所述摄像头的图像畸变参数。
上述步骤302、304、306以及进一步的步骤中的各个步骤可以由计算机硬件组件来执行。
标号列表
100 校准***
102 三维空间
104 多个光源
106 摄像头
108 控制器
200 拍摄的图像的例示图
202 光点
204 光点
206 光点
208 光点
250 拍摄的图像的方大部分的例示图
252 模糊的光点
254 重力点
300 流程图
302 启用多个光源的子集的方法步骤
304 拍摄各个启用方案的图像的方法步骤
306 校准摄像头的方法步骤

Claims (15)

1.一种校准摄像头(106)的计算机实现方法，所述计算机实现方法包括由计算机硬件组件执行的以下步骤：
根据多个启用方案来启用(302)多个光源的子集，其中，各个启用方案指示要启用所述多个光源中的哪些光源；
使用所述摄像头(106)来拍摄(304)各个启用方案的图像；以及
基于所拍摄的图像来校准(306)所述摄像头(106)。
2.根据权利要求1所述的计算机实现方法，
其中，至少一个启用方案包括所述多个光源中的一次一个光源的指示；和/或
其中，至少一个启用方案包括一次多个光源的指示。
3.根据权利要求2所述的计算机实现方法，
其中，当从所述摄像头(106)的角度观察时，所述一次多个光源至少相距预定距离。
4.根据权利要求1至3中任一项所述的计算机实现方法，
其中，拍摄(304)各个启用方案的图像的步骤包括：拍摄所述多个光源的图像。
5.根据权利要求1至4中任一项所述的计算机实现方法，
其中，所述多个光源是根据彼此之间的预定空间关系而设置在三维空间中的，并且是按照与所述摄像头(106)的预定空间关系设置的。
6.根据权利要求1至5中任一项所述的计算机实现方法，所述计算机实现方法还包括由所述计算机硬件组件执行的以下步骤：
确定所启用的光源在所拍摄的图像中的位置。
7.根据权利要求6所述的计算机实现方法，
其中，所拍摄的图像中的所述位置是基于将校准图案的图像内的候选点标识为该校准图案的可能特征点的方法来确定的，标识候选点的方法包括以下步骤：
确定从所述校准图案的图像导出的经滤波的图像内的光斑，其中，光斑被限定为所述经滤波的图像的、具有超过阈值的像素值的相干像素集，针对各个所确定的光斑，计算所确定的光斑的中心点；以及
将所有计算出的中心点标识为候选点，其中，确定所述光斑的步骤包括：对所述经滤波的图像逐个像素地进行扫描。
8.根据权利要求7所述的计算机实现方法，
其中，如果经扫描的像素具有超过所述阈值的像素值，则暂停所述扫描，并且以最后一个经扫描的像素作为当前像素并且以倒数第二个经扫描的像素作为前一像素，开始执行光斑轮廓跟踪，
所述光斑轮廓跟踪包括记录所述当前像素作为轮廓像素的步骤作为跟踪步骤，
其中，标识候选点的方法还包括以下步骤：
针对与所述当前像素相邻的邻近像素，评估如下条件：该邻近像素是否具有超过所述阈值的像素值，并且在围绕所述当前像素的旋转方向上恰好在该邻近像素之前的另一邻近像素是否具有不超过所述阈值的像素值；
从满足所述条件的所有邻近像素中选择在所述旋转方向上距所述前一像素最远的邻近像素；以及
将所述当前像素限定为前一像素并且将所选择的邻近像素限定为当前像素；
所述光斑轮廓跟踪还包括以下步骤：重复所述跟踪步骤直到所述当前像素再次等于所述最后一个经扫描的像素为止；
将所述光斑确定为包括所记录的轮廓像素和被所记录的轮廓像素包围的像素的像素集。
9.根据权利要求1至8中任一项所述的计算机实现方法，
其中，校准(306)所述摄像头(106)的步骤包括：确定至少一个本征摄像头参数或者至少一个非本征摄像头参数或者至少一个畸变参数。
10.根据权利要求9所述的计算机实现方法，
其中，所述至少一个本征参数包括以下项中的至少一个：所述摄像头(106)的焦距、所述摄像头(106)的灵敏度或者所述摄像头(106)的孔径，
其中，所述至少一个非本征参数包括以下项中的至少一个：所述摄像头(106)在空间中的位置或者所述摄像头(106)在空间中的取向，并且
其中，所述至少一个畸变参数包括以下项中的至少一个：所述摄像头(106)的散焦参数、所述摄像头(106)的球面像差参数、所述摄像头(106)的彗差参数、所述摄像头(106)的像散参数、所述摄像头(106)的场曲率参数或者所述摄像头(106)的图像畸变参数。
11.一种计算机***，所述计算机***包括多个计算机硬件组件，所述多个计算机硬件组件被配置成执行根据权利要求1至10中任一项所述的计算机实现方法。
12.根据权利要求11所述的计算机***，所述计算机***还包括：所述多个光源。
13.根据权利要求12所述的计算机***，
其中，所述多个光源是根据彼此之间的预定空间关系而设置在三维空间中的，并且是按照与所述摄像头(106)的预定空间关系设置的。
14.根据权利要求11至13中任一项所述的计算机***，所述计算机***还包括：
存储介质，所述存储介质被配置成存储所拍摄的图像。
15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括执行根据权利要求1至10中任一项所述的计算机实现方法的指令。
CN202011618542.7A 2020-01-10 2020-12-30 校准摄像头的方法和*** Active CN113115027B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20151132.6A EP3848900A1 (en) 2020-01-10 2020-01-10 Methods and systems for calibrating a camera
EP20151132.6 2020-01-10

Publications (2)

Publication Number Publication Date
CN113115027A true CN113115027A (zh) 2021-07-13
CN113115027B CN113115027B (zh) 2024-04-30

Family

ID=69157700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011618542.7A Active CN113115027B (zh) 2020-01-10 2020-12-30 校准摄像头的方法和***

Country Status (3)

Country Link
US (2) US11538193B2 (zh)
EP (1) EP3848900A1 (zh)
CN (1) CN113115027B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117714663A (zh) * 2023-06-09 2024-03-15 荣耀终端有限公司 一种紫边测量分析***和方法、存储介质、电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727597B2 (en) * 2018-12-21 2023-08-15 Sony Group Corporation Calibrating volumetric rig with structured light
US20230292021A1 (en) * 2022-03-10 2023-09-14 Motional Ad Llc Optical metrology: repeatable qualitative analysis of flare and ghost artifacts in camera optical sytem
CN114697628B (zh) * 2022-06-01 2022-09-06 龙旗电子(惠州)有限公司 图像采集方法、装置、设备和介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040189812A1 (en) * 2003-03-27 2004-09-30 Dialog Semiconductor Gmbh Test system for camera modules
US20090021587A1 (en) * 2007-07-19 2009-01-22 Xerox Corporation Method, system and apparatus for jointly calibrating color digital cameras and monitors
CN103636201A (zh) * 2011-07-05 2014-03-12 罗伯特·博世有限公司 用于确定摄影机的成像偏差的装置和方法
US20150085078A1 (en) * 2012-01-09 2015-03-26 Jeenon, LLC Method and System for Use in Detecting Three-Dimensional Position Information of Input Device
US20150341618A1 (en) * 2014-05-23 2015-11-26 Leap Motion, Inc. Calibration of multi-camera devices using reflections thereof
US20160182903A1 (en) * 2014-12-19 2016-06-23 Disney Enterprises, Inc. Camera calibration
WO2016146105A1 (de) * 2015-03-16 2016-09-22 Hochschule Offenburg Verfahren und vorrichtung zur kalibration einer kamera
US20170084033A1 (en) * 2015-09-17 2017-03-23 Thomson Licensing Method and system for calibrating an image acquisition device and corresponding computer program product
CN106686375A (zh) * 2016-12-20 2017-05-17 上海斐讯数据通信技术有限公司 一种摄像头超焦距的计算方法及***
US20170262971A1 (en) * 2016-03-10 2017-09-14 Sony Corporation System and method for extrinsic camera parameters calibration by use of a three dimensional (3d) calibration object
CN108369650A (zh) * 2015-11-30 2018-08-03 德尔福技术有限责任公司 将校准图案的图像内的候选点标识为该校准图案的可能特征点的方法
US20180350043A1 (en) * 2017-06-02 2018-12-06 Apple Inc. Shallow Depth Of Field Rendering
US20180349378A1 (en) * 2017-05-30 2018-12-06 Qualcomm Incorporated Calibration for phase detection auto focus (pdaf) camera systems
CN109584307A (zh) * 2017-09-28 2019-04-05 百度（美国）有限责任公司 改进摄像机固有参数校准的***和方法
CN110211186A (zh) * 2018-02-28 2019-09-06 Aptiv技术有限公司 用于校准摄像头相对于校准图案的位置和取向的方法
US20190327454A1 (en) * 2018-04-18 2019-10-24 B&R Industrial Automation GmbH Method for the generation of a correction model of a camera for the correction of an aberration

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697761B2 (en) 2000-09-19 2004-02-24 Olympus Optical Co., Ltd. Three-dimensional position/orientation sensing apparatus, information presenting system, and model error detecting system
US8326084B1 (en) * 2003-11-05 2012-12-04 Cognex Technology And Investment Corporation System and method of auto-exposure control for image acquisition hardware using three dimensional information
US7154395B2 (en) 2004-07-01 2006-12-26 Mitsubishi Electric Research Laboratories, Inc. Interactive wireless tag location and identification system
US7907792B2 (en) * 2006-06-16 2011-03-15 Hewlett-Packard Development Company, L.P. Blend maps for rendering an image frame
US7800628B2 (en) * 2006-06-16 2010-09-21 Hewlett-Packard Development Company, L.P. System and method for generating scale maps
EP1923756B1 (en) 2006-11-07 2009-04-29 BrainLAB AG Method and system for region of interest calibration parameter adjustment of tracking systems
US20080170228A1 (en) * 2007-01-17 2008-07-17 Micron Technology, Inc. Method and apparatus for wafer level calibration of imaging sensors
EP2153168B1 (en) 2007-05-21 2017-05-10 Snap-on Incorporated Method and apparatus for wheel alignment
CN101918874B (zh) * 2007-11-07 2013-06-05 泰塞拉技术匈牙利公司 定制景深光学***以及小型快速透镜结构
TWI408486B (zh) * 2008-12-30 2013-09-11 Ind Tech Res Inst 具動態校正的攝影機及其動態校正方法
EP2382599B1 (en) 2009-07-29 2012-12-12 Metaio GmbH Method for determining the pose of a camera with respect to at least one real object
US9189347B2 (en) * 2011-07-29 2015-11-17 Motorola Solutions, Inc. High reliability redundant voting system for a signal received by voting processors in a communication system
CN105229703B (zh) 2013-05-23 2018-02-09 谷歌有限责任公司 用于使用感测的位置数据来生成三维模型的***和方法
US10250833B2 (en) * 2015-04-20 2019-04-02 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US11082566B2 (en) 2017-06-20 2021-08-03 Omnivision Technologies, Inc. Multiple camera calibration chart
US10527711B2 (en) 2017-07-10 2020-01-07 Aurora Flight Sciences Corporation Laser speckle system and method for an aircraft
WO2019050417A1 (en) 2017-09-06 2019-03-14 Auckland Uniservices Limited METHOD FOR CALIBRATING STEREOSCOPIC SYSTEM
US10489932B2 (en) * 2017-11-27 2019-11-26 Huntercraft Limited Intelligent shooting training management system
TWI680436B (zh) * 2018-12-07 2019-12-21 財團法人工業技術研究院 深度相機校正裝置及其方法
US10742969B1 (en) * 2019-06-28 2020-08-11 GM Cruise Holdings, LLC Control of dynamic scene motion by vehicle based on vehicle sensor capture
US11104350B2 (en) * 2019-06-28 2021-08-31 GM Cruise Holdings, LLC Wireless vehicle control of vehicle sensor calibration environment
US11557061B2 (en) * 2019-06-28 2023-01-17 GM Cruise Holdings LLC. Extrinsic calibration of multiple vehicle sensors using combined target detectable by multiple vehicle sensors
EP3883235A1 (en) * 2020-03-17 2021-09-22 Aptiv Technologies Limited Camera control modules and methods
US11453348B2 (en) * 2020-04-14 2022-09-27 Gm Cruise Holdings Llc Polyhedral sensor calibration target for calibrating multiple types of sensors
US11654919B2 (en) * 2020-08-11 2023-05-23 Aptiv Technologies Limited Adaptive user-specific automated driver assistance system warnings

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040189812A1 (en) * 2003-03-27 2004-09-30 Dialog Semiconductor Gmbh Test system for camera modules
US20090021587A1 (en) * 2007-07-19 2009-01-22 Xerox Corporation Method, system and apparatus for jointly calibrating color digital cameras and monitors
CN103636201A (zh) * 2011-07-05 2014-03-12 罗伯特·博世有限公司 用于确定摄影机的成像偏差的装置和方法
US20140204220A1 (en) * 2011-07-05 2014-07-24 Andreas Schmack System and method for determining an imaging deviation of a camera
US20150085078A1 (en) * 2012-01-09 2015-03-26 Jeenon, LLC Method and System for Use in Detecting Three-Dimensional Position Information of Input Device
US20150341618A1 (en) * 2014-05-23 2015-11-26 Leap Motion, Inc. Calibration of multi-camera devices using reflections thereof
US20160182903A1 (en) * 2014-12-19 2016-06-23 Disney Enterprises, Inc. Camera calibration
WO2016146105A1 (de) * 2015-03-16 2016-09-22 Hochschule Offenburg Verfahren und vorrichtung zur kalibration einer kamera
US20170084033A1 (en) * 2015-09-17 2017-03-23 Thomson Licensing Method and system for calibrating an image acquisition device and corresponding computer program product
CN108369650A (zh) * 2015-11-30 2018-08-03 德尔福技术有限责任公司 将校准图案的图像内的候选点标识为该校准图案的可能特征点的方法
US20170262971A1 (en) * 2016-03-10 2017-09-14 Sony Corporation System and method for extrinsic camera parameters calibration by use of a three dimensional (3d) calibration object
CN106686375A (zh) * 2016-12-20 2017-05-17 上海斐讯数据通信技术有限公司 一种摄像头超焦距的计算方法及***
US20180349378A1 (en) * 2017-05-30 2018-12-06 Qualcomm Incorporated Calibration for phase detection auto focus (pdaf) camera systems
US20180350043A1 (en) * 2017-06-02 2018-12-06 Apple Inc. Shallow Depth Of Field Rendering
CN109584307A (zh) * 2017-09-28 2019-04-05 百度（美国）有限责任公司 改进摄像机固有参数校准的***和方法
CN110211186A (zh) * 2018-02-28 2019-09-06 Aptiv技术有限公司 用于校准摄像头相对于校准图案的位置和取向的方法
US20190327454A1 (en) * 2018-04-18 2019-10-24 B&R Industrial Automation GmbH Method for the generation of a correction model of a camera for the correction of an aberration

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117714663A (zh) * 2023-06-09 2024-03-15 荣耀终端有限公司 一种紫边测量分析***和方法、存储介质、电子设备

Also Published As

Publication number Publication date
US20230091606A1 (en) 2023-03-23
EP3848900A1 (en) 2021-07-14
CN113115027B (zh) 2024-04-30
US20210217198A1 (en) 2021-07-15
US11538193B2 (en) 2022-12-27

Similar Documents

Publication Publication Date Title
CN113115027B (zh) 校准摄像头的方法和***
US10291894B2 (en) Single-sensor system for extracting depth information from image blur
JP5134694B2 (ja) 画像処理装置及び画像処理方法
US9454687B2 (en) Barcode imaging
JP5943785B2 (ja) 撮像装置、撮像システム、画像処理装置、および、撮像装置の制御方法
CN105359502B (zh) 追踪装置、追踪方法以及存储了追踪程序的非易失性存储介质
JP2013093754A (ja) 撮像装置
WO2014011182A1 (en) Convergence/divergence based depth determination techniques and uses with defocusing imaging
JP2013531268A (ja) 符号化開口を使用した距離の測定
JP2018527572A (ja) レンチキュラレンズシートの回転位置の測定
KR101453561B1 (ko) 동화상 처리 장치 및 방법
JP2016001853A (ja) 画像処理装置、撮像装置、制御方法及びプログラム
CN107925719B (zh) 摄像装置、摄像方法、及非暂时性记录介质
KR102156998B1 (ko) 비디오 시퀀스에서 모션을 감지하기 위한 방법
JP5900049B2 (ja) 被写界深度拡張システム及び被写界深度拡張方法
JP4663669B2 (ja) 動画像処理装置及び方法
JP2011133360A (ja) 距離計測装置、距離計測方法、及びプログラム
Tehrani et al. A practical method for fully automatic intrinsic camera calibration using directionally encoded light
JP2008145121A (ja) 三次元形状測定装置
JP7416057B2 (ja) 交換レンズ、情報処理装置、情報処理方法、及び、プログラム
JP3564383B2 (ja) ３次元動画入力装置
JP6566800B2 (ja) 撮像装置及び撮像方法
JP4663670B2 (ja) 動画像処理装置及び方法
JP2005345590A (ja) 撮像装置の検査方法及び検査装置
US20150365599A1 (en) Information processing apparatus, image capturing apparatus, and control method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240308

Address after: Luxembourg

Applicant after: Aptiv Manufacturing Management Services Co.

Country or region after: Luxembourg

Address before: Babado J San Michael

Applicant before: Aptiv Technologies Ltd.

Country or region before: Barbados

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240321

Address after: Schaffhausen

Applicant after: APTIV Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Luxembourg

Applicant before: Aptiv Manufacturing Management Services Co.

Country or region before: Luxembourg

GR01 Patent grant
GR01 Patent grant