CN110660106B - 双相机校准 - Google Patents

双相机校准 Download PDF

Info

Publication number
CN110660106B
CN110660106B CN201910303852.0A CN201910303852A CN110660106B CN 110660106 B CN110660106 B CN 110660106B CN 201910303852 A CN201910303852 A CN 201910303852A CN 110660106 B CN110660106 B CN 110660106B
Authority
CN
China
Prior art keywords
camera
card
image
rings
disk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910303852.0A
Other languages
English (en)
Other versions
CN110660106A (zh
Inventor
章国治
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sesame Intelligent Technology Shanghai Co Ltd
Original Assignee
Black Sesame Intelligent Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sesame Intelligent Technology Shanghai Co Ltd filed Critical Black Sesame Intelligent Technology Shanghai Co Ltd
Publication of CN110660106A publication Critical patent/CN110660106A/zh
Application granted granted Critical
Publication of CN110660106B publication Critical patent/CN110660106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

一种双相机***校准的方法，包括：提供包括多个圆环和至少一个圆盘的图卡；用第一相机使所述图卡成像，以提供第一图卡图像；用第二相机使所述图卡成像，以提供第二图卡图像；在所述多个圆环和所述至少一个圆盘上执行第一图卡和第二图卡图像的边缘检测；确定所述多个圆环相对于所述至少一个圆盘的相对位置；将所述第一图卡图像中的所述多个圆环的相对位置和所述第二图卡图像中的所述多个圆环的相对位置进行匹配，以及基于所述第一图卡图像与所述第二图卡图像的匹配，使所述第一相机和所述第二相机对准。

Description

双相机校准
技术领域
本公开涉及数码摄影，更特别地涉及一种双相机***的校准。
背景技术
通常，在预定的图卡(chart)上以预定的距离对图片进行成像是校准过程的常见设置。然而，为了校准固定焦距的相机，由于其远焦点位置，预定的图卡可能很大以便覆盖其整个视场，并且图卡可能距离相机较远。这种设置可能占据大的生产工厂空间，而且图卡可能被重力影响。
发明内容
在一个实施例中，提供了一种双相机***校准的方法，包括：提供包括多个圆环和至少一个圆盘的图卡；用第一相机使所述图卡成像，以提供第一图卡图像；用第二相机使所述图卡成像，以提供第二图卡图像；在所述多个圆环和所述至少一个圆盘上执行对所述第一图卡图像和所述第二图卡图像的边缘检测，其中检测所述多个圆环的多个内边缘和多个外边缘，并检测所述至少一个圆盘的外边缘；确定所述多个圆环相对于所述至少一个圆盘的相对位置；将所述第一图卡图像中的所述多个圆环的相对位置和所述第二图卡图像中的所述多个圆环的相对位置进行匹配，以及基于所述第一图卡图像与所述第二图卡图像的匹配，使所述第一相机和所述第二相机对准。
在另一个实施例中，提供了一种双相机***校准的方法，包括：提供包括多个圆环和至少一个圆盘的图卡；用第一相机使所述图卡成像，以提供第一图卡图像；用第二相机使所述图卡成像，以提供第二图卡图像；使所述第一图卡图像和所述第二图卡图像二值化，以移除灰度分量；在所述多个圆环和所述至少一个圆盘上执行对所述第一图卡图像和所述第二图卡图像的边缘检测，其中检测所述多个圆环的多个内边缘和多个外边缘，并检测所述至少一个圆盘的外边缘；所述多个圆环和所述至少一个圆盘的中心坐标的拟合；所述多个圆环和所述至少一个圆盘的半径的拟合；将所述多个圆环的所述多个内边缘和所述多个外边缘分组到至少一个中心；基于所述分组，利用所述至少一个圆盘作为参考，对所述多个圆环的至少一个中心进行索引；将所述第一图卡图像的已索引的至少一个中心和所述第二图卡图像的已索引的至少一个中心进行匹配，以及基于所述第一图卡图像与所述第二图卡图像的匹配，使所述第一相机和所述第二相机对准。
在另一个实施例中，一种双相机***校准的方法，包括：提供包括多个离散几何轮廓的图卡，其中所述多个离散几何轮廓中的至少一个被填充；用第一相机使所述图卡成像，以提供第一图卡图像；用第二相机使所述图卡成像，以提供第二图卡图像；使所述第一图卡图像和所述第二图卡图像二值化，以移除灰度分量；在所述多个离散几何轮廓和至少一个填充的离散几何轮廓上执行所述第一图卡图像和所述第二图卡图像的边缘检测，其中检测所述多个内边缘和多个外边缘；对所述多个离散几何轮廓和所述至少一个填充的离散几何轮廓进行中心点拟合；对所述多个离散几何轮廓和所述至少一个填充的离散几何轮廓进行圆形轮廓拟合；将所述多个离散几何轮廓的所述多个内边缘和所述多个外边缘拟合对的圆形轮廓分组到所述至少一个中心；基于所述分组，利用所述至少一个填充的离散几何轮廓作为参考，对所述多个离散几何轮廓的至少一个中心进行索引；将所述第一图卡图像的已索引的至少一个中心和所述第二图卡的已索引的至少一个中心进行匹配，以及基于所述第一图卡图像与所述第二图卡图像的匹配，使所述第一相机和所述第二相机对准。
附图说明
在附图中:
图1是根据本公开的一个实施例的***图；
图2是示例焦距表；
图3是根据本公开的一个实施例的聚焦图卡的描绘；
图4是根据本公开的一个实施例的灰度聚焦的描绘；
图5是根据本公开的一个实施例的第一流程图；
图6是根据本公开的一个实施例的用于验证的棋盘图案；
图7是根据本公开的一个实施例的第二流程图；
图8是根据本公开的一个实施例的第三流程图；和
图9是根据本公开的一个实施例的第四流程图。
具体实施方式
以下列出的实施例仅用于说明该装置和方法的应用，而不是限制本公开的范围。对该装置和方法的等同形式的修改应归入权利要求的范围内。
贯穿以下说明书和权利要求使用的某些术语用于指代特定***部件。如本领域技术人员将理解的，不同的公司可以通过不同的名称来指代部件和/或方法。本文件无意区分名称不同但功能并非不同的部件和/或方法。
在以下讨论和权利要求中，术语“包括”和“包含”以开放式的方式使用，因此应该被解释为“包括，但不限于…”。此外，术语“耦合”或“耦合(第三人称)”旨在表示间接或直接的连接。因此，如果第一设备与第二设备耦合，则该连接可以通过直接连接或通过经由其他设备和连接的间接连接来实现。
图1描绘了与具有双相机的***一起使用的示例电子***。电子***100可以是用于执行软件的计算设备，所述软件与图5和图7-图9中提供的过程(process)500、700、800或900的一个或多个部分或步骤、或部件和过程的操作相关联。电子***100可以是嵌入式计算机、个人计算机或移动设备(例如平板电脑、笔记本电脑、智能电话、PDA，或其他具有嵌入或耦合到其中的一个或多个处理器的触摸屏或电视，或任何其他类型的计算机相关的电子设备)。
电子***100可以包括各种类型的计算机可读介质和用于各种其他类型的计算机可读介质的接口。在所描绘的示例中，电子***100包括总线112、一个或多个处理器120、***存储器114、只读存储器(ROM)118、永久存储设备110、输入设备接口122、输出设备接口116，以及一个或多个网络接口124。在一些实施方式中，电子***100可以包括用于操作先前描述的各种部件和过程的其他计算设备或电路，或者与其他计算设备或电路集成。在本公开的一个实施例中，一个或多个处理器120通过总线112耦合到拍摄图卡130的照片的自动聚焦相机模块传感器126(主相机)和固定焦距相机模块128(副相机)。
总线112共同表示(collectively represent)通信地连接电子***100的众多内部设备的所有***总线、***设备总线和芯片组总线。例如，总线112将一个或多个处理器120与ROM118、***存储器114、永久存储设备110、拍摄图卡130的照片的自动聚焦相机模块传感器126(主相机)和固定焦距相机模块128(副相机)通信地连接。
一个或多个处理器120从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行本主题公开的过程。一个或多个处理单元可以是不同实施方式中的单核处理器或多核处理器。
ROM 118存储电子***的一个或多个处理器120和其他模块所需的静态数据和指令。另一方面，永久存储设备110是读写存储设备。该设备是非易失性存储器单元，即使在电子***100关闭时也存储指令和数据。本公开的一些实施方式使用大容量存储设备(诸如磁盘或光盘及其对应的盘驱动器)作为永久存储设备110。
其他实施方式使用可移动存储设备(诸如软盘、闪存驱动器及其对应的磁盘驱动器)作为永久存储设备110。与永久存储设备110类似，***存储器114是读写存储器设备。然而，与永久存储设备110不同的是，***存储器114是易失性读写存储器，例如随机存取存储器。***存储器114存储处理器在运行时需要的一些指令和数据。在一些实施方式中，本主题公开的过程存储在***存储器114、永久存储设备110和/或ROM118中。处理器120从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行一些实施方式的过程。
总线112还连接到输入设备接口122和输出设备接口116。输入设备接口122使用户能够向电子***传达信息和选择命令。与输入设备接口122一起使用的输入设备包括例如字母数字键盘和指点设备(也被称为“光标控制设备”)。输出设备接口116例如能够显示由电子***100产生的图像。与输出设备接口116一起使用的输出设备包括，例如打印机和显示设备(例如阴极射线管(CRT)或液晶显示器(LCD))。一些实施方式包括诸如触摸屏的设备，其用作输入和输出设备。
最后，如图1所示，总线112还可以通过网络接口124将电子***100耦合到网络(未示出)。网络接口124可以包括例如无线接入点(例如，蓝牙或WiFi)或用于连接到无线接入点的无线电电路。网络接口124还可以包括用于将计算机连接到计算机网络(例如局域网(“LAN”)、广域网(“WAN”)、无线LAN、或内联网、或多个网络中的一个网络(如互联网))的一部分的硬件(例如，以太网硬件)。电子***100的任何部件或所有部件都可以与本主题公开一起使用。
虽然上述讨论主要涉及执行软件的微处理器或多核处理器，但是一些实施方式由一个或多个集成电路执行，例如专用集成电路(ASIC)或现场可编程门阵列(FPGA)。在一些实施方式中，这种集成电路执行存储在电路自身上的指令。
正如在本申请的本说明书和任何权利要求中所使用的那样，术语“计算机”、“服务器”、“处理器”和“存储器”都指电子或其他技术设备。这些条款不包括人或人群。出于说明的目的，术语显示或正在显示意味着显示在电子设备上。
为了提供与用户的交互，本说明书中描述的主题的实施方式可以在具有显示设备(例如CRT(阴极射线管)或LCD(液晶显示器)监视器，用于向用户显示信息)、键盘和指点设备(例如鼠标或跟踪球，用户可以通过它们向计算机提供输入)的计算机上实现。其他类型的设备也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且来自用户的输入可以以任何形式被接收，包括声学、语音或触觉输入。
本说明书中描述的主题的实施例可以在包括后端部件(例如，作为数据服务器)或包括中间件部件(例如，应用服务器)或包括前端部件(例如具有图形用户界面的客户端计算机，用户可以通过该图形用户界面与本说明书中描述的主题的实施方式进行交互)，或者包括一个或多个这样的后端、中间件或前端部件的任何组合的计算***中实现。***的部件可以通过数字数据通信的任何形式或介质(例如通信网络)互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)、互联网(例如因特网)和对等网络(例如ad hoc对等网络)。
计算***可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系由于在各自的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。在客户端设备(例如，用户交互的结果)处生成的数据可以从服务器处的客户端设备接收。
在一个实施例中，校准两个相机，一个相机具有固定焦距，第二相机具有可变焦距。校准所述两个相机以使得它们可以旋转并在x轴、y轴、z轴对准。这种校准保证了两个相机都在观看空间中的相同的点。
可变焦距相机能够聚焦在近的和远的物体上，固定焦距相机能够聚焦在距离相机特定距离处和特定距离以外的物体上。在固定焦距相机中，比焦距近的物体不能被聚焦，即，图像不能被清晰地限定。
当前，这种对近景成像可能欠清晰的问题限制了所使用最小目标距离和最小图卡尺寸。当前常见于在此距离上摆放符合尺寸要求的棋盘图案由黑白格连接而成，其中利用了方形的交叉点。棋盘的未聚焦图像使得定位方形交叉点成为问题。
图2描绘了典型的1/5英寸、光圈级数(F stop)2.2的镜头，其具有80cm至无限远的固定焦距。通常，利用80°对角视场(FOV)，当放置在80cm距离212处以拍摄聚焦的图像时，该FOV使得校准图卡210的尺寸为超过100cm×80cm。为了减小该尺寸并仍然对整个视场成像，可以减小图卡距离。例如，当目标距离减小到20cm时，图卡的尺寸可以小于30cmx25cm。在这个例子中，由于其80cm的固定焦距，相机可能不能生成足够清晰的图像以允许利用棋盘图案进行适当的校准。
从不清晰成像中精确定位几何坐标点的一种可能的解决方案是放弃寻找交叉点，而是定位离散的几何中心或质心。图3示出了具有很多小圆环312、并且具有填充的配准盘(registration disk)310的图卡。所述圆环围绕所述配准盘设置。如果坐标***由图卡本身限定，则环以预定的方式成列和成行进行排列，这确保物理坐标是已知的。与图6所示的需要被清楚地捕获以检测和定位交叉角的传统棋盘图卡相比，每个环的中心可以从未聚焦的图像中计算，即在比焦点更近的距离处进行计算。
图4示出了灰度图像，其具有用于配准的圆盘410和多个圆环412。虽然可以使用灰度图像，使用黑白图像可能边缘检测的问题更少。因此，可以对图像进行二值化或去斑，以增加对比度。
图5示出了所述方法的第一流程图。重建环中心的方法包括自适应地二值化512环图像510，以获得黑白图像。执行514边缘检测，其指示圆环的内边缘和外边缘以显示同心边缘516并定位圆盘的外边缘。由于在该示例中已知几何形状由圆环和圆盘组成，因此对这些圆执行连通区域拟合518。由圆环的内边缘和外边缘示出的同心圆被分组520。在对同心环进行分组之后，然后相对于圆盘对分组进行排序和进行索引522。然后，相对于中心盘(作为位置标记)或配准盘对分组的中心进行定位524。
在检测到这些特征点之后，主图像和第二图像中的特征点被成对匹配，表示为Xmk＝[xmk，ymk]t和Xsk＝[xsk，ysk]t，k＝1，2，...N，其中N是匹配特征点数(matched featurenumber)。这些特征对可以被用于估算两个相机之间的旋转。一个典型的校准示例如公式1所示，
Figure BDA0002029118110000061
其中Cm，Cs分别表示主相机和副相机的中心坐标；fm，fs分别表示以主相机和第二相机的自身像素度量的主相机的焦距和第二相机的焦距；R1，R2，R3是由公式2限定的旋转矩阵R的第一行、第二行和第三行向量。
Figure BDA0002029118110000062
通常，可以通过列文伯格-马夸特算法(Levenberg-Marquart algorithm)来解决公式1的优化问题。
当相机模块被校准后，它们通常被安装在设备中。在安装期间，两个相机间的几何关系可能被外因而改变，包含但不限于胶水脱落，挤压变形等，可以利用如图6所示的轻微地旋转的棋盘板来执行验证。
具有很多小圆环的图卡可以用作校准图卡。可以使用较小的校准距离，其比固定焦距相机的焦距更近。可以捕获未聚焦的图像，以高度可重复性对圆环进行成像。
可以在双相机验证阶段中使用稍微旋转的棋盘板，使得可以验证对焦清晰度信息，例如调制传递函数(MTF)。
后续验证图卡可以使用如图6所示的棋盘板。在具有80cm对焦距离的固定焦距相机的例子中，50cm的目标距离可以提供相当清晰的图像。可以在该距离处很好地检测棋盘板610的交叉角，并且可以再次估算这两个相机之间的几何参数，并且与使用环形图卡的模块估算的几何参数进行比较，以确定校准后是否已经改变。棋盘板可以具有围绕相机Z方向(即光轴)旋转的小角度，目的是检查相机的调制传递函数。
图7描绘了双相机***的校准方法的第二实施例，其包括：提供710包括多个圆环和一个将用于配准的填充圆盘的图卡，使用第一相机对图卡进行成像712以提供第一图卡图像,和使用第二相机对图卡进行成像714以提供第二图卡图像。所述方法还包括在所述圆环和所述圆盘上执行716所述第一图卡图像和所述第二图卡图像的边缘检测，其中检测圆环的内边缘和外边缘，并检测圆盘的外边缘。所述方法还包括确定718所述圆环相对于所述圆盘的相对位置；将所述第一图卡图像中的圆环的相对位置和所述第二图卡图像中的圆环的相对位置进行匹配720，以及基于所述第一图卡图像与所述第二图卡图像的匹配，使所述第一相机和所述第二相机对准722。
图8描绘了双照相机***的校准方法的第三实施例，其包括：提供810包括多个圆环和一个将用于配准盘的填充圆盘的图卡，使用第一相机使图卡成像812，以提供第一图卡图像,和使用第二相机使图卡成像814，以提供第二图卡图像。所述方法还包括使所述第一图卡图像和所述第二图卡图像二值化816，以移除灰度分量；在所述圆环和所述圆盘上执行818所述第一图卡图像和所述第二图卡图像的边缘检测。检测所述圆环的内边缘和外边缘，并检测所述圆盘的外边缘。所述方法还包括所述圆环和所述圆盘中心拟合820；所述圆环和所述圆盘的半径拟合822，以及基于所述半径，将所述圆环的内边缘和外边缘分组824到所述中心。所述方法还包括基于所述分组，利用所述圆环作为参考，对所述多个圆环的中心进行索引826；将第一图卡图像的已索引的中心和第二图卡图像的已索引的中心进行匹配828，以及基于所述第一图卡图像与所述第二图卡图像的匹配，使所述第一相机和所述第二相机对准830。
图9示出了双相机***校准方法的第四实施例，包括：提供910包括多个离散几何轮廓和一个被填充的离散几何轮廓的图卡；用第一相机使所述图卡成像912，以提供第一图卡图像；和用第二相机使所述图卡成像914，以提供第二图卡图像。所述方法还包括使所述第一图卡图像和所述第二图卡图像二值化916，以移除灰度分量；在所述离散几何轮廓和填充的离散几何轮廓上执行918所述第一图卡图像和所述第二图卡图像的边缘检测。检测所述轮廓的内边缘和外边缘，以及所述填充的轮廓的外边缘。所述方法还包括对所述多个离散几何轮廓和所述填充的离散几何轮廓进行中心点拟合920；以及对所述离散几何轮廓和所述填充的离散几何轮廓进行圆形轮廓拟合922。所述方法还包括基于所述轮廓，将离散几何轮廓的所述内边缘和所述外边缘分组924到所述各个中心，以及基于所述分组，利用所述填充的离散几何轮廓作为参考，对所述多个离散几何轮廓的中心进行索引926。所述方法还包括将所述第一图卡图像的已索引的中心和所述第二图卡图像的已索引的中心进行匹配928，以及基于所述第一图卡图像与所述第二图卡图像的匹配，使所述第一相机和所述第二相机对准930。
所属领域的技术人员将了解，本文中所描述的各种说明性的块、模块、元件、部件、方法和算法可实施为电子硬件、计算机软件或两者的组合。为了说明硬件和软件的这种可互换性，上文已经在其功能方面对各种说明性的块、模块、元件、部件、方法和算法进行了总体描述。是否以硬件或以软件实现此功能取决于强加于整个***的特定应用和设计约束。技术人员可以针对每个特定应用以不同方式实现所描述的功能。在不脱离主题技术(subject technology)的范围的情况下，各种部件和块可以被不同地布置(例如以不同的顺序布置，或以不同的方式划分)。
应理解，所公开的过程中的步骤的特定顺序或层级是示例方法的一种说明。基于设计偏好，可以理解，过程中的步骤的特定顺序或层级可以被重新排列。一些步骤可以同时进行。所附方法权利要求以样本顺序呈现各个步骤的元素，并不意味着受限于所呈现的特定顺序或层级。
提供前面的描述是为了使本领域技术人员能够实践本文中所描述的各种方面。前面的描述提供了本主题技术的各种示例，并且本主题技术不限于这些示例。对于本领域技术人员来说，对这些方面的各种修改是明显的，并且本文限定的一般原理可以应用于其他方面。因此，权利要求不旨在受限于本文所示的方面，而是旨在使全部范围与权利要求的语言表述相一致，其中对单数元素的引用并不旨在表示“一个且仅一个”，除非具体如此陈述，而是表示“一个或多个”。除非另外特别说明，否则术语“一些”是指一个或多个。男性中的代词(例如，他的)包括女性和中性(例如，她和它的)，反之亦然。标题和副标题(如果有的话)仅为了方便而使用，并不限制本发明。谓语“被配置以”、“可操作以”和“被编程以”并不暗示着主语的任何特定的有形或无形修改，而是旨在可被互换地使用。例如，被配置以监视和控制操作或部件的处理器，还可以表示，该处理器被编程以监视和控制操作，或者处理器可操作以监视和控制操作。同样地，被配置以执行代码的处理器，可以被解释为，被编程以执行代码的处理器或可操作以执行代码的处理器。
诸如“方面”之类的短语并不暗示这样的方面对于本技术是必不可少的，或者这样的方面适用于主题技术的所有配置。涉及一方面的公开可适用于所有配置、或一个或多个配置。一个方面可提供一个或多个示例。诸如“方面”的短语可以指代一个或多个方面，反之亦然。诸如“实施例”之类的短语并不暗示这样的实施例对于主题技术是必不可少的，或者这样的实施例适用于主题技术的所有配置。涉及一个实施例的公开可应用于所有实施例，或一个或多个实施例。一个实施例可提供一个或多个示例。诸如“实施例”的短语可以指代一个或多个实施例，反之亦然。诸如“配置”之类的短语并不暗示这样的配置对于主题技术是必不可少的，或者这样的配置适用于主题技术的所有配置。涉及一种配置的公开可应用于所有配置、或一个或多个配置。一种配置可提供一个或多个示例。诸如“配置”的短语可以指一个或多个配置，反之亦然。
本文使用词语“示例”来表示“用作示例或说明”。本文描述为“示例”的任何方面或设计不必被解释为比其他方面或设计更优选或更具优势。
本领域普通技术人员已知或以后将知道的，贯穿本公开所描述的各个方面的元件的所有结构和功能等同物通过引用被明确地并入本文，并且旨在由权利要求所涵盖。此外，无论在权利要求中是否明确地叙述了这样的公开，本文的公开都不旨在捐献于公众。任何权利要求的要素均不得根据35U.S.C.§112第六段的规定进行解释，除非使用短语“用于…的装置”明确叙述该要素，或者在方法权利要求的情况下，使用短语“用于…的步骤”叙述该要素。此外，关于在说明书或权利要求书中使用“包括”、“具有”或类似术语的含义，这样的术语旨在被包括在术语“包含”的方式内，类似于当“包括”在权利要求中被用作连接词时，对“包括”的解释那样。
对“一个实施例”、“实施例”、“一些实施例”、“各种实施例”或类似表述的引用表明特定元件或特性被包括在本发明的至少一个实施例中。虽然短语可能出现在多个地方，但短语不一定是指同一个实施例。结合本公开，本领域技术人员将能够设计和并入适合于实现上述功能的各种机制中的任何一种。
应理解，本公开仅教导了说明性的实施例的一个示例，并且本领域技术人员在阅读本公开之后可以容易地设计出本发明的许多变型，并且本发明的范围由以下权利要求确定。

Claims (20)

1.一种双相机***的校准方法，包括：
提供包括多个圆环和至少一个圆盘的图卡；
用第一相机使所述图卡成像，以提供第一图卡图像；
用第二相机使所述图卡成像，以提供第二图卡图像；
在所述多个圆环和所述至少一个圆盘上执行所述第一图卡图像和所述第二图卡图像的边缘检测，其中检测所述多个圆环的多个内边缘和多个外边缘，并检测所述至少一个圆盘的外边缘；
确定所述多个圆环相对于所述至少一个圆盘的相对位置；
将所述第一图卡图像中的所述多个圆环相对于所述至少一个圆盘的相对位置和所述第二图卡图像中的所述多个圆环相对于所述至少一个圆盘的相对位置进行匹配；和
基于所述第一图卡图像与所述第二图卡图像的匹配，使所述第一相机和所述第二相机对准。
2.如权利要求1所述的方法，还包括使所述第一图卡图像和所述第二图卡图像二值化，以移除灰度分量。
3.如权利要求1所述的方法，还包括所述多个圆环和所述至少一个圆盘的中心坐标的拟合。
4.如权利要求1所述的方法，还包括所述多个圆环和所述至少一个圆盘的半径的拟合。
5.如权利要求1所述的方法，还包括：将所述多个圆环的所述多个内边缘和所述多个外边缘分组到至少一个中心并确定半径。
6.如权利要求1所述的方法，还包括：使用所述至少一个圆盘作为参考，对所述多个圆环的至少一个中心进行索引。
7.如权利要求6所述的方法，还包括：将所述第一图卡图像的已索引的至少一个中心和所述第二图卡图像的已索引的至少一个中心进行匹配。
8.一种双相机***的校准方法，包括：
提供包括多个圆环和至少一个圆盘的图卡；
用第一相机使所述图卡成像，以提供第一图卡图像；
用第二相机使所述图卡成像，以提供第二图卡图像；
使所述第一图卡图像和所述第二图卡图像二值化，以移除灰度分量；
在所述多个圆环和所述至少一个圆盘上执行所述第一图卡图像和所述第二图卡图像的边缘检测，其中检测所述多个圆环的多个内边缘和多个外边缘以及检测所述至少一个圆盘的外边缘；
对所述多个圆环和所述至少一个圆盘的中心坐标进行拟合；
对所述多个圆环和所述至少一个圆盘的半径进行拟合；
将所述多个圆环的所述多个内边缘和所述外边缘分组到所述至少一个中心并确定半径；
基于所述分组，利用所述至少一个圆盘作为参考，对所述多个圆环的所述至少一个中心进行索引；
将所述第一图卡图像的已索引的至少一个中心和所述第二图卡图像的已索引的至少一个中心进行匹配，和
基于所述第一图卡图像与所述第二图卡图像的匹配，使所述第一相机和所述第二相机对准。
9.如权利要求8所述的方法，其中所述第一相机和所述第二相机中的至少一个为固定焦距相机。
10.如权利要求8所述的方法，还包括：测量来自所述第一相机和所述第二相机中的至少一个的至少一个调制传递函数。
11.如权利要求8所述的方法，其中所述第一相机和所述第二相机中的至少一个没有聚焦到所述图卡。
12.如权利要求8所述的方法，还包括：使用棋盘图卡验证所述第一相机与所述第二相机的对准。
13.一种双相机***的校准方法，包括：
提供包括多个离散几何轮廓的图卡，其中所述多个离散几何轮廓中的至少一个被填充；
用第一相机使所述图卡成像，以提供第一图卡图像；
用第二相机使所述图卡成像，以提供第二图卡图像；
使所述第一图卡图像和所述第二图卡图像二值化，以移除灰度分量；
在所述多个离散几何轮廓和所述至少一个填充的离散几何轮廓上执行所述第一图卡图像和所述第二图卡图像的边缘检测，其中检测多个内边缘和多个外边缘；
对所述多个离散几何轮廓和所述至少一个填充的离散几何轮廓的中心坐标进行拟合；
对所述多个离散几何轮廓和所述至少一个填充的离散几何轮廓的半径进行拟合；
基于所述至少一个轮廓，将所述多个离散几何轮廓的所述多个内边缘和所述多个外边缘分组到所述至少一个中心；
基于所述分组，利用所述至少一个填充的离散几何轮廓作为参考，对所述多个离散几何轮廓的所述至少一个中心进行索引；
将所述第一图卡图像的已索引的至少一个中心和所述第二图卡图像的已索引的至少一个中心进行匹配，和
基于所述第一图卡图像与所述第二图卡图像的匹配，使所述第一相机和所述第二相机对准。
14.如权利要求13所述的方法，其中所述第一相机和所述第二相机中的至少一个为固定焦距相机。
15.如权利要求13所述的方法，其中所述多个离散几何轮廓为闭合的轮廓。
16.如权利要求13所述的方法，其中所述多个离散几何轮廓为多边的闭合的多边形。
17.如权利要求13所述的方法，其中所述多个离散几何轮廓为平面的。
18.如权利要求13所述的方法，还包括：测量来自所述第一相机和所述第二相机中的至少一个的至少一个调制传递函数。
19.如权利要求13所述的方法，其中所述第一相机和所述第二相机中的至少一个没有聚焦到所述图卡。
20.如权利要求13所述的方法，还包括使用棋盘图卡验证所述第一相机与所述第二相机的对准。
CN201910303852.0A 2018-06-28 2019-04-16 双相机校准 Active CN110660106B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862691470P 2018-06-28 2018-06-28
US62/691,470 2018-06-28
US16/245,073 US10609360B2 (en) 2018-06-28 2019-01-10 Dual camera calibration
US16/245,073 2019-01-10

Publications (2)

Publication Number Publication Date
CN110660106A CN110660106A (zh) 2020-01-07
CN110660106B true CN110660106B (zh) 2022-08-12

Family

ID=69008514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910303852.0A Active CN110660106B (zh) 2018-06-28 2019-04-16 双相机校准

Country Status (2)

Country Link
US (1) US10609360B2 (zh)
CN (1) CN110660106B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11050999B1 (en) * 2020-05-26 2021-06-29 Black Sesame International Holding Limited Dual camera calibration
US12002294B2 (en) 2021-03-04 2024-06-04 Black Sesame Technologies Inc. RGB-NIR dual camera face anti-spoofing method
US11508089B2 (en) 2021-03-05 2022-11-22 Black Sesame Technologies Inc. LiDAR assisted wheel encoder to camera calibration
US11961249B2 (en) * 2021-07-14 2024-04-16 Black Sesame Technologies Inc. Generating stereo-based dense depth images

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100575873C (zh) * 2007-12-29 2009-12-30 武汉理工大学 基于机器视觉的双集装箱定位方法
JP2014092460A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像処理装置および方法、画像処理システム、並びにプログラム
US9286680B1 (en) * 2014-12-23 2016-03-15 Futurewei Technologies, Inc. Computational multi-camera adjustment for smooth view switching and zooming
CN106815866B (zh) * 2015-11-30 2020-04-03 宁波舜宇光电信息有限公司 鱼眼相机的标定方法及其标定***和标板
CN106162161A (zh) * 2016-07-05 2016-11-23 青岛海信电器股份有限公司 一种图像检测方法及显示装置
CN106195554B (zh) * 2016-08-30 2018-12-04 周民 一种双相机的可调机架和动感照片的双相机拍摄装置
WO2018173551A1 (ja) * 2017-03-21 2018-09-27 オリンパス株式会社 較正装置、較正方法、光学装置、撮影装置および投影装置

Also Published As

Publication number Publication date
US20200007849A1 (en) 2020-01-02
US10609360B2 (en) 2020-03-31
CN110660106A (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
CN110660106B (zh) 双相机校准
JP7257448B2 (ja) 固定具なしのレンズメータ及びその操作方法
US10432912B2 (en) Target, method, and system for camera calibration
US10191276B2 (en) Imaging adjustment device and imaging adjustment method
US10558881B2 (en) Parallax minimization stitching method and apparatus using control points in overlapping region
CN111872544B (zh) 激光出光指示点的标定方法、装置和振镜同轴视觉***
US11218626B2 (en) Fast focus using dual cameras
JP2003307466A (ja) キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート
JP4270949B2 (ja) キャリブレーションチャート画像表示装置、キャリブレーション装置、キャリブレーション方法
US11044418B2 (en) Three camera alignment in mobile devices
CN108182708B (zh) 一种双目相机的标定方法、标定装置及终端设备
CN111627073B (zh) 一种基于人机交互的标定方法、标定装置和存储介质
IL282170B (en) Lens meter system without a device
Li et al. Algorithm of locating the sphere center imaging point based on novel edge model and Zernike moments for vision measurement
US9319666B1 (en) Detecting control points for camera calibration
EP3967969A1 (en) Fisheye camera calibration system, method and apparatus, electronic device, and storage medium
US11043007B1 (en) Dual camera calibration
CN110838147B (zh) 摄像模组检测方法及装置
US11050999B1 (en) Dual camera calibration
CN108780572A (zh) 图像校正的方法及装置
JP3704494B2 (ja) カメラのビューポイント及び焦点距離を調べる方法
JP5962497B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
EP4054187A1 (en) Calibration method of a portable electronic device
WO2023187080A1 (en) Mirror based calibration of a camera
Corke Image Formation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant