CN117830170B - 一种双目设备的校正方法、装置和计算机设备 - Google Patents
一种双目设备的校正方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN117830170B CN117830170B CN202311771388.0A CN202311771388A CN117830170B CN 117830170 B CN117830170 B CN 117830170B CN 202311771388 A CN202311771388 A CN 202311771388A CN 117830170 B CN117830170 B CN 117830170B
- Authority
- CN
- China
- Prior art keywords
- lens
- matrix
- initial
- binocular
- binocular device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000012937 correction Methods 0.000 title claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims abstract description 268
- 230000009466 transformation Effects 0.000 claims abstract description 58
- 238000013507 mapping Methods 0.000 claims abstract description 52
- 238000004364 calculation method Methods 0.000 claims description 43
- 238000004590 computer program Methods 0.000 claims description 9
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 7
- 238000013519 translation Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请涉及一种双目设备的校正方法、装置和计算机设备。所述方法包括：基于初始投影矩阵下的双目设备的左右镜头偏移初始主点的距离，以及初始主点的位置，更新初始主点的位置；计算新焦距；基于新焦距，以及新主点的位置，计算更新后的投影矩阵；对更新后的投影矩阵所对应的左右镜头的映射表中的每个像素点的坐标位置进行柱面投影，得到柱面投影变换后的每个像素点的坐标位置；基于每个像素点的坐标位置，计算左右镜头的重映射坐标表；基于左右镜头的重映射坐标表，对获取到的待校正的立体图像进行校正，得到校正后的立体图像。采用本方法能够解决现有技术因为根据现场图像视差进行舒适度调整操作复杂且计算量大而导致的校正效率低的问题。
Description
技术领域
本申请涉及光学设备技术领域，特别是涉及一种双目设备的校正方法、装置和计算机设备。
背景技术
随着图像处理技术的发展，三维立体图像显示技术在医疗领域的应用逐渐受到重视。例如，三维立体图像显示技术可以应用于判断医疗器械或待治疗部位的相对深度。三维立体图像显示技术主要是基于多目设备采集到的左右立体图像对的三维显示来提供观察区域的立体感。但是为了获取舒适的立体成像和正确的目标三维几何关系，需要根据多目设备的内参、外参及畸变参数建立几何成像模型。其中，求解每个相机的内参、外参及畸变参数的过程，为相机标定的过程，利用每个相机的内参、外参及畸变参数对输入图像进行旋转与投影变换得到立体图像的过程，为相机校正的过程。相机标定和相机校正是三维立体图像显示技术的重点和难点。
现有的技术，主要采用张正友标定算法和Bouguet算法分布对相机进行标定和校正，但是利用现有技术进行校正后，因为立体图像的零视差点在无穷远处，导致立体图像存在较大的负视差。另外，医疗内窥镜中常用大广角镜头来获取更大角度的拍摄范围，大广角镜头会造成了画面畸变程度较高，使得在对相机进行畸变校正后，图像边缘的拉伸较明显。而较大的负视差和边缘拉伸，会导致三维立体图像的观看舒适度不高。而现有的相机舒适度的调整方法，主要是在标定阶段调整左图像和右图像的行对齐，在校正阶段根据现场图像视差进行舒适度调整。但是，在校正阶段根据现场图像视差进行舒适度调整，操作复杂且计算量大，致使校正效率低。
针对现有的双目设备的校正方式，因为根据现场图像视差进行舒适度调整操作复杂且计算量大而导致的校正效率低的问题，目前还没有提出有效的解决方案。
发明内容
基于此，有必要针对上述技术问题，提供一种双目设备的校正方法、装置和计算机设备。
第一方面，本申请提供了一种双目设备的校正方法。所述方法包括：
基于初始投影矩阵下的所述双目设备的左右镜头偏移初始主点的距离，以及所述初始投影矩阵所对应的所述初始主点的位置，更新所述初始主点的位置，得到新主点的位置；
计算在预设的显示区域中的有效区域最大的情况下的新焦距；
基于所述新焦距，以及所述新主点的位置，计算更新后的投影矩阵；
对所述更新后的投影矩阵所对应的左右镜头的映射表中的每个像素点的坐标位置进行柱面投影，得到柱面投影变换后的每个像素点的坐标位置；
基于所述柱面投影变换后的每个像素点的所述坐标位置，计算所述左右镜头的重映射坐标表；
基于所述左右镜头的重映射坐标表，对获取到的待校正的立体图像进行校正，得到校正后的立体图像。
在其中一个实施例中，在所述基于初始投影矩阵下的所述双目设备的左右镜头偏移初始主点的距离，以及所述初始投影矩阵所对应的所述初始主点的位置，更新所述初始主点的位置，得到新主点的位置之前，还包括：
基于所述初始投影矩阵下的所述双目设备的初始焦距、所述双目设备的相对位移，以及所述双目设备的工作距离，计算所述初始投影矩阵下的所述双目设备的左右镜头偏移所述初始主点的距离。
在其中一个实施例中，在所述基于所述初始投影矩阵下的所述双目设备的初始焦距、所述双目设备的相对位移，以及所述双目设备的工作距离，计算所述初始投影矩阵下的所述双目设备的左右镜头偏移所述初始主点的距离之前，还包括：
计算第一旋转矩阵；所述双目设备的左右镜头按照所述第一旋转矩阵进行旋转变换后，能够极线平行；
按照所述第一旋转矩阵，对所述双目设备的所述左右镜头进行旋转；
求解在所述双目设备的左右镜头在极线平行的情况下的内参矩阵，作为所述初始投影矩阵。
在其中一个实施例中，在计算所述第一旋转矩阵之前，还包括：
利用预设的标定板对所述双目设备的左右镜头进行标定，得到所述双目设备的左右镜头的内参矩阵和畸变参数；
对所述双目设备的左右镜头所拍摄的标定板的图像进行立体标定，得到所述双目设备的外参。
在其中一个实施例中，所述计算所述第一旋转矩阵，包括：
计算所述双目设备的左右镜头的第二旋转矩阵；所述双目设备的左右镜头按照所述第二旋转矩阵旋转变换后，能够与三维空间坐标轴平行；
基于所述第二旋转矩阵，以及按照预设的构造规则所构造的正交矩阵，计算所述第一旋转矩阵。
在其中一个实施例中，所述计算在预设的显示区域中的有效区域最大的情况下的新焦距，包括：
根据所述双目设备的左右镜头的内参矩阵、畸变参数、第一旋转矩阵、以及所述初始投影矩阵，计算所述双目设备的左右镜头的映射表；
基于所述双目设备的左右镜头的映射表，确定所述左右镜头的有效信息区域；
基于所述左右镜头的有效信息区域，确定所述左右镜头的公共信息区域；
基于初始焦距，以及所述左右镜头的公共信息区域的大小与原始图像的大小的比值，计算在所述预设的显示区域中的所述有效区域最大的情况下的所述新焦距。
在其中一个实施例中，所述根据所述双目设备的左右镜头的所述内参矩阵、所述畸变参数、所述第一旋转矩阵、以及所述初始投影矩阵，计算所述双目设备的左右镜头的映射表，包括：
基于所述双目设备的左右镜头的所述第一旋转矩阵和所述初始投影矩阵，计算所述双目设备的左右镜头的第一合并投影矩阵；
基于所述第一合并投影矩阵，对所述双目设备的左右镜头图像中的每个像素点的坐标位置进行投影变换，得到第一投影变换后的每个位置的坐标；
根据所述畸变参数，对所述第一投影变换后的每个位置的坐标进行畸变校正，得到第一校正后的每个位置的坐标；
根据所述内参矩阵，对所述第一校正后的每个位置的坐标进行坐标映射，得到所述双目设备的左右镜头的映射表。
在其中一个实施例中，所述基于所述柱面投影变换后的每个像素点的所述坐标位置，计算所述左右镜头的重映射坐标表，包括：
基于所述左右镜头的第一旋转矩阵和所述更新后的投影矩阵，计算所述双目设备的左右镜头的第二合并投影矩阵；
基于所述第二合并投影矩阵，以及所述柱面投影变换后的每个像素点的所述坐标位置，对映射表中的每个像素点的坐标位置进行投影变换，得到第二投影变换后的每个位置的坐标；
根据畸变参数，对所述第二投影变换后的每个位置的坐标进行畸变校正，得到第二校正后的每个位置的坐标；
根据内参矩阵，对所述第二校正后的每个位置的坐标进行坐标映射，得到所述双目设备的左右镜头的所述重映射坐标表。
第二方面，本申请还提供了一种双目设备的校正装置。所述装置包括：
主点位置更新模块，用于基于初始投影矩阵下的所述双目设备的左右镜头偏移初始主点的距离，以及所述初始投影矩阵所对应的所述初始主点的位置，更新所述初始主点的位置，得到新主点的位置；
焦距计算模块，用于计算在预设的显示区域中的有效区域最大的情况下的新焦距；
投影矩阵计算模块，用于基于所述新焦距，以及所述新主点的位置，计算更新后的投影矩阵；
柱面投影模块，用于对所述更新后的投影矩阵所对应的左右镜头的映射表中的每个像素点的坐标位置进行柱面投影，得到柱面投影变换后的每个像素点的坐标位置；
坐标表计算模块，用于基于所述柱面投影变换后的每个像素点的所述坐标位置，计算所述左右镜头的重映射坐标表；
以及校正模块，用于基于所述左右镜头的重映射坐标表，对获取到的待校正的立体图像进行校正，得到校正后的立体图像。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的双目设备的校正方法。
上述双目设备的校正方法、装置和计算机设备，基于初始投影矩阵下的双目设备的左右镜头偏移初始主点的距离，以及初始投影矩阵所对应的初始主点的位置，按照预设的主点位置更新策略，更新双目设备初始主点的位置，得到新主点的位置，进而，计算在预设的显示区域中的有效区域最大的情况下的新焦距。其通过更新主点位置，使零视差点位于双目设备的工作距离以内，以及更新焦距的大小，使得预设的显示区域中的有效区域最大，从而避免立体图像存在较大的负视差。另外基于新焦距，以及新主点的位置，按照预设的投影矩阵计算方式，计算更新后的投影矩阵，并对更新后的投影矩阵所对应的左右镜头的映射表中的每个像素点的坐标位置进行柱面投影，得到柱面投影变换后的每个像素点的坐标位置，计算左右镜头的重映射坐标表。通过引入柱面投影的方式，能够有效缓解大广角立体相机去畸变产生的边缘拉伸的问题。其通过在离线标定阶段对图像的视差进行舒适度调整，避免了根据现场图像视差进行舒适的调整的复杂操作以及大量的计算，解决了现有技术因为根据现场图像视差进行舒适度调整操作复杂且计算量大而导致的校正效率低的问题。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请一实施例提供的双目设备的校正方法的终端的硬件结构框图；
图2为本申请一实施例提供的双目设备的校正方法的流程图；
图3为本申请一优选实施例提供的双目设备的校正方法的流程图；
图4为本申请一实施例提供的双目设备的校正装置的结构框图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和***、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的双目设备的校正方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可以包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的双目设备的校正方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(NetworkInterface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种双目设备的校正方法，图2是本实施例的双目设备的校正方法的流程图，如图2所示，该流程包括如下步骤：
步骤S210，基于初始投影矩阵下的双目设备的左右镜头偏移初始主点的距离，以及初始投影矩阵所对应的初始主点的位置，更新初始主点的位置，得到新主点的位置。
上述初始投影矩阵，可以是将双目设备的左右镜头在极线平行的情况下的内参矩阵，作为双目设备的左右镜头的初始投影矩阵。需要说明的是，因为此时双目设备的左右镜头极线平行，所以，双目设备的左右镜头具有相同的内参矩阵。且，双目设备的左右镜头具有相同的初始主点。上述初始主点的位置，可以包括坐标轴的x轴方向的初始主点的位置和坐标轴的y轴方向的初始主点的位置，可以指双目设备的左右镜头图像的中心位置。其中，坐标轴的x轴方向的初始主点的位置，可以是双目设备的左右镜头图像的水平分辨率的大小的一半；坐标轴的y轴方向的初始主点的位置，可以是双目设备的左右镜头图像的垂直分辨率的大小的一半。
上述基于初始投影矩阵下的双目设备的左右镜头偏移初始主点的距离，以及初始投影矩阵所对应的初始主点的位置，更新初始主点的位置，可以是将双目设备的左镜头图像的初始主点的位置向右平移偏移初始主点的距离的一半，将双目设备的右镜头图像的初始主点的位置向左平移偏移初始主点的距离的一半。更新初始主点的位置的计算公式如下：
其中，lnewcx为双目设备的左镜头的新主点的位置的横坐标，lnewcy为双目设备的左镜头的新主点的位置的纵坐标，rnewcx为双目设备的右镜头的新主点的位置的横坐标，rnewcy为双目设备的右镜头的新主点的位置的纵坐标，newcx为双目设备的左右镜头的初始主点的位置的横坐标，newcy为双目设备的左右镜头的初始主点的位置的纵坐标，L为双目设备的左右镜头偏移初始主点的距离。
本步骤基于初始投影矩阵下的双目设备的左右镜头偏移初始主点的距离，以及初始投影矩阵所对应的初始主点的位置，更新初始主点的位置，通过更新主点的位置，使得零视差点位于双目设备的工作距离以内，以此来提高三维图像观看的舒适度。
步骤S220，计算在预设的显示区域中的有效区域最大的情况下的新焦距。
在本步骤中，上述计算在预设的显示区域中的有效区域最大的情况下的新焦距，可以是根据双目设备的左右镜头的内参矩阵、畸变参数、第一旋转矩阵、初始投影矩阵、以及初始焦距，计算在预设的显示区域中的有效区域最大的情况下的新焦距。上述第一旋转矩阵，可以包括双目设备的左镜头的第一旋转矩阵和右镜头的第一旋转矩阵，可以是对双目设备的左镜头按照左镜头的第一旋转矩阵旋转，并且对右镜头按照右镜头的第一旋转矩阵旋转，能够实现双目设备的左右镜头的极线平行的旋转矩阵。
上述初始焦距，可以是初始投影矩阵中的焦距的大小。具体地，若双目设备中的左右镜头按水平方向排列，则初始焦距，可以是双目设备中的左镜头的x轴方向的焦距与右镜头的x轴方向的焦距的最小值；若双目设备的左右镜头按垂直方向排列，则初始焦距，可以是双目设备的左镜头的y轴方向的焦距与右镜头的y轴方向的焦距的最小值。
在一个实施例中，上述步骤S220，根据双目设备的左右镜头的内参矩阵、畸变参数、第一旋转矩阵、初始投影矩阵、以及初始焦距，计算在预设的显示区域中的有效区域最大的情况下的新焦距，可以包括以下步骤：
步骤S222，根据双目设备的左右镜头的内参矩阵、畸变参数、第一旋转矩阵、以及初始投影矩阵，计算双目设备的左右镜头的映射表。
其中，在一个具体的实施例中，上述步骤S222，根据双目设备的左右镜头的内参矩阵、畸变参数、第一旋转矩阵、以及初始投影矩阵，计算双目设备的左右镜头的映射表，具体可以包括以下步骤：
步骤S2221，基于双目设备的左右镜头的第一旋转矩阵和初始投影矩阵，计算双目设备的左右镜头的第一合并投影矩阵。
其中，计算双目设备的左右镜头的第一合并投影矩阵的具体公式为：
Pl＝(Rl)T(Mlc)-1；
Pr＝(Rr)T(Mrc)-1；
其中，P1为双目设备的左镜头的第一合并投影矩阵，Pr为双目设备的右镜头的第一合并投影矩阵，R1为双目设备的左镜头的第一旋转矩阵，Rr为双目设备的右镜头的第一旋转矩阵，Mlc为双目设备的左镜头的初始投影矩阵，Mrc为双目设备的右镜头的初始投影矩阵。
步骤S2222，基于第一合并投影矩阵，对双目设备的左右镜头图像中的每个像素点的坐标位置进行投影变换，得到第一投影变换后的每个位置的坐标。
在一个实施例中，可以假设得到的第一合并投影矩阵P为一个三行三列的矩阵，P可以表示为：
基于上述第一合并投影矩阵P，对双目设备的左右镜头图像中的每个像素点的坐标位置(i，j)进行投影变换的具体计算公式如下：
其中，x0为双目设备的左右镜头图像中的像素点第一投影变换后的位置的横坐标，y0为双目设备的左右镜头图像中的像素点第一投影变换后的位置的纵坐标，i∈[0，imgw-1]，j∈[0，imgh-1]，其中，imgw为双目设备左右镜头图像的宽，imgh为双目设备左右镜头图像的高。
步骤S2223，根据畸变参数，对第一投影变换后的每个位置的坐标进行畸变校正，得到第一校正后的每个位置的坐标。
在本步骤中，根据畸变参数，对第一投影变换后的每个位置的坐标进行畸变校正的计算公式如下：
其中，x1为双目设备的左右镜头图像中的像素点第一校正后的位置的横坐标，y1为双目设备的左右镜头图像中的像素点第一校正后的位置的纵坐标，其中，k1、k2和k3为双目设备的镜头的径向畸变参数。p1和p2为双目设备的镜头的切向畸变参数。
步骤S2224，根据内参矩阵，对第一校正后的每个位置的坐标进行坐标映射，得到双目设备的左右镜头的映射表。
上述双目设备的左右镜头的映射表，可以是双目设备的左镜头的映射表和双目设备的右镜头的映射表，具体地，可以是对双目设备的左右镜头图像校正后的每个位置的坐标进行坐标映射得到的坐标。上述根据内参矩阵，对第一校正后的每个位置的坐标进行坐标映射的公式如下：
x＝fx·x1+cx；
y＝fy·y1+cy；
其中，fx为内参矩阵中的横向方向的单位焦距，fy为内参矩阵中的纵向方向的单位焦距，cx为双目设备的镜头在横向方向的光学中心位置，cy为双目设备的镜头在纵向方向的光学中心位置，x为双目设备的左右镜头的图像校正后的位置的坐标进行坐标映射得到的横坐标，y为双目设备的左右镜头的图像校正后的位置的坐标进行坐标映射得到的纵坐标。
上述步骤S2221至步骤S2224，其基于双目设备的左右镜头的第一旋转矩阵和初始投影矩阵，得到双目设备的左右镜头的第一合并投影矩阵，进而根据第一合并投影矩阵，对双目设备的左右镜头图像中的每个像素点的坐标位置进行投影变换，得到第一投影变换后的每个位置的坐标，然后根据畸变参数，对第一投影变换后的每个位置的坐标进行畸变校正，得到第一校正后的每个位置的坐标，最后，根据内参矩阵，对第一校正后的每个位置的坐标进行坐标映射，得到双目设备的左右镜头的映射表，通过对双目设备的左右镜头的映射表的计算，便于通过双目设备的左右镜头的映射表确定左右镜头的有效信息区域，进而根据左右镜头的有效信息区域，调整焦距的大小。
步骤S224，基于双目设备的左右镜头的映射表，确定左右镜头的有效信息区域。
其中，上述左右镜头的有效信息区域，可以是从左右镜头图像中的不规则形状的有效信息区域中确定出的最大，并且与左右镜头图像的形状一致的矩形有效信息区域。
左右镜头的有效信息区域的限定条件为：
其中，符号表示对符号内的数值向下取整，符号/>表示对符号内的数值向上取整。
需要说明的是，当双目设备的左右镜头的映射表满足上述限定条件时，判定双目设备的左右镜头的映射表所确定的区域为左右镜头的有效信息区域。
优选地，在左右镜头图像中的不规则形状的有效信息区域中确定出的最大的矩形的有效信息区域，可使用从外向内按原始图像的长宽比收缩查找，或其他快速查找方法来确定左右镜头的有效信息区域，本实施例在此不做具体限定。
本步骤通过设置左右镜头的有效信息区域的限定条件，利用双目设备的左右镜头的映射表快速确定左右镜头各自的原始镜头图像中的最大矩形的有效信息区域，便于后续根据左右镜头各自的有效信息区域，确定左右镜头的公共信息区域。
步骤S226，基于左右镜头的有效信息区域，确定左右镜头的公共信息区域。
在本步骤中，可以根据左镜头的有效信息区域的左边界、右边界、上边界、下边界，以及右镜头的有效信息区域的左边界、右边界、上边界、下边界，来确定左右镜头的公共信息区域的左边界、右边界、上边界、下边界。具体确定左右镜头的公共信息区域的方式如下：
cxs＝max(lxs，rxs)；
cxe＝min(lxe，rxe)；
cys＝max(lys，rys)；
cye＝min(lye，rye)；
其中，cxs为左右镜头的公共信息区域的左边界，cxe为左右镜头的公共信息区域的右边界，cys为左右镜头的公共信息区域的上边界，cye为左右镜头的公共信息区域的下边界，lxs为左镜头的有效信息区域的左边界，lxe为左镜头的有效信息区域的右边界，lys为左镜头的有效信息区域的上边界，lye为左镜头的有效信息区域的下边界，rxs为右镜头的有效信息区域的左边界，rxe为右镜头的有效信息区域的右边界，rys为右镜头的有效信息区域的上边界，rye为右镜头的有效信息区域的下边界，符号max(*)表示取括号内的数值的最大值。
步骤S228，基于初始焦距，以及左右镜头的公共信息区域的大小与原始图像的大小的比值，计算在预设的显示区域中的有效区域最大的情况下的新焦距。
上述原始图像，可以是双目设备的左右镜头采集到的原始图像，可以是双目设备左右镜头图像的原始图像。
根据初始焦距，以及左右镜头的公共信息区域的大小与原始图像的大小的比值，计算在预设的显示区域中的有效区域最大的情况下的新焦距newfc的计算公式如下：
newfc＝newf·fscale；
上述步骤S222至步骤S228，根据双目设备的左右镜头的内参矩阵、畸变参数、第一旋转矩阵、以及初始投影矩阵，计算双目设备的左右镜头的映射表，进而根据左右镜头的映射表，确定左右镜头的有效信息区域，进而确定左右镜头的公共信息区域，然后利用公共信息区域的大小与原始图像的大小，确定在预设的显示区域中的有效区域最大的情况下的新焦距。其通过更新焦距大小使显示区域中有效信息且有三维效果的区域最大化，从而使得被拍摄物体在有限显示面积里呈现清晰的三维画面。
步骤S230，基于新焦距，以及新主点的位置，计算更新后的投影矩阵。
上述计算更新后的投影矩阵的计算公式如下：
步骤S240，对更新后的投影矩阵所对应的左右镜头的映射表中的每个像素点的坐标位置进行柱面投影，得到柱面投影变换后的每个像素点的坐标位置。
上述对更新后的投影矩阵所对应的左右镜头的映射表中的每个像素点的坐标位置进行柱面投影的计算公式为：
其中，i1为柱面投影变换后的像素点的坐标位置的横坐标，j1为柱面投影变换后的像素点的坐标位置的纵坐标，i0为更新后的投影矩阵所对应的左右镜头的映射表中的像素点的坐标位置的横坐标，j0为更新后的投影矩阵所对应的左右镜头的映射表中的每个像素点的坐标位置的纵坐标，cf的计算公式如下：
其中，cs是柱面投影的曲面强度，由畸变系数k1和k2来决定，cs的计算方式如下：
cs＝α·abs(k1)+β·abs(k2)；
其中，α和β畸变影响变量，由用户根据不同舒适度等级来设定，例如。可以设置α为10，β为5。
步骤S250，基于柱面投影变换后的每个像素点的坐标位置，计算左右镜头的重映射坐标表。
在一个实施例中，上述步骤S250，基于柱面投影变换后的每个像素点的坐标位置，计算左右镜头的重映射坐标表，可以包括以下步骤：
步骤S252，基于左右镜头的第一旋转矩阵和更新后的投影矩阵，计算双目设备的左右镜头的第二合并投影矩阵。
在本步骤中，采用步骤S2221相同的计算方式，计算双目设备的左右镜头的第二合并投影矩阵。具体地，将更新后的投影矩阵，替代步骤S2221中的初始投影矩阵，得到双目设备的左右镜头的第二合并投影矩阵。
步骤S254，基于第二合并投影矩阵，以及柱面投影变换后的每个像素点的坐标位置，对映射表中的每个像素点的坐标位置进行投影变换，得到第二投影变换后的每个位置的坐标。
本步骤采用与步骤S2222相同的计算方式，对映射表中的每个像素点的坐标位置进行投影变换，得到第二投影变换后的每个位置的坐标。具体地，将步骤S2222中的第一合并投影矩阵替换为第二合并投影矩阵，对映射表中的每个像素点的坐标位置进行投影变换，得到第二投影变换后的每个位置的坐标。
步骤S256，根据畸变参数，对第二投影变换后的每个位置的坐标进行畸变校正，得到第二校正后的每个位置的坐标。
本步骤采用与步骤S2223相同的计算方式，对第二投影变换后的每个位置的坐标进行畸变校正，得到第二校正后的每个位置的坐标。
步骤S258，根据内参矩阵，对第二校正后的每个位置的坐标进行坐标映射，得到双目设备的左右镜头的重映射坐标表。
其中，上述双目设备的左右镜头的重映射坐标表，可以包括双目设备的左镜头的重映射表和双目设备的右镜头的重映射表。本步骤采用与步骤S2224相同的计算方式，对第二校正后的每个位置的坐标进行坐标映射，得到双目设备的左右镜头的重映射坐标表。
步骤S260，基于左右镜头的重映射坐标表，对获取到的待校正的立体图像进行校正，得到校正后的立体图像。
其中，对获取到的待校正的立体图像进行校正，可以是应用现有的图像插值的方法，对待校正的立体图像进行图像插值，得到校正后的立体图像。其中，现有的图像插值的方法，可以是最近邻插值法、双线性插值法、双三次插值法等，只要能够实现对待校正的立体图像进行插值即可，具体的插值方法，本实施不做具体限定。
上述步骤S210至步骤S260，基于初始投影矩阵下的双目设备的左右镜头偏移初始主点的距离，以及初始投影矩阵所对应的初始主点的位置，按照预设的主点位置更新策略，更新双目设备初始主点的位置，得到新主点的位置，进而，计算在预设的显示区域中的有效区域最大的情况下的新焦距。其通过更新主点位置，使零视差点位于双目设备的工作距离以内，以及更新焦距的大小，使得预设的显示区域中的有效区域最大，从而避免立体图像存在较大的负视差。另外基于新焦距，以及新主点的位置，按照预设的投影矩阵计算方式，计算更新后的投影矩阵，并对更新后的投影矩阵所对应的左右镜头的映射表中的每个像素点的坐标位置进行柱面投影，得到柱面投影变换后的每个像素点的坐标位置，计算左右镜头的重映射坐标表。通过引入柱面投影的方式，能够有效缓解大广角立体相机去畸变产生的边缘拉伸的问题。其通过在离线标定阶段对图像的视差进行舒适度调整，避免了根据现场图像视差进行舒适的调整的复杂操作以及大量的计算，解决了现有技术因为根据现场图像视差进行舒适度调整操作复杂且计算量大而导致的校正效率低的问题。
其中，在一个实施例中，在步骤S210之前，还包括以下步骤：
步骤S206，基于初始投影矩阵下的双目设备的初始焦距、双目设备的相对位移，以及双目设备的工作距离，计算初始投影矩阵下的双目设备的左右镜头偏移初始主点的距离。
具体地，计算初始投影矩阵下的双目设备的左右镜头偏移初始主点的距离L的计算公式为：
其中，lfx为双目设备中的左镜头的x轴方向的焦距，rfx为双目设备的右镜头的x轴方向的焦距，lfy为双目设备的左镜头的y轴方向的焦距，rfy为双目设备的右镜头的y轴方向的焦距，Tx为双目设备的左右镜头对在x方向的平移向量，Ty为双目设备的左右镜头对在y方向的平移向量。
另外，在一个实施例中，在步骤S206之前，还包括以下步骤：
步骤S203，计算第一旋转矩阵；双目设备的左右镜头按照第一旋转矩阵进行旋转变换后，能够极线平行。
在一个实施例中，步骤S203，计算第一旋转矩阵；双目设备的左右镜头按照第一旋转矩阵进行旋转变换后，能够极线平行，包括以下步骤：
步骤S2031，计算双目设备的左右镜头的第二旋转矩阵；双目设备的左右镜头按照第二旋转矩阵旋转变换后，能够与三维空间坐标轴平行。
上述双目设备的左右镜头的第二旋转矩阵，可以包括双目设备的左镜头的第二旋转矩阵和右镜头的第二旋转矩阵，可以是对双目设备的左镜头按照左镜头的第二旋转矩阵旋转，并且对右镜头按照右镜头的第二旋转矩阵旋转，能够实现双目设备的左右镜头与三维空间坐标轴平行的旋转矩阵。
其中，计算双目设备的右镜头的第二旋转矩阵的计算公式如下：
其中，为双目设备的左右镜头的相对旋转矩阵通过罗德里格旋转公式转换为旋转向量，获取/>的过程可以表示为：
其中，R为双目设备的左右镜头的相对旋转矩阵。
计算双目设备的左镜头的第二旋转矩阵的计算公式如下：
Rlt＝(Rrt)T；
步骤S2032，基于第二旋转矩阵，以及按照预设的构造规则所构造的正交矩阵，计算第一旋转矩阵。
上述按照预设的构造规则构造的正交矩阵的具体公式如下：
其中，为双目设备的左右镜头对的平移向量/>的单位向量，/> 为沿双目设备的左右镜头图像的平面且正交于双目设备的左右镜头的光轴的单位向量， 为/>和/>构成平面的法向量，/>
上述基于第二旋转矩阵，以及构造的正交矩阵，计算双目设备的左镜头的第一旋转矩阵的计算公式如下：
Rl＝Rrect·Rlt；
上述基于第二旋转矩阵，以及构造的正交矩阵，计算双目设备的右镜头的第一旋转矩阵的计算公式如下：
Rr＝Rrect·Rrt；
步骤S204，按照第一旋转矩阵，对双目设备的左右镜头进行旋转。
本步骤通过双目设备的左镜头按照左镜头的第一旋转矩阵旋转，双目设备的右镜头按照右镜头的第一旋转矩阵旋转，能够实现双目设备的左右镜头的极线平行。
步骤S205，求解在双目设备的左右镜头在极线平行的情况下的内参矩阵，作为初始投影矩阵。
求解在双目设备的左右镜头在极线平行的情况下的内参矩阵的计算公式如下：
因为双目设备在左右镜头极线平行的情况下，具有相同的内参矩阵，可以通过上述计算求得双目设备的左右镜头的内参矩阵，并将求得的内参矩阵作为初始投影矩阵。
上述步骤S203至步骤S205，通过计算第一旋转矩阵，并按照第一旋转矩阵对双目设备的左右镜头进行旋转，使得双目设备的左右镜头极线平行，并求解双目设备的左右镜头极线平行情况下的内参矩阵，将求得的内参矩阵作为初始投影矩阵，通过对初始投影矩阵的计算，便于后续根据初始投影矩阵更新主点位置和焦距大小，改善三维图像的观看的舒适度。
在一个实施例中，在步骤S203之前，还包括以下步骤：
步骤S201，利用预设的标定板对双目设备的左右镜头进行标定，得到双目设备的左右镜头的内参矩阵和畸变参数。
其中，上述内参矩阵，可以包括双目设备的左右镜头的x方向的焦距和初始主点的位置，以及双目设备的左右镜头的y方向的焦距和初始主点的位置。上述畸变参数，可以包括双目设备的左右镜头的中径向畸变系数和切向畸变系数。
上述对双目设备的左右镜头进行标定的方法可以采用张氏标定法，也可以采用其他的标定方法，本实施例在此不做具体限定。
例如，采用张氏标定法，对双目设备的左右镜头进行标定，得到双目设备的左右镜头的内参矩阵和畸变参数的计算公式如下：
D1＝[lk1 lk2 lp1 lp2 lk3]；
D2＝[rk1 rk2 rp1 rp2 rk3]；
其中，M1为对双目设备的左镜头进行标定得到的内参矩阵，M2为对双目设备的右镜头进行标定得到的内参矩阵，D1为对双目设备的左镜头进行标定得到的畸变参数，D2为对双目设备的右镜头进行标定得到的畸变参数。
步骤S202，对双目设备的左右镜头所拍摄的标定板的图像进行立体标定，得到双目设备的外参。
上述双目设备的外参，可以包括双目设备的左右镜头的相对旋转矩阵和左右镜头的相对平移向量。
例如，采用张氏标定法，对双目设备的左右镜头进行标定，得到双目设备的外参的计算公式如下：
其中，R为左右镜头的相对旋转矩阵，矩阵内的参数r为左右镜头的相对旋转参数，为双目设备的左右镜头对的平移向量，Tz为双目设备的左右镜头对在z方向的平移向量。
上述步骤S201至步骤S201，通过预设的标定板对双目设备的左右镜头进行标定，得到双目设备的内参矩阵和畸变参数，对双目设备的左右镜头所拍摄的标定板的图像进行立体标定，得到双目设备的外参，通过双目设备的内参矩阵、畸变参数以及外参的获取，便于通过双目设备的内参矩阵和畸变参数以及外参，进行双目设备的左右镜头的第一旋转矩阵的计算，以获取初始投影矩阵。
下面通过优选实施例对本实施例进行描述和说明。
图3是本申请一优选实施例提供的双目设备的校正方法的流程图。如图3所示，该双目设备的校正方法包括以下步骤：
步骤S301，计算第一旋转矩阵；双目设备的左右镜头按照第一旋转矩阵进行旋转变换后，能够极线平行；
步骤S302，按照第一旋转矩阵，对双目设备的左右镜头进行旋转；
步骤S303，求解在双目设备的左右镜头在极线平行的情况下的内参矩阵，作为初始投影矩阵；
步骤S304，基于初始投影矩阵下的双目设备的初始焦距、双目设备的相对位移，以及双目设备的工作距离，计算初始投影矩阵下的双目设备的左右镜头偏移初始主点的距离；
步骤S305，基于初始投影矩阵下的双目设备的左右镜头偏移初始主点的距离，以及初始投影矩阵所对应的初始主点的位置，更新初始主点的位置，得到新主点的位置；
步骤S306，根据双目设备的左右镜头的内参矩阵、畸变参数、第一旋转矩阵、初始投影矩阵、以及初始焦距，计算在预设的显示区域中的有效区域最大的情况下的新焦距；
步骤S307，基于新焦距，以及新主点的位置，计算更新后的投影矩阵；
步骤S308，对更新后的投影矩阵所对应的左右镜头的映射表中的每个像素点的坐标位置进行柱面投影，得到柱面投影变换后的每个像素点的坐标位置；
步骤S309，基于柱面投影变换后的每个像素点的坐标位置，计算左右镜头的重映射坐标表；
步骤S310，基于左右镜头的重映射坐标表，对获取到的待校正的立体图像进行校正，得到校正后的立体图像。
上述步骤S301至步骤S310，通过计算第一旋转矩阵，通过计算结果对双目设备的左右镜头进行旋转，使得双目设备的左右镜头极线平行，进而求解在双目设备的左右镜头在极线平行的情况下的内参矩阵，作为初始投影矩阵，然后基于初始投影矩阵下的双目设备的左右镜头偏移初始主点的距离，以及初始投影矩阵所对应的初始主点的位置，按照预设的主点位置更新策略，更新双目设备初始主点的位置，得到新主点的位置，进而，根据双目设备的左右镜头的内参矩阵、畸变参数、第一旋转矩阵、初始投影矩阵，以及初始焦距，计算在预设的显示区域中的有效区域最大的情况下的新焦距。其通过更新主点位置，使零视差点位于双目设备的工作距离以内，以及更新焦距的大小，使得预设的显示区域中的有效区域最大，从而避免立体图像存在较大的负视差。另外基于新焦距，以及新主点的位置，按照预设的投影矩阵计算方式，计算更新后的投影矩阵，并对更新后的投影矩阵所对应的左右镜头的映射表中的每个像素点的坐标位置进行柱面投影，得到柱面投影变换后的每个像素点的坐标位置，计算左右镜头的重映射坐标表。通过引入柱面投影的方式，能够有效缓解大广角立体相机去畸变产生的边缘拉伸的问题。其通过在离线标定阶段对图像的视差进行舒适度调整，避免了根据现场图像视差进行舒适的调整的复杂操作以及大量的计算，解决了现有技术因为根据现场图像视差进行舒适度调整操作复杂且计算量大而导致的校正效率低的问题。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，在本实施例中还提供了一种双目设备的校正装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
在一个实施例中，图4是本申请一实施例提供的双目设备的校正装置的结构框图，如图4所示，该双目设备的校正装置，包括：
主点位置更新模块41，用于基于初始投影矩阵下的双目设备的左右镜头偏移初始主点的距离，以及初始投影矩阵所对应的初始主点的位置，更新初始主点的位置，得到新主点的位置；
焦距计算模块42，用于计算在预设的显示区域中的有效区域最大的情况下的新焦距；
投影矩阵计算模块43，用于基于新焦距，以及新主点的位置，计算更新后的投影矩阵；
柱面投影模块44，用于对更新后的投影矩阵所对应的左右镜头的映射表中的每个像素点的坐标位置进行柱面投影，得到柱面投影变换后的每个像素点的坐标位置；
坐标表计算模块45，用于基于柱面投影变换后的每个像素点的坐标位置，计算左右镜头的重映射坐标表；
以及校正模块46，用于基于左右镜头的重映射坐标表，对获取到的待校正的立体图像进行校正，得到校正后的立体图像。
上述双目设备的校正装置，基于初始投影矩阵下的双目设备的左右镜头偏移初始主点的距离，以及初始投影矩阵所对应的初始主点的位置，按照预设的主点位置更新策略，更新双目设备初始主点的位置，得到新主点的位置，进而，计算在预设的显示区域中的有效区域最大的情况下的新焦距。其通过更新主点位置，使零视差点位于双目设备的工作距离以内，以及更新焦距的大小，使得预设的显示区域中的有效区域最大，从而避免立体图像存在较大的负视差。另外基于新焦距，以及新主点的位置，按照预设的投影矩阵计算方式，计算更新后的投影矩阵，并对更新后的投影矩阵所对应的左右镜头的映射表中的每个像素点的坐标位置进行柱面投影，得到柱面投影变换后的每个像素点的坐标位置，计算左右镜头的重映射坐标表。通过引入柱面投影的方式，能够有效缓解大广角立体相机去畸变产生的边缘拉伸的问题。其通过在离线标定阶段对图像的视差进行舒适度调整，避免了根据现场图像视差进行舒适的调整的复杂操作以及大量的计算，解决了现有技术因为根据现场图像视差进行舒适度调整操作复杂且计算量大而导致的校正效率低的问题。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述实施例中的任意一种双目设备的校正方法。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种双目设备的校正方法，其特征在于，所述方法包括：
基于初始投影矩阵下的所述双目设备的左右镜头偏移初始主点的距离，以及所述初始投影矩阵所对应的所述初始主点的位置，更新所述初始主点的位置，得到新主点的位置；
计算在预设的显示区域中的有效区域最大的情况下的新焦距；
基于所述新焦距，以及所述新主点的位置，计算更新后的投影矩阵；
对所述更新后的投影矩阵所对应的左右镜头的映射表中的每个像素点的坐标位置进行柱面投影，得到柱面投影变换后的每个像素点的坐标位置；
基于所述柱面投影变换后的每个像素点的所述坐标位置，计算所述左右镜头的重映射坐标表；
基于所述左右镜头的重映射坐标表，对获取到的待校正的立体图像进行校正，得到校正后的立体图像。
2.根据权利要求1所述的双目设备的校正方法，其特征在于，在所述基于初始投影矩阵下的所述双目设备的左右镜头偏移初始主点的距离，以及所述初始投影矩阵所对应的所述初始主点的位置，更新所述初始主点的位置，得到新主点的位置之前，还包括：
基于所述初始投影矩阵下的所述双目设备的初始焦距、所述双目设备的相对位移，以及所述双目设备的工作距离，计算所述初始投影矩阵下的所述双目设备的左右镜头偏移所述初始主点的距离。
3.根据权利要求2所述的双目设备的校正方法，其特征在于，在所述基于所述初始投影矩阵下的所述双目设备的初始焦距、所述双目设备的相对位移，以及所述双目设备的工作距离，计算所述初始投影矩阵下的所述双目设备的左右镜头偏移所述初始主点的距离之前，还包括：
计算第一旋转矩阵；所述双目设备的左右镜头按照所述第一旋转矩阵进行旋转变换后，能够极线平行；
按照所述第一旋转矩阵，对所述双目设备的所述左右镜头进行旋转；
求解在所述双目设备的左右镜头在极线平行的情况下的内参矩阵，作为所述初始投影矩阵。
4.根据权利要求3所述的双目设备的校正方法，其特征在于，在计算所述第一旋转矩阵之前，还包括：
利用预设的标定板对所述双目设备的左右镜头进行标定，得到所述双目设备的左右镜头的内参矩阵和畸变参数；
对所述双目设备的左右镜头所拍摄的标定板的图像进行立体标定，得到所述双目设备的外参。
5.根据权利要求3所述的双目设备的校正方法，其特征在于，所述计算所述第一旋转矩阵，包括：
计算所述双目设备的左右镜头的第二旋转矩阵；所述双目设备的左右镜头按照所述第二旋转矩阵旋转变换后，能够与三维空间坐标轴平行；
基于所述第二旋转矩阵，以及按照预设的构造规则所构造的正交矩阵，计算所述第一旋转矩阵。
6.根据权利要求1所述的双目设备的校正方法，其特征在于，所述计算在预设的显示区域中的有效区域最大的情况下的新焦距，包括：
根据所述双目设备的左右镜头的内参矩阵、畸变参数、第一旋转矩阵、以及所述初始投影矩阵，计算所述双目设备的左右镜头的映射表；
基于所述双目设备的左右镜头的映射表，确定所述左右镜头的有效信息区域；
基于所述左右镜头的有效信息区域，确定所述左右镜头的公共信息区域；
基于初始焦距，以及所述左右镜头的公共信息区域的大小与原始图像的大小的比值，计算在所述预设的显示区域中的所述有效区域最大的情况下的所述新焦距。
7.根据权利要求6所述的双目设备的校正方法，其特征在于，所述根据所述双目设备的左右镜头的所述内参矩阵、所述畸变参数、所述第一旋转矩阵、以及所述初始投影矩阵，计算所述双目设备的左右镜头的映射表，包括：
基于所述双目设备的左右镜头的所述第一旋转矩阵和所述初始投影矩阵，计算所述双目设备的左右镜头的第一合并投影矩阵；
基于所述第一合并投影矩阵，对所述双目设备的左右镜头图像中的每个像素点的坐标位置进行投影变换，得到第一投影变换后的每个位置的坐标；
根据所述畸变参数，对所述第一投影变换后的每个位置的坐标进行畸变校正，得到第一校正后的每个位置的坐标；
根据所述内参矩阵，对所述第一校正后的每个位置的坐标进行坐标映射，得到所述双目设备的左右镜头的映射表。
8.根据权利要求1所述的双目设备的校正方法，其特征在于，所述基于所述柱面投影变换后的每个像素点的所述坐标位置，计算所述左右镜头的重映射坐标表，包括：
基于所述左右镜头的第一旋转矩阵和所述更新后的投影矩阵，计算所述双目设备的左右镜头的第二合并投影矩阵；
基于所述第二合并投影矩阵，以及所述柱面投影变换后的每个像素点的所述坐标位置，对映射表中的每个像素点的坐标位置进行投影变换，得到第二投影变换后的每个位置的坐标；
根据畸变参数，对所述第二投影变换后的每个位置的坐标进行畸变校正，得到第二校正后的每个位置的坐标；
根据内参矩阵，对所述第二校正后的每个位置的坐标进行坐标映射，得到所述双目设备的左右镜头的所述重映射坐标表。
9.一种双目设备的校正装置，其特征在于，所述装置包括：
主点位置更新模块，用于基于初始投影矩阵下的所述双目设备的左右镜头偏移初始主点的距离，以及所述初始投影矩阵所对应的所述初始主点的位置，更新所述初始主点的位置，得到新主点的位置；
焦距计算模块，用于计算在预设的显示区域中的有效区域最大的情况下的新焦距；
投影矩阵计算模块，用于基于所述新焦距，以及所述新主点的位置，计算更新后的投影矩阵；
柱面投影模块，用于对所述更新后的投影矩阵所对应的左右镜头的映射表中的每个像素点的坐标位置进行柱面投影，得到柱面投影变换后的每个像素点的坐标位置；
坐标表计算模块，用于基于所述柱面投影变换后的每个像素点的所述坐标位置，计算所述左右镜头的重映射坐标表；
以及校正模块，用于基于所述左右镜头的重映射坐标表，对获取到的待校正的立体图像进行校正，得到校正后的立体图像。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求8中任一项所述的双目设备的校正方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311771388.0A CN117830170B (zh) | 2023-12-20 | 2023-12-20 | 一种双目设备的校正方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311771388.0A CN117830170B (zh) | 2023-12-20 | 2023-12-20 | 一种双目设备的校正方法、装置和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117830170A CN117830170A (zh) | 2024-04-05 |
| CN117830170B true CN117830170B (zh) | 2024-06-11 |
Family
ID=90520257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311771388.0A Active CN117830170B (zh) | 2023-12-20 | 2023-12-20 | 一种双目设备的校正方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117830170B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109961401A (zh) * | 2017-12-14 | 2019-07-02 | 西安全志科技有限公司 | 一种双目相机的图像校正方法和存储介质 |
| CN112712037A (zh) * | 2020-12-31 | 2021-04-27 | 苏州清研微视电子科技有限公司 | 基于全景图像和目标检测的车载环境感知方法和*** |
| WO2021139176A1 (zh) * | 2020-07-30 | 2021-07-15 | 平安科技（深圳）有限公司 | 基于双目摄像机标定的行人轨迹跟踪方法、装置、计算机设备及存储介质 |
| CN113298885A (zh) * | 2021-06-23 | 2021-08-24 | Oppo广东移动通信有限公司 | 双目标定方法及装置、设备和存储介质 |
| CN114821609A (zh) * | 2022-05-09 | 2022-07-29 | 南京大学 | 一种基于几何先验和知识图谱的自然场景文本识别方法 |
-
2023
- 2023-12-20 CN CN202311771388.0A patent/CN117830170B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109961401A (zh) * | 2017-12-14 | 2019-07-02 | 西安全志科技有限公司 | 一种双目相机的图像校正方法和存储介质 |
| WO2021139176A1 (zh) * | 2020-07-30 | 2021-07-15 | 平安科技（深圳）有限公司 | 基于双目摄像机标定的行人轨迹跟踪方法、装置、计算机设备及存储介质 |
| CN112712037A (zh) * | 2020-12-31 | 2021-04-27 | 苏州清研微视电子科技有限公司 | 基于全景图像和目标检测的车载环境感知方法和*** |
| CN113298885A (zh) * | 2021-06-23 | 2021-08-24 | Oppo广东移动通信有限公司 | 双目标定方法及装置、设备和存储介质 |
| CN114821609A (zh) * | 2022-05-09 | 2022-07-29 | 南京大学 | 一种基于几何先验和知识图谱的自然场景文本识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 一种无相机标定的立体图像对校正新方法;曾吉勇, 苏显渝;光学学报;20040617(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117830170A (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109961406B (zh) | 一种图像处理的方法、装置及终端设备 | |
| JP5437311B2 (ja) | 画像補正方法、画像補正システム、角度推定方法、および角度推定装置 | |
| CN108122191B (zh) | 鱼眼图像拼接成全景图像和全景视频的方法及装置 | |
| CN108876749A (zh) | 一种鲁棒的镜头畸变校正方法 | |
| CN106815869B (zh) | 鱼眼相机的光心确定方法及装置 | |
| CN106023230B (zh) | 一种适合变形图像的稠密匹配方法 | |
| CN110136083B (zh) | 一种结合交互式的底图更新方法及装置 | |
| CN112288826A (zh) | 双目相机的标定方法、装置及终端 | |
| WO2019232793A1 (zh) | 双摄像头标定方法、电子设备、计算机可读存储介质 | |
| CN112686824A (zh) | 图像校正方法、装置、电子设备和计算机可读介质 | |
| CN103020900B (zh) | 一种图像处理方法及装置 | |
| CN110738608B (zh) | 一种平面图像校正方法及*** | |
| CN110602474B (zh) | 一种图像视差的确定方法、装置及设备 | |
| WO2023284792A1 (zh) | 用于扫描光场成像***的镜头标定方法及装置 | |
| JP2012053601A (ja) | 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム | |
| CN113963072B (zh) | 双目摄像头标定方法、装置、计算机设备和存储介质 | |
| US20160189350A1 (en) | System and method for remapping of image to correct optical distortions | |
| TW201428687A (zh) | 影像校正方法及影像校正電路 | |
| CN117830170B (zh) | 一种双目设备的校正方法、装置和计算机设备 | |
| CN117522963A (zh) | 棋盘格的角点定位方法、装置、存储介质及电子设备 | |
| JP2010176547A (ja) | 画像処理装置に含まれる制御装置、制御方法、及び制御処理プログラム | |
| Zhang et al. | Fisheye lens distortion correction based on an ellipsoidal function model | |
| CN115294277B (zh) | 一种物体的三维重建方法、装置、电子设备及存储介质 | |
| CN111553969A (zh) | 一种基于梯度域的纹理映射方法、介质、终端和装置 | |
| CN113724141B (zh) | 一种图像校正方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |