CN111738923A - 图像处理方法、设备及存储介质 - Google Patents

图像处理方法、设备及存储介质 Download PDF

Info

Publication number
CN111738923A
CN111738923A CN202010568865.3A CN202010568865A CN111738923A CN 111738923 A CN111738923 A CN 111738923A CN 202010568865 A CN202010568865 A CN 202010568865A CN 111738923 A CN111738923 A CN 111738923A
Authority
CN
China
Prior art keywords
sub
pixel
image
camera
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010568865.3A
Other languages
English (en)
Other versions
CN111738923B (zh
Inventor
薛亚冲
张�浩
陈丽莉
孙建康
闫桂新
刘晓磊
李纲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010568865.3A priority Critical patent/CN111738923B/zh
Publication of CN111738923A publication Critical patent/CN111738923A/zh
Priority to US17/790,388 priority patent/US11997397B2/en
Priority to PCT/CN2021/095832 priority patent/WO2021254110A1/zh
Application granted granted Critical
Publication of CN111738923B publication Critical patent/CN111738923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供了一种图像处理方法、设备及存储介质。图像处理方法包括：获取相机阵列中多个相机采集的原始子图像；将每个原始子图像中各像素在图像坐标系下的第一像素坐标转换为目标平面坐标系下的目标像素坐标；根据各原始子图像中各像素的目标像素坐标与目标平面中各子区域的对应关系，确定各子区域的区域像素值；根据各子区域的区域像素值，在目标平面中确定出拼接图像。本申请算法简单，可快速、准确的对原始子图像进行处理，得到图像质量较高的拼接图像。

Description

图像处理方法、设备及存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，本申请涉及一种图像处理方法、设备及存储介质。
背景技术
单相机由于制作工艺及成本的限制，难以获得超高分辨率的图像；因此，人们使用多个低成本相机，以相机阵列的方式拍摄图像，并对拍摄的阵列子图像进行拼接的方法来获得超高分辨率图像。
当前常用的图像拼接算法主要为基于灰度值的方法和基于特征的方法，这两种方法在拼接时需要对不同的阵列子图像进行特征匹配，其算法较为复杂且拼接时的延时较大，应用于相机阵列中，进行多幅图像拼接时，耗时更为严重，在大规模相机阵列中的使用受到了很大的限制。
发明内容
本申请针对现有方式的缺点，提出一种图像处理方法、设备及存储介质，用以解决现有技术在实现图像拼接时存在的算法复杂且耗时严重的技术问题。
第一方面，本申请实施例提供了一种图像处理方法，包括：
获取相机阵列中多个相机采集的原始子图像；
将每个原始子图像中各像素在图像坐标系下的第一像素坐标转换为目标平面坐标系下的目标像素坐标；
根据各原始子图像中各像素的目标像素坐标与目标平面中各子区域的对应关系，确定各子区域的区域像素值；
根据各子区域的区域像素值，在目标平面中确定出拼接图像。
第二方面，本申请实施例提供了一种图像处理设备，包括：相机阵列、存储器和处理器；相机阵列包括多个相机；
相机、存储器均与处理器连接；
每个相机均用于采集原始子图像；
存储器存储有计算机程序，该计算机程序由处理器执行以实现本申请实施例第一方面提供的图像处理方法。
第三方面，本申请实施例提供一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例第一方面提供的图像处理方法。
本申请实施例提供的技术方案，至少具有如下有益效果：
本申请实施例可基于图像坐标系和目标平面坐标系之间的映射关系，将相机阵列采集到的多个原始子图像进行像素坐标的转换，将原始子图像中各像素的像素坐标由图像坐标系转换至目标平面坐标系，进而根据目标平面中各目标像素坐标与各子区域的对应关系，确定出各子区域的区域像素值进而确定出拼接图像；在上述过程中，无需对各原始子图像进行特征匹配，算法简单，且可降低对各原始子图像进行拼接所耗的时间，提升了图像处理的速度，更适用于大规模相机阵列，在对大规模相机阵列采集到的大量的原始子图像进行处理时，耗时的缩短和处理速度的提升更加显著。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提供的一种图像处理方法的流程示意图；
图2为本申请实施例中图像平面、虚拟平面和相机阵列所在平面的位置关系示意图；
图3为本申请实施例中目标平面中各子区域的划分示意图；
图4为本申请实施例中相机阵列的一种排布方式示意图；
图5为本申请实施例提供的一种图像处理设备的结构框架示意图。
具体实施方式
下面详细描述本申请，本申请的实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。此外，如果已知技术的详细描述对于示出的本申请的特征是不必要的，则将其省略。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
首先对本申请涉及的几个名词进行介绍和解释：
相机阵列坐标系：也称相机坐标系，是在相机上建立的坐标系，为了从相机的角度描述物***置而定义，作为沟通世界坐标系和图像坐标系或像素坐标系的中间一环。
图像坐标系：为了描述成像过程中物体从相机坐标系到图像坐标系的投影透射关系而引入，方便进一步得到像素坐标系下的坐标。
世界坐标系：用户定义的三维世界的坐标系，为了描述目标物在真实世界里的位置而被引入。
在本申请中，设置相机阵列坐标系与世界坐标系重合在一起。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。
本申请实施例提供了一种图像处理方法，如图1所示，该图像处理方法包括：
S101，获取相机阵列中多个相机采集的原始子图像。
可选地，在相机阵列的一次拍摄中，每个相机均可采集一个原始子图像，对于相机阵列前方的一个对象区域，每个相机均可对该对象区域中的一个对象子区域进行拍摄，多个相机可以对对象区域中的不同对象子区域分别进行拍摄，从而得到内容不同的原始子图像。
本申请实施例中的所述的相机阵列的前方，指相机阵列中各相机的镜头所对的方向，相机阵列中的各相机所对的方向通常是一致的。
相机阵列的具体内容可参照后续实施例中的介绍。
S102，将每个原始子图像中各像素在图像坐标系下的第一像素坐标转换为目标平面坐标系下的目标像素坐标。
本申请实施例中的图像坐标系为图像平面中建立的坐标系，目标平面坐标系为在目标平面中建立的坐标系；图像平面为反映世界坐标系中的实际物体的平面。
在一个可选的实施方式中，目标平面为相机阵列所在平面；在该实施方式下，将每个原始子图像中各像素在图像坐标系下的第一像素坐标转换为目标平面坐标系下的目标像素坐标，包括：
根据相机阵列中每个相机的内部参数矩阵和外部参数矩阵，将每个原始子图像中各像素在图像坐标系下的第一像素坐标，转换为相机阵列坐标系下的第二像素坐标，作为目标像素坐标。
在另一个可选的实施方式中，目标平面为与相机阵列所在平面相平行的一个虚拟平面，该虚拟平面的中心与相机阵列所在平面的中心正对；在该实施方式下，将每个原始子图像中各像素在图像坐标系下的第一像素坐标转换为目标平面坐标系下的目标像素坐标，包括：
根据相机阵列中每个相机的内部参数矩阵和外部参数矩阵，将每个原始子图像中各像素在图像坐标系下的第一像素坐标，转换为相机阵列坐标系下的第二像素坐标；根据各个原始子图像中各像素的第一像素坐标和第二像素坐标，以及图像平面、虚拟平面和相机阵列所在平面之间位置关系，确定各像素在虚拟平面坐标系下的第三像素坐标，作为目标像素坐标。
本申请实施例中虚拟平面的中心位于相机阵列所在平面中心的中垂线上，本申请实施例对虚拟平面与相机阵列所在平面的距离不作限制，在一个示例中，可将虚拟平面设置于相机阵列前方0.5m处。
可选地，根据相机阵列中每个相机的内部参数矩阵和外部参数矩阵，将每个原始子图像中各像素在图像坐标系下的第一像素坐标，转换为相机阵列坐标系下的第二像素坐标之前，还包括：
在相机阵列前方设置标定板；获取相机阵列中各个相机分别对标定板进行拍摄后得到的多个标定图像；根据每个相机的多个标定图像，确定每个相机的内部参数矩阵。
可选地，本申请实施例在设置标定板时，对标定板的设置范围不作限定，可使得相机阵列中的每个相机均能清晰地拍摄到标定板上的图像即可，例如可设置于相机阵列前方0.6m至2m的范围内。
可选地，获取相机阵列中各个相机分别对标定板进行拍摄后得到的多个标定图像时，具体地，可对标定板进行多次旋转或扭转，使标定板呈不同的角度，每次旋转或扭转后，相机阵列的每个相机对标定板进行拍摄，完成一次标定图像的采集，以不同的角度拍摄多次后，每个相机都可采集到多个标定图像，进而获取该多个标定图像。
本申请实施例对标定图像的采集数量不作限定，可根据实际需求设置，在一个示例中，可通过旋转或扭转标定板，使每个相机均采集10个或20个标定图像。
根据每个相机的多个标定图像，可通过程序计算出每个相机的内部参数矩阵，每个相机的内部参数矩阵可以表示为：
Figure BDA0002548759190000051
在表达式(1)中，k表示相机阵列中的相机标号，Ck表示第k个相机的内部参数矩阵，ak表示第k个相机x轴方向的焦距，bk表示第k个相机横向分辨率的1/2，ck表示第k个相机y轴方向的焦距，dk表示第k个相机纵向分辨率的1/2，ek表示第k个相机z轴方向的焦距。
可选地，根据相机阵列中每个相机的内部参数矩阵和外部参数矩阵，将每个原始子图像中各像素在图像坐标系下的第一像素坐标，转换为相机阵列坐标系下的第二像素坐标之前，还包括：
根据相机阵列中每个相机的视场角和目标拍摄距离，确定每个相机的外部参数矩阵。
可选地，相机的视场角包括相机的第一方向视场角或第二方向视场角，第一方向视场角和第二方向视场角可根据相机的分辨率率和相机的对角线视场角来确定。
在一个示例中，若相机的分辨率为1920×1080，则该相机分辨率横向(即第一方向)与纵向(即第二方向)之比为16:9，则该相机的横向FOV和纵向FOV之比为16:9，若相机对角线FOV为15°，则可确定出该相机的横向FOV(即第一方向视场角)约为13°，纵向FOV(即第二方向视场角)约为7.4°。
本申请实施例中的目标拍摄距离为希望拍摄到的最短距离，目标拍摄距离可根据实际需求设置，在一个示例中，可设置为20cm，表示希望能拍摄20cm-∞处的物体。
每个相机的外部参数矩阵可以表示为：
Figure BDA0002548759190000061
在表达式(2)中，k表示相机阵列中的相机标号，Wk表示第k个相机的外部参数矩阵，Xc表示第一方向的相机间距，Yc表示第二方向的相机间距，Zc表示相机深度方向的间距(在本申请实施例中可取值为0)。
本申请实施例中的相机间距指相邻两个相机的镜头中心之间的距离。
在一个示例中，若相机阵列中各个相机的横向FOV为13°，纵向FOV为7.4°，目标拍摄距离为20cm，则该相机阵列中任意相邻两个相机的横向间距(即Xc)为：
Figure BDA0002548759190000062
该相机阵列中任意相邻两个相机的纵向间距(即Yc)为：
Figure BDA0002548759190000071
可选地，在根据相机阵列中每个相机的内部参数矩阵和外部参数矩阵，将每个原始子图像中各像素在图像坐标系下的第一像素坐标，转换为相机阵列坐标系下的第二像素坐标时，若将某个原始子图像中某个像素在图像坐标系下的第一像素坐标用(u,v)来表示，该像素在相机阵列坐标系下的第二像素坐标用(x,y,z)来表示，则第一像素坐标(u,v)和第二像素坐标(x,y,z)的转换方式如下：
Figure BDA0002548759190000072
在表达式(5)中，Wk -1表示第k个相机的外部参数矩阵Wk的逆矩阵，Ck -1表示第k个相机的内部参数矩阵Ck的逆矩阵，s表示第一像素坐标(u,v)所属的原始子图像的像素间距，其它参数的含义可参照前面的各表达式。
在一个示例中，若设定相机阵列中第一行第一列第一个相机的镜头中心坐标为(0,0,0)，则在对该第一个相机所采集的原始子图像进行如表达式(5)所示的像素坐标转换时，外部参数矩阵Wk中的Xc、Yc、Zc均可取值为0；基于第一行第一列第一个相机的镜头中心坐标(0,0,0)，第m行第n列的相机坐标可表示为((n-1)×2.6,(m-1)×1.3，0)，则在对该第m行第n列的相机所采集的原始子图像进行如表达式(5)所示的像素坐标转换时，外部参数矩阵Wk中的Xc、Yc可取实际计算出的间距值，Zc可取值为0。
在一个可选的实施方式中，通过上述方式转换出的第二像素坐标(x,y,z)即可作为目标像素坐标。
可选地，图像平面、虚拟平面和相机阵列所在平面的一种位置关系如图2所示，在图2所示的位置关系中，虚拟平面位于图像平面和相机阵列所在平面之间，其中，图像平面直接反映世界坐标系中的物体。
可选地，在根据各个原始子图像中各像素的第一像素坐标和第二像素坐标，以及图像平面、虚拟平面和相机阵列所在平面之间位置关系，确定各像素在虚拟平面坐标系下的第三像素坐标时，若将某个原始子图像中某个像素在图像坐标系下的第一像素坐标用(u1,v1)来表示，该像素在相机阵列坐标系下的第二像素坐标用(x1,y1,z1)来表示，对于已确定出的第一像素坐标(u1,v1)和第二像素坐标(x1,y1,z1)，将该第一像素坐标(u1,v1)和第二像素坐标(x1,y1,z1)连线后会与虚拟平面产生交点，确定虚拟平面坐标系下该交点的坐标，即为第三像素坐标。
第一像素坐标(u1,v1)和第二像素坐标(x1,y1,z1)连线所在的直线的方程为：
Figure BDA0002548759190000081
在表达式(6)中，s的含义可参照表达式(5)。
虚拟平面的方程为：z＝0.5。
结合上述表达式(6)所示的直线方程和虚拟平面的方程，可求得第一像素坐标和第二像素坐标连线与虚拟平面的交点的坐标；在一个可选的实施方式中，该交点的坐标可作为目标像素坐标。
S103，根据各原始子图像中各像素的目标像素坐标与目标平面中各子区域的对应关系，确定各子区域的区域像素值。
可选地，目标平面中的各子区域通过以下方法预先划分：
根据目标分辨率确定出待划分的子区域的数量；根据子区域的数量和目标平面中目标区域的范围，确定出目标区域中每个子区域的范围。
本申请实施例中的目标分辨率为最终需要得到的拼接图像的分辨率，该分辨率可根据实际需求设置；目标区域为最终需要得到的拼接图像的图像区域。
图3示出了一种目标平面中各子区域的划分示意图，图3中标注的点A、B、C和D均为虚拟平面中目标区域的边界点，分别为目标区域的左边界点、右边界点、上边界点和下边界点。
在一个示例中，若设置目标分辨率为M×N，则需要在虚拟平面中的目标区域中划分M×N个子区域；若设置图3中左边界点A的坐标为(Xl,Yl)，右边界点B的坐标为(Xr,Yr)，上边界点C的坐标为(Xu,Yu)，下边界点D的坐标为(Xd,Yd)，则待划分的每个子区域的大小为：
Figure BDA0002548759190000082
在表达式(7)中，w表示待划分的子区域的宽度，h表示待划分的子区域的高度，其它参数含义同前。
确定待划分的子区域的大小后，可在图3所示的虚拟平面的目标区域中划分出各个子区域，对于第p行第q列位置的子区域，其横向范围为(p-1)×w至p×w，纵向范围为(q-1)×h至q×h。
可选地，根据各原始子图像中各像素的目标像素坐标与目标平面中各子区域的对应关系，确定各子区域的区域像素值，包括：
确定出各子区域中是否包含目标像素坐标、以及包含的目标像素坐标的数量；对于不包含目标像素坐标的子区域，根据该子区域的邻近子区域的区域像素值，确定子区域的区域像素值；对于包含目标像素坐标的子区域，根据该子区域所包含的目标像素坐标对应的像素值，确定子区域的区域像素值。
可选地，根据确定出的目标像素坐标和子区域的范围(如图3所示的示例)，可确定出各子区域中是否包含目标像素坐标，根据不同的情况采用不同的方式计算出子区域的区域像素值。
可选地，对于不包含目标像素坐标的子区域，在根据该子区域的邻近子区域的区域像素值，确定子区域的区域像素值时，本申请实施例对所选取的邻近子区域的位置和数量不作限定，可以选取围绕该子区域的8个相邻子区域，也可以在围绕该子区域的8个相邻子区域中选取部分子区域，也可以在选取围绕该子区域的8个相邻子区域的基础上继续选取***的子区域。
选取的邻近子区域的数量越多，计算结果越精确，同时计算量也越大，本领域技术人员在本申请实施例提供的上述方案的基础上，可根据实际需求确定所选取的邻近子区域的数量。
可选地，对于已选取出的邻近子区域，可采用插值算法计算当前子区域(即前述的待确定区域像素值的子区域)的区域像素值；所采用的插值算法可以是双线性插值算法、双三次插值值算法、最近邻域插值算法等。
在一个可选的实施方式中，根据子区域所包含的目标像素坐标对应的像素值，确定子区域的区域像素值，包括：
对于包含一个目标像素坐标的子区域，将该目标像素坐标对应的像素值作为子区域的区域像素值；对于包含两个以上目标像素坐标的子区域，确定出子区域中每个目标像素坐标与子区域的中心坐标的距离，根据每个目标像素坐标与子区域的中心坐标的距离和每个目标像素坐标对应的像素值，确定子区域的区域像素值。
在一个示例中，对于包含t个目标像素坐标的子区域，若各目标像素坐标到该子区域的中心坐标的距离分别为D1、D2、…、Dt，各目标像素坐标对应的像素值分别为F1、F2、…、Ft，则该子区域的区域像素值可通过如下方式确定：
Figure BDA0002548759190000101
在其它可选的实施方式中，对于包含两个以上目标像素坐标的子区域，还可确定出各目标像素坐标对应的像素值的最大值、最小值、算术平均值、中位数等任意一类数值，作为该子区域的区域像素值。
S104，根据各子区域的区域像素值，在目标平面中确定出拼接图像。
可选地，根据各子区域的区域像素值确定拼接图像的各待拼接子图像的像素；各子区域与各待拼接子图像一一对应；根据各子区域的排布方式，在目标平面中对各待拼接子图像的像素进行排布，得到由排布后的各待拼接子图像的像素形成的拼接图像。
基于同一发明构思，本申请实施例提供了一种图像处理设备，该图像处理设备包括：相机阵列、存储器和处理器；相机阵列包括多个相机；相机、存储器均与处理器连接。
每个相机均用于采集原始子图像；处理器可获取每个相机采集到的原始子图像。
存储器存储有计算机程序，该计算机程序由处理器执行以实现本申请实施例所提供的任一图像处理方法。
可选的，相机阵列中的多个相机可以是相同的相机也可以是不同的相机。在一个示例中，相机阵列中的每个相机均可以是RGB(红绿蓝)相机，相机参数可配置如下：FOV(Field angle Of View，视场角)为15°，分辨率为1920×1080，采集帧速为30fps(framesper second，帧每秒)。
本申请实施例中的相机阵列中的多个相机可采用如图4所示的矩形排布方式固定在基板上，图4中以100个相机(图4中的矩形方块表示相机)为例来展示各相机的排布方式，图4仅为示例，本申请实施例对相机阵列中相机的数量和排布方式不作限定，相机的数量可以为任意多个。
可选的，相机阵列中各相机的相机间距是通过以下方式确定出的：根据各相机的视场角和目标拍摄距离，确定各相机的相机间距。
可选的，该相机间距包括第一方向的相机间距和第二方向的相机间距。
在一个示例中，第一方向的相机间距和第二方向的相机间距可参照前面所述的表达式(3)和表达式(4)来确定，按照确定出的横向间距(即第一方向的相机间距)和纵向间距(即第二方向的相机间距)排布的相机阵列如图4所示。
在一个示例中，对于同一相机阵列中参数不同(例如FOV不同)的各个相机，在根据表达式(3)和表达式(4)所确定出的第一方向的相机间距和第二方向的相机间距不同，在对各个相机进行排布时，对于每个方向的每个相机，在根据表达式(3)或表达式(4)确定出该方向上的相机间距后，可将该相机与该方向上的前一个相邻相机按照确定出的相机间距排列。
本技术领域技术人员可以理解，本申请实施例提供的图像处理设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中。
本申请在一个可选实施例中提供了一种图像处理设备，如图5所示，该图像处理设备500包括：相机阵列501、存储器502和处理器503，相机阵列501和处理器503通信连接，存储器502和处理器503电连接，如通过总线504连接。
存储器502用于存储执行本申请方案的应用程序代码，并由处理器503来控制执行。处理器503用于执行存储器502中存储的应用程序代码，以实现本申请实施例提供的任一图像处理方法。
存储器502可以是ROM(Read-Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，可以是RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead-Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
处理器503可以是CPU(Central Processing Unit，中央处理器)、通用处理器，DSP(Digital Signal Processor，数据信号处理器)、ASIC(Application SpecificIntegrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器503也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线504可包括一通路，在上述组件之间传送信息。总线可以是PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，图像处理设备500还可以包括收发器505。收发器505可用于信号的接收和发送。收发器505可以允许电子设备500与其他设备进行无线或有线通信以交换数据。需要说明的是，实际应用中收发器505不限于一个。
可选地，图像处理设备500还可以包括输入单元506。输入单元506可用于接收输入的数字、字符、图像和/或声音信息，或者产生与电子设备500的用户设置以及功能控制有关的键信号输入。输入单元506可以包括但不限于触摸屏、物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆、拍摄装置、拾音器等中的一种或多种。
可选地，图像处理设备500还可以包括输出单元807。输出单元807可用于输出或展示经过处理器503处理的信息。输出单元807可以包括但不限于显示装置、扬声器、振动装置等中的一种或多种。
虽然图5示出了具有各种装置的图像处理设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
基于同一发明构思，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例所提供的任一图像处理方法。
该计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM、RAM、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
本申请实施例提供了一种计算机可读存储介质适用于上述任一图像处理方法，在此不再赘述。
应用本申请实施例，至少能够实现如下有益效果：
1)本申请实施例可基于图像坐标系和目标平面坐标系之间的映射关系，将相机阵列采集到的多个原始子图像进行像素坐标的转换，将原始子图像中各像素的像素坐标由图像坐标系转换至目标平面坐标系，进而根据目标平面中各目标像素坐标与各子区域的对应关系，确定出各子区域的区域像素值进而确定出拼接图像；在上述过程中，无需对各原始子图像进行特征匹配，算法简单，且可降低对各原始子图像进行拼接所耗的时间，提升了图像处理的速度，更适用于大规模相机阵列，在对大规模相机阵列采集到的大量的原始子图像进行处理时，耗时的缩短和处理速度的提升更加显著。
2)本申请实施例可在目标平面(可以是相机阵列所在平面或与相机阵列平面平行的虚拟平面)上基于各子区域的排布方式，对待拼接子图像的像素进行排布，得到拼接图像，便于实现个性化的拼接需求；在基于各子区域的区域像素值进行图像的拼接时，无需删除各子区域对应的各待拼接图像的交叠区域，相对于现有的需要删除交叠区域的算法，本申请实施例不产生图像信息的浪费，图像信息利用率较高。
3)本申请实施例的根据相机阵列中各相机的内部参数矩阵和外部参数矩阵，较为准确地实现同一像素的像素坐标在不同坐标系之间的坐标转换，可使得在后续图像处理过程中，较大程度地还原原始子图像的图像信息，减小图像信息的损失，有利于提高确定出的拼接图像的图像质量。
4)本申请实施例可通过设置标定板对相机阵列中的各个相机进行标定，得到多个标定图像，从而可基于多个标定图像准确地确定出每个相机的内部参数矩阵和外部参数矩阵，以便进行后续的坐标转换处理。
5)本申请实施例可基于目标分辨率以及确定出的目标像素坐标在各个子区域中的分布确定各子区域的区域像素值，对于不包含目标像素坐标的子区域，可基于邻近的子区域的像素值确定该子区域的区域像素值，可避免不包含目标像素坐标的子区域的像素缺失对最终得到的拼接图像的图像质量的不利影响；对于包含目标像素坐标的子区域，可根据所包含的目标像素坐标对应的像素值，确定该子区域的像素值，从而较大程度地还原该子区域所对应的目标像素坐标的像素，有利于提高拼接图像的图像质量；且不受相机阵列规模所限制，且可根据最终需求的图像分辨率(即目标分辨率)实现自适应拼接调整。
6)在一个实施方式中，本申请实施例在确定子区域的区域像素值时，可根据该子区域中的各目标像素坐标与子区域中心坐标的距离以及各目标像素坐标对应的像素值，确定该子区域的区域像素值，该方式可使确定出的区域像素值较大程度地还原目标像素坐标中对该子区域像素影响较大的目标像素坐标对应的像素，在保证图像质量的前提下减少影响较小的像素信息的干扰。
本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (12)

1.一种图像处理方法，其特征在于，包括：
获取相机阵列中多个相机采集的原始子图像；
将每个所述原始子图像中各像素在图像坐标系下的第一像素坐标转换为目标平面坐标系下的目标像素坐标；
根据各所述原始子图像中各所述像素的所述目标像素坐标与所述目标平面中各子区域的对应关系，确定各所述子区域的区域像素值；
根据各所述子区域的区域像素值，在所述目标平面中确定出拼接图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述目标平面为相机阵列所在平面；
以及，将每个所述原始子图像中各像素在图像坐标系下的第一像素坐标转换为目标平面坐标系下的目标像素坐标，包括：
根据所述相机阵列中每个所述相机的内部参数矩阵和外部参数矩阵，将每个所述原始子图像中各所述像素在所述图像坐标系下的所述第一像素坐标，转换为相机阵列坐标系下的第二像素坐标，作为所述目标像素坐标。
3.据权利要求1所述的图像处理方法，其特征在于，所述目标平面为与相机阵列所在平面相平行的一个虚拟平面，所述虚拟平面的中心与所述相机阵列所在平面的中心正对；
以及，将每个所述原始子图像中各像素在图像坐标系下的第一像素坐标转换为目标平面坐标系下的目标像素坐标，包括：
根据所述相机阵列中每个所述相机的内部参数矩阵和外部参数矩阵，将每个所述原始子图像中各所述像素在所述图像坐标系下的所述第一像素坐标，转换为相机阵列坐标系下的第二像素坐标；
根据各个所述原始子图像中各所述像素的第一像素坐标和第二像素坐标，以及图像平面、所述虚拟平面和所述相机阵列所在平面之间位置关系，确定各所述像素在虚拟平面坐标系下的第三像素坐标，作为所述目标像素坐标。
4.根据权利要求2或3所述的图像处理方法，其特征在于，所述根据所述相机阵列中每个所述相机的内部参数矩阵和外部参数矩阵，将每个所述原始子图像中各所述像素在所述图像坐标系下的所述第一像素坐标，转换为相机阵列坐标系下的第二像素坐标之前，还包括：
在所述相机阵列前方设置标定板；
获取所述相机阵列中各个所述相机分别对所述标定板进行拍摄后得到的多个标定图像；
根据每个所述相机的多个所述标定图像，确定每个所述相机的内部参数矩阵。
5.根据权利要求2或3所述的图像处理方法，其特征在于，所述根据所述相机阵列中每个所述相机的内部参数矩阵和外部参数矩阵，将每个所述原始子图像中各所述像素在所述图像坐标系下的所述第一像素坐标，转换为相机阵列坐标系下的第二像素坐标之前，还包括：
根据所述相机阵列中每个所述相机的视场角和目标拍摄距离，确定每个所述相机的外部参数矩阵。
6.根据权利要求1所述的图像处理方法，其特征在于，所述目标平面中的各子区域通过以下方法预先划分：
根据目标分辨率确定出待划分的所述子区域的数量；
根据所述子区域的数量和所述目标平面中目标区域的范围，确定出所述目标区域中每个所述子区域的范围。
7.根据权利要求1所述的图像处理方法，其特征在于，所述根据各所述原始子图像中各所述像素的所述目标像素坐标与所述目标平面中各子区域的对应关系，确定各所述子区域的区域像素值，包括：
确定出各所述子区域中是否包含所述目标像素坐标、以及包含的所述目标像素坐标的数量；
对于不包含所述目标像素坐标的所述子区域，根据所述子区域的邻近子区域的区域像素值，确定所述子区域的区域像素值；
对于包含所述目标像素坐标的所述子区域，根据所述子区域所包含的所述目标像素坐标对应的像素值，确定所述子区域的区域像素值。
8.根据权利要求7所述的图像处理方法，其特征在于，所述根据所述子区域所包含的所述目标像素坐标对应的像素值，确定所述子区域的所述区域像素值，包括：
对于包含一个所述目标像素坐标的所述子区域，将所述目标像素坐标对应的像素值作为所述子区域的所述区域像素值；
对于包含两个以上所述目标像素坐标的所述子区域，确定出所述子区域中每个所述目标像素坐标与所述子区域的中心坐标的距离，根据每个所述目标像素坐标与所述子区域的中心坐标的距离和每个所述目标像素坐标对应的像素值，确定所述子区域的所述区域像素值。
9.根据权利要求1所述的图像处理方法，其特征在于，所述根据各所述子区域的区域像素值，在所述目标平面中确定出拼接图像，包括：
根据各所述子区域的区域像素值确定所述拼接图像的各待拼接子图像的像素；各所述子区域与各所述待拼接子图像一一对应；
根据所述各子区域的排布方式，在所述目标平面中对各所述待拼接子图像的像素进行排布，得到由排布后的各所述待拼接子图像的像素形成的所述拼接图像。
10.一种图像处理设备，其特征在于，包括：相机阵列、存储器和处理器；所述相机阵列包括多个相机；
所述相机、所述存储器均与所述处理器连接；
每个所述相机均用于采集原始子图像；
所述存储器存储有计算机程序，所述计算机程序由所述处理器执行以实现如权利要求1-9中任一项所述的图像处理方法。
11.根据权利要求10所述的图像处理设备，其特征在于，所述相机阵列中各所述相机的相机间距是通过以下方式确定出的：
根据各所述相机的视场角和目标拍摄距离，确定各所述相机的的间距。
12.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述的图像处理方法。
CN202010568865.3A 2020-06-19 2020-06-19 图像处理方法、设备及存储介质 Active CN111738923B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010568865.3A CN111738923B (zh) 2020-06-19 2020-06-19 图像处理方法、设备及存储介质
US17/790,388 US11997397B2 (en) 2020-06-19 2021-05-25 Method, apparatus, and device for processing images, and storage medium
PCT/CN2021/095832 WO2021254110A1 (zh) 2020-06-19 2021-05-25 图像处理方法、装置及设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010568865.3A CN111738923B (zh) 2020-06-19 2020-06-19 图像处理方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111738923A true CN111738923A (zh) 2020-10-02
CN111738923B CN111738923B (zh) 2024-05-10

Family

ID=72651886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010568865.3A Active CN111738923B (zh) 2020-06-19 2020-06-19 图像处理方法、设备及存储介质

Country Status (3)

Country Link
US (1) US11997397B2 (zh)
CN (1) CN111738923B (zh)
WO (1) WO2021254110A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112286474A (zh) * 2020-10-28 2021-01-29 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置、***及显示控制器
CN112488913A (zh) * 2020-11-27 2021-03-12 杭州海康威视数字技术股份有限公司 数据处理方法、装置及电子设备
CN112819879A (zh) * 2020-12-31 2021-05-18 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 搜索***点迹坐标消像旋处理装置、方法及可读存储介质
CN113129383A (zh) * 2021-03-15 2021-07-16 中建科技集团有限公司 手眼标定方法、装置、通信设备及存储介质
WO2021254110A1 (zh) * 2020-06-19 2021-12-23 京东方科技集团股份有限公司 图像处理方法、装置及设备、存储介质
CN113838002A (zh) * 2021-08-25 2021-12-24 网易（杭州）网络有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN114549313A (zh) * 2022-02-18 2022-05-27 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和存储介质
CN114612447A (zh) * 2022-03-17 2022-06-10 广东美卡智能信息技术有限公司 一种基于数据标定的图像处理方法及装置、图像处理设备
CN116958104A (zh) * 2023-07-28 2023-10-27 上海感图网络科技有限公司 物料表面图像处理方法、装置及存储介质
CN117615257A (zh) * 2024-01-18 2024-02-27 常州微亿智造科技有限公司 一种成像方法、装置、介质及设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114298885A (zh) * 2021-12-28 2022-04-08 北京博汇数据科技有限公司 一种图像处理方法、装置、设备及存储介质
CN114782611B (zh) * 2022-06-24 2022-09-20 北京飞渡科技有限公司 图像处理方法、装置、存储介质和电子设备
CN115824038B (zh) * 2022-08-17 2023-09-29 宁德时代新能源科技股份有限公司 标定尺、标定方法及装置、检测方法及装置
CN116681732B (zh) * 2023-08-03 2023-10-20 南昌工程学院 一种基于复眼形态视觉的目标运动识别方法及***
CN117036175B (zh) * 2023-10-08 2024-01-09 之江实验室 一种线阵图片拼接方法、装置、介质以及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015033072A (ja) * 2013-08-06 2015-02-16 株式会社モルフォ 画像処理装置及び画像処理方法
CN105282492A (zh) * 2014-07-08 2016-01-27 山东省科学院海洋仪器仪表研究所 临近空间机载对地实时成像***
CN109992226A (zh) * 2017-12-29 2019-07-09 浙江宇视科技有限公司 图像显示方法、装置及拼接显示屏
CN111193937A (zh) * 2020-01-15 2020-05-22 北京拙河科技有限公司 一种直播视频数据的处理方法、装置、设备和介质

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2473059A (en) * 2009-08-28 2011-03-02 Sony Corp A method and apparatus for forming a composite image
IL216515A (en) * 2011-11-22 2015-02-26 Israel Aerospace Ind Ltd A system and method for processing images from a camera set
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
GB2512621A (en) * 2013-04-04 2014-10-08 Sony Corp A method and apparatus
EP2843616A1 (de) * 2013-08-29 2015-03-04 Sick Ag Optoelektronische Vorrichtung und Verfahren zur Aufnahme entzerrter Bilder
CN104320596B (zh) * 2014-09-30 2017-11-21 北京智谷技术服务有限公司 超分辨率图像的获取方法和获取装置
US9930315B2 (en) * 2015-04-29 2018-03-27 Lucid VR, Inc. Stereoscopic 3D camera for virtual reality experience
US10217189B2 (en) * 2015-09-16 2019-02-26 Google Llc General spherical capture methods
US10013763B1 (en) * 2015-09-28 2018-07-03 Amazon Technologies, Inc. Increasing field of view using multiple devices
KR20180111798A (ko) * 2016-01-03 2018-10-11 휴먼아이즈 테크놀로지즈 리미티드 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭
EP3206184A1 (en) * 2016-02-11 2017-08-16 NXP USA, Inc. Apparatus, method and system for adjusting predefined calibration data for generating a perspective view
NL2016660B1 (en) * 2016-04-22 2017-11-15 Cyclomedia Tech B V Image stitching method and device.
US10848743B2 (en) * 2016-06-10 2020-11-24 Lucid VR, Inc. 3D Camera calibration for adjustable camera settings
US10645366B2 (en) * 2016-06-10 2020-05-05 Lucid VR, Inc. Real time re-calibration of stereo cameras
CN107249096B (zh) * 2016-06-14 2021-02-26 杭州海康威视数字技术股份有限公司 全景摄像机及其拍摄方法
JP6088094B1 (ja) * 2016-06-20 2017-03-01 株式会社Ｃｙｇａｍｅｓ 複合現実環境を作成するためのシステム等
KR20180008244A (ko) * 2016-07-14 2018-01-24 엘지이노텍 주식회사 이미지 생성 방법 및 생성 장치
US10121262B2 (en) * 2016-12-20 2018-11-06 Canon Kabushiki Kaisha Method, system and apparatus for determining alignment data
US20180192033A1 (en) * 2016-12-30 2018-07-05 Google Inc. Multi-view scene flow stitching
EP3382646A1 (en) * 2017-03-29 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for providing calibration data, camera system and method for obtaining calibration data
US10009551B1 (en) * 2017-03-29 2018-06-26 Amazon Technologies, Inc. Image processing for merging images of a scene captured with differing camera parameters
TWI602154B (zh) * 2017-04-26 2017-10-11 偉詮電子股份有限公司 環景影像的拼接方法及其系統
US10621767B2 (en) * 2017-06-12 2020-04-14 Qualcomm Incorporated Fisheye image stitching for movable cameras
GB2565043B (en) * 2017-06-22 2022-02-23 Avago Tech Int Sales Pte Lid Apparatus and method for stitching together multiple images
CN107465777A (zh) * 2017-08-07 2017-12-12 京东方科技集团股份有限公司 移动终端及其成像方法
WO2019055017A1 (en) * 2017-09-14 2019-03-21 Hewlett-Packard Development Company, L.P. AUTOMATED CALIBRATION TARGET SUPPORTS
CN109509146B (zh) * 2017-09-15 2023-03-24 腾讯科技（深圳）有限公司 图像拼接方法及装置、存储介质
CN107945112B (zh) * 2017-11-17 2020-12-08 浙江大华技术股份有限公司 一种全景图像拼接方法及装置
CN108093237A (zh) * 2017-12-05 2018-05-29 西北工业大学 高空间分辨率光场采集装置与图像生成方法
CN108470323B (zh) * 2018-03-13 2020-07-31 京东方科技集团股份有限公司 一种图像拼接方法、计算机设备及显示装置
WO2020069460A1 (en) * 2018-09-28 2020-04-02 Bounce Imaging, Inc. Panoramic camera and image processing systems and methods
CN113841384B (zh) * 2019-05-23 2023-07-25 索尼互动娱乐股份有限公司 校准装置，用于校准的图表和校准方法
US11676366B1 (en) * 2019-11-06 2023-06-13 Ramona Optics Inc. Methods to detect image features from variably-illuminated images
CN111667538B (zh) * 2020-04-20 2023-10-24 长城汽车股份有限公司 一种全景环视***的标定方法、装置及***
CN111707187B (zh) * 2020-05-12 2022-05-24 深圳大学 一种大型零件的测量方法及***
CN111738923B (zh) * 2020-06-19 2024-05-10 京东方科技集团股份有限公司 图像处理方法、设备及存储介质
US11605151B2 (en) * 2021-03-02 2023-03-14 Fyusion, Inc. Vehicle undercarriage imaging
CN114283201A (zh) * 2021-04-26 2022-04-05 阿波罗智联(北京)科技有限公司 相机标定方法、装置和路侧设备
CN113345031A (zh) * 2021-06-23 2021-09-03 地平线征程(杭州)人工智能科技有限公司 多摄像设备外参标定设备和方法、存储介质、电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015033072A (ja) * 2013-08-06 2015-02-16 株式会社モルフォ 画像処理装置及び画像処理方法
CN105282492A (zh) * 2014-07-08 2016-01-27 山东省科学院海洋仪器仪表研究所 临近空间机载对地实时成像***
CN109992226A (zh) * 2017-12-29 2019-07-09 浙江宇视科技有限公司 图像显示方法、装置及拼接显示屏
CN111193937A (zh) * 2020-01-15 2020-05-22 北京拙河科技有限公司 一种直播视频数据的处理方法、装置、设备和介质

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11997397B2 (en) 2020-06-19 2024-05-28 Beijing Boe Optoelectronics Technology Co., Ltd. Method, apparatus, and device for processing images, and storage medium
WO2021254110A1 (zh) * 2020-06-19 2021-12-23 京东方科技集团股份有限公司 图像处理方法、装置及设备、存储介质
CN112286474A (zh) * 2020-10-28 2021-01-29 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置、***及显示控制器
CN112286474B (zh) * 2020-10-28 2023-03-14 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置、***及显示控制器
CN112488913A (zh) * 2020-11-27 2021-03-12 杭州海康威视数字技术股份有限公司 数据处理方法、装置及电子设备
CN112819879A (zh) * 2020-12-31 2021-05-18 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 搜索***点迹坐标消像旋处理装置、方法及可读存储介质
CN113129383A (zh) * 2021-03-15 2021-07-16 中建科技集团有限公司 手眼标定方法、装置、通信设备及存储介质
CN113838002A (zh) * 2021-08-25 2021-12-24 网易（杭州）网络有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN113838002B (zh) * 2021-08-25 2024-07-19 网易（杭州）网络有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN114549313A (zh) * 2022-02-18 2022-05-27 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和存储介质
CN114612447A (zh) * 2022-03-17 2022-06-10 广东美卡智能信息技术有限公司 一种基于数据标定的图像处理方法及装置、图像处理设备
CN116958104A (zh) * 2023-07-28 2023-10-27 上海感图网络科技有限公司 物料表面图像处理方法、装置及存储介质
CN116958104B (zh) * 2023-07-28 2024-05-28 上海感图网络科技有限公司 物料表面图像处理方法、装置及存储介质
CN117615257A (zh) * 2024-01-18 2024-02-27 常州微亿智造科技有限公司 一种成像方法、装置、介质及设备
CN117615257B (zh) * 2024-01-18 2024-04-05 常州微亿智造科技有限公司 一种成像方法、装置、介质及设备

Also Published As

Publication number Publication date
US20230345135A1 (en) 2023-10-26
CN111738923B (zh) 2024-05-10
US11997397B2 (en) 2024-05-28
WO2021254110A1 (zh) 2021-12-23

Similar Documents

Publication Publication Date Title
CN111738923B (zh) 图像处理方法、设备及存储介质
CN104917955B (zh) 一种图像转换和多视图输出***及方法
US8670001B2 (en) System and method for converting a fish-eye image into a rectilinear image
CN112560980B (zh) 目标检测模型的训练方法、装置及终端设备
EP3595285A1 (en) Photography processing method and device for camera module, and terminal apparatus
US10726580B2 (en) Method and device for calibration
CN102509304A (zh) 基于智能优化的摄像机标定方法
US11638071B2 (en) Camera assembly and monitoring camera
CN109074657A (zh) 一种目标跟踪方法、装置、电子设备和可读存储介质
CN108257186B (zh) 标定图像的确定方法及装置、摄像机及存储介质
CN112396558A (zh) 图像处理方法、装置及计算机可读存储介质
WO2023246321A1 (zh) 行人热力图生成方法及***
CN111951193B (zh) 图像的水平畸变矫正方法及水平畸变矫正装置
CN113989392A (zh) 拼接摄像机的彩色棋盘格标定方法、装置及摄像机
CN100465994C (zh) 按比例缩小数字矩阵图像的方法及装置
CN102111562A (zh) 三维模型的投影变换方法及装置
CN117274514A (zh) 基于地空视角几何变换的遥感图像生成方法及装置
US9243935B2 (en) Distance information estimating apparatus
CN115439552A (zh) 一种多相机外参标定方法、装置及电子设备
CN112132914A (zh) 一种图像尺度空间建立方法及图像处理芯片
CN102110298A (zh) 虚拟演播室***中的三维模型投影方法及装置
JP2022082455A (ja) 三次元モデル構築方法、装置及びコンピュータ読み取り可能な記憶媒体
CN108650465B (zh) 摄像机画面增强现实标签的计算方法、装置及电子设备
CN112233185A (zh) 相机标定方法、图像配准方法及摄像器件、存储装置
CN114119661A (zh) 一种目标追踪处理器、目标追踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant