CN109155822B - 图像处理方法和装置 - Google Patents

图像处理方法和装置 Download PDF

Info

Publication number
CN109155822B
CN109155822B CN201780028205.2A CN201780028205A CN109155822B CN 109155822 B CN109155822 B CN 109155822B CN 201780028205 A CN201780028205 A CN 201780028205A CN 109155822 B CN109155822 B CN 109155822B
Authority
CN
China
Prior art keywords
dimensional
processing
processing result
image
rotation matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201780028205.2A
Other languages
English (en)
Other versions
CN109155822A (zh
Inventor
卢庆博
李琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN109155822A publication Critical patent/CN109155822A/zh
Application granted granted Critical
Publication of CN109155822B publication Critical patent/CN109155822B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/604—Rotation of whole images or parts thereof using coordinate rotation digital computer [CORDIC] devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种图像处理方法和装置。本发明图像处理方法，包括：获取输入图像的二维坐标点；对所述二维坐标点根据相机成像模型或畸变矫正模型进行二维‑三维转换操作，获取第一处理结果；对所述第一处理结果进行虚拟现实、电子防抖至少一项处理，获取第二处理结果；将所述第二处理结果映射至二维图像坐标系。本发明实施例可以实现对输入图像的快速处理，以完成畸变矫正、虚拟现实和电子防抖中至少两项处理操作，可以有效降低计算复杂度高，缩短计算时长，提升图像处理效率。

Description

图像处理方法和装置
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种图像处理方法和装置。
背景技术
图像传感器在成像的过程中，记录下射入图像传感器的光线的情况，但是由于相机的镜头和图像传感器等部件存在一定的畸变或者对齐问题，导致相机并不符合常用的相机成像模型。通常，相机的视场角越大，畸变越严重。大视场角的镜头可以提供更广的视角，因此经常用来作为虚拟现实图像的采集方式。如果将这种类型镜头安装在运动设备、汽车、无人机等环境下，由于相机的振动，相机的录制画面会频繁抖动，而导致观察者的不适。在这种情况下，需要对输入图像同时执行电子防抖、畸变矫正和虚拟现实显示中至少两项操作。
然而，在同时执行电子防抖、畸变矫正和虚拟现实显示中至少两项操作过程中，任意一项操作均需要计算出输入图像和输出图像的几何变换关系，即输出图像与输入图像的坐标关系，计算复杂度高，计算时间较长。
发明内容
本发明实施例提供一种图像处理方法和装置，从而实现对输入图像的快速处理，以完成电子防抖、畸变矫正和虚拟现实中至少两项处理操作。
第一方面，本发明实施例提供一种图像处理方法，包括：
获取输入图像的二维坐标点；
对所述二维坐标点根据相机成像模型或畸变矫正模型进行二维-三维转换操作，获取第一处理结果；
对所述第一处理结果进行虚拟现实、电子防抖至少一项处理，获取第二处理结果；
将所述第二处理结果映射至二维图像坐标系。
结合第一方面，在第一方面的一种可能的实现方式中，所述对所述二维坐标点根据相机成像模型或畸变矫正模型进行二维-三维转换操作，获取第一处理结果，包括：
根据相机的参数、和相机成像模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果；或者，
根据相机的参数和畸变矫正模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果。
结合第一方面或者第一方面的一种可能的实现方式，在第一方面的另一种可能的实现方式中，根据第一旋转矩阵对所述第一处理结果进行虚拟现实处理。
结合第一方面或者第一方面的任一种可能的实现方式，在第一方面的另一种可能的实现方式中，根据第二旋转矩阵对所述第一处理结果进行电子防抖处理。
结合第一方面或者第一方面的任一种可能的实现方式，在第一方面的另一种可能的实现方式中，所述第一旋转矩阵为根据观察者的姿态角度参数确定的，根据所述第一旋转矩阵处理所述第一处理结果获取所述第二处理结果。
结合第一方面或者第一方面的任一种可能的实现方式，在第一方面的另一种可能的实现方式中，所述方法还包括：
获取所述观察者的姿态角度参数。
结合第一方面或者第一方面的任一种可能的实现方式，在第一方面的另一种可能的实现方式中，所述第二旋转矩阵为根据与相机相连接的惯性测量单元获取的测量参数确定的，根据所述第二旋转矩阵处理所述第一处理结果获取所述第二处理结果。
结合第一方面或者第一方面的任一种可能的实现方式，在第一方面的另一种可能的实现方式中，所述方法还包括：
从与相机相连接的惯性测量单元获取所述测量参数，根据所述测量参数确定所述第二旋转矩阵；或者，
从与相机相连接的惯性测量单元获取所述第二旋转矩阵，所述第二旋转矩阵为所述惯性测量单元根据所述测量参数确定的。
结合第一方面或者第一方面的任一种可能的实现方式，在第一方面的另一种可能的实现方式中，所述相机成像模型包括小孔成像模型、等距矩形模型、立体成像模型、鱼眼镜头模型和广角镜头模型中任意一项。
第二方面，本发明实施例提供一种图像处理装置，包括：镜头、图像传感器和处理器；
所述图像传感器通过镜头采集二维图像；
所述处理器，用于实现如第一方面任一种可能的实现方式所述的图像处理方法。
第三方面，本发明实施例提供一种计算机存储介质，其上存储有计算机程序或指令，当所述计算机程序或指令被处理器或计算机执行时，实现如第一方面任一种可能的实现方式所述的图像处理方法。
本发明实施例图像处理方法和装置，通过对获取的输入图像的二维坐标点进行二维-三维转换操作，获取第一处理结果，根据第一旋转矩阵和第二旋转矩阵中至少一项处理所述第一处理结果，获取第二处理结果，将所述第二处理结果映射至二维图像坐标系，得到输出图像，从而实现对输入图像的快速处理，以完成畸变矫正、虚拟现实和电子防抖中至少两项处理操作，可以有效降低计算复杂度高，缩短计算时长，提升图像处理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种应用场景示意图；
图2为本发明的一种图像处理方法的流程图；
图3为本发明的另一种图像处理方法的流程图；
图4为图3所示的流程图的示意图；
图5为本发明的另一种图像处理方法的流程图；
图6为图5所示的流程图的示意图；
图7为本发明的另一种图像处理方法的流程图；
图8为图7所示的流程图的示意图；
图9为本发明的另一种图像处理方法的流程图；
图10为图9所示的流程图的示意图；
图11为本发明的一种图像处理装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明的一种应用场景示意图，如图1所示，该应用场景下包括一图像处理装置，可以为相机、摄像设备、航拍设备、医学成像设备等，包括镜头、图像传感器和图像处理器，其中，镜头与图像传感器连接，图像传感器与图像处理器连接，光线通过镜头射入图像传感器，图像传感器进行成像，得到输入图像，图像处理器对输入图像进行畸变矫正、电子防抖和虚拟现实中至少两项处理操作，以得到输出图像，本申请的图像处理方法在完成畸变矫正、电子防抖和虚拟现实中至少两项处理操作过程中，可以有效降低计算复杂度高，缩短计算时长，提升图像处理器的图像处理效率，其具体实现方式参见下述实施例的具体解释说明。
需要说明的是，本发明的图像处理器可以与镜头和图像传感器位于不同的电子设备上，也可以与镜头和图像传感器位于相同的电子设备上。
图2为本发明的一种图像处理方法的流程图，如图2所示，本实施例的方法可以包括：
步骤101、获取输入图像的二维坐标点。
其中，输入图像为光线通过镜头射入图像传感器，图像传感器进行成像，得到的图像，该输入图像为二维图像，则可以获取该输入图像中所有像素点的二维坐标点。
步骤102、根据相机成像模型或畸变矫正模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果。
其中，进行二维-三维转换操作具体指建立二维坐标点与入射射线之间的一一对应关系，即将输入图像的各个像素点的二维坐标点映射为入射射线，各个像素点的二维坐标点对应的入射射线即为第一处理结果。可选的，步骤102的一种具体的可实现方式可以为：根据相机的参数和相机成像模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果。步骤102的另一种具体的可实现方式可以为：根据相机的参数和畸变矫正模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果。
其中，相机的参数可以包括相机的焦距和光心位置等，此处不一一举例说明。
需要说明的是，上述相机成像模型可以包括小孔成像模型、等距矩形模型、立体成像模型、鱼眼镜头模型和广角镜头模型中任意一项。其可以根据需求进行灵活设置。
步骤103、对所述第一处理结果进行虚拟现实、电子防抖至少一项处理，获取第二处理结果。
其中，根据第一旋转矩阵对所述第一处理结果进行虚拟现实处理，根据第二旋转矩阵对所述第一处理结果进行电子防抖处理。根据第一旋转矩阵和第二旋转矩阵中至少一项处理步骤102中的第一处理结果，即获得第二处理结果。
具体的，该第一旋转矩阵为根据观察者的姿态角度参数确定的，该第二旋转矩阵为根据与相机相连接的惯性测量单元获取的测量参数确定的。该相机具体可以指如图1所示的镜头和图像传感器。
步骤104、将所述第二处理结果映射至二维图像坐标系。
具体的，将各个调整后的入射射线映射至二维图像坐标系，可以得到输出图像，该输出图像为经过畸变矫正、电子防抖和虚拟现实中至少两项处理操作后的图像。
本实施例，通过对获取的输入图像的二维坐标点进行二维-三维转换操作，获取第一处理结果，根据第一旋转矩阵和第二旋转矩阵中至少一项处理所述第一处理结果，获取第二处理结果，将所述第二处理结果映射至二维图像坐标系，得到输出图像，从而实现对输入图像的快速处理，以完成畸变矫正、电子防抖和虚拟现实中至少两项处理操作，可以有效降低计算复杂度高，缩短计算时长，提升图像处理效率。上述涉及到的相机成像模型、畸变矫正模型、第一旋转矩阵、第二旋转矩阵等可以参考现有技术。
下面采用几个具体的实施例，对图2所示方法实施例的技术方案进行详细说明。
图3为本发明的另一种图像处理方法的流程图，图4为图3所示的流程图的示意图，本实施例为对输入图像进行畸变矫正和虚拟现实处理的具体实施方式，如图3所示，本实施例的方法可以包括：
步骤201、获取输入图像的二维坐标点。
其中，步骤201的具体解释说明可以参见图2所示实施例的步骤101，此处不再赘述。
步骤202、根据相机的参数和畸变矫正模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果。
其中，该步骤202即实现如图4所示的2D到3D的转换。以P3D表示第一处理结果，P2D表示二维坐标点。相应的，步骤202可以为，根据公式P3D＝fpin(P2D)，获取第一处理结果P3D，其中，函数fpin()可以是一个多项式。
步骤203、对所述第一处理结果进行虚拟现实处理，获取第二处理结果。
其中，该第一旋转矩阵为虚拟现实处理过程中所使用的旋转矩阵，是根据观察者的姿态角度参数确定的。该步骤203即实现如图4所示的3D至3D的旋转处理，获取第二处理结果。
其中，以P′3D表示第二处理结果，RVR表示第一旋转矩阵。相应的，步骤203可以为，根据公式P′3D＝RVRP3D，获取第二处理结果P′3D。
将步骤202的公式P3D＝fpin(P2D)带入P′3D＝RVRP3D，得到P′3D＝RVRfpin(P2D)。
步骤204、将所述第二处理结果映射至二维图像坐标系。
具体的，将经过步骤203旋转处理后的入射射线映射至二维图像坐标系，可以得到输出图像，该输出图像为经过畸变矫正和虚拟现实处理操作后的图像。该步骤204即实现如图4所示的3D至2D的映射。
其中，以P′2D表示映射至所述二维图像坐标系中的坐标点。相应的，步骤204可以为，根据公式
Figure BDA0001856408390000061
将所述第二处理结果映射至二维图像坐标系。其中，函数
Figure BDA0001856408390000062
可以根据需求进行灵活设置。
将步骤203的公式P′3D＝RVRfpin(P2D)带入
Figure BDA0001856408390000063
得到
Figure BDA0001856408390000064
本实施例，通过根据相机的参数和畸变矫正模型对获取的输入图像的二维坐标点进行二维-三维转换操作，获取第一处理结果，对所述第一处理结果进行虚拟现实处理，获取第二处理结果，将所述第二处理结果映射至二维图像坐标系，得到输出图像，从而实现对输入图像的快速处理，以完成畸变矫正和虚拟现实处理操作，可以有效降低计算复杂度高，缩短计算时长，提升图像处理效率。
并且，本申请通过上述方式完成畸变矫正和虚拟现实处理操作，无需在P3D＝fpin(P2D)之后和P′3D＝RVRP3D之前，再进行
Figure BDA0001856408390000065
和P3D＝fcam(P2D)，实现简化计算，并且进行
Figure BDA0001856408390000066
和P3D＝fcam(P2D)的计算通常是通过定点化或查找表实现的，因此导致
Figure BDA0001856408390000067
和P3D＝fcam(P2D)并不是完全等价的逆操作，多次反复计算之后会导致累计误差增加，通过本实施例上述方式简化计算，可以消除累计误差，提高计算的精度。
图5为本发明的另一种图像处理方法的流程图，图6为图5所示的流程图的示意图，本实施例为对输入图像进行畸变矫正和电子防抖处理的具体实施方式，如图5所示，本实施例的方法可以包括：
步骤301、获取输入图像的二维坐标点。
其中，步骤301的具体解释说明可以参见图2所示实施例的步骤101，此处不再赘述。
步骤302、根据相机的参数和畸变矫正模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果。
其中，该步骤302即实现如图6所示的2D到3D的转换。具体的，根据相机的参数和畸变矫正模型对二维坐标点进行二维-三维转换操作，即将二维坐标点映射为入射射线。
其中以P3D表示第一处理结果，P2D表示二维坐标点。相应的，步骤202可以为，根据公式P3D＝fpin(P2D)，获取第一处理结果P3D，其中，函数fpin()可以是一个多项式。
步骤303、对所述第一处理结果进行电子防抖处理，获取第二处理结果。
其中，该第二旋转矩阵为电子防抖处理过程中所使用的旋转矩阵，是根据与相机相连接的惯性测量单元获取的测量参数确定的。该步骤303即实现如图6所示的3D至3D的旋转处理，即根据第二旋转矩阵对步骤302得到的入射射线进行旋转，获取第二处理结果。
其中，以P′3D表示第二处理结果，RIS表示第二旋转矩阵。相应的，步骤303可以为，根据公式P′3D＝RISP3D，获取第二处理结果P′3D。
将步骤302的公式P3D＝fpin(P2D)带入P′3D＝RISP3D，得到P′3D＝RISfpin(P2D)。
步骤304、将所述第二处理结果映射至二维图像坐标系。
具体的，将经过步骤303旋转处理后的入射射线映射至二维图像坐标系，可以得到输出图像，该输出图像为经过畸变矫正和电子防抖处理操作后的图像。该步骤304即实现如图6所示的3D至2D的映射。
其中，以P′2D表示映射至所述二维图像坐标系中的坐标点。相应的，步骤304可以为，根据公式
Figure BDA0001856408390000071
将所述第二处理结果映射至二维图像坐标系。其中，函数
Figure BDA0001856408390000072
可以根据需求进行灵活设置。
将步骤303的公式P′3D＝RISfpin(P2D)带入
Figure BDA0001856408390000073
得到
Figure BDA0001856408390000074
本实施例，通过根据相机的参数和畸变矫正模型对获取的输入图像的二维坐标点进行二维-三维转换操作，获取第一处理结果，对所述第一处理结果进行电子防抖处理，获取第二处理结果，将所述第二处理结果映射至二维图像坐标系，得到输出图像，从而实现对输入图像的快速处理，以完成畸变矫正和电子防抖处理操作，可以有效降低计算复杂度高，缩短计算时长，提升图像处理效率。
并且，本申请通过上述方式完成畸变矫正和电子防抖处理操作，无需在P3D＝fpin(P2D)之后和P′3D＝RISP3D之前，再进行
Figure BDA0001856408390000081
和P3D＝fcam(P2D)，实现简化计算，并且进行
Figure BDA0001856408390000082
和P3D＝fcam(P2D)的计算通常是通过定点化或查找表实现的，因此导致
Figure BDA0001856408390000083
和P3D＝fcam(P2D)并不是完全等价的逆操作，多次反复计算之后会导致累计误差增加，通过本实施例上述方式简化计算，可以消除累计误差，提高计算的精度。
图7为本发明的另一种图像处理方法的流程图，图8为图7所示的流程图的示意图，本实施例为对输入图像进行虚拟现实和电子防抖处理的具体实施方式，如图7所示，本实施例的方法可以包括：
步骤401、获取输入图像的二维坐标点。
其中，步骤401的具体解释说明可以参见图2所示实施例的步骤101，此处不再赘述。
步骤402、根据相机的参数和相机成像模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果。
其中，该步骤402即实现如图8所示的2D到3D的转换。具体的，根据相机的参数对二维坐标点进行二维-三维转换操作，即将二维坐标点映射为入射射线。
其中以P3D表示第一处理结果，P2D表示二维坐标点。相应的，步骤202可以为，根据公式P3D＝fcam(P2D)，获取第一处理结果P3D。
步骤403、对所述第一处理结果进行虚拟现实和电子防抖处理，获取第二处理结果。
其中，该第一旋转矩阵为虚拟现实处理过程中所使用的旋转矩阵，是根据观察者的姿态角度参数确定的。该第二旋转矩阵为电子防抖处理过程中所使用的旋转矩阵，是根据与相机相连接的惯性测量单元获取的测量参数确定的。该步骤403即实现如图8所示的3D至3D再至3D的旋转处理，即根据第一旋转矩阵和第二旋转矩阵对步骤402得到的入射射线进行旋转，获取第二处理结果。
其中，以P′3D表示第二处理结果，RVR表示第一旋转矩阵，RIS表示第二旋转矩阵。相应的，步骤403的一种可实现方式为，根据公式P′3D＝RISRVRP3D，获取第二处理结果P′3D。即先进行虚拟现实处理然后再进行电子防抖处理。将步骤402的公式带入P′3D＝RISRVRP3D中，可以得到P′3D＝RISRVRfcam(P2D)。
需要说明的是，步骤405的另一种可实现方式为，根据公式P′3D＝RVRRISP3D，获取第二处理结果P′3D。即先进行电子防抖处理然后再进行虚拟现实处理。将步骤402的公式带入P′3D＝RVRRISP3D中，可以得到P′3D＝RVRRISfcam(P2D)。
步骤404、将所述第二处理结果映射至二维图像坐标系。
具体的，将经过步骤403旋转处理后的入射射线映射至二维图像坐标系，可以得到输出图像，该输出图像为经过虚拟现实和电子防抖处理操作后的图像。该步骤404即实现如图8所示的3D至2D的映射。
其中，以P′2D表示映射至所述二维图像坐标系中的坐标点。相应的，步骤404可以为，根据公式
Figure BDA0001856408390000091
将所述第二处理结果映射至二维图像坐标系。其中，函数
Figure BDA0001856408390000092
可以根据需求进行灵活设置。
将步骤403的公式P′3D＝RISRVRfcam(P2D)带入
Figure BDA0001856408390000093
可以得到
Figure BDA0001856408390000094
将步骤403的公式P′3D＝RVRRISfcam(P2D)带入
Figure BDA0001856408390000095
可以得到
Figure BDA0001856408390000096
本实施例，通过根据相机的参数和相机成像模型对获取的输入图像的二维坐标点进行二维-三维转换操作，获取第一处理结果，对所述第一处理结果进行虚拟现实和电子防抖的处理，获取第二处理结果，将所述第二处理结果映射至二维图像坐标系，得到输出图像，从而实现对输入图像的快速处理，以完成虚拟现实和电子防抖处理操作，可以有效降低计算复杂度高，缩短计算时长，提升图像处理效率。
并且，本申请通过上述方式完成虚拟现实和电子防抖处理操作，无需在P3D＝fcam(P2D)之后和P′3D＝RISRVRP3D(或者P′3D＝RVRRISP3D)之前，再进行
Figure BDA0001856408390000097
和P3D＝fcam(P2D)，实现简化计算，并且进行
Figure BDA0001856408390000098
和P3D＝fcam(P2D)的计算通常是通过定点化或查找表实现的，因此导致
Figure BDA0001856408390000099
和P3D＝fcam(P2D)并不是完全等价的逆操作，多次反复计算之后会导致累计误差增加，通过本实施例上述方式简化计算，可以消除累计误差，提高计算的精度。
图9为本发明的另一种图像处理方法的流程图，图10为图9所示的流程图的示意图，本实施例为对输入图像进行畸变矫正、虚拟现实和电子防抖处理的具体实施方式，如图9所示，本实施例的方法可以包括：
步骤501、获取输入图像的二维坐标点。
其中，步骤501的具体解释说明可以参见图2所示实施例的步骤101，此处不再赘述。
步骤502、根据相机的参数和畸变矫正模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果。
其中，该步骤502即实现如图10所示的2D到3D的转换。具体的，根据相机的参数和畸变矫正模型对二维坐标点进行二维-三维转换操作，即将二维坐标点映射为入射射线。
其中以P3D表示第一处理结果，P2D表示二维坐标点。相应的，步骤202可以为，根据公式P3D＝fpin(P2D)，获取第一处理结果P3D。
需要说明的是，与上述图7所示实施例不同，本实施例可以进行畸变矫正、虚拟现实和电子防抖处理，当完成三种处理时，需要先执行步骤502进行畸变矫正。本实施例的第一处理结果为P3D＝fpin(P2D)。
步骤503、对所述第一处理结果进行虚拟现实和电子防抖处理，获取第二处理结果。
其中，该第一旋转矩阵为虚拟现实处理过程中所使用的旋转矩阵，是根据观察者的姿态角度参数确定的。该第二旋转矩阵为电子防抖处理过程中所使用的旋转矩阵，是根据与相机相连接的惯性测量单元获取的测量参数确定的。该步骤503即实现如图10所示的3D至3D再至3D的旋转处理，即根据第一旋转矩阵和第二旋转矩阵对步骤502得到的入射射线进行旋转，获取第二处理结果，即如图10所示先进行虚拟现实处理然后再进行电子防抖处理。
可以理解的，步骤503也可以先进行电子防抖处理然后再进行虚拟现实处理。
其中，以P′3D表示第二处理结果，RVR表示第一旋转矩阵，RIS表示第二旋转矩阵。步骤503的一种可实现方式可以为，根据公式P′3D＝RISRVRP3D，获取第二处理结果P′3D。将步骤502的公式带入P′3D＝RISRVRP3D中，可以得到P′3D＝RISRVRfpin(P2D)。
需要说明的是，步骤405的另一种可实现方式为，根据公式P′3D＝RVRRISP3D，获取第二处理结果P′3D。将步骤502的公式带入P′3D＝RVRRISP3D中，可以得到P′3D＝RVRRISfpin(P2D)。
步骤504、将所述第二处理结果映射至二维图像坐标系。
具体的，将经过步骤503旋转处理后的入射射线映射至二维图像坐标系，可以得到输出图像，该输出图像为经过畸变矫正、电子防抖和虚拟现实处理操作后的图像。该步骤504即实现如图10所示的3D至2D的映射。
其中，以P′2D表示映射至所述二维图像坐标系中的坐标点。相应的，步骤504可以为，根据公式
Figure BDA0001856408390000101
将所述第二处理结果映射至二维图像坐标系。其中，函数
Figure BDA0001856408390000102
可以根据需求进行灵活设置。
将步骤503的公式P′3D＝RISRVRfpin(P2D)带入
Figure BDA0001856408390000111
可以得到
Figure BDA0001856408390000112
将步骤503的公式P′3D＝RVRRISfpin(P2D)带入
Figure BDA0001856408390000113
可以得到
Figure BDA0001856408390000114
本实施例，通过根据相机的参数和畸变矫正模型对获取的输入图像的二维坐标点进行二维-三维转换操作，获取第一处理结果，对所述第一处理结果进行虚拟现实和电子防抖处理，获取第二处理结果，将所述第二处理结果映射至二维图像坐标系，得到输出图像，从而实现对输入图像的快速处理，以完成畸变矫正、电子防抖和虚拟现实处理操作，可以有效降低计算复杂度高，缩短计算时长，提升图像处理效率。
并且，本申请通过上述方式完成畸变矫正、虚拟现实和电子防抖处理操作，无需在P3D＝fcam(P2D)之后和P′3D＝RISRVRP3D(或者P′3D＝RVRRISP3D)之前，再进行
Figure BDA0001856408390000115
和P3D＝fcam(P2D)，实现简化计算，并且进行
Figure BDA0001856408390000116
和P3D＝fcam(P2D)的计算通常是通过定点化或查找表实现的，因此导致
Figure BDA0001856408390000117
和P3D＝fcam(P2D)并不是完全等价的逆操作，多次反复计算之后会导致累计误差增加，通过本实施例上述方式简化计算，可以消除累计误差，提高计算的精度。
图11为本发明的一种图像处理装置的结构示意图，如图11所示，本实施例的装置可以包括：镜头(未示出)、图像传感器11和处理器12，其中，图像传感器11用于采集二维图像，将所述二维图像作为输入图像，处理器12用于获取输入图像的二维坐标点，对所述二维坐标点根据相机成像模型或畸变矫正模型进行二维-三维转换操作，获取第一处理结果；对所述第一处理结果进行虚拟现实、电子防抖至少一项处理，获取第二处理结果将所述第二处理结果映射至二维图像坐标系。
所述处理器12用于：根据相机的参数和相机成像模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果；或者，根据相机的参数和畸变矫正模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果。
所述处理器12用于，根据第一旋转矩阵对所述第一处理结果进行虚拟现实处理。
所述处理器12用于，根据第二旋转矩阵对所述第一处理结果进行电子防抖处理。
其中，所述第一旋转矩阵为根据观察者的姿态角度参数确定的，根据所述第一旋转矩阵处理所述第一处理结果获取所述第二处理结果。
所述处理器12还用于：获取所述观察者的姿态角度参数。
所述第二旋转矩阵为根据与相机相连接的惯性测量单元获取的测量参数确定的，所述处理器12用于根据所述第二旋转矩阵处理所述第一处理结果获取所述第二处理结果。
所述处理器12还用于：从与相机相连接的惯性测量单元获取所述测量参数，所述处理器12还用于根据所述测量参数确定所述第二旋转矩阵；或者，所述处理器12还用于从与相机相连接的惯性测量单元获取所述第二旋转矩阵，所述第二旋转矩阵为所述惯性测量单元根据所述测量参数确定的。
其中，所述相机成像模型包括小孔成像模型、等距矩形模型、立体成像模型、鱼眼镜头模型和广角镜头模型中任意一项。
本实施例的装置，可以用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。在本发明的实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种图像处理方法，其特征在于，包括：
获取输入图像的二维坐标点；
对所述二维坐标点根据相机成像模型或畸变矫正模型进行二维-三维转换操作，获取第一处理结果；
对所述第一处理结果进行虚拟现实、电子防抖至少一项处理，获取第二处理结果；
将所述第二处理结果映射至二维图像坐标系，获取输出图像；
其中，所述第一处理结果为所述二维坐标点对应的入射射线；所述第二处理结果为调整后的入射射线；
其中，根据第一旋转矩阵对所述第一处理结果进行虚拟现实处理；根据第二旋转矩阵对所述第一处理结果进行电子防抖处理；
其中，所述相机成像模型包括小孔成像模型、等距矩形模型、立体成像模型、鱼眼镜头模型和广角镜头模型中任意一项。
2.根据权利要求1所述的方法，其特征在于，所述对所述二维坐标点根据相机成像模型或畸变矫正模型进行二维-三维转换操作，获取第一处理结果，包括：
根据相机的参数和畸变矫正模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果；或者，
根据相机的参数和相机成像模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果。
3.根据权利要求1所述的方法，其特征在于，所述第一旋转矩阵为根据观察者的姿态角度参数确定的，根据所述第一旋转矩阵处理所述第一处理结果获取所述第二处理结果。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取所述观察者的姿态角度参数。
5.根据权利要求1所述的方法，其特征在于，所述第二旋转矩阵为根据与相机相连接的惯性测量单元获取的测量参数确定的，根据所述第二旋转矩阵处理所述第一处理结果获取所述第二处理结果。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
从与相机相连接的惯性测量单元获取所述测量参数，根据所述测量参数确定所述第二旋转矩阵；或者，
从与相机相连接的惯性测量单元获取所述第二旋转矩阵，所述第二旋转矩阵为所述惯性测量单元根据所述测量参数确定的。
7.一种图像处理装置，其特征在于，包括：镜头、图像传感器和处理器；
所述图像传感器通过镜头采集二维图像；
所述处理器，用于实现如权利要求1至6任一项所述的图像处理方法。
8.一种计算机存储介质，其上存储有计算机程序或指令，其特征在于，当所述计算机程序或指令被处理器或计算机执行时，实现如权利要求1至6任一项所述的图像处理方法。
CN201780028205.2A 2017-11-28 2017-11-28 图像处理方法和装置 Expired - Fee Related CN109155822B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/113244 WO2019104453A1 (zh) 2017-11-28 2017-11-28 图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN109155822A CN109155822A (zh) 2019-01-04
CN109155822B true CN109155822B (zh) 2021-07-27

Family

ID=64803849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780028205.2A Expired - Fee Related CN109155822B (zh) 2017-11-28 2017-11-28 图像处理方法和装置

Country Status (3)

Country Link
US (1) US20200267297A1 (zh)
CN (1) CN109155822B (zh)
WO (1) WO2019104453A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021035485A1 (zh) * 2019-08-26 2021-03-04 Oppo广东移动通信有限公司 拍摄防抖方法、装置、终端及存储介质
CN112489114B (zh) * 2020-11-25 2024-05-10 深圳地平线机器人科技有限公司 图像转换方法、装置、计算机可读存储介质及电子设备
CN112465716A (zh) * 2020-11-25 2021-03-09 深圳地平线机器人科技有限公司 图像转换方法、装置、计算机可读存储介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101876533A (zh) * 2010-06-23 2010-11-03 北京航空航天大学 一种显微立体视觉校准方法
CN105144687A (zh) * 2013-04-30 2015-12-09 索尼公司 图像处理装置、图像处理方法及程序

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104833360B (zh) * 2014-02-08 2018-09-18 无锡维森智能传感技术有限公司 一种二维坐标到三维坐标的转换方法
CN104935909B (zh) * 2015-05-14 2017-02-22 清华大学深圳研究生院 一种基于深度信息的多幅图超分辨方法
CN105227828B (zh) * 2015-08-25 2017-03-15 努比亚技术有限公司 拍摄装置和方法
TWI555378B (zh) * 2015-10-28 2016-10-21 輿圖行動股份有限公司 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN105894574B (zh) * 2016-03-30 2018-09-25 清华大学深圳研究生院 一种双目三维重建方法
US20170286993A1 (en) * 2016-03-31 2017-10-05 Verizon Patent And Licensing Inc. Methods and Systems for Inserting Promotional Content into an Immersive Virtual Reality World
CN107346551A (zh) * 2017-06-28 2017-11-14 太平洋未来有限公司 一种光场光源定向方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101876533A (zh) * 2010-06-23 2010-11-03 北京航空航天大学 一种显微立体视觉校准方法
CN105144687A (zh) * 2013-04-30 2015-12-09 索尼公司 图像处理装置、图像处理方法及程序

Also Published As

Publication number Publication date
WO2019104453A1 (zh) 2019-06-06
CN109155822A (zh) 2019-01-04
US20200267297A1 (en) 2020-08-20

Similar Documents

Publication Publication Date Title
CN108257183B (zh) 一种相机镜头光轴校准方法和装置
CN106875451B (zh) 相机标定方法、装置及电子设备
US9870602B2 (en) Method and apparatus for fusing a first image and a second image
EP3134868B1 (en) Generation and use of a 3d radon image
CN107113376B (zh) 一种图像处理方法、装置及摄像机
CN109474780B (zh) 一种用于图像处理的方法和装置
JP4782899B2 (ja) 視差検出装置、測距装置及び視差検出方法
TWI493504B (zh) 結合影像之方法
CN110099220B (zh) 一种全景拼接方法及装置
CN109155822B (zh) 图像处理方法和装置
WO2019232793A1 (zh) 双摄像头标定方法、电子设备、计算机可读存储介质
CN106570907B (zh) 一种相机标定方法及装置
CN109785390B (zh) 一种用于图像矫正的方法和装置
WO2020011112A1 (zh) 图像处理方法、***、可读存储介质及终端
CN110136205B (zh) 多目相机的视差校准方法、装置及***
CN111882655A (zh) 三维重建的方法、装置、***、计算机设备和存储介质
CN109785225B (zh) 一种用于图像矫正的方法和装置
CN111383264A (zh) 一种定位方法、装置、终端及计算机存储介质
CN111385461A (zh) 全景拍摄方法及装置、相机、移动终端
CN111353945B (zh) 鱼眼图像校正方法、装置及存储介质
WO2023221969A1 (zh) 3d图片拍摄方法和3d拍摄***
JP2017103695A (ja) 画像処理装置、画像処理方法、及びそのプログラム
CN111161148B (zh) 一种全景图像生成方法、装置、设备和存储介质
CN112233185A (zh) 相机标定方法、图像配准方法及摄像器件、存储装置
CN109963085B (zh) 一种调整快门速度的方法、装置及机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210727