CN111385461B - 全景拍摄方法及装置、相机、移动终端 - Google Patents

全景拍摄方法及装置、相机、移动终端 Download PDF

Info

Publication number
CN111385461B
CN111385461B CN201811629211.6A CN201811629211A CN111385461B CN 111385461 B CN111385461 B CN 111385461B CN 201811629211 A CN201811629211 A CN 201811629211A CN 111385461 B CN111385461 B CN 111385461B
Authority
CN
China
Prior art keywords
offset
panoramic
shot
image
panoramic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811629211.6A
Other languages
English (en)
Other versions
CN111385461A (zh
Inventor
郑亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201811629211.6A priority Critical patent/CN111385461B/zh
Priority to US17/418,536 priority patent/US11523056B2/en
Priority to PCT/CN2019/101489 priority patent/WO2020134123A1/zh
Publication of CN111385461A publication Critical patent/CN111385461A/zh
Application granted granted Critical
Publication of CN111385461B publication Critical patent/CN111385461B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种全景拍摄方法及装置、相机、移动终端，其中，该方法包括：在进行全景拍摄时，首先通过测距设备获取被摄物体的深度信息，即被摄物体与拍照设备的距离，然后通过查询预设的映射关系获取与当前距离对应的偏移量，后续相应在全景图像将被摄物体的原始成像进行偏移，形成校正后的全景图像。采用上述方案，解决了相关技术中全景拍摄的图像中物体扭曲较大的问题，精确高效地校正了物体在全景图像上的扭曲，保证了全景成像的美感。

Description

全景拍摄方法及装置、相机、移动终端
技术领域
本申请涉及但不限于摄影领域，具体而言，涉及一种全景拍摄方法及装置、相机、移动终端。
背景技术
在相关技术中，人眼可以观察到大视场角的场景，而当前的终端摄像头由于镜头规格所限视场角都相对较小，这样摄像头的一次成像并不能拍摄出符合人双眼视角的，全景拍照就是为了解决这个问题，一般是由拍摄者为中心，手持拍照设备旋转拍摄，通过多个角度拍摄最终拼接成全景照片。这样就解决了视场角较小的相机拍大视场角风景等画面问题，但拼接全景照片造成的形变问题当前并没有方法解决。
在相关技术中，侧重于在全景拍摄中对全景曝光的控制方法，保证在要拼接图像的曝光一致，或者是是侧重于用2个及以上的摄像头保证图像能够合理拼接，但是存在一个问题，由于全景的可视角度极大，一方面受镜头畸变影响，另一方面图像的拼接点多在边缘，这样远近不同的被摄对象，在平面上成的像会有不同程度的扭曲和形变，影响用户体验，而相关技术中对此问题并没有提出有效的解决方法。
针对相关技术中全景拍摄的图像中物体扭曲较大的问题，目前还没有有效的解决方案。
发明内容
本申请实施例提供了一种全景拍摄方法及装置、相机、移动终端，以至少解决相关技术中全景拍摄的图像中物体扭曲较大的问题。
根据本申请的一个实施例，提供了一种全景拍摄方法，包括：获取全景拍摄中被摄物体的深度信息；依据预置的深度与偏移量的映射关系获取与所述被摄物体在全景图像中对应的偏移量；按照所述偏移量对所述被摄物体的所述全景图像进行校正。
根据本申请的另一个实施例，提供了一种全景拍摄装置，包括：第一获取模块，用于获取全景拍摄中被摄物体的深度信息；第二获取模块，用于依据预置的深度与偏移量的映射关系获取与所述被摄物体在全景图像中对应的偏移量；第一校正模块，用于按照所述偏移量对所述被摄物体的所述全景图像进行校正。
根据本申请的另一个实施例，提供了一种相机，包括：测距装置，用于获取全景拍摄中被摄物体的深度信息；处理器，用于依据预置的深度与偏移量的映射关系获取与所述被摄物体在全景图像中对应的偏移量；以及用于按照所述偏移量对所述被摄物体的所述全景图像进行校正。
根据本申请的另一个实施例，还提供了一种移动终端，包括：测距装置，用于获取全景拍摄中被摄物体的深度信息；处理器，用于依据预置的深度与偏移量的映射关系获取与所述被摄物体在全景图像中对应的偏移量；以及用于按照所述偏移量对所述被摄物体的所述全景图像进行校正。
根据本申请的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本申请的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本申请，在进行全景拍摄时，首先通过测距设备获取被摄物体的深度信息，即被摄物体与拍照设备的距离，然后通过查询预设的映射关系获取与当前距离对应的偏移量，后续相应在全景图像将被摄物体的原始成像进行偏移，形成校正后的全景图像。采用上述方案，解决了相关技术中全景拍摄的图像中物体扭曲较大的问题，精确高效地校正了物体在全景图像上的扭曲，保证了全景成像的美感。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请实施例的一种全景拍摄方法的移动终端的硬件结构框图；
图2是根据本申请实施例的全景拍摄方法的流程图；
图3是根据本申请另一个实例的终端的结构示意图；
图4是根据本申请另一个实施例的校正全景拍摄图像的流程图；
图5是根据本申请另一个实例的坐标系示意图；
图6是根据本申请另一个实施例的相机成像平面示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请文件中的实施例可以用于全景拍摄的场景中，可以用于相关技术中的手机，平板电脑，支持全景拍摄的相机。
实施例一
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本申请实施例的一种全景拍摄方法的移动终端的硬件结构框图，如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输装置106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的全景拍摄方法对应的程序指令/模块，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端的全景拍摄方法，图2是根据本申请实施例的全景拍摄方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取全景拍摄中被摄物体的深度信息；
此处的深度信息为拍摄领域的用语，可以理解为当前被摄物体与成像面的距离。该步骤S202可以由具备测距功能的移动终端来执行，或者，由移动终端附带的第三方设备来执行，均在本申请保护范围。
步骤S204，依据预置的深度与偏移量的映射关系获取与所述被摄物体在全景图像中对应的偏移量；
偏移量也指畸变的校准量，校准后对应点的偏移量。
该映射关系可以以表格形式预先存储，后续直接查表即可获得对应的偏移量。采用表格的形式实现以下效果，如果是拟合出的复杂的函数关系，计算量量较大或者计算时间实时性不佳时，利用拟合结果制成对应的表格，输入的距离，查找校准量的表，这样在校正时，采用查表加插值的形式校准提升时间效率。
步骤S206，按照所述偏移量对所述被摄物体的所述全景图像进行校正。
可以是将被摄物体在全景图像中的原始成像位置，依据该偏移量进行偏移，或者具体到对被摄物体的成像的像素点进行偏移。
在实际校正过程中，可以对重要的被摄物体进行校正，例如人像等，对次要的被摄物体不进行校正，例如较远的天空等，可以节省大量算力。
通过上述步骤，在进行全景拍摄时，首先通过测距设备获取被摄物体的深度信息，即被摄物体与拍照设备的距离，然后通过查询预设的映射关系获取与当前距离对应的偏移量，后续相应在全景图像将被摄物体的原始成像进行偏移，形成校正后的全景图像。采用上述方案，解决了相关技术中全景拍摄的图像中物体扭曲较大的问题，精确高效地校正了物体在全景图像上的扭曲，保证了全景成像的美感。
可选地，深度与校准量的对应关系，是要先通过有距离信息的标定图卡得到的“物－像”数据，采用后续本申请另一个实施例记载的计算方法，得到对应的函数关系或者表信息，将其作为预置深度与校准量的信息。接下来，这个预置信息的作用是，在终端拍照时候，先通过终端的测距类功能得到被摄物的距离信息，结合上面得到的预置信息，得到校准量。
可选地，依据预置的深度与偏移量的映射关系获取与所述被摄物体在全景图像中对应的偏移量之前，通过以下方式建立所述映射关系：对已知场景进行全景拍摄，依据所述已知场景中不同物体之间的位置关系，确定不同深度的物体在拍摄画面中的理想位置；依据每个物体的理想位置与拍摄画面中实际位置的区别，确定每个物体的偏移量；依据所述每个物体的偏移量，和每个物体的深度信息，建立所述映射关系。采用该方案，通过多次对不同的已知场景进行拍摄，例如规律的图卡等，获取到不同深度信息与偏移量的对应关系，使得建立的映射关系中尽可能包括更多条目的对应关系。每个物体的偏移量可以更为具体的理解为该物体所述图像区域的每个像素点的偏移量。
可选地，依据所述已知场景中不同物体之间的位置关系，确定不同深度的物体在拍摄画面中的理想位置，包括：获取所述已知场景中的不同物体之间的距离比例；依据所述距离比例获取每个物体在拍摄画面中的理想位置。将已知场景中的不同物体之间的距离比例，对应到拍摄画面上，拍摄画面中的不同物体之间的距离比例应当是与已知场景一致的，通过这种方式确定每个物体的理想位置，然后与每个物体的原始成像位置进行对比，得到每个物体的偏移量。
可选地，按照所述偏移量对所述被摄物体的所述全景图像进行校正之前，获取相机的摄像模组镜头的畸变校准参数；依据所述畸变校准参数对所述全景图像进行校准。该相机为当前拍摄全景图像的相机，可以集成于手机等移动终端中，可以是独立的相机。采用该方案，在执行图2中的流程之前，可以先对摄像头模组的畸变进行校准，以更为准确的恢复被摄物体的理想位置。
可选地，按照所述偏移量对所述被摄物体的所述全景图像进行校正，包括：获取所述被摄物体在全景图像中原始成像位置；将所述原始成像位置按照所述偏移量进行移动。
可选地，按照所述偏移量对所述被摄物体的所述全景图像进行校正之后，
获取校正后的图像为第一图像，依据预设规则检测出所述第一图像中待插值区域；依据所述待插值区域周边预设范围的像素，对所述待插值区域进行插值处理。采用该方案，处理图像数据，对成像点需要插值的地方做插值处理。算法利用待处理像素点周边像素的相关性关系来计算待处理像素点的值，从而解决了常规插值算法在处理细节和平滑性不足的问题。
可选地，依据预设规则检测出所述第一图像中待插值区域，包括以下至少之一：检测所述第一图像中的帧数据之间的拼接处，将所述拼接处作为所述待插值区域；检测所述第一图像中经过偏移的偏移量大于阈值的像素点，将所述像素点作为所述待插值区域。采用该方案，可以重点在容易发生图像变形的位置进行平滑性处理，例如帧数据之间的拼接处，经过图2流程处理后的偏移较大的位置等。
下面结合本申请另一个实施例进行说明。
本申请另一个实施例的方案可以应用于含有测距功能装置的全景拍摄场景。主要目的是提高全景拍摄质量，提升用户体验。本申请另一个实例中的包括以下两部分：
第一部分，利用深度信息进行全景校正。预先利用已知距离的图卡或者实景，得到被摄对象、拍摄距离和像平面中实际像点坐标，理想像点坐标的数据，用数据拟合或最小二乘法等确定被摄对象和理想像点坐标之间的映射关系，以此确立不同距离下被摄对象实际像素位置和对应的偏移量。在终端拍摄全景照片时，首先利用终端的测距模块得到被摄对象的深度/距离信息，再利用已知的映射关系或者得到对应像点需要校准的偏移量来处理图像数据。
第二部分，利用图像的相关性处理待校准的图像数据。处理图像数据，对成像点需要插值的地方做插值处理。算法利用待处理像素点周边像素的相关性关系来计算待处理像素点的值，从而解决了常规插值算法在处理细节和平滑性不足的问题。
图3是根据本申请另一个实例的终端的结构示意图，如图3所示，该终端包括存储EEPROM，相机Camera，测距模块，数据处理模块，显示模块。终端设备通过摄像头装置，对场景进行拍摄，获取图像将图像数据处理。这里的数据处理即可以是数据处理芯片也可以是软件实现的处理。全景的照片由于是一帧帧照片的拼接合成的结果，因此对全景照片的前期标定和后期的校准都可以分解成单帧的照片处理。
图4是根据本申请另一个实施例的校正全景拍摄图像的流程图，如图4所示，包括以下步骤：
S401，进入全景拍摄；
S402，初始化摄像；
S403，拍摄全景，并计算深度信息；
S404，加载深度校准数据；
S405，根据当前深度数据，校正所需图像数据；
S406，保存图片。
下面是对全景拍摄图像进行处理的步骤流程，包括以下步骤：
步骤一，对摄像模组镜头的畸变进行校准。
首先利用一系列含位置信息的图卡或者实景进行校准关系的确定，其中图卡不限于棋盘格，同心圆，点阵图等被摄对象。假设实际成像的像素坐标为(x” y”)，校准后的像素坐标(x' y')表示如下，
Figure BDA0001928614360000081
其中k1,k2,k3为径向畸变校准参数，p1,p2为切向畸变校准参数。对应的像素数据用最小二乘法等可以拟合出对应的函数关系。
步骤二，确定被摄对象物点和理想成像点之间的函数关系。
以成像面为基准面，被摄对象距此面的距离表示如下：
(Z1,Z2,...,Zn)
其中n表示需要做标定的n组距离下的图卡或者实景，n值可以根据镜头参数或者计算量及成像效果等做适当调整。在应用时，实际距离不在序列中的数值，用相邻距离值插值计算。
图5是根据本申请另一个实例的坐标系示意图，图6是根据本申请另一个实施例的相机成像平面示意图，如图5和图6所示，假设在距离Z下，被摄物的某个标定点位置信息在世界坐标系中用坐标P表示：P(X,Y,Z)，转换为齐次坐标系表示为：P(X,Y,Z，1)，世界坐标系转换到相机坐标系的转化用矩阵形式表示如下：
Pc(Xc,Yc,Zc,1)＝P(X,Y,Z,1)Mw
Figure BDA0001928614360000091
其中Mw可以实现坐标的平移，旋转，缩放等组合变换，一般取a14,b14,c14＝0，d14＝1。其他参数可以根据对应标定点的信息最小二乘法获得。
由于相机成像是将三维信息投影到二维成像面的过程，这一过程可用投影变换来实现，可以表示如下：
Pp(Xp,Yp,Zp,1)＝Pc(Xc,Yc,Zc,1)Mp
Figure BDA0001928614360000092
MP可以根据标定点的数据和投影模型来确定矩阵中的参数，投影模型根据全景标定点的数据做调整。
相机平面坐标系坐标的单位是m，但使用相机拍摄的影像时我们读取的是像素坐标，所以还需要进一步的坐标转换，如下：
Figure BDA0001928614360000101
Ms也称为相机的内参矩阵，其中(x” y”)齐次变换后，含有距离信息，表示为在距离Z下的实际的像素坐标。合并以上矩阵乘法，可以得到综合变换矩阵M，
Figure BDA0001928614360000102
将(x” y”)再经过由第一步镜头畸变校准的函数，可以得到校准后的图像像素坐标(x' y')，
Figure BDA0001928614360000103
(x' y')再根据实际成像效果做进一步调整，得到最终的理想像素坐标(x y)。
通过不同距离(Z1 ... Zn)下所标定的被摄对象坐标(X Y Z)和对应理想像素坐标(x y)，可以得到不同距离下系列的综合变换矩阵(M1 ... Mn)，将对应的变换矩阵和畸变校准参数存到EEPROM中，待全景拍照时调用。
步骤三，拍摄全景照片的同时，利用终端的测距模块，测试出被摄对象的深度信息，得到坐标(X Y Z)，加载EEPROM中的数据，运算得到校准后的坐标(x y)，如果实测距离不在此前标定的距离序列(Z1 ... Zn)内，先判断当前距离在哪两个序列之间，再加载这两个距离下的校准参数，然后通过插值计算出对应的校准矩阵，最后得到对应的像素坐标。
为减少计算量，可以适当做简化处理，对近处物体采集较密集的校准数据，对距离较远的物体可以适当增大采集的间隔或者对不影响主观效果距离较远部分不做校准。
为减少计算时间，可以直接将不同距离下(Z1 ... Zn)，(X Y Z)及其对应的校准后的像素坐标，存储成表格，后续的校准利用查表实现。
步骤四，利用图像相关性对最终成像做插值处理。一方面，由于使用标定图中均匀或者规律分布的节点作为校准数据的来计算，则对分布在标定点之间的像素点，没有处理，因此需要插值处理。另一方面，针对镜头畸变较大的情况，也需要做插值。
设Z距离处，实际成像点p图像坐标(x,y)，校准后成像点p'图像坐标(x+Δx,y+Δy)，当校准后的图像坐标(x+Δx,y+Δy)非整时，需要插值得到对应的整数位置的像素值。当偏移位置(Δx,Δy)>1，说明实际图像坐标(x,y)和校准后的图像坐标(x+Δx,y+Δy)之间需要补充像素点。跟常规的插值不同，这里利用要补充的像素点跟四周像素的相关性，得到待处理位置像素值。
假设实际像素p，待求解位置的像素为pi，pj为实际像素p邻阈中的像素值，定义邻阈v＝k1*max(Δx,Δy),k1≥1，则
Figure BDA0001928614360000111
w(i,j)为pi和pj相关性权重：
Figure BDA0001928614360000121
其中，Dis(i,j)为pi和pj之间的欧式距离，k2,k3为可调整参数。
Dis(i,j)＝||pi-pj||
步骤五，校正完成，保存校正后的全景图像。
本申请另一个实施例实现的是属于内置***算法。没有独立的用户界面。主要基于终端相机camera拍摄实现的。在使用上述功能的情况下，camera应用界面可以提示“全景拍照中”。
采用上述方案，可以在终端全景拍摄时，改善畸变后者拍摄视场角过大引起的扭曲等，提升全景拍照效果，提升用户体验。
上述方案可以用于全景拍摄的画质提升中，也可以用于360°场景视频监控。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
实施例二
在本实施例中还提供了一种全景拍摄装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
根据本申请的另一个实例实施例，提供了一种全景拍摄装置，包括：
第一获取模块，用于获取全景拍摄中被摄物体的深度信息；
第二获取模块，用于依据预置的深度与偏移量的映射关系获取与所述被摄物体在全景图像中对应的偏移量；
第一校正模块，用于按照所述偏移量对所述被摄物体的所述全景图像进行校正。
在进行全景拍摄时，首先通过测距设备获取被摄物体的深度信息，即被摄物体与拍照设备的距离，然后通过查询预设的映射关系获取与当前距离对应的偏移量，后续相应在全景图像将被摄物体的原始成像进行偏移，形成校正后的全景图像。采用上述方案，解决了相关技术中全景拍摄的图像中物体扭曲较大的问题，精确高效地校正了物体在全景图像上的扭曲，保证了全景成像的美感。
可选地，所述装置还包括建立模块，用于在所述第二获取模块依据预置的深度与偏移量的映射关系获取与所述被摄物体在全景图像中对应的偏移量之前，通过以下方式建立所述映射关系：
第一确定单元，用于对已知场景进行全景拍摄，依据所述已知场
景中不同物体之间的位置关系，确定不同深度的物体在拍摄画面中的理想位置；
第二确定单元，用于依据每个物体的理想位置与拍摄画面中实际位置的区别，确定每个物体的偏移量；
建立单元，用于依据所述每个物体的偏移量，和每个物体的深度信息，建立所述映射关系。
可选地，所述第一确定单元还用于获取所述已知场景中的不同物体之间的距离比例；以及用于依据所述距离比例获取每个物体在拍摄画面中的理想位置。
可选地，所述第一校正模块在按照所述偏移量对所述被摄物体的所述全景图像进行校正之前，还用于获取所述相机的摄像模组镜头的畸变校准参数；以及用于依据所述畸变校准参数对所述全景图像进行校准。
可选地，所述第一校正模块用于获取所述被摄物体在全景图像中原始成像位置；以及用于将所述原始成像位置按照所述偏移量进行移动。
可选地，所述第一校正模块在按照所述偏移量对所述被摄物体的所述全景图像进行校正之后，还用于获取校正后的图像为第一图像，依据预设规则检测出所述第一图像中待插值区域；
以及用于依据所述待插值区域周边预设范围的像素，对所述待插值区域进行插值处理。
可选地，所述第一校正模块还用于检测所述第一图像中的帧数据之间的拼接处，将所述拼接处作为所述待插值区域；
和/或，还用于检测所述第一图像中经过偏移的偏移量大于阈值的像素点，将所述像素点作为所述待插值区域。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例三
根据本申请的另一个实施例，还提供了一种相机，包括：
测距装置，用于获取全景拍摄中被摄物体的深度信息；
处理器，用于依据预置的深度与偏移量的映射关系获取与所述被摄物体在全景图像中对应的偏移量；以及用于按照所述偏移量对所述被摄物体的所述全景图像进行校正。
根据本申请的另一个实施例，还提供了一种移动终端，包括：
测距装置，用于获取全景拍摄中被摄物体的深度信息；
处理器，用于依据预置的深度与偏移量的映射关系获取与所述被摄物体在全景图像中对应的偏移量；以及用于按照所述偏移量对所述被摄物体的所述全景图像进行校正。
本实施例三中的相机和移动终端可以是执行图2流程中的设备。
实施例四
本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
S1，获取全景拍摄中被摄物体的深度信息；
S2，依据预置的深度与偏移量的映射关系获取与所述被摄物体在全景图像中对应的偏移量；
S3，按照所述偏移量对所述被摄物体的所述全景图像进行校正。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本申请的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输装置以及输入输出设备，其中，该传输装置和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取全景拍摄中被摄物体的深度信息；
S2，依据预置的深度与偏移量的映射关系获取与所述被摄物体在全景图像中对应的偏移量；
S3，按照所述偏移量对所述被摄物体的所述全景图像进行校正。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (16)

1.一种全景拍摄方法，其特征在于，包括：
获取全景拍摄中被摄物体的深度信息；
依据预置的深度与偏移量的映射关系获取与所述被摄物体在全景图像中对应的偏移量；
按照所述偏移量对所述被摄物体的所述全景图像进行校正；
其中，依据预置的深度与偏移量的映射关系获取与所述被摄物体在全景图像中对应的偏移量之前，通过以下方式建立所述映射关系：
对已知场景进行全景拍摄，依据所述已知场景中不同物体之间的位置关系，确定不同深度的物体在拍摄画面中的理想位置；
依据每个物体的理想位置与拍摄画面中实际位置的区别，确定每个物体的偏移量；
依据所述每个物体的偏移量，和每个物体的深度信息，建立所述映射关系。
2.根据权利要求1所述的方法，其特征在于，依据所述已知场景中不同物体之间的位置关系，确定不同深度的物体在拍摄画面中的理想位置，包括：
获取所述已知场景中的不同物体之间的距离比例；
依据所述距离比例获取每个物体在拍摄画面中的理想位置。
3.根据权利要求1所述的方法，其特征在于，按照所述偏移量对所述被摄物体的所述全景图像进行校正之前，所述方法还包括：
获取相机的摄像模组镜头的畸变校准参数；
依据所述畸变校准参数对所述全景图像进行校准。
4.根据权利要求1所述的方法，其特征在于，按照所述偏移量对所述被摄物体的所述全景图像进行校正，包括：
获取所述被摄物体在全景图像中原始成像位置；
将所述原始成像位置按照所述偏移量进行移动。
5.根据权利要求1所述的方法，其特征在于，按照所述偏移量对所述被摄物体的所述全景图像进行校正之后，所述方法还包括：
获取校正后的图像为第一图像，依据预设规则检测出所述第一图像中待插值区域；
依据所述待插值区域周边预设范围的像素，对所述待插值区域进行插值处理。
6.根据权利要求5所述的方法，其特征在于，依据预设规则检测出所述第一图像中待插值区域，包括以下至少之一：
检测所述第一图像中的帧数据之间的拼接处，将所述拼接处作为所述待插值区域；
检测所述第一图像中经过偏移的偏移量大于阈值的像素点，将所述像素点作为所述待插值区域。
7.一种全景拍摄装置，其特征在于，包括：
第一获取模块，用于获取全景拍摄中被摄物体的深度信息；
第二获取模块，用于依据预置的深度与偏移量的映射关系获取与所述被摄物体在全景图像中对应的偏移量；
第一校正模块，用于按照所述偏移量对所述被摄物体的所述全景图像进行校正；
其中，
所述装置还包括建立模块，用于在所述第二获取模块依据预置的深度与偏移量的映射关系获取与所述被摄物体在全景图像中对应的偏移量之前，通过以下方式建立所述映射关系：
第一确定单元，用于对已知场景进行全景拍摄，依据所述已知场景中不同物体之间的位置关系，确定不同深度的物体在拍摄画面中的理想位置；
第二确定单元，用于依据每个物体的理想位置与拍摄画面中实际位置的区别，确定每个物体的偏移量；
建立单元，用于依据所述每个物体的偏移量，和每个物体的深度信息，建立所述映射关系。
8.根据权利要求7所述的装置，其特征在于，
所述第一确定单元还用于获取所述已知场景中的不同物体之间的距离比例；以及用于依据所述距离比例获取每个物体在拍摄画面中的理想位置。
9.根据权利要求7所述的装置，其特征在于，
所述第一校正模块在按照所述偏移量对所述被摄物体的所述全景图像进行校正之前，还用于获取相机的摄像模组镜头的畸变校准参数；以及用于依据所述畸变校准参数对所述全景图像进行校准。
10.根据权利要求7所述的装置，其特征在于，
所述第一校正模块用于获取所述被摄物体在全景图像中原始成像位置；以及用于将所述原始成像位置按照所述偏移量进行移动。
11.根据权利要求7所述的装置，其特征在于，
所述第一校正模块在按照所述偏移量对所述被摄物体的所述全景图像进行校正之后，还用于获取校正后的图像为第一图像，依据预设规则检测出所述第一图像中待插值区域；
以及用于依据所述待插值区域周边预设范围的像素，对所述待插值区域进行插值处理。
12.根据权利要求11所述的装置，其特征在于，所述第一校正模块还用于检测所述第一图像中的帧数据之间的拼接处，将所述拼接处作为所述待插值区域；
和/或，还用于检测所述第一图像中经过偏移的偏移量大于阈值的像素点，将所述像素点作为所述待插值区域。
13.一种相机，其特征在于，包括：
测距装置，用于获取全景拍摄中被摄物体的深度信息；
处理器，用于依据预置的深度与偏移量的映射关系获取与所述被摄物体在全景图像中对应的偏移量；以及用于按照所述偏移量对所述被摄物体的所述全景图像进行校正；
所述相机，还用于在依据预置的深度与偏移量的映射关系获取与所述被摄物体在全景图像中对应的偏移量之前，通过以下方式建立所述映射关系：
对已知场景进行全景拍摄，依据所述已知场景中不同物体之间的位置关系，确定不同深度的物体在拍摄画面中的理想位置；
依据每个物体的理想位置与拍摄画面中实际位置的区别，确定每个物体的偏移量；
依据所述每个物体的偏移量，和每个物体的深度信息，建立所述映射关系。
14.一种移动终端，其特征在于，包括：
测距装置，用于获取全景拍摄中被摄物体的深度信息；
处理器，用于依据预置的深度与偏移量的映射关系获取与所述被摄物体在全景图像中对应的偏移量；以及用于按照所述偏移量对所述被摄物体的所述全景图像进行校正；
所述移动终端，还用于在依据预置的深度与偏移量的映射关系获取与所述被摄物体在全景图像中对应的偏移量之前，通过以下方式建立所述映射关系：
对已知场景进行全景拍摄，依据所述已知场景中不同物体之间的位置关系，确定不同深度的物体在拍摄画面中的理想位置；
依据每个物体的理想位置与拍摄画面中实际位置的区别，确定每个物体的偏移量；
依据所述每个物体的偏移量，和每个物体的深度信息，建立所述映射关系。
15.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。
16.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。
CN201811629211.6A 2018-12-28 2018-12-28 全景拍摄方法及装置、相机、移动终端 Active CN111385461B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811629211.6A CN111385461B (zh) 2018-12-28 2018-12-28 全景拍摄方法及装置、相机、移动终端
US17/418,536 US11523056B2 (en) 2018-12-28 2019-08-20 Panoramic photographing method and device, camera and mobile terminal
PCT/CN2019/101489 WO2020134123A1 (zh) 2018-12-28 2019-08-20 全景拍摄方法及装置、相机、移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811629211.6A CN111385461B (zh) 2018-12-28 2018-12-28 全景拍摄方法及装置、相机、移动终端

Publications (2)

Publication Number Publication Date
CN111385461A CN111385461A (zh) 2020-07-07
CN111385461B true CN111385461B (zh) 2022-08-02

Family

ID=71128293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811629211.6A Active CN111385461B (zh) 2018-12-28 2018-12-28 全景拍摄方法及装置、相机、移动终端

Country Status (3)

Country Link
US (1) US11523056B2 (zh)
CN (1) CN111385461B (zh)
WO (1) WO2020134123A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913236A (zh) * 2021-02-09 2022-08-16 深圳市汇顶科技股份有限公司 相机标定方法、装置及电子设备
CN116452481A (zh) * 2023-04-19 2023-07-18 北京拙河科技有限公司 一种多角度组合拍摄方法及装置
CN117593225B (zh) * 2023-11-14 2024-05-28 自行科技(武汉)有限公司 电子后视镜下光心偏移处理方法、***、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593350A (zh) * 2008-05-30 2009-12-02 日电（中国）有限公司 深度自适应视频拼接的方法、装置和***
CN103035005A (zh) * 2012-12-13 2013-04-10 广州致远电子股份有限公司 一种全景泊车的标定方法，及装置，一种自动标定方法
CN105243637A (zh) * 2015-09-21 2016-01-13 武汉海达数云技术有限公司 一种基于三维激光点云进行全景影像拼接方法
CN105262958A (zh) * 2015-10-15 2016-01-20 电子科技大学 一种虚拟视点的全景特写拼接***及其方法
CN106651755A (zh) * 2016-11-17 2017-05-10 宇龙计算机通信科技(深圳)有限公司 一种终端全景图像处理方法、装置及终端

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2477793A (en) * 2010-02-15 2011-08-17 Sony Corp A method of creating a stereoscopic image in a client device
US20120133639A1 (en) * 2010-11-30 2012-05-31 Microsoft Corporation Strip panorama
CN106447735A (zh) * 2016-10-14 2017-02-22 安徽协创物联网技术有限公司 一种全景相机几何标定处理方法
US10262238B2 (en) * 2017-04-13 2019-04-16 Facebook, Inc. Panoramic camera systems
CN107071281A (zh) * 2017-04-19 2017-08-18 珠海市魅族科技有限公司 全景拍摄方法及装置
CN108805801A (zh) * 2018-05-24 2018-11-13 北京华捷艾米科技有限公司 一种全景图像校正方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593350A (zh) * 2008-05-30 2009-12-02 日电（中国）有限公司 深度自适应视频拼接的方法、装置和***
CN103035005A (zh) * 2012-12-13 2013-04-10 广州致远电子股份有限公司 一种全景泊车的标定方法，及装置，一种自动标定方法
CN105243637A (zh) * 2015-09-21 2016-01-13 武汉海达数云技术有限公司 一种基于三维激光点云进行全景影像拼接方法
CN105262958A (zh) * 2015-10-15 2016-01-20 电子科技大学 一种虚拟视点的全景特写拼接***及其方法
CN106651755A (zh) * 2016-11-17 2017-05-10 宇龙计算机通信科技(深圳)有限公司 一种终端全景图像处理方法、装置及终端

Also Published As

Publication number Publication date
WO2020134123A1 (zh) 2020-07-02
US11523056B2 (en) 2022-12-06
US20220124247A1 (en) 2022-04-21
CN111385461A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
US9558543B2 (en) Image fusion method and image processing apparatus
CN107948519B (zh) 图像处理方法、装置及设备
CN109474780B (zh) 一种用于图像处理的方法和装置
CN108600576B (zh) 图像处理装置、方法和***以及计算机可读记录介质
CN106550184B (zh) 照片处理方法及装置
CN109672871B (zh) 白平衡信息同步方法、装置及计算机可读介质
JP2017505004A (ja) 画像生成方法及びデュアルレンズ装置
CN111385461B (zh) 全景拍摄方法及装置、相机、移动终端
CN107704798B (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN110099220B (zh) 一种全景拼接方法及装置
CN109785390B (zh) 一种用于图像矫正的方法和装置
CN109685853A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN112470192A (zh) 双摄像头标定方法、电子设备、计算机可读存储介质
CN112261292B (zh) 图像获取方法、终端、芯片及存储介质
CN109785225B (zh) 一种用于图像矫正的方法和装置
CN109257540B (zh) 多摄镜头组的摄影校正方法及摄影装置
CN111866369B (zh) 图像处理方法及装置
CN107395989A (zh) 图像拼接方法、用于图像拼接的移动终端和***
CN116245734A (zh) 全景图像生成方法、装置、设备和存储介质
CN115834860A (zh) 背景虚化方法、装置、设备、存储介质和程序产品
JP2017103695A (ja) 画像処理装置、画像処理方法、及びそのプログラム
CN109658459A (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN109191396B (zh) 人像处理方法和装置、电子设备、计算机可读存储介质
CN109379521B (zh) 摄像头标定方法、装置、计算机设备和存储介质
CN104796615B (zh) 一种ois防抖马达的大像素拍摄方法、***及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant