CN105453131B - 图像的自动调整 - Google Patents

图像的自动调整 Download PDF

Info

Publication number
CN105453131B
CN105453131B CN201380022060.7A CN201380022060A CN105453131B CN 105453131 B CN105453131 B CN 105453131B CN 201380022060 A CN201380022060 A CN 201380022060A CN 105453131 B CN105453131 B CN 105453131B
Authority
CN
China
Prior art keywords
image
implementations
camera
homography
scenery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380022060.7A
Other languages
English (en)
Other versions
CN105453131A (zh
Inventor
E·谢克特曼
王珏
李贤濬
李承勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Academy Industry Foundation of POSTECH
Adobe Inc
Original Assignee
Academy Industry Foundation of POSTECH
Adobe Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Academy Industry Foundation of POSTECH, Adobe Systems Inc filed Critical Academy Industry Foundation of POSTECH
Publication of CN105453131A publication Critical patent/CN105453131A/zh
Application granted granted Critical
Publication of CN105453131B publication Critical patent/CN105453131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

用于数字图像的自动竖直调整的技术和装置。描述一种自动竖直调整技术，该技术可以提供用于伸直在输入图像中的偏斜特征以提高其感知质量的自动化方式。这一校正可以称为竖直调整。可以在竖直调整中使用基于人类感知的判据集合。描述一种实施优化框架的再投影技术，该技术产生用于基于判据调整的最优单应性并且根据通过优化而产生的新相机参数调整图像。描述一种基于优化的相机校准技术，该技术同时估计消没线和点以及用于图像的相机参数；该校准技术可以例如用来生成向再投影技术输入的相机参数以及消没点和线的估计。

Description

图像的自动调整
有关申请
本申请按照35U.S.C.第119(e)节要求提交于2012年4月27日 并且名称为“Techniques and Apparatus for Automatic Adjustment of Digital Images”的第61/639,721号美国临时专利申请的优先权，其公 开内容通过完全引用结合于此。
背景技术
拍摄者捕获的图像(无论数字图像或者常规胶卷图像)经常包 含透视失真。具体地，人造结构经常在随意拍摄者捕获的照片中表 现失真，因为景物布局经常与人类感知的预计冲突。例如，在捕获 摩天大楼的图像时，在图像中的建筑物可能歪斜、因此未表现直立。 这可以归因于视点被物理地约束，因此从最好视点捕获一个或者多 个图像是不可能的。在这些情况下，用户(拍摄者、艺术家等)可 能想要应用透视失真校正以改进原有数字或者数字化图像以使它表 现如同从更好视点捕获景物一样。然而，这一种失真由于至少透视 失真校正涉及到三维(3D)旋转这样的原因而难以手动修复。
发明内容
描述涉及到图像的自动竖直调整的技术。竖直调整技术可以提 供用于伸直在输入图像中的偏斜人造特征(或者其它特征、比如相 对直立的自然特征、比如树木和视界)以提高其感知质量的自动化 方式。这一校正可以称为竖直调整。基于人类感知研究来描述判据 集合用于竖直调整。此外，描述如下优化框架，该优化框架产生用 于调整的最优单应性。另外，描述一种基于优化的相机校准技术， 该技术在与常规技术比较时有利地执行并且使自动竖直调整技术的 实现方式对于广泛多种图像可靠地工作。
实现方式可以提供一种用于图像的竖直调整的自动***，该系 统可以利用用于定量地测量人造结构或者其它图像特征的感知的质 量的若干判据。按照判据，再投影技术可以实施如下能量最小化框 架，该能量最小化框架计算用于最小化偏斜结构和其它图像特征的 感知的失真的最优单应性。此外，可以运用比常规技术更准确和健 壮的相机校准技术以同时估计消没线和点以及相机参数并且可以用 来生成可以例如向再投影技术输入的相机参数以及消没线和点的估 计。
自动竖直调整技术的实现方式可以处置至少一些自然景物以及 人造特征的景物。实现方式可以对广泛图像可靠地工作而未涉及到 用户交互。
附图说明
图1示出根据至少一些实现方式的图像的竖直调整的各种示例。
图2是根据至少一些实现方式的自动竖直调整的高级流程图。
图3是根据至少一些实现方式的再投影技术的流程图。
图4是根据至少一些实现方式的相机校准技术的流程图。
图5图示Perkin法则。
图6A和图6B图示根据至少一些实现方式的拐角点提取技术的 结果。
图7A和图7B图示根据至少一些实现方式的检测弯曲边缘像素。
图8A至图8C图示根据至少一些实现方式的具有大相机旋转的 照片的调整。
图9A至图9C图示根据至少一些实现方式的透视失真控制。
图10A至图10D图示根据至少一些实现方式的相机校准技术的 过程。
图11A和图11B比较自动竖直调整技术的实现方式的结果与手 动生成的结果。
图12比较自动竖直调整技术的实现方式的结果与使用倾斜移位 透镜而捕获的图像。
图13A和图13B图示根据至少一些实现方式的调整的图像的裁 剪。
图14A至图14C比较自动竖直调整技术的实现方式的结果与常 规矫正技术的结果。
图15A和图15B图示自动竖直调整技术的实现方式的结果。
图16A和图16B图示自动竖直调整技术的实现方式的结果。
图17A和图17B图示自动竖直调整技术的实现方式的结果。
图18A和图18B图示自动竖直调整技术的实现方式的结果。
图19A和图19B图示自动竖直调整技术的实现方式的结果。
图20A和图20B图示自动竖直调整技术的实现方式的结果。
图21A和图21B图示自动竖直调整技术的实现方式的结果。
图22A和图22B图示自动竖直调整技术的实现方式的结果。
图22C图示曼哈顿和亚特兰大世界假设的示例。
图23图示根据至少一些实现方式的可以实施自动竖直调整技术 的一个或者多个示例模块。
图24图示可以在实现方式中使用的示例计算机***。
具体实施方式
尽管这里通过示例对于若干实现方式和示例附图描述技术，但 是本领域技术人员将认识本发明不限于描述的实现方式或者附图。 应当理解附图及其见图描述未旨在于使本发明限于公开的具体形 式，但是恰好相反，旨在于覆盖落入本发明的精神实质和范围内的 所有修改、等效和备选。这里使用的标题仅用于组织目的而无意于 用来限制该描述的范围。如贯穿本申请所用，在允许意义(即意味 着有可能)而不是强制意义(即意味着必须)上使用字眼“可以”。 相似地，字眼“包括”意味着包括但不限于。
概述
大部分消费者照片包含人造结构、比如具有建筑物和街道的市 区景物以及具有墙壁和家具的室内景物。然而恰当地拍摄这些结构 不是一项容易的任务。业余拍摄者拍摄的照片如在图1的左栏中所 示经常由于不恰当相机旋转而包含偏斜建筑物、墙壁和视界。
人类视觉***(这里称为人类感知或者感知)一般预计可能在 一些景物中出现的高的人造结构和一些其它特征以及与眼睛水平线 平行的视界。与这一***冲突可能造成查看者在注视包含偏斜(未 竖直)结构或者其它特征、比如倾斜(未水平)视界时的不适感。
因而描述自动图像调整技术。例如一种自动调整技术可以利用 单个单应性以在用于景物的统一深度假设之下校正照片。单应性可 以用来描述在图像与景物之间的关系、比如描述图像的视点与景物 的关系。因此，单应性在这一示例中可以用来调整图像以增加与人 类感知的预计的一致性。
例如，描述一种竖直调整技术的实现方式，这些实现方式提供 用于伸直在输入图像中预计相对直立的偏斜或者倾斜人造结构和自 然特征、比如树木和视界以提高其感知质量的自动化方式。这一校 正可以称为竖直调整。描述在竖直调整期间应用的基于人类感知研 究的判据集合。可以用多种方式计算单应性、比如通过使用优化框 架，该优化框架被配置为产生用于根据判据调整的最优单应性。
自动调整技术的实现方式也可以用来调整输入图像的透视图以 提高其可视质量。在至少一些实现方式中，为了实现这一点，基于 感知理论定义判据集合。可以应用优化框架用于测量和根据判据调 整透视图。在至少一些实现方式中，可以结合附加约束以避免对特 征、比如脸部或者圆圈的透视失真。除了用于调整静止照片的应用 之外，实现方式还可以适于调整视频帧，因此图像可以用来指代任 一实例。
此外，描述相机校准技术。相机校准技术可以用来描述图像的 特性。这些特性然后可以用作为用于如以上那样调整图像的基础。 例如相机校准技术可以相互结合、即同时用来估计消没线和点以及 相机参数。这些估计然后可以作为以上单应性的部分用来基于以人 类感知为基础的判据变换图像以实现可视地合理结果。可以关于以 下相机校准章节发现相机校准技术的进一步讨论。
在以下具体描述中，阐述许多具体细节以提供要求保护的主题 内容的透彻理解。然而本领域技术人员将理解可以实现要求保护的 主题内容而无这些具体细节。在其它实例中，尚未具体描述本领域 普通技术人员将已知的技术、装置或者***以免模糊要求保护的主 题内容。
在对在具体装置或者专用计算设备或者平台的存储器内存储的 二进制数字信号的操作的算法或者符号表示方面呈现本说明书的以 下一些部分。在这一具体说明书的上下文中，术语具体装置等包括 通用计算机，该通用计算机一旦它被编程为按照来自程序软件的指 令执行特定功能。算法描述或者符号表示是数据处理或者有关领域 普通技术人员用来向本领域其他技术人员传达他们的工作实质的技 术的示例。算法在这里并且一般视为促成所需结果的自一致操作序 列或者相似处理。在本文中，算法或者操作涉及到物理数量的物理 操控。通常但是并非必需，这样的数量可以采用能够存储、传送、 组合、比较或者以别的方式和操控的电或者磁信号的形式。主要出 于普遍用法的原因而将这样的信号称为位、数据、值、单元、符号、 字符、项、数目、数值等有时是便利的。然而应当理解所有这些或 者相似术语将与适当物理数量关联并且仅为便利标记。除非另有具 体地陈述，如从以下讨论中清楚的是，认识贯穿本说明书，利用术 语、比如“处理”、“计算”、“运算”、“确定”等的讨论指代具体装置、 比如专用计算机或者相似专用电子计算设备的动作或者过程。在本说明书的上下文中，专用计算机或者相似专用电子计算设备能够操 控或者变换通常在专用计算机或者相似专用电子计算设备存储器、 寄存器或者其它信息存储设备、传输设备或者显示设备内表示为物 理电子或者磁数量的信号。
实现方式示例
图1示出根据自动竖直调整技术的至少一些实现方式的图像的 竖直调整的各种示例。左栏示出原有图像，而右栏示出根据这里描 述的竖直调整技术的实现方式生成的所得图像。顶部两个图像(a) 示出来自街道水平的市区建筑物景物，第二两个图像(b)示出平面 板，接下来两个图像(c)示出室内餐厅景物，接下来两个图像(d) 示出航空市区景物，并且最后两个图像(e)示出具有山脉和树木的 自然景物。
假设景物相对于它与相机的距离的深度变化小，校正偏斜结构 涉及到图像平面的3D旋转。这一校正可以称为竖直调整，因为它用 来使人造(或者其它)结构如人类感知预计的那样表现“直立”。已 经知道相似校正为可以通过使用常规数字图像处理工具或者在捕获 期间使用特殊倾斜移位透镜来手动卷包图像而实现的梯形失真和透 视校正。然而这些工具的目标领域通常涉及到建筑物的正面，而竖 直调整技术的实现方式未显式地假设在景物中的具体对象类型。此 外，人造校正还可以涉及到特殊技能并且在用来处理数十或者数百 张照片时变得令人厌烦。
实现方式可以提供一种用于照片的竖直调整的自动***，该系 统包括但不限于以下各项：
·基于对人类感知的先前研究的若干判据，这些判据用于定量地 测量人造结构或者其它图像特征的感知的质量；
·按照判据的能量最小化框架，能量最小化框架计算最优单应 性，该最优单应性可以有效地最小化偏斜结构和其它图像特征的感 知的失真；以及
·相机校准技术，该相机校准技术同时估计消没线和点以及相机 参数并且比常规技术更准确和健壮。
自动竖直调整技术的实现方式可以处置至少一些自然景物以及 人造特征的景物(例如，见图1中的最后两个图像(e))。实现方 式也可以对广泛图像可靠地工作而无用户交互。
自动调整技术
图2是描绘根据至少一些实现方式的自动调整技术的高级流程 图。如在100所示，低级线检测技术可以应用于输入图像(或者在 输入图像集合、比如视频序列的帧中的每个图像)以检测在图像中 的线和边缘。可以使用多种技术中的任何技术。如在110所示，以 至少线段作为输入的相机校准技术可以用来估计消没点和线以及其 它相机参数。在文本中随后描述可以在至少一些实现方式中用来同 时估计消没点和线以及相机参数的基于优化的健壮相机校准技术。
如在120所示，根据相机参数以及消没点和线执行再投影以有 效地执行竖直调整。可以使用再投影模型，该再投影模型意味着使 用具有新定向的在可能不同定位放置的另一相机来重新拍摄矫正的 景物。在至少一些实现方式中，也可以允许这一新相机在水平和竖 直方向上具有不同焦距。描述可以在估计在执行再投影时使用的新 相机时使用的能量最小化或者优化框架，该框架计算最优单应性， 该最优单应性可以有效地最小化拍那些结构和其它图像特征的感知 的失真。如以上描述的那样，单应性描述在相同平面表面的两个图 像、比如图像景物的不同透视图之间的关系。因此，单应性在这一 示例中可以用来调整在图像中的景物的视点以与人类感知的预计一 致。能量最小化框架可以考虑用于基于关于人类感知的观测定量地 测量人造结构和其它图像特征的感知的质量的若干判据。
如在130所示，可以可选地裁剪所得调整的图像。可以自动或 者手动执行裁剪。图13A和图13B图示根据至少一些实现方式的调 整的图像的裁剪。图13A示出根据自动竖直调整技术的实现方式生 成的调整的图像，并且图13B示出从图13A的图像截取的裁剪。
图3是根据至少一些实现方式的再投影技术的流程图，该再投 影技术用于校正景物的图像、比如数字或者数字化照片，从而调整 应当根据人类感知而表现实质上竖直和/或水平的特征。图3的流程 图提供根据至少一些实现方式的图2的单元120的细节。如在200所示，可以获得本征相机参数、比如焦距和投影中心(例如，本征 参数矩阵“K”)和3D旋转信息(例如，3D旋转矩阵“R”)以及消没 点和线(例如，曼哈顿方向“M”)、即景物的主要线结构被对准到在 三个维度中的“x”、“y”和“z”方向。例如，可以假设矩形建筑物按照 世界的主方向被定向。
相机参数、3D旋转信息和消没点信息可以统称为原有相机信息。 在至少一些实现方式中，消没点和线以及相机参数和旋转可以通过 如在本文中随后描述的基于优化的健壮相机校准技术来估计，该相 机校准技术可以用来同时估计消没点和线以及相机参数和旋转。然 而在一些实现方式中，可以用别的方式估计和/或获得消没点和线、 相机参数和/或3D旋转。在输入信息给定时，该技术计算单应性， 该单应性可以应用于输入图像以有效地最小化在图像中的偏斜或者 倾斜人造结构和其它图像特征的感知的方向。
可以在计算单应性时使用人类感知判据，这些人类感知判据定 量地测量人造结构或者其它图像特征的感知的质量。在至少一些实 现方式中，为了计算单应性，计算可以在再投影图像时使用的新相 机信息。在至少一些实现方式中，为了计算新相机信息，可以如在 210所示最小化包含基于人类感知判决的能量项的能量函数以估计 用于图像的新本征相机参数和新3D旋转。可以根据在单元200获得 的原有相机信息初始化能量函数。在标题为判据的章节中描述基于 人类感知的判据，这些判据可以作为能量项用来约束优化。在标题 为调整优化框架的章节的、标题为能量项的子章节中描述这些判据 的数学公式表示。在至少一些实现方式中，可以受制于对透视失真 的约束来最小化能量函数。在至少一些实现方式中，可以受制于实 施为能量项之一的关于图像失真的约束来最小化能量函数以最小化 特征、比如圆圈以及人类体形和脸部的失真。其它能量项可以包括 但不限于画面框对准能量项和眼睛水平线对准能项。如在220所示， 然后可以根据单应性再投影图像。在至少一些实现方式中，单应性 可以由再投影模型(见等式(A2))定义，该再投影模型将原有相 机参数和3D旋转(在等式(A2)中的K和R)以及在单元210计 算的新相机参数和3D旋转(在等式(A2)中的K1和R1)结合到原 有图像。在至少一些实现方式中，再投影模型还结合平移(在等式 (A2)中的t1)。
将单应性应用于图像可以在概念上视为使用具有新定向的在可 能不同定位放置的另一相机来重新捕获景物。在至少一些实现方式 中，也可以允许这一新相机在水平和竖直方向上具有不同焦距。在 至少一些实现方式中，可以在最小化能量函数时应用作为能量函数 的能量项之一而实施的约束以防止在水平和竖直方向上的焦距变化 太多。图3的技术的输出是调整的图像，其中调整图像的将根据人 类感知而表现实质上竖直和/或水平的一个或者多个特征以与在人眼 预计在查看图像时看见的特征时更一致。对于已经调整的水平特征 的示例，见图19A——其中视界在原有图像中略微倾斜——和图 19B——其中视界已经被调整为更水平。对于已经调整的竖直特征的 示例，见图22A——其中地平线的建筑物由于用来捕获原有图像的 透镜的光学特征而倾斜——和图22B——其中建筑物已经被调整为 实质上竖直。可以在图1(a)至图1(e)以及图14A至图21B中看见其 它示例。
图4是根据至少一些实现方式的相机校准技术的流程图。图4 的流程图提供根据至少一些实现方式的图2的单元110的细节。相 机校准技术可以相互结合估计用于输入图像的相机参数以及消没点 和线。可以向图3的技术输入相机校准技术的输出。然而注意相机 校准技术可以用来生成用于其它数字图像处理技术的相机参数和/或 消没点信息。
如在300所示，可以获得来自输入图像的线段集合。低级线检 测技术可以应用于输入图像(或者在输入图像集合、比如视频序列 的帧中的每个图像)以检测在图像中的线和边缘。各种技术中的任 何技术可以用来检测线段。如在310所示，可以确定用于校准技术的初始值。如在320所示，可以迭代地优化能量函数以同时估计用 于输入图像的相机本征参数矩阵“K”、定向矩阵“R”(例如，可以用 来在二维或者三维空间中描述旋转的旋转矩阵)和消没点。相机本 征参数矩阵“K”可以描述值、比如焦距、在一个或者多个方向(例如， “x”方向和“y”方向)上的像素大小和主点(例如，可以使用“x”坐标 和“y”坐标来定义)。如在330所示，可以确定用于每个消没点的消 没线。
在以下章节中，更具体描述图2至图4的各种单元。首先描述 可以在至少一些实现方式中使用的用于照片的竖直调整的判据集 合。然后描述可以在至少一些实现方式中使用的图像变换的公式表 示。然后描述可以在至少一些实现方式中使用的用于根据判据执行 竖直调整的能量最小化框架。能量最小化框架假设根据相机校准技 术或者其它技术估计的输入相机参数以及消没点和线作为输入。最 后描述可以在至少一些实现方式中用来同时估计用于输入图像的相 机参数以及消没点和线的相机校准技术的实现方式。
判据
具有良好地结构化的人造对象的景物包括关于人类感知而假设 为在世界坐标中水平或者竖直的许多直线。这里描述的基于人类感 知观测的判据反映这些特性。这些判据中的一个或者多个判据可以 在优化单应性(见等式(A2))时在优化框架中周围约束用来估计 在图像的再投影中使用的新相机参数(具有附加3D旋转R1和平移 t1的新本征参数矩阵K1)。注意在标题为调整优化框架的章节的、 子标题为能量项的子章节中数学地描述在这一章节中描述的判据。
画面框对准
在注视大平面正面或者封闭平面对象、比如油画时，它通常被 感知为与查看方向正交，并且假设水平和水平对象分别与世界平行 和垂直。在查看相同景物的照片时，人为画面框(即图像的边界) 对对象线施加显著对准约束，并且如果对象线方向未与画面框定向， 则查看者可能感觉不适。图1(a)和图1(b)示出典型示例。应当注意这 样的人为成分随着线方向未对准变得更大而变得更少明显，因为在 该情况下，查看者开始从偏斜平面感知3D深度。
眼睛水平线对准
可以定义照片的眼睛水平线为包含2D线，该2D线包含与地面 平行的3D线的消没点。在空旷场地或者海洋的景物中，眼睛水平线 可以与视界重合。然而即使在视界不可见时，仍然可以定义眼睛水 平线为具体消没点的连接线。眼睛水平线对准可以在竖直调整中发 挥显著作用、尤其在无将向画面框对准的其它主要对象线时。例如， 在图1(d)中，不可见眼睛水平线主要地用来校正相机的不想要旋转。
透视失真
由于人类未通常看见在自然视野(FOV)以外的对象，所以对 象可以在对象被描绘为如同它在FOV以外时显得失真。这一失真可 能在普通照片中难以被看见，除非它们用宽角度透镜来拍摄。然而 如果大旋转被应用于与相机定向的大改变对应的图像平面则这样的 失真可能发生。为了防止这发生，至少一些实现方式可以被配置为 在竖直调整过程中显式地约束透视失真。
图像失真
在变换被应用于照片时，不能避免图像失真。然而，人类视觉 ***可以容许矩形对象的失真而它对圆圈、脸部和其它相似对象的 失真敏感。可以在竖直调整技术的至少一些实现方式中考虑这一现 象以尽可能减少在所得图像中的感知的失真。
用于竖直调整的图像变换的公式表示
实现方式可以假设深度信息不可用于输入图像，因此单应性可 以用来变换用于竖直调整的图像。可以在一些实现方式中使用变换、 比如内容保留卷包。然而，这样的变换包含更多自由度并且因此涉 及到然后利用用户交互或者关于景物几何形状的附加信息来满足的 大量可靠约束。因而单应性可以用来实现尤其用于人造结构的可视 地合理结果。可以使用以下等式、用单应性矩阵“H”矫正给定的图像：
p′＝Hp＝K(KR)-1P，
(A1)
其中“p”和“p”’分别代表在图像中的定位及其再投影，“K”和“R”分别 是相机的本征参数和定向矩阵：
其中“Rψ，”“Rθ，”和“Rφ”分别是沿着“x”轴、“y”轴和“z”轴具有角度“ψ”、 “θ”和“φ”的旋转矩阵。注意“R”可以这里称为定向矩阵“R”。
在一些实例中，图像矫正可以生成可视地令人不悦的结果(例 如，见图9B)。在自动竖直调整技术的至少一些实现方式中，为了 竖直调整，可以修改等式(A1)以支持用于比简单矫正的结果增强 结果的感知质量的灵活控制。在至少一些实现方式中，以下再投影模型可以定义单应性：
p′＝Hp＝K1{R1(KR)-1p+u1}， (A2)
其中：
R1＝Rψ1Rθ1Rφ1，
并且
t1＝{t1x t1y 0]T，
与等式(A1)比较，等式(A2)包含具有附加三维旋转“R”和平 移“t1”的本征参数矩阵“K1”。这一再投影模型意味着使用具有新定向 的在可能不同定位放置的另一相机来重新拍摄矫正的景物。在至少 一些实现方式中，也可以允许这一新相机在水平和竖直方向上具有 不同焦距。
调整优化框架
在这一章节中，描述用于根据在标题为判据的章节中定义的基 于人类感知的判据的、在标题为用于竖直调整的图像变换的公式表示的章节中用公式表示的图像变换(等式(A2))的能量函数。在 至少一些实现方式中，可以假设相机参数“K”和“R”已经通过相机校 准技术来估计。因此，在等式(A2)中有九个未知数“f1x”、“f1y”、“u1”、 “v1”、“ψ1”、“θ1”、“φ1”、“tx”和“ty”。然而“u1”和“v1”简单地移位在变 换之后的结果图像并且因此可以被设置为“u1＝u0”和“v1＝v0”。在至少 一些实现方式中，目标因此变成关于单应性矩阵“H”的七个参数优化 等式(A2)。
虽然其它技术也可以用于相机校准，但是在标题为相机校准技 术的章节中呈现可以在至少一些实现方式中使用的用于健壮相机校 准的技术。在相机校准技术中，至少一些实现方式可以采用曼哈顿 世界假设、即景物的主要线结构被对准到在三个维度中的“x”、“y” 和“z”方向。例如可以假设矩形建筑物按照世界的主方向被定向。
在至少一些实现方式中，除了“K”和“R”之外还可以获得曼哈顿 方向“M＝[vx vyvz]”，其中“vx”、“vy”和“vz”分别代表与“x”、“y”和“z” 方向对应的三个消没点。也可以获得消没线“Lx”、“Ly”和“Lz”的三个 射束，这些消没线分别包含在消没点“vx”、“vy”和“vz”相交的二维线。 在“Lx”、“Ly”和“Lz”中的消没线分别是与“x”、“y”和“z”平行的三维线 的投影。
能量项
画面框对准
对于将与画面框对准的景物的主要线结构，与“x”和“y”方向对应 的消没线出于人类感知的目的而应当分别在照片中水平和竖直。即， 在“Lx”和“Ly”中的消没线将被单应性“H”变换成水平和竖直线从而使 消没点“vx”和“vy”分别在“x”方向和“y”方向上放置于无穷。
令“1”为消没线并且“p”和“q”为“1”的两个端点。可以表达变换的 线“1”的方向如下：
其中：
表达式“ez＝[0 0 1]T可以用来规范化同构坐标。在至少一些实现方式 中，可以定义能量项为：
其中“dyi”是在“Ly，ex＝[1 0 0]T”中的消没线“lyi”的变换的线“l′yi”的方向， 并且是“l′yi”从竖直方向的偏离。对于在“Lx”中的消没线“lxj”相似 地定义项“dxi”，并且“ey＝[0 1 0]T”用来测量水平设备。
在等式(A4)中，用于线“1”的权值“w”是校准的焦距“f”规范化 的在变换之前的原有线长度、即：
w＝||q-p||/f.
在至少一些实现方式中，可以使用初始旋转角度来自适应地确 定权值“λv”和“λh”，因为画面框对准约束随着旋转角度变得更大而变得 更弱。至少一些实现方式可以使用：
其中“ψ”和“θ”分别是沿着“x”和“y”轴的校准的旋转角度。“σv”和“σh”是 可用来控制旋转角度的容差的参数。在至少一些实现方式中，可以 固定这些控制参数为“σv＝π/12”和“σh＝π/15”。其它值可以用于控制参 数，并且在一些实现方式中，控制参数可以例如经由向用户接口的 用户输入而可调整。
视平线对准
可以定义在照片中的视平线对准为连接两个消没点“vx”和“vz”的 线。令”v′x”和“v′z”为变换的消没点：
涉及人类感知的目标可以是使视平线水平。在至少一些实现方 式中，可以定义能量项为：
其中
de＝(v′z-v′x)/||v′z-v′x||，
并且“wi”和“wj”是在等式(A4)中使用的权值。由于即使在照片包含 许多消没线时实行视平线对准，这样的实现方式仍然可以按照线权 值之和对“Eeye”进行加权以相对于“Epic”恰当地缩放“Eeye”。
透视失真
可以如图5中所示使用Perkins法则来测量立方体的透视失真。 根据Perkins法则，可以将立方体的顶点划分成两个类别：叉和箭头 接合点。对于叉接合点，定义“a1”、“a2”和“a3”大于“π/2”。对于箭头 接合点，定义“β1”和“β2”二者小于“π/2”，并且定义两个角度之和大于 “π/2”。违反以上条件的顶点对于查看者不会被感知为立方体的顶点。
为了应用Perkins法则，至少一些实现方式可以检测位于立方体 的顶点上的拐角点。首先，提取如下点，来自两个或者三个不同轴 的消没先的起点或者端点在这些点汇合。均值移位算法(或者备选 地为某种其它技术)然后可以应用于这些点以去除重复或者附近点。 在至少一些实现方式中，也可以去除具有太小拐角角度的拐角点。 图6A和图6B图示根据至少一些实现方式的这一拐角点提取技术的 结果。标记提取的点为点阵。
提取的拐角点可以用来在Perkins法则之下测量透视失真。对于 每个拐角点，绘制将拐角点连接到三个消没点的三个线。然后测量 在三个线之间的角度以了解是否违反Perkins法则：
其中“ci”代表拐角点。至少一些实现方式仅考虑叉接合点，因为可以 通过交换边缘的方向将箭头接合点变换成叉接合点。
图像失真
在至少一些实现方式中，可以检测在输入图像中的圆圈和其它 特征以准确地测量图像失真。然而准确地检测这些特征可能有困难。 因此，至少一些实现方式可以代之以使用如以下描述的近似。
首先，可以例如使用Canny检测器来检测低级图像边缘。然后 可以去除可以在直线附近的边缘像素。假设剩余边缘像素来自可以 从一些特征始发的曲线(见图7A和图7B)，可以例如使用以下雅 可比测量来测量这些像素的失真：
其中“pi是剩余边缘像素，“J(·)”是雅可比矩阵，并且“det(·)”是行列式。 可以离散地计算像素“p”的雅可比矩阵。例如，令“q”和“r”是“p”的两 个邻居像素，从而“p＝(x，y)T”、“q＝(x+1，y)T”和“r＝(x，y+1)T”，。然后近似 “p”在单应性“H”的雅可比矩阵为：
这一能量在非硬性变换应用于像素从而引起特征的失真时增加。对 于“λr”，至少一些实现方式可以使用小值(例如，10-4)。图7A示 出示例原有图像，并且图7B示出可以在其中检测到一些特征——比 如人类头部和字母——的检测到的弯曲边缘像素的示例。
焦距差值
在至少一些实现方式中，可以使用用于单应性的再投影模型， 该再投影模型允许沿着“x”和“y”轴的不同焦距以求更自然结果。然 而，出于人类感知的目的，两个焦距不会相差太多。为了实行这一 性质，可以定义以下能量：
Efacal＝λf(f1x-f1y)2，
在至少一些实现方式中：
λf＝(4/f)2，
能量函数最小化
在至少一些实现方式中，可以为了竖直调整而最小化的能量函 数通过组合以上能量项中的每个能量项而变成：
以上表达式受制于涉及Perkins法则的以上等式十六。因而有待优化 的九个未知数：“K1”、“R1”和“t1”，这些未知数包括如以上定义的“f1x”、 “f1y”、“u1”、“v1”、“ψ1”、“θ1”、“tx”和“ty”。然而“u1”和“v1”简单地移 位在变换之后的所得图像，因此“u1＝u0”和“v1＝v0”。因此，可以相对于 七个参数优化以上等式三。为了初始化变量，至少一些实现方式可 以使用下式：
f1x＝f1y＝f，ψ1＝0，θ1＝0，φ1＝-φ，and tx＝ty＝0，
其中f和φ是可以例如通过相机校准而获得的值。
注意这一能量函数非线性并且在闭合形式中不可求解。在至少 一些实现方式中，例如使用Matlab中的“fmincon”或者相似函数的数 值技术可以用来最小化能量函数。虽然未确保全局最优，但是这一 方式在实践中工作良好。注意其它实现方式可以使用其它技术以最 小化能量函数。
单应性优化参数
在至少一些实现方式中可以调整以上描述的用于单应性优化的 参数以满足用户的意图。例如可以不推荐放宽视平线约束，因为实 行这一判据以获得可视地更好结果。然而用户可能希望通过操控“σv” 和“σh3”来控制画面框对准的效果以避免太激进调整。因此，至少一些 实现方式可以提供例如经由用户接口的技术，用户可以经由该用户 接口调整一个或者多个单应性优化参数。
竖直调整标准的效果
图8A至图8C图示根据至少一些实现方式的具有大相机旋转的 照片的调整。图8A示出原有图像，图8B示出如常规地矫正的图像， 并且图8C示出这里描述的技术的实现方式的应用结果。画面框对准 可能是大平面对象、比如建筑物和布告板的正面的照片所希望的。 然而其效果可能随着相机的旋转角度增加而削弱，否则它可能造成 不希望的失真(例如，见图8B)。注意如果画面框对准以其它判据 为主，则调整结果变成与简单图像矫正相似。至少一些实现方式可 以用自适应权值方案(等式(A5))以及透视和图像失真判据自动处置这一问题从而生成如图8C中所示更好结果。
图9A至图9C图示根据至少一些实现方式的透视失真控制。图 9A示出原有图像。图9B示出在无透视失真约束时通过调整图9A的 图像而生成的所得图像。图9C示出根据至少一些实现方式的在无透 视失真约束时通过调整图9A的图像而生成的所得图像。视平线对准 可以随着画面框对准的效果变得更弱而变得越来越合乎需要(见图1(d))，但是应用这一判据可以帮助获得更好结果。透视失真控制防 止可能使在图像中的对象表现失真的太强调整(例如，见图9B和图 9C)。在至少一些实现方式中，可以允许在“x”和“y”方向上的焦距 用等式(A3)略微地偏离从而产生小纵横比改变以易化透视失真。
相机校准技术
在这一章节中，描述用于相机校准的多种不同基于优化的技术， 这些技术可以在自动竖直调整技术的至少一些实现方式中用来估计 在等式(2)中的矩阵“K”和“R”。因而，描述一种这样的技术的第一 示例，然后是另一示例。
第一相机校准示例
在至少一些常规校准技术中，首先使用从输入照片检测到的消 没线和消没点来确定曼哈顿方向“M”，然后从“M”直接获得“K”和 “R”。然而在确定“M”时，用于“x”轴、“y”轴和“z”轴的对应消没点可 能不明显，因为可能有许多可能有定位误差的消没点。然后，在这样的实例中向“K”和“R”立即传播“M”的不准确性。
对照而言，这里描述的相机校准技术的实现方式可以例如使用 最大后验(MAP)方式来相互结合(即“同时”)估计“K”、“R”和“M”， 该MP方式可以产生与这些常规技术比较具有增加的可靠性的结果。
尽管描述相机校准技术为在自动竖直调整技术的至少一些实现 方式中用来估计用于输入图像的相机参数以及消没点和线，但是注 意该技术可以在除了这里描述的技术之外的其它数字图像处理技术 中用来估计用于输入图像的相机参数和/或消没点和线。
线段检测
线段是在校准技术的实现方式中的基本原语。从输入图像可以 例如使用多比例方式的技术来提取线段“L”的集合。对于每个线段 “li”，可以存储其两个端点“pi”和“qi”。
校准公式表示
在至少一些实现方式中，可以表达曼哈顿方向“M”、本征矩阵“K” 和定向矩阵“R”相对于线段L的联合概率如下：
p(K，R，M|L)∝p(L|K，R，M)p(K，R，M)
＝p(L|M)p(M|K，R)p(K)p(R)， (A9)
而假设“K”和“R”相互独立并且也独立于“L”。通过取对数概率，等式 (A9)可以被改写成能量函数为：
EK，R，M|L＝EK+ER+EM|K，R+EL|M.
(A10)
先验EK
为了定义用于“K”的先验，至少一些实现方式可以假设投影中心 “cp＝(u0，v0)”是图像中心“c1＝(cx，cy)”并且焦距“f”是图像宽度“W”。然后 可以定义“EK”为：
至少一些实现方式可以设置“λf为0.04”和“λc为(10/W)2”。然而，可以在 如以下进一步描述的其它实现方式中使用其它值。
先验Er
对于“R”的先验，至少一些实现方式可以假设相机的定向对于世 界的主轴对准，这在多数情况下是合理假设。在至少一些实现方式 中：
ER＝λψψ2+λθθ2+λφφ2，
在至少一些实现方式中，三个旋转角度未被同等地加权。具体 地，可以发现用于φ(z轴旋转)的先验应当更强以实行视平线对准。 因此，至少一些实现方式可以使用：
[λψ，，λθ，λφ]＝[4/π，3/π，6/π]2.
后验EM|K，R
在至少一些实现方式中，如果“K”和“R”已知，则可以估计“M” 为：
M＝[vx vy vz]＝(KR)I3，
其中“I3＝[ex ey ez]”是单位矩阵。在至少一些实现方式中，使用这一性 质，可以用公式表示能量函数如下：
这一能量函数覆盖曼哈顿方向的正交性和用于顶点的先验。在 至少一些实现方式中，可以设置“λM”为“(24/π)2”。然而，可以在一些实 现方式中使用用于“λM”的其它值。
后验EL|M
这一项测量检测到的线段与估计的消没点的相符性。在至少一 些实现方式中，可能希望如下消没点，对于这些消没点，更多线段 可以是消没线的部分。在至少一些实现方式中，能量函数是：
其中“d(·)”是在消没点与线之间的距离。至少一些实现方式可以使用 以下距离定义：
其中“p”和“q”是“1”的两个端点并且：
“δ”是给定的最大误差值。在至少一些实现方式中，“δ”可以是1.75。 在至少一些实现方式中，“λL”可以被设置成0.02。然而，注意其它值 可以在一些实现方式中用于“δ”和/或“λL”。
处理遗漏消没点
在估计“M”时，可能在一些情况下未发现所有三个消没点。在至 少一些实现方式中，为了健壮性，能量项“EM|K，R”和“EL|M”可以能够处 置这一情况。在至少一些实现方式中，对于“EM|K，R”，能量可以对于 遗漏消没点被设置成零，其中假设该点位于使用“K”和“R”而估计的 定位。在至少一些实现方式中，对于“EL|M，d(vmiss，li)对于li为δ”。
K、R和M的迭代优化
有了以上定义的能量项，直接优化等式(A10)可能有困难，因 为它高度地非线性。因此，至少一些实现方式可以使用迭代技术以 发现近似求解。
在至少一些实现方式中，在迭代技术中，该技术可以交替地优 化“K”、“R”和“M”。在至少一些实现方式中，通过固定“M”，可以 按照下式用K”和“R”优化等式(A10)：
相似地，在至少一些实现方式中，可以通过求解下式来实现“M” 的优化：
为了在给定“M”时优化“K”和“R”，至少一些实现方式可以使用 Matlab中的“fminsearch”或者相似函数或者某种其它优化技术。然而 “M”的优化即使“K”和“R”固定仍然可能有困难，因为“EL|M”如在等式 (A11)中定义的那样将距离截短成“δ”。为了求解等式(13)，至 少一些实现方式可以使用离散近似。
在至少一些实现方式中，从线段“L”可以假设大的消没点集合 “V＝[v1，v2，…，vn]”，其中计算每个元素为两个随机选择的线的交点。优 化“M”因此变成从“V”选择消没点以最小化在等式(A13)中的能量。 对于M＝[vx vy vz]的每个元素，发现“V”中的使能量最小化而保持其它 两个元素的消没点。
在至少一些实现方式中，可以用以下方式从“V”选择“与所有线 最接近”的小子集“Vc＝{Vc1，Vc2，…，Vck}”：
其中在至少一些实现方式中“k＝9”。在至少一些实现方式中，可以向 “Vc”中添加代表遗漏消没点的特殊消没点“vmiss”，因为“Vc”可以不含景 物的曼哈顿方向中的每个曼哈顿方向。对于在“Vc”中的消没点的每个 三元组，至少一些实现方式可以使用等式(A12)和(A13)来优化 “K”、“R”和“M”、然后评估等式(AIO)。最后，具有最小能量的“K”、 “R”和“M”可以用作校准结果。
在至少一些实现方式中，虽然初始“Vc”可以不含曼哈顿方向中的 每个曼哈顿方向，所以可以在迭代优化过程中优化等式(A13)之时 从“V”检测遗漏方向。然而优化用于在“Vc”中的可能三元组中的每个 三元组优化的“K”、“R”和“M”可能计算成本高。因此，至少一些实 现方式可以使用如以下进一步具体描述的用于加速的一个或者多个 及早终止策略。
对消没线进行分组
在校准过程之后，至少一些实现方式可以确定用于在“M”中的每 个消没点的消没线。可以通过下式从“L”获得三个消没线集合“Lx”、 “Ly”和“Lz”：
L1＝{1∈L|d(vi，l)＜δ}，i∈{x，y，z}，
其中“d(·)”是在等式(A11)中定义的距离函数。在图10A至图10D 中示出用估计的消没线的相机校准结果的示例。
相机校准参数
在至少一些实现方式中，可以固定用于相机校准的参数的值。 然而在其它实现方式中，可以指定值。可以例如用实验确定用于这 些参数的值。“δ”与在线段定位中的噪声的容差。如果设置“δ”太小或 者太大，则算法可能未发现最优消没点，因为线段可能被更少准确 地分组。“δ”也与“λL”有关，因为能量函数“EL|M”与截短成“δ”的在线与 消没点之间的距离有关。一般而言，“λL”随着“δ”增加而减少，否则校 准结果可能在过量数量上依赖于“EL|M”。
减少“φ”、“n”和“kc”可以加速计算而代价为更少准确的估计。此 外，将更大值用于这些参数可能未改进估计结果。与许多其它相机 校准技术相似，校准技术的实现方式被随机化并且偶然地可能获得 不希望的结果。然而，有了关于“K”和“R”的先验以及“K”、“R”和“M” 的同时优化，可以在多数情况下实现稳定结果。至少一些实现方式 可以提供例如经由用户接口的技术，用户可以经由该用户接口调整 一个或者多个相机校准参数。
相机校准初始化
下文概括相机校准技术并且描述用于该技术的初始化细节。目 标是估计相机本征参数矩阵“K”和定向“R”以及从单个图像的曼哈顿 方向“MR”。在至少一些实现方式中，这可以通过最小化以下能量函 数来完成：
EK，R，M|L＝EK+ER+EM|K，R+EL|M. (B1)
(注意也示出这一能量函数为等式(A10))。至少一些实现方式可 以使用交替优化方案以优化“K”、“R”和“M”。在一些实现方式中， 固定“M”以用以下等式更新“K”和“R”：
然后通过固定“K”和“R”来更新M为：
这一优化过程可以相互结合、即“同时”优化“K”、“R”和“M”。在 至少一些实现方式中，为了确定初始值，从“V”选择小子集 “{vc1，vc2，…，vck}”。然后，从“Vc”选择三个消没点作为初始“M”以评估等 式(B1)。
在至少一些实现方式中，基于曼哈顿假设，可以选择可以使“EL|M” 最小化如下的“Vc”：
其中“n”是线段数目并且“d(·)”是以上定义的距离函数。在至少一些实 施方式中，“k＝9”。对于在“Vc”中的消没点的每个三元组，可以通过 相对于三元组优化“K”和“R”来评估等式(B1)。然而在选择消没点 时，一些消没点经常可能遗漏，因为可能无代表具体曼哈顿方向的 消没点(例如，见图10B)。
在至少一些实现方式中，这通过向“Vc”中添加代表遗漏消没点 “vmiss”的特殊消没点来建模，从而“Vc＝{vcl，…，vck，vmiss}”然后可以从“Vc” 选择消没点的三元组以构建“M”如下：
M＝[vx vy vz]
1≤x，y，z≤k+1
如果x，y，z≤k则x≠y≠z，
其中“vx”、“vy”和“vz”是“Vc”的第“x”、“y”和“z”个元素。有了这一表示， 可以构建包括遗漏消没点的“M”。
一旦构建初始“M”，可以优化“K”、“R”和“M”。然而对于可能三 元组中的每个三元组进行优化可能涉及到大量计算，因此在至少一 些实现方式中可以使用以下策略。对于每个三元组，使用等式(B2) 来优化“K”和“R”。然后，评估等式(B1)而无“M”的任何进一步优化。三元组中的每个三元组按照它们的评估的能量值来排序，然后 选择若干三元组作为向迭代优化的输入。在至少一些实现方式中， 可以选择其能量值是在所有三元组之中的最小值的两倍的三元组。
图10A至图10D图示根据至少一些实现方式的相机校准技术的 过程。该技术可以有效地发现曼哈顿方向并且同时估计相机参数。 图10A示出输入图像。在图10B中，未良好估计沿着x轴的曼哈顿 方向，因为“Vc”无恰当对应消没点。在迭代优化步骤期间处置这一问 题；在图10C中，估计正确M。在图10D中，虚线所示两个轴的原 点指示投影中心。
第二相机校准示例
如以上描述的那样，来自单个图像的相机参数的校准是高度地 不良引起的问题。在先前方式、比如曼哈顿世界假设中利用若干先 验。在这一章节中，首先描述校准先验集合，然后用公式表示校准 技术为最大a-后验(MAP)估计，然后描述优化算法。
景物先验
曼哈顿世界假设是在单图像相机校准方法中的最常见先验。它 假设在景物中存在三个主导正交方向，这些主导正交方向如图22C 中所示称为“曼哈顿方向”。通过提取那些方向，可以恢复参考世界 坐标轴，并且可以校准相机参数。
尽管曼哈顿世界模型有效，但是在一些情况下，景物可以具有 未对准的多个正交方向、比如两组建筑物而在它们的水平方向之间 有非直角(见图22C)，这可以称为“亚特兰大”世界假设。在这一示 例中，运用其中进行亚特兰大世界假设的相似先验。例如，该假设可以指定输入图像具有主导正交框而附加水平方向共享相同竖直方 向。
相机先验
一些技术利用关于相机的本征参数矩阵“K”的先验。该假设是相 机以像素为尺度的焦距与图像的宽度相同并且投影的中心是图像中 心，从而：
其中分别地，“W”是图像宽度并且“(cx cy)”是图像中心。
对于关于外部相机定向“R”的先验，采用人们倾向于对准他们的 相机与世界的主轴(principal ace)这样的人类倾向。在这一假设之 下，定向矩阵“R”的旋转角度为小，从而：
{ψ，θ，φ}＝0，其中R＝RψRθRφ
校准公式表示
同前，使用线段作为用于校准的基本源语。从输入图像以多比 例方式提取线段集合“L”。存储每个线段“li”而它在投影平面“p2”中的 两个端点为“pi”和“qi”。
一旦提取线段，校准相机参数“K”和“R”。为了利用校准先验， 在校准期间提取曼哈顿方向“M”和附加水平消没点“A”，其中：
M＝[vx vy vz]和A＝[va1 va2…vak]，
并且“v”代表在“p2”中的消没点。可以格式化“K”、“R”、“M”和“A”相 对于“L”的联合概率如下：
p(K，R，M，A|L)∝p(L|K，R，M，A)p(K，R，M，A)
＝p(L|M，A)p(M，A|K，R)p(K)p(R)
而假设为“K”和“R”相互独立并且也独立于“L”。通过取对数，可以将 以上表达式转换成以下能量函数：
EK，R，M|L＝EK+ER+EM，A|K，R+EL|M，A
为了计算“EL|M，A”’，使用景物先验。在曼哈顿字词假设之下，代表 更多线段的消没点的三元组合乎需要。另外，对于“M”和“A”的并集， 可能希望具有尽可能多的线段作为消没线。因而，可以用公式表示 能量函数如下：
其中“li代表线段。值“”dm(·)”用来测量在消没点集合“V＝{v1，v2，…，vk}” 与线段“1”之间的最小距离如下：
dm(V，l)＝min{d(v1，l)、d(v2，l)，…，d(vk，l)}
值“d((·)”用于使用以下定义来测量在消没点与线之间的距离：
其中“p”和“q”是“1”的两个端点并且
值“δ”代表给定的最大误差值，该最大误差值在示例中是1.75。值“λLm” 和“λLq”在这一示例中分别设置成0.01和0.02，但是也设想其它示例。
值“EK”和“ER”与相机先验有关。从本征参数矩阵“K”和“R”，可以 获得以下表达式：
并且
ER＝λψψ2+λθθ2+λφφ2
对于”EK”，设置值“λf”为0.001而设置“λC”为“(4/W)2”。对于“ER”，三 个旋转角度未被同等地加权。具体地，发现用于“φ”(即z轴旋转) 的先验更强对于实行视平线对准可以是有益的。因此，可以利用以 下表达式：
[λψ，λθ，λφ]＝[3/π，2/π，6/π]2
为了计算“EM，A|K，R”，假设可以独立地计算“EM|K，R”和“EA|K，R，从而：
EM，A|K，R＝EM|K，R+EA|K，R
然后，如果“K”和“R”已知，则可以估计“M”为：
M＝[vx vy vz]＝(KR)I3
其中“I3＝[ex ey ez]”是单位矩阵。使用这一性质，可以用公式表示“EM，K|R” 如下：
其中在一个或者多个示例中设置“λm”为“(48/π)2”。值“A”代表水平方向 并且因此将与“ey”垂直。因此，可以用公式表示“EA|K，R”如下：
其中“vai”代表水平消没点并且在一个或者多个示例中设置“λA”为 “(48/π)2”。
遗漏消没点
迭代方式可以用来使用以上定义的能量项来发现求解。在迭代 中，以交替方式优化值“K”和“R”、“M”和“A”。如果“M”和“A”固定， 则可以按照下式相对于“K”和“R”优化以上用于“EM，A|K，R”的能量函数：
相似地，可以通过求解以下表达式来实现“M”和“A”的优化：
而固定其它参数。
为了优化“K”和“R”，至少一些实现方式可以使用Matlab中的 “fminsearch”或者相似函数或者某种其它优化技术。在另一方面，“M” 和“A”的优化仍然可能有困难，因为“EL|M，A”如以上描述的那样将距离 截短成“δ”并且“A”的大小未知。
为了求解以上表达式，可以利用离散近似。例如从线段“L”，可 以假设大消没点集合“V＝[v1 v2…vn vmiss]”，其中除了代表遗漏消没点 的“vmiss”之外计算每个元素为两个随机选择线的交点。可以在一个或 者多个示例中设置值“n”为“2000”。优化“M”和“A”因此变成从“V”选 择消没点以最小化在以上表达式中的能量。
为了最小化“M”，对于“M＝[vx vy vz]”的每个元素，发现“V”中的使 能量最小化而保持其它两个元素的消没点。为了优化“A”，可以使用 贪心算法，其中从“V”逐个选择使以上用于“A”的优化表达式最小化 的消没点直至能量未减少。
为了产生“M”的初始值，以如下方式从“V”选择“与所有线最接 近”的小子集“Vc{vc，vc2…，vck}”：
其中在一个或者多个示例中设置“k”等于九。也向“Vc”中添加值“vmiss”。
对于在“Vc”中的消没点的每个三元组，优化初始“K”和“R”，设置 “M”为三元组，并且“A”为空。然后优化初始“A”。然后使用以上表 达式来优化并且使用以上能量函数来评估变量中的每个变量，该能 量函数取以上联合概率的对数。最后，具有最小能量的“K”、“R”、“M” 和“A”的值用作校准结果。虽然初始“Vc”可以不含曼哈顿方向中的每 个曼哈顿方向，但是可以在使用以上表达式来优化“M”作为迭代优化 过程的部分之时从“V”检测遗漏方向。
在校准过程之后，确定用于“M”中的每个消没点的消没线。按照 下式从“L”获得消没线“Lx”、“Ly”和“Lz”的三个射束：
Li＝{1∈L|d(vi，l)＜δ}，i∈{x，y，z}
其中“d(·)”是如以上描述的距离函数。
利用外部信息
可以重新用公式表示MAP公式表示为各种形式以利用用户或者 相机制造者提供的附加信息。例如，如果给定则可以固定焦距或者 投影中心。可以检测、但是如果景物严格地遵循曼哈顿世界假设则 可以忽略附加水平消没点“A”。在这样的情况下，“EL|M，A”和“EM，A|K，R”分 别变成“L|M”和“EM|K，R”，并且可以执行校准而未检测附加水平消没点。
与手动校正比较
图11A和图11B比较自动竖直调整技术的实现方式的结果与手 动生成的结果。收集良好对准的原有图像集合。用任意旋转矩阵旋 转每个图像以产生破坏的结果。若干用户使用数字图像处理应用的 透镜校正工具来手动调整变换的照片。也使用自动竖直调整技术的 实现方式来变换相同破坏的图像。图11A和图11B示出结果中的一 些结果用于比较。可见手动调整结果与自动竖直调整技术生成的结 果相似。
为了确认自动竖直调整技术正确地执行竖直调整，比较该计算 计算的旋转角度与实况值。由于已经良好地拍摄原有照片，所以该 计算计算的旋转角度应当与实况值相似。发现旋转角度的差值小。
与倾斜移位透镜比较
图12比较自动竖直调整技术的实现方式的结果与使用倾斜移位 透镜而捕获的图像。捕获若干对照片用于比较。对于每对，首先常 规地捕获景物，然后使用透镜的移位功能来捕获第二图像以拍摄景 物的竖直版本。然后使用自动竖直调整技术的实现方式来调整常规 照片并且与来自倾斜移位透镜的竖直版本的结果比较。图12示出一 些示例结果。可见自动竖直调整技术生成的结果与使用倾斜移位而 捕获的图像相似。
示例结果
图14A至图22B示出根据至少一些实现方式的自动竖直调整的 附加结构。图14A示出坐在走廊秋千中的人的景物的原有图像。图 14B示出向图14A的图像应用的常规矫正技术的结果。注意在图像 中、具体在秋千和人类体形中的失真。图14C示出根据至少一些实现方式的向图14A的图像应用的自动竖直调整技术的结果。注意在 与图14B比较时有秋千和人类体形的很少或者无失真。
图15A示出坐在厨房中的人类的景物的原有图像。图15B示出 根据至少一些实现方式的向图15A的图像应用的自动竖直调整技术 的结果。注意已经调整前景和背景特征而有人类体形或者其它特征 的很少或者无失真。
图16A示出飞机的内部的景物的原有图像。图16B示出根据至 少一些实现方式的向图16A的图像应用的自动竖直调整技术的结 果。
图17A示出店面景物的原有图像。图17B示出根据至少一些实 现方式的向图17A的图像应用的自动竖直调整技术的结果。
图18A示出具有板饰和图片的墙壁的原有图像。图17B示出根 据至少一些实现方式的向图18A的图像应用的自动竖直调整技术的 结果。
图19A示出包含未对准视界的原有图像。图19B示出根据至少 一些实现方式的向图19A的图像应用的自动竖直调整技术的结果。
图20A示出门的原有图像。图20B示出根据至少一些实现方式 的向图20A的图像应用的自动竖直调整技术的结果。
图21A示出包括笔迹的海报的原有图像。图21B示出根据至少 一些实现方式的向图21A的图像应用的自动竖直调整技术的结果。
图22A示出用宽角度透镜拍摄并且因此包含失真的城市景物的 原有图像。图22B示出根据至少一些实现方式的向图22A的图像应 用的自动竖直调整技术的结果。
示例***
一些实现方式可以包括用于如这里描述的图像、比如数字或者 数字化照片的自动竖直调整的装置。例如，应用的一个或者多个模 块可以如这里描述的那样接收输入、包括但不限于图像、从图像获 得线段并且执行校准技术以同时估计相机参数以及消没点和线。此 外，应用的一个或者多个模块可以如这里描述的那样获得用于图像 的相机参数以及消没点和线的估计并且相对于单应性矩阵的参数优 化再投影模型以使用基于人类感知的一个或者多个判据作为能量项 约束优化来估计新相机参数并且根据新相机参数再投影图像。一个 或者多个模块可以在一些实现方式中由计算装置的非瞬态、计算机 可读存储介质和一个或者多个处理器实施。计算机可读存储介质可 以存储一个或者多个处理器可执行的程序指令以使计算装置执行如 这里描述的相机校准技术和/或再投影技术。一个或者多个模块的其 它实现方式可以至少部分由例如在非易失性存储器中存储的硬件电 路装置和/或固件实施。
图23图示可以实施如图1至图22B中所示用于图像的自动竖直 调整的技术中的一种或者多种技术的一个或者多个示例模块。图24 图示可以在其上实施模块900的实现方式的示例计算机***。模块900接收各自显示景物的一个或者多个数字相机910A作为输入。在一些实现方式中，模块900可以经由用户接口902接收用户输入912， 该用户输入指定用于如这里描述的相机校准技术和/或用于如这里描 述的再投影技术的一个或者多个参数。模块900执行低级线检测904 以从图像910A获得线段。模块900然后执行相机校准906以估计用 于图像910A的相机参数和消没点信息。模块900然后执行如这里描 述的估计新相机参数的再投影技术908并且将新相机参数应用于再 投影图像910A。模块900生成用于每个输入图像910A的调整的图 像910B作为输出。调整的图像910B可以例如显示于显示器930设备上、存储到存储介质940、比如***存储器、盘驱动、DVD、CD 等和/或传递到一个或者多个其它模块950用于附加处理。在一些实 现方式中，模块900可以在输出调整的图像910B之前裁剪再投影的 图像。可以实施如图1至图22B中所示用于图像的自动竖直调整的 模块900或者技术中的一种或者多种技术的实现方式为用于应用的 插件、为库函数和/或为单独应用。可以在包括但不限于 和After 的任何图像处理应用中实施如这里描述的模块或者技术和 算法中的一个或者多个技术和算法的实现方式。Adobe、PhotoShop、 PhotoShopElements和Adobe After Effects是Adobe Systems Incorporation在美国和/或其它国家内的注册商标或者商标。
可以在可以与各种其它设备交互的一个或者多个计算机***上 执行如图1至图22B中所示用于图像的自动竖直调整的技术的实现 方式。图24图示一个这样的计算机***。在不同实现方式中，计算 机***1000可以是各种类型的设备、包括但不限于个人计算机***、 桌面型计算机、膝上型、笔记本或者上网本计算机、平板或者写字 板设备、大型机计算机***、手持计算机、工作站、网络计算机、 相机、机顶盒、移动设备、无线电话、智能电话、消费者设备、视 频游戏控制台、手持视频游戏设备、应用服务器、存储设备、*** 设备、比如交换机、调制解调器、路由器或者一般为任何类型的计 算或者电子设备中的任何设备。
在所示实现方式中，计算机***1000包括经由输入/输出(I/O) 接口1030耦合到***存储器1020的一个或者多个处理器1010。计 算机***1000还包括耦合到I/O接口1030的网络接口1040和一个 或者多个输入/输出设备1050、比如光标控制设备1060、键盘1070和显示器1080。计算机***1000也可以包括作为输入/输出设备的 一个或者多个具有触摸或者多触摸功能的设备、例如具有触摸功能 的显示器和/或平板。在一些实现方式中，设想可以使用计算机*** 1000的单个实例来实施实现方式，而在其它实现方式中，多个这样的***或者组成计算机***1000的多个节点可以被配置为托管实现 方式的不同部分或者实例。例如在一个实现方式中，一些单元可以 经由计算机***1000的与实施其它单元的那些节点不同的一个或者 多个节点来实施。
在各种实现方式中，计算机***1000可以是包括一个处理器 1010的单处理器***或者包括若干处理器1010(例如，两个、四个、 八个或者另一适当数目)的多处理器***。处理器1010可以是能够 执行指令的任何适当处理器。例如在各种实现方式中，处理器1010可以是实施多种指令集架构(ISA)、比如x86、PowerPC、SPARC 或者MIPS ISA或者任何其它适当ISA中的任何ISA的通用或者嵌 入式处理器。在多处理器***中，处理器1010中的每个处理器可以 公共地但是未必实施相同ISA。
在一些实现方式中，至少一个处理器1010可以是图形处理单元。 图形处理单元或者GPU可以视为用于个人计算机、工作站、游戏控 制台或者其它计算或者电子设备的专用图形渲染设备。现代GPU可 以操控和显示计算机图形很高效，并且它们的高度地并行结构可以 使它们比用于复杂图形算法范围的典型CPU更有效。例如图形处理 器可以用如下方式实施多个图形原语操作，该方式使得比向具有主 机中央处理单元(CPU)的屏幕直接绘制快得多地执行它们。在各 种实现方式中，这里公开的图像处理算法可以至少部分由被配置用 于在这样的GPU之一上执行或者在这样的GPU中的两个或者更多 GPU上并行执行的程序指令实施。GPU可以实施允许程序员调用 GPU的功能的一个或者多个应用程序员接口(API)。适当GPU可 以从销售者、比如NVIDIA Corporation、ATI Technologies(AMD) 和其它销售者可商用。
***存储器1020可以被配置为存储处理器1010可访问的程序 指令和/或数据。在各种实现方式中，可以使用任何适当存储器技术、 比如静态随机存取存储器(SRAM)、同步动态RAM(SDRAM)、 非易失性/闪存型存储器或者任何其它类型的存储器来实施***存储器1020。在所示实现方式中，在***存储器1020内示出实施希望的 功能——比如以上描述的用于如图1至图22B中所示用于图像的自 动竖直调整的技术的实现方式的功能——的程序指令和数据分别为 程序指令1025和数据存储装置1035。在其它实现方式中，可以接收发送或者在不同类型的计算机可访问介质上或者在从***存储器 1020或者计算机***1000分离的相似介质上存储程序指令和/或数 据。一般而言，计算机可访问介质可以包括经由I/O接口1030耦合 到计算机***1000的存储介质或者存储器介质、比如磁或者光介质、 例如盘或者CD/DVD-ROM。可以通过传输介质或者信号、比如电、 电磁或者数字信号传输经由计算机可访问介质存储的程序指令和数 据，这些信号可以经由比如可以经由网络接口1040实施的通信介质、 比如网络和/或无线链路来运送。
在一个实现方式中，I/O接口1030可以被配置为协调在处理器 1010、***存储器1020和在设备中的任何***设备、包括网络接 口1040或者其它***设备、比如输入/输出设备1050之间的I/O流 量。在一些实现方式中，I/O接口1030可以执行用于将来自一个部件(例如，***存储器1020)变换成适合用于由另一部件(例如， 处理器1010)使用的格式的数据信号的任何必需协议、定时或者其 它数据变换。在一些实现方式中，I/O接口1030可以例如包括支持 通过各种类型的***总线、比如***部件互连(PCI)总线标准或者 通用串行总线(USB)标准的变体附着的设备。在一些实现方式中， I/O接口1030的功能可以例如被拆分成两个或者更多分离部件、比 如北桥和南桥。此外，在一些实现方式中，I/O接口1030的功能中 的一些或者所有功能、比如与***存储器1020的接口可以被直接地 结合到处理器1010中。
网络接口1040可以被配置为允许数据在计算机***1000与附 着到网络的其它设备、比如其它计算机***之间或者在计算机*** 1000的节点之间被交换。在各种实现方式中，网络接口1040可以例 如支持经由有线或者无线通用数据网络、比如任何适当类型的以太 网网络；经由远程通信/电话网络、比如模拟语音网络或者数字光纤 通信网络；经由存储区域网络、比如光纤信道SAN或者经由任何其 它适当类型的网络和/或协议的通信。
输入/输出设备1050可以在一些实现方式中包括一个或者多个 显示终端、键盘、键区、触板、扫描设备、语音或者光识别设备或 者适合用于一个或者多个计算机***1000录入或者取回数据的任何 其它设备。多个输入/输出设备1050可以存储于计算机***1000中 或者可以分布于计算机***1000的各种节点上。在一些实现方式中， 相似输入/输出设备可以从计算机***1000分离并且可以通过有线 或者无线连接、比如通过网络接口1040与计算机***1000的一个 或者多个节点交互。
如图24中所示，存储器1020可以包括配置为实施如图1至图 22B中所示用于图像的自动竖直调整的技术的实现方式的程序指令 1025和包括程序指令1025可访问的各种数据的数据存储装置1035。 在一个实现方式中，程序指令1025可以包括如以上各图中所示用于 图像的自动竖直调整的技术的实现方式的软件单元。数据存储装置 1035可以包括可以在实现方式中使用的数据。在其它实现方式中， 可以包括其它或者不同软件单元和数据。
本领域技术人员将认识计算机***1000仅为示例而未旨在于限 制如这里描述的用于图像的自动竖直调整的技术的范围。具体地， 计算机***和设备可以包括可以执行所示功能的硬件或者软件的任 何组合、包括计算机、个人计算机***、桌面型计算机、膝上型、 笔记本或者上网本计算机、平板或者写字板设备、大型机计算机系 统、手持计算机、工作站、网络计算机、相机、机顶盒、移动设备、 网络设备、因特网装置、PDA、无线电话、智能电话、寻呼机、消 费者设备、视频游戏控制台、手持视频游戏设备、应用服务器、存 储设备、***设备、比如交换机、调制解调器、路由器或者一般为 任何类型的计算或者电子设备。计算机***1000也可以连接到未图 示的其它设备或者代之以可以作为单独***操作。此外，可以在一 些实现方式中在更少部件中组合或者在附加部件中分布所示部件提 供的功能。相似地，在一些实现方式中，可以未提供所示部件中的 一些部件的功能和/或其它附加功能可以可用。
本领域技术人员也将认识尽管图示各种项目为在使用之时存储 于存储器中或者存储装置上，但是可以在存储器与其它存储设备之 间传送这些项目或者它们的部分用于存储器管理和数据完整性的目 的。备选地，在其它实现方式中，软件部件中的一些或者所有软件 部件可以在另一设备上的存储器中执行并且经由计算机间通信与所 示计算机***通信。数据结构的***部件中的一些或者所有***部 件也可以(例如，作为指令或者结构化数据)存储于计算机可访问 介质或者便携物品上以由适当驱动读取，以上描述该适当驱动的各 种示例。在一些实现方式中，在从计算机***1000分离的计算机可 访问介质上存储的指令可以经由传输介质或者信号、比如电、电磁 或者数字信号被发送到计算机***1000，这些信号经由通信介质、 比如网络和/或无线链路来运送。各种实现方式还可以包括接收、发 送或者在计算机可访问介质上存储根据前文描述而实施的指令和/或 数据。因而，可以用其它计算机***配置实现本发明。
结论
各种实现方式还可以包括接收、发送或者在计算机可访问介质 上存储根据前文描述而实施的指令和/或数据。一般而言，计算机可访问介质可以包括存储介质或者存储器介质、比如磁或者光介质、 例如盘或者DVD/CD-ROM、易失性或者非易失性介质、比如RAM(例如SDRAM、DDR、RDRAM、SRAM等)、ROM等以及传输 介质或者信号、比如电、电磁或者数字信号，这些信号经由通信介 质、比如网络和/或无线链路来运送。
如各图中图示和这里描述的各种技术代表技术的示例实现方 式。可以在软件、硬件或者其组合中实施。可以改变技术的顺序并 且可以添加、重新排序、组合、省略、修改等各种单元。
可以如从本公开内容受益的本领域技术人员将清楚的那样进行 各种修改和改变。旨在于本发明涵盖所有这样的修改和改变，因而 将在示例而非限制意义上对待以上描述。

Claims (19)

1.一种由一个或者多个计算设备实施的方法，所述方法包括：
获得用于景物的图像的相机信息，所述景物包括具有线的一个或者多个特征；
基于所述相机信息计算单应性，所述单应性将被应用于所述图像以调整所述景物的所述一个或者多个特征相对于所述图像的轴而言的对准，所述单应性至少部分根据一个或者多个基于人类感知的判据来计算，其中所述一个或者多个基于人类感知的判据包括可用来约束所述一个或者多个特征的失真的图像失真判据；以及
根据所述单应性再投影所述图像以生成所述景物的调整的图像，所述调整的图像具有所述景物的所述一个或者多个特征的所述线相对于所述图像的所述轴而言的所述调整的对准。
2.根据权利要求1所述的方法，其中所述轴是竖直轴或者水平轴，并且所述一个或者多个特征与在所述调整的图像中的所述竖直轴或者水平轴实质上对准。
3.根据权利要求1所述的方法，其中所述单应性根据所述一个或者多个基于人类感知的判据描述新相机信息。
4.根据权利要求1所述的方法，其中所述相机信息包括本征相机参数矩阵和三维旋转矩阵。
5.根据权利要求4所述的方法，其中所述相机信息还包括消没点信息。
6.根据权利要求1所述的方法，其中所述单应性包括新本征相机参数矩阵和新三维旋转矩阵。
7.根据权利要求1所述的方法，其中所述单应性包括平移。
8.根据权利要求1所述的方法，其中所述获得包括应用相机校准技术以估计用于所述图像的所述相机信息。
9.根据权利要求8所述的方法，其中所述相机校准技术基于优化以估计用于所述景物的所述图像的、相互结合的本征相机参数、三维旋转和消没点信息。
10.根据权利要求1所述的方法，其中所述一个或者多个基于人类感知的判据包括可用来根据所述图像定义的画面框约束所述一个或者多个特征的对准的画面框对准判据。
11.根据权利要求1所述的方法，其中所述一个或者多个基于人类感知的判据包括可用来根据连接所述景物的两个消没点的线而约束所述一个或者多个特征的对准的视平线对准判据。
12.根据权利要求1所述的方法，其中所述单应性包括在竖直方向和水平方向上的焦距，在每个方向上的所述焦距被允许相互变化。
13.根据权利要求8所述的方法，还包括：
从输入图像提取线段；
根据所述提取的线段确定用于能量函数的初始值；以及
通过迭代地优化所述能量函数来校准相机参数以估计相互结合的、用于所述输入图像的相机本征参数矩阵、定向矩阵和消没点集合。
14.根据权利要求13所述的方法，其中所述校准包括提取曼哈顿方向和附加水平消没点。
15.根据权利要求13所述的方法，其中所述校准包括通过所述输入图像具有主导正交框而附加水平方向共享相同竖直方向这样的假设的视平线估计。
16.根据权利要求13所述的方法，还包括确定用于每个消没点的消没线，并且其中所述定向矩阵是三维旋转矩阵。
17.一种***，包括：
一个或者多个计算设备，被配置为执行如下操作，所述操作包括：
获得用于景物的图像的相机信息，所述景物包括具有线的一个或者多个特征；
基于所述相机信息计算单应性，所述单应性将被应用于所述图像以调整所述景物的所述一个或者多个特征相对于所述图像的轴而言的对准，所述单应性至少部分根据一个或者多个基于人类感知的判据来计算，其中所述一个或者多个基于人类感知的判据包括可用来约束所述一个或者多个特征的失真的图像失真判据；以及
根据所述单应性再投影所述图像以生成所述景物的调整的图像，所述调整的图像具有所述景物的所述一个或者多个特征的所述线相对于所述图像的所述轴而言的所述调整的对准。
18.根据权利要求17所述的***，其中所述轴是竖直轴或者水平轴，并且所述一个或者多个特征与在所述调整的图像中的所述竖直轴或者水平轴实质上对准。
19.根据权利要求17所述的***，其中所述单应性根据所述一个或者多个基于人类感知的判据描述新相机信息。
CN201380022060.7A 2012-04-27 2013-04-26 图像的自动调整 Active CN105453131B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261639721P 2012-04-27 2012-04-27
US61/639,721 2012-04-27
PCT/US2013/038462 WO2013163579A2 (en) 2012-04-27 2013-04-26 Automatic adjustment of images

Publications (2)

Publication Number Publication Date
CN105453131A CN105453131A (zh) 2016-03-30
CN105453131B true CN105453131B (zh) 2019-04-12

Family

ID=48483199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380022060.7A Active CN105453131B (zh) 2012-04-27 2013-04-26 图像的自动调整

Country Status (5)

Country Link
US (5) US9098885B2 (zh)
CN (1) CN105453131B (zh)
DE (1) DE112013002200T5 (zh)
GB (1) GB2516405B (zh)
WO (1) WO2013163579A2 (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112013002200T5 (de) 2012-04-27 2015-01-08 Adobe Systems Incorporated Automatische Anpassung von Bildern
US8805767B1 (en) * 2012-05-23 2014-08-12 Amazon Technologies, Inc. Machine learning memory management and distributed rule evaluation
US9113077B2 (en) * 2013-01-17 2015-08-18 Qualcomm Incorporated Orientation determination based on vanishing point computation
CN105359006B (zh) 2013-07-04 2018-06-22 核心光电有限公司 小型长焦透镜套件
CN108718376B (zh) 2013-08-01 2020-08-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像***及其使用方法
WO2015035566A1 (en) * 2013-09-11 2015-03-19 Intel Corporation Integrated presentation of secondary content
US9915857B2 (en) * 2013-12-09 2018-03-13 Geo Semiconductor Inc. System and method for automated test-pattern-free projection calibration
US8897600B1 (en) * 2013-12-20 2014-11-25 I.R.I.S. Method and system for determining vanishing point candidates for projective correction
US8913836B1 (en) * 2013-12-20 2014-12-16 I.R.I.S. Method and system for correcting projective distortions using eigenpoints
JP6010870B2 (ja) * 2013-12-24 2016-10-19 カシオ計算機株式会社 画像補正装置、及び画像補正方法、プログラム
US20150244938A1 (en) * 2014-02-25 2015-08-27 Stelios Petrakis Techniques for electronically adjusting video recording orientation
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
CN104932696B (zh) 2015-06-29 2018-01-05 上海中航光电子有限公司 一种显示图像显示方法
KR102143309B1 (ko) 2015-08-13 2020-08-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
US10354364B2 (en) * 2015-09-14 2019-07-16 Intel Corporation Automatic perspective control using vanishing points
US10089759B2 (en) 2016-02-01 2018-10-02 Adobe Systems Incorporated Homography-assisted perspective drawing
CA3012721C (en) * 2016-02-03 2022-04-26 Sportlogiq Inc. Systems and methods for automated camera calibration
CN106023087A (zh) * 2016-05-19 2016-10-12 北京小米移动软件有限公司 图像处理方法和装置
KR102063411B1 (ko) 2016-05-30 2020-01-07 코어포토닉스 리미티드 회전식 볼-가이드 음성 코일 모터
EP3264360A1 (en) * 2016-06-28 2018-01-03 Dassault Systèmes Dynamical camera calibration
EP3264359A1 (en) 2016-06-28 2018-01-03 Dassault Systèmes A computer-implemented method of calibrating a camera
KR102226315B1 (ko) 2016-07-07 2021-03-12 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 음성 코일 모터
TWI592020B (zh) * 2016-08-23 2017-07-11 國立臺灣科技大學 投影機的影像校正方法及影像校正系統
US10192143B1 (en) * 2016-09-20 2019-01-29 Gopro, Inc. Systems and methods to distinguish between features depicted in images
CN107886476B (zh) * 2016-09-30 2021-06-15 联咏科技股份有限公司 纹理合成的方法以及使用该方法的图像处理设备
CN106952338B (zh) * 2017-03-14 2020-08-14 网易（杭州）网络有限公司 基于深度学习的三维重建的方法、***及可读存储介质
CN107333028B (zh) * 2017-06-30 2020-08-25 上海兆芯集成电路有限公司 图像获取方法及其装置
CN107155017B (zh) * 2017-06-30 2021-01-22 上海兆芯集成电路有限公司 图像获取方法及其装置
US11158088B2 (en) 2017-09-11 2021-10-26 Tusimple, Inc. Vanishing point computation and online alignment system and method for image guided stereo camera optical axes alignment
US11089288B2 (en) * 2017-09-11 2021-08-10 Tusimple, Inc. Corner point extraction system and method for image guided stereo camera optical axes alignment
US10417833B2 (en) 2017-11-06 2019-09-17 Adobe Inc. Automatic 3D camera alignment and object arrangment to match a 2D background image
CN110140076B (zh) 2017-11-23 2021-05-21 核心光电有限公司 紧凑型折叠式摄影机结构
CN108053450B (zh) * 2018-01-22 2020-06-30 浙江大学 一种基于多约束的高精度双目相机标定方法
US10976567B2 (en) 2018-02-05 2021-04-13 Corephotonics Ltd. Reduced height penalty for folded camera
KR102506666B1 (ko) * 2018-02-19 2023-03-07 삼성전자주식회사 전자 레인지, 디스플레이 장치 및 이를 포함하는 조리 시스템
US10652472B2 (en) * 2018-02-22 2020-05-12 Adobe Inc. Enhanced automatic perspective and horizon correction
JP6895403B2 (ja) * 2018-03-20 2021-06-30 株式会社東芝 画像処理装置、運転支援システム、及び画像処理方法
EP4109174A1 (en) 2018-04-23 2022-12-28 Corephotonics Ltd. An optical-path folding-element with an extended two degree of freedom rotation range
JP2021122079A (ja) * 2018-05-08 2021-08-26 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
WO2020014683A1 (en) * 2018-07-13 2020-01-16 Kache.AI Systems and methods for autonomous object detection and vehicle following
US11635596B2 (en) 2018-08-22 2023-04-25 Corephotonics Ltd. Two-state zoom folded camera
CN109483516B (zh) * 2018-10-16 2020-06-05 浙江大学 一种基于空间距离和极线约束的机械臂手眼标定方法
US11348263B2 (en) 2018-10-23 2022-05-31 Samsung Electronics Co., Ltd. Training method for detecting vanishing point and method and apparatus for detecting vanishing point
US11094083B2 (en) 2019-01-25 2021-08-17 Adobe Inc. Utilizing a critical edge detection neural network and a geometric model to determine camera parameters from a single digital image
CN110209997A (zh) * 2019-06-10 2019-09-06 成都理工大学 基于三维特征点的深度相机自动标定算法
CN112153357A (zh) * 2019-06-28 2020-12-29 中强光电股份有限公司 投影***及其投影方法
CN110718068B (zh) * 2019-09-27 2020-12-08 华中科技大学 一种道路监控摄像机安装角度估计方法
US11164283B1 (en) 2020-04-24 2021-11-02 Apple Inc. Local image warping in image processor using homography transform function
CN117518313A (zh) 2020-05-30 2024-02-06 核心光电有限公司 用于获得超微距图像的***
KR20210148756A (ko) 2020-06-01 2021-12-08 삼성전자주식회사 경사 추정 장치 및 이의 동작 방법
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
KR20230004887A (ko) * 2020-07-15 2023-01-06 코어포토닉스 리미티드 스캐닝 폴디드 카메라에서의 시점 수차-보정
US12002235B2 (en) 2020-08-12 2024-06-04 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for estimating camera orientation relative to ground surface
EP4204885A4 (en) 2021-06-08 2024-03-06 Corephotonics Ltd SYSTEMS AND CAMERAS FOR TILTING A FOCAL PLANE OF A SUPER MACRO-IMAGE
CN113822948A (zh) * 2021-11-18 2021-12-21 中国测绘科学研究院 一种利用目标立面纹理进行数码相机检校的方法
CN115936974A (zh) * 2022-11-21 2023-04-07 北京地平线机器人技术研发有限公司 基于单应性变换的图像数据处理方法、装置及介质
CN116342712B (zh) * 2023-03-30 2024-04-05 中国科学院西安光学精密机械研究所 基于消失点一致性的空间相机在轨畸变系数标定方法、介质及设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5973700A (en) * 1992-09-16 1999-10-26 Eastman Kodak Company Method and apparatus for optimizing the resolution of images which have an apparent depth
US5448322A (en) * 1993-11-05 1995-09-05 Vision Iii Imaging, Inc. Autostereoscopic imaging apparatus and method using a parallax scanning lens aperture
GB2364789A (en) * 2000-07-14 2002-02-06 Sharp Kk A transflector
US6917702B2 (en) 2002-04-24 2005-07-12 Mitsubishi Electric Research Labs, Inc. Calibration of multiple cameras for a turntable-based 3D scanner
US7466336B2 (en) * 2002-09-05 2008-12-16 Eastman Kodak Company Camera and method for composing multi-perspective images
US7239331B2 (en) 2004-02-17 2007-07-03 Corel Corporation Method and apparatus for correction of perspective distortion
US7512261B2 (en) 2004-07-27 2009-03-31 Microsoft Corp. System and method for calibrating multiple cameras without employing a pattern by inter-image homography
US7583858B2 (en) * 2004-10-12 2009-09-01 Eastman Kodak Company Image processing based on direction of gravity
US7356425B2 (en) 2005-03-14 2008-04-08 Ge Security, Inc. Method and system for camera autocalibration
US20070076977A1 (en) * 2005-10-05 2007-04-05 Kuan-Wen Chen Method for calibrating camera parameters
JP4757142B2 (ja) 2006-08-10 2011-08-24 キヤノン株式会社 撮影環境校正方法及び情報処理装置
KR100966592B1 (ko) * 2007-12-17 2010-06-29 한국전자통신연구원 영상에서 평행 사변형의 호모그래피를 이용한 카메라의 보정 방법
CN101894366B (zh) 2009-05-21 2014-01-29 北京中星微电子有限公司 一种获取标定参数的方法、装置及一种视频监控***
WO2012044308A1 (en) * 2010-09-30 2012-04-05 Hewlett-Packard Development Company, L.P. Projection matrix
US8818132B2 (en) * 2010-11-29 2014-08-26 Microsoft Corporation Camera calibration with lens distortion from low-rank textures
US8638986B2 (en) 2011-04-20 2014-01-28 Qualcomm Incorporated Online reference patch generation and pose estimation for augmented reality
US10063834B2 (en) * 2011-09-13 2018-08-28 Ati Technologies Ulc Method and apparatus for providing video enhancements for display images
US8457357B2 (en) * 2011-11-09 2013-06-04 Disney Enterprises, Inc. Relative pose estimation of non-overlapping cameras using the motion of subjects in the camera fields of view
US8886449B2 (en) * 2012-01-13 2014-11-11 Qualcomm Incorporated Calibrated hardware sensors for estimating real-world distances
US9338447B1 (en) 2012-03-14 2016-05-10 Amazon Technologies, Inc. Calibrating devices by selecting images having a target having fiducial features
DE112013002200T5 (de) 2012-04-27 2015-01-08 Adobe Systems Incorporated Automatische Anpassung von Bildern
US9277206B1 (en) * 2013-01-28 2016-03-01 Cognex Corporation Dual-view laser-based three-dimensional capture system and method for employing the same
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty

Also Published As

Publication number Publication date
US9519954B2 (en) 2016-12-13
DE112013002200T5 (de) 2015-01-08
US9008460B2 (en) 2015-04-14
WO2013163579A2 (en) 2013-10-31
US20130286221A1 (en) 2013-10-31
GB201420884D0 (en) 2015-01-07
US9098885B2 (en) 2015-08-04
GB2516405B (en) 2016-06-15
US20130287318A1 (en) 2013-10-31
US9582855B2 (en) 2017-02-28
US9729787B2 (en) 2017-08-08
US20170069088A1 (en) 2017-03-09
WO2013163579A3 (en) 2014-01-16
GB2516405A (en) 2015-01-21
US20150324985A1 (en) 2015-11-12
CN105453131A (zh) 2016-03-30
US20150215531A1 (en) 2015-07-30

Similar Documents

Publication Publication Date Title
CN105453131B (zh) 图像的自动调整
Agapito et al. Self-calibration of rotating and zooming cameras
Pollefeys et al. Stratified self-calibration with the modulus constraint
CN106331527B (zh) 一种图像拼接方法及装置
CN103942754B (zh) 全景图像补全方法及装置
Kang et al. Two-view underwater structure and motion for cameras under flat refractive interfaces
CN105678740B (zh) 一种相机几何标定处理方法及装置
CN112712584B (zh) 空间建模方法、装置、设备
Kang et al. Two-view underwater 3D reconstruction for cameras with unknown poses under flat refractive interfaces
Jung et al. Robust upright adjustment of 360 spherical panoramas
CN109978760A (zh) 一种图像拼接方法及装置
US8509522B2 (en) Camera translation using rotation from device
US20220405968A1 (en) Method, apparatus and system for image processing
US10154241B2 (en) Depth map based perspective correction in digital photos
CN109214350A (zh) 一种光照参数的确定方法、装置、设备及存储介质
EP2667615A1 (en) Method and apparatus for removing distortions when projecting images on real surfaces
US11954817B2 (en) Method of plane tracking
CN116152121B (zh) 基于畸变参数的曲面屏生成方法、矫正方法
Ha et al. Embedded panoramic mosaic system using auto-shot interface
CN111210476B (zh) 一种同时定位与建图的方法及装置
US20240046575A1 (en) Video See-Through Augmented Reality
Ye et al. The correction of the distortion of human face based on three-dimensional modeling methods
Ge et al. Camera calibrating method for smart phone based on web image
Han Calibrating a varying camera from silhouettes and background
Kim et al. Region-based adaptive automatic focal-length estimation method for fisheye-lens distortion correction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant