CN110300292B - 投影畸变校正方法、装置、***及存储介质 - Google Patents

投影畸变校正方法、装置、***及存储介质 Download PDF

Info

Publication number
CN110300292B
CN110300292B CN201810240367.9A CN201810240367A CN110300292B CN 110300292 B CN110300292 B CN 110300292B CN 201810240367 A CN201810240367 A CN 201810240367A CN 110300292 B CN110300292 B CN 110300292B
Authority
CN
China
Prior art keywords
projection
curved surface
target curved
distortion correction
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810240367.9A
Other languages
English (en)
Other versions
CN110300292A (zh
Inventor
余新
李屹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Appotronics Corp Ltd
Original Assignee
Appotronics Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Appotronics Corp Ltd filed Critical Appotronics Corp Ltd
Priority to CN201810240367.9A priority Critical patent/CN110300292B/zh
Priority to PCT/CN2018/118837 priority patent/WO2019179168A1/zh
Publication of CN110300292A publication Critical patent/CN110300292A/zh
Application granted granted Critical
Publication of CN110300292B publication Critical patent/CN110300292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种投影畸变校正方法，包括：获取深度图像采集***采集的投影目标曲面的深度图像；对所述深度图像进行处理得到3D点云；从所述3D点云中提取出投影目标曲面的3D点云，创建所述投影目标曲面的模型、确定所述投影目标曲面的中心及边界，确定投影画面的中心及投影画面的边界，计算所述投影目标曲面的中心偏离所述投影画面的中心的方向及距离，平移投影图像以对齐投影目标曲面的中心与所述投影画面的中心，并裁剪所述投影画面的边缘以使得所述投影画面的边界与所述投影目标曲面的边界吻合，得到畸变校正后的投影图像。本发明还提供一种投影畸变矫正装置及***。所述投影畸变校正方法、装置及***能根据对投影图像进行实时的畸变校正。

Description

投影畸变校正方法、装置、***及存储介质
技术领域
本发明涉及投影交互领域，尤其涉及一种投影畸变校正方法、装置、投影畸变校正***及存储介质。
背景技术
在投影应用中，有将图像或纹理投影到不规则曲面的需求以达到特定的艺术效果。一个实例就是世博会上的地球投影。用多台投影仪将图像投射并拼接到一个球面上。由于被投射表面是不规则的，因此投影面的不同部位到投影仪的距离和角度都不相同。这样导致了投影的图像在投影面不同部位产生不同的畸变，这种畸变随投影目标曲面法线方向与投影中心轴方向的差距增加而增加。由于曲面上不同位置的单位面积投影到投影面上的面积不相同，导致投影的画面产生畸变。为了让投影达到令人满意的效果，投影的图像需要根据被投射物体的形状进行畸变补偿。现有的方法对被投射物体进行3D建模，并利用贴图渲染技术对投影图像进行局部畸变补偿以生成新的投影图像。这需要在演示之前就制作好根据投影曲面补偿好的图像或视频。补偿畸变的过程需要手工进行复杂的建模，且投影仪的安装需要复杂的调试，以期与畸变校正的结果匹配。投影的过程中投影仪相对被投射面的相对位置必须保持固定。如果展示中需要移动投影面，则现有的技术将无法满足要求。为了减少这种情况下投影仪的设置和安装难度，支持移动的投影面，需要一种装置能够测量投影目标曲面的几何形状并能自动的根据投影面的形状进行补偿。
发明内容
鉴于此，有必要提供一种投影畸变校正方法、装置、投影畸变校正***及存储介质，能够测量投影目标曲面的几何形状并能自动的根据投影面的形状进行补偿。
本发明提供一种投影畸变校正方法，所述方法包括：
一种投影畸变校正方法，所述方法包括：
获取深度图像采集***采集的投影目标曲面的深度图像；
对所述深度图像采集***采集的深度图像进行处理得到3D点云；
从所述3D点云中提取出投影目标曲面的3D点云，并基于投影目标曲面的3D点云创建所述投影目标曲面的模型；
根据所述投影目标曲面的模型确定所述投影目标曲面的中心及边界，并根据投影目标曲面的三维位置确定投影画面的中心及投影画面的边界，计算所述投影目标曲面的中心偏离所述投影画面的中心的方向及距离，根据偏离的方向及距离平移投影图像以使得投影目标曲面的中心与所述投影画面的中心对齐，并裁剪所述投影画面的边缘以使得所述投影画面的边界与所述投影目标曲面的边界吻合，得到畸变校正后的投影图像。
进一步地，所述方法还包括利用投影图像对投影目标曲面进行三维贴图从而生成贴图映射函数，再利用贴图映射函数对投影图像进行逆变换从而生成畸变补偿后的图像。
进一步地，所述投影目标曲面的中心通过所述投影目标曲面的3D点云的重心、几何中心或预先设定的特征匹配中心确定。
进一步地，所述投影画面的边界通过以投影图像四个角所对应的像素的投影射线为边界的锥形空间的边界与所述投影目标曲面的3D点云的交点决定。
一种投影畸变校正装置，所述投影畸变校正装置包括：
图像获取模块，用于获取深度图像采集***采集的投影目标曲面的深度图像；
投影目标曲面模型建立模块用于对所述深度图像采集***采集的深度图像进行处理得到3D点云；从所述3D点云中提取出投影目标曲面的3D点云，并基于投影目标曲面的3D点云创建所述投影目标曲面的模型；及
畸变校正模块，用于根据所述投影目标曲面的模型确定所述投影目标曲面的中心及边界，并根据投影目标曲面的三维位置确定投影画面的中心及投影画面的边界，计算所述投影目标曲面的中心偏离所述投影画面的中心的方向及距离，根据偏离的方向及距离平移投影图像以使得投影目标曲面的中心与所述投影画面的中心对齐，并裁剪所述投影画面的边缘以使得所述投影画面的边界与所述投影目标曲面的边界吻合，得到畸变校正后的投影图像。
进一步地，所述投影畸变校正模块还用于利用投影图像对投影目标曲面进行三维贴图从而生成贴图映射函数，再利用贴图映射函数对投影图像进行逆变换从而生成畸变补偿后的图像。
一种投影畸变校正***，所述投影畸变校正***包括：投影***，所述投影***与投影源设备相连接，用于将投影源设备的内容投射至投影目标曲面；深度图像采集***，所述深度图像采集***固定设置在所述投影***上，用于采集包括所述投影目标曲面在内的深度图像；及如上所述的投影畸变校正装置。
进一步地，所述深度图像采集***能够实时以一定的帧率采集图像的深度信息，包括一个或多个深度采集装置，若为多个，则分别设置在所述投影***上不同位置。
进一步地，所述投影畸变校正装置集成在所述投影***内或所述投影源设备内。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的投影畸变校正方法。
与现有技术相比较，所述投影畸变校正方法能够根据深度图像采集***采集的投影目标曲面的深度图像信息计算得到投影目标曲面的模型及三维位置信息，对投影图像源进行中心对正及边缘裁剪等校正操作，使得投影到投影曲面上的画面正好和投影表面吻合从而能够自动的根据投影曲面的形状进行畸变补偿。
附图说明
图1是本发明实施例的投影畸变校正***的结构示意图。
图2是本发明实施例的投影畸变校正装置的模块示意图。
图3为本发明实施例的点云快速分组算法流程图。
图4是本发明实施例的投影畸变校正装置的结构示意图。
图5是本发明实施例的投影畸变校正方法的流程图。
图6是本发明实施例的贴图算法示意图。
图7是本发明实施例的投影图像在畸变校正前后的对比图。
图8是本发明实施例的又一投影图像在畸变校正前后的对比图。
图9是应用本发明实施例的投影畸变校正***的异面投影活动电子展示牌。
图10是应用本发明实施例的投影畸变校正***的舞台移动圆柱投影示意图。
主要元件符号说明
投影畸变校正*** 1000
投影*** 1
深度图像采集*** 2
投影畸变校正装置 3
图像获取模块 300
投影目标曲面模型建立模块 302
畸变校正模块 304
处理器 31
存储器 32
通信装置 33
第一三角形 70
第二三角形 72
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
以下所描述的***实施方式仅仅是示意性的，所述模块或电路的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。***权利要求中陈述的多个单元或装置也可以由同一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅图1，图1是本发明实施例的投影畸变校正***1000的结构示意图。所述投影畸变校正***1000包括投影***1、深度图像采集***2及投影畸变校正装置3。
所述深度图像采集***2固定设置在所述投影***1上，其相对所述投影***1的位置固定不变且为已知。所述深度图像采集***2用于采集所述投影***1的投影方向上的投影目标曲面4的深度图像信息。所述深度图像采集***2可为任何能够生成空间深度信息的设备，如ToF相机，结构光3D扫描仪，双眼视差3D扫描设备等。所述深度图像采集***2可以面向所述投影***1的投影方向安装，且其图像采集范围至少包括所述投影目标曲面在内。所述深度图像采集***2可以包括一个或多个深度图像采集装置。多个深度图像采集装置的设置是为了使得所述深度图像采集***2所采集的深度图像更精准。为便于描述，如下实施例中以一个深度图像采集装置为例进行说明。
所述投影***1能够与投影源设备(未示出)通信连接，将所述投影源设备的内容投射在投影目标曲面4上。所述投影***1与所述投影源设备可通过有线或无线的方式连接。可以理解的是，在一些实施例中，所述投影***1也可以内置存储装置，所述内置存储装置中存储有投影内容。在一些实施例中，所述投影***1也可以设置连接接口，连接外接存储装置以读取及投影所述外界存储装置中的内容。例如，所述投影***1设置存储卡插槽，通过***存储卡即可读取及播放所述存储卡内的内容。
所述投影畸变校正装置3能够分别与所述深度图像采集***2及所述投影源设备通信连接，用于从所述深度图像采集***2获取所述深度图像采集***2采集的所述投影目标曲面4的深度图像，并对所述深度图像进行处理分析得到3D点云，并从所述3D点云中提取出投影目标曲面4的3D点云，进行坐标转换，得到所述投影目标曲面4的数学函数表示，再对投影图像的坐标进行坐标转换，将投影图像与所述投影目标曲面转换至同一坐标系下，进行图像的畸变校正处理，所述畸变校正处理包括对投影画面和投影目标曲面中心对齐和边缘裁剪。在进一步的实施例中，所述畸变校正处理还包括对投影画面根据投影目标曲面的起伏进行畸变校正。所述畸变校正后的图像发送至所述投影***1以投影校正后的图像至所述投影目标曲面4。所述投影畸变校正装置3可以是集成在所述投影源设备中的控制单元，也可以是独立于所述投影源设备的控制装置且具有数据处理能力及通信连接能力的电子装置，例如电脑、手机、平板、个人数字助理(Personal Digital Assistant，PDA)等。在一些实施例中，所述投影畸变校正装置3也可以是集成在所述投影***1中的控制装置。
所述投影源设备能够与所述投影***1通信连接，用于输出投影内容至所述投影***1。所述投影源设备可以为任何具有数据处理能力的电子装置，例如电脑、手机、平板、个人数字助理(Personal Digital Assistant，PDA)等。可以理解的是，所述投影源设备4还可以是其他电子装置，例如电视、机顶盒、影音播放器、游戏机、录像机等可以输出内容的电子装置。
所述深度图像采集***2与所述投影畸变校正装置3之间的通信、所述投影源设备与所述投影***1之间的通信及所述投影源设备与所述投影畸变校正装置3之间的通信均可采用有线或无线的方式。其中所述有线方式包括通过通信端口连接，例如通用串行总线(universal serial bus,USB)、高清晰度多媒体(High-Definition MultimediaInterface，HDMI)接口、视频图形阵列(Video Graphics Array，VGA)接口、控制器局域网(Controller area network，CAN)、串行及/或其他标准网络连接、集成电路间(Inter-Integrated Circuit，I2C)总线等。所述无线方式可采用任意类别的无线通信***，例如，蓝牙、红外线、无线保真(Wireless Fidelity,WiFi)、蜂窝技术，卫星，及广播。其中所述蜂窝技术可包括第二代(2G)、第三代(3G)、***(4G)或第五代(5G)等移动通信技术。
请参阅图2所示，为本发明实施例的投影畸变校正装置3的功能模块图。
所述投影畸变校正装置3包括图像获取模块300、投影目标曲面模型建立模块302、畸变校正模块304。所述图像获取模块300用于从所述深度图像采集***2获取所述深度图像采集***2采集的所述投影目标曲面4的深度图像。
所述投影目标曲面模型建立模块302用于对所述深度图像进行处理及坐标转换得到投影目标曲面的三维模型数学表示(例如三角网格)。在一些实施例中，所述深度图像采集***2包括两个或两个以上的深度图像采集装置，所述图像获取模块300分别从每个深度图像采集装置获取深度图像，然后对每个深度图像采集装置的图像进行处理，如降噪，下采样(down sampling)，异常值过滤(outlier filter)等，生成对应于每个深度图像采集装置的局部坐标系下的3D点云；然后根据各个深度图像采集装置的位置，方向以及成像长宽比等预先配置的信息将局部坐标系下的点云转换到全局坐标下，并合并成一个总的点云。
其中，深度图像采集装置的输出的深度图像中的任一像素(第i行，第j列)在深度图像采集装置局部坐标系下的坐标可以表示为
Figure BDA0001605134110000081
其中
Figure BDA0001605134110000082
和
Figure BDA0001605134110000083
FOVh和FOVv分别为深度图像采集装置的水平和垂直视角；n×m为深度图像采集装置的成像分辨率。
从深度图像采集装置的局部坐标系坐标(x0′，y0′，z0′)到全局坐标系坐标(x0，y0，z0)的变换公式为
Figure BDA0001605134110000084
其中，
Figure BDA0001605134110000085
分别为深度图像采集装置局部坐标系的三个主轴方向在新坐标系下的单位列向量；(xc，yc，zc)为深度图像采集装置局部坐标系原点在全局坐标下的坐标。
所述投影目标曲面模型建立模块302提取投影目标曲面的3D点云，构建投影目标曲面的模型。所述投影畸变校正装置3根据点云的分布密度特性进行分类，分类算法可采用任何适宜的分类算法，例如k近邻分类(k-nearest neighbor)，k维数(k-dTree)等。基于深度图像变换得到的点云是结构性的点云，在此点云中的任意一点的邻近点都能通过点的下标快速找出，因而还可以有针对结构化点云的分组加速算法，如图3所示的流程图描述了一种快速分类算法。
步骤401，判断点云是否为空，即判断点云中是否存在点。若不为空，进入步骤402，否则，流程结束。
步骤402，从点云中随机选取一个点作为种子点。
步骤403，将该种子点置入堆栈。
步骤404，判断堆栈是否为空，即堆栈中是否存在点，若不为空，进入步骤405，否则，进入步骤412。
步骤405，从堆栈取点。
步骤406，将该取出的点加入集群组。
步骤407，获取所述点的所有邻近点，所述邻近点是指与所述点的距离位于预定阈值范围内的点。
步骤408，判断是否已遍历所有邻近点。若是，返回步骤404，若否，进入步骤409。
步骤409，选取一个邻近点，判断该邻近点是否已被访问过，即该邻近点是否已加入所述堆栈。若是，则返回步骤408，若否，进入步骤410。
步骤410，判断该邻近点与步骤405中所取点的距离是否小于预定阈值，若是，则进入步骤411，若否，返回步骤408。
步骤411，将该邻近点加入堆栈。
步骤412，从所述集群组创建点的集群。
步骤413，将所述集群组中的点从所述点云中删除。
所述投影目标曲面模型建立模块302从分类后的3D点云中提取出所述投影目标曲面4的点云。然后根据所述投影目标曲面4的3D点云构建所述投影目标曲面的模型(例如三角网格模型)。在构建所述投影目标曲面4的模型时，可采用现有的任何建模方法来实现，例如基于三角剖分算法(delaunay)的三角网格化处理等。
所述畸变校正模块304用于根据所述投影目标曲面的模型对投影图像进行畸变校正。所述畸变校正模块304首先将投影图像转换至与所述投影目标曲面统一的三维全局坐标系下。所述畸变校正模块304利用预先配置的投影转换参数(如投影长宽比，投影竖直、水平方向的发散角度等)建立投影空间转换函数。空间转换函数将投影图像的二维局部坐标转换为空间全局坐标。
具体地，可以先将所述投影图像的二维局部坐标转换至投影坐标系下的三维局部坐标，然后再根据投影***1的镜头的位置将投影坐标系下的三维局部坐标转换至全局坐标系，其中投影***坐标系是以所述投影***1的光心为原点构建的三维坐标系。
其中，假设在全局坐标下的坐标定义为(x0，y0，z0)T，则转换为投影坐标系下的坐标(x0″，y0″，z0″)T为
Figure BDA0001605134110000101
其中，
Figure BDA0001605134110000102
分别为投影***局部坐标系的三个主轴方向在新坐标系下的单位列向量；(xp，yp，zp)为投影***局部坐标系原点在全局坐标下的坐标。
所述畸变校正模块304将所述投影图像与所述投影目标曲面转换至同一坐标系下(三维全局坐标)后，先根据所述投影目标曲面的三维点云确定所述投影目标曲面4的中心位置。所述投影目标曲面4的中心可以通过计算所述投影目标曲面4的点云的重心(gravitycenter)、几何中心(geometric center)，与预先设定的特征匹配中心等方法来实现。
投影画面是投影图像的四个角所对应的像素在投影***局部坐标系下的投影射线为边界的锥形空间与投影曲面的交集所限定的曲面。其中确定所述投影画面的边界的方法为：投影画面的边界是以投影图像四个角所对应的像素的投影射线为边界的锥形空间的边界。所述投影画面的中心可确定为投影图像的中心映射至投影画面的位置。所述投影目标曲面4的边界由表征所述投影目标曲面4的点云决定。如果所述投影目标曲面4的点云完全处在投影锥形体积内，则投影目标曲面的边界由点云的边界决定，否则由所述投影目标曲面4的点云和投影锥形体积相交的部分决定。
所述畸变校正模块304根据所述投影目标曲面4的中心在三维全局坐标中偏离所述投影图像的中心的方向和距离来平移投影图像，以使得所述投影目标曲面4的中心与所述投影图像的中心对齐；然后，所述投影畸变校正装置3根据所述投影画面的边界对平移后的投影图像进行裁剪以使得投影画面的边界与所述投影目标曲面4的边界(即投影目标曲面点云的边界)吻合。
所述畸变校正模块304在完成投影画面与投影目标曲面中心对准以后，根据投影目标曲面的位置生成投影转换函数并将投影图像转换到三维全局坐标中。再利用三维贴图的算法和原理，利用坐标转换后的投影图像对投影目标曲面进行三维贴图从而生成贴图映射函数。图像处理***利用贴图映射函数对投影图像进行逆变换从而生成畸变补偿后的图像。
其中，贴图的算法假设画面上的面积和曲面上的面积一一对应。在一些实施例中，投影目标曲面由三角形网格表示，其上的每个三角形都有一个对应的法线方向。如果三角形的法线方向和投影画面(空间光调制器)垂直，则画面上的图案能够无畸变的投影到该三角形上，如图6中的(a)所示。如果三角形的法线方向和投影画面不垂直，则会产生畸变，如图6中的(b)所示。图6中的(b)中的第一三角形70为直投到偏移的投影目标曲面的三角形上的区域。而如果按照面积相等原则，则实际应该对应到投影目标曲面的该三角形的区域为第二三角形72。为了补偿这个畸变，算法会将第二三角形72内的画面压缩映射到第一三角形70的区域内，这个变换跟3D显示里面3D贴图算法基本一样。
所述深度图像采集***2和所述投影畸变校正装置工作在实时模式，按照一定的帧率采集分析所述深度图像采集***2采集的深度图像，实时生成所述投影目标曲面的模型，对投影图像进行实时的校正。因而采用本发明的投影畸变校正装置3和***能够实现对投影目标曲面的实时跟踪从而使得投影画面一直和投影目标曲面吻合。
在一些实施例中，所述投影畸变校正装置3还能够对投影图像根据投影目标曲面4的起伏进行畸变校正。所述投影畸变校正装置3在完成投影画面与投影目标曲面中心对准以后，根据投影目标曲面的位置生成投影转换函数并将投影图像转换到三维全局坐标中。再利用三维贴图的算法和原理，利用坐标转换后的投影图像对投影目标曲面进行三维贴图从而生成贴图映射函数。图像处理***利用贴图映射函数对投影图像进行逆变换从而生成畸变补偿后的图像。畸变补偿后的图像投影到投影目标曲面上能消除由于曲面起伏造成的畸变，如图7中的(d)和图8中的(d)所示。
请参阅图4所示，为本发明实施例的投影畸变校正装置3的结构示意图。
所述投影畸变校正装置3包括处理器31、存储器32及通信装置33。
所述存储器32可用于存储计算机程序和/或模块(例如上所述的图像获取模块300、投影目标曲面模型建立模块302及畸变校正模块304)，所述处理器31通过运行或执行存储在所述存储器32内的计算机程序和/或模块，以及调用存储在存储器32内的数据，实现所述投影畸变校正装置3的各种功能(例如对投影图像的畸变校正处理)。所述存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如投影仪的投影功能、手机的社交功能等)等；存储数据区可存储根据投影畸变校正装置3的使用所创建的数据(比如深度图像数据、3D点云数据等)等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述处理器31可以是中央处理单元(Central Processing Unit，
CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal
Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器31是所述投影畸变校正装置3的控制中心，利用各种接口和线路连接整个投影畸变校正装置3的各个部分。
所述投影畸变校正装置3还包括至少一个通信装置33。
所述通信装置33可以是有线通信装置也可以是无线通信装置。其中所述有线通信装置包括通信端口，例如通用串行总线(universal serial bus,USB)、控制器局域网(Controller area network，CAN)、串行及/或其他标准网络连接、集成电路间(Inter-Integrated Circuit，I2C)总线等。所述无线通信装置可采用任意类别的无线通信***，例如，蓝牙、红外线、无线保真(Wireless Fidelity，WiFi)、蜂窝技术，卫星，及广播。其中所述蜂窝技术可包括第二代(2G)、第三代(3G)、***(4G)或第五代(5G)等移动通信技术。
在本发明实施例中，所述投影畸变校正装置3用于通过所述通信装置33与所述深度图像采集***2通信以获取所述深度图像采集***2采集的图像，并对所述图像进行分析处理得到3D点云，并从3D点云中提取出所述投影目标曲面的3D点云，计算出投影目标曲面的模型、投影画面中心及边界，并根据所述目标曲面的模型、投影画面中心及边界对图形进行畸变校正处理。所述投影畸变校正装置3还用于通过所述通信装置33与所述投影***1通信连接以传送完成畸变校正后的投影图像至所述投影***1以实现对投影图像的投影。
本领域技术人员可以理解，所述示意图仅仅是所述投影畸变校正装置3的示例，并不构成对所述投影畸变校正装置3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述投影畸变校正装置3还可以根据实际需要包括输入输出设备、显示装置等。所述输入输出设备可包括任意适宜的输入设备，包括但不限于，鼠标、键盘、触摸屏、或非接触式输入，例如，手势输入、声音输入等。所述显示装置可以是触液晶显示屏(Liquid Crystal Display,LCD)、发光二极管(Light Emitting Diode，LED)显示屏、有机电激光显示屏(Organic Light-Emitting Diode，OLED)或其他适宜的显示屏。
图5为本发明一实施例的投影畸变校正方法流程图。
步骤501，获取深度图像。所述投影畸变校正装置3从所述深度图像采集***获取所述深度图像采集***2所采集的所述投影目标曲面4的深度图像。在一些实施例中，所述深度图像采集***2以预定帧率(例如30～60帧/秒)采集所述投影目标曲面4的深度图像。如果是固定的投影面，则对帧率没有要求；但是如果是移动的投影面，则要求相邻帧之间投影面没有明显的变化。可以理解的是，深度图像采集***2的采集帧率可根据实际需要进行调整，当应用于移动的投影面时，只要能保证所采集的图像在相邻两帧之间投影面没有明显的变化即可。所述深度图像采集***2采集的深度图像通过有线或无线的方式传送至所述投影畸变校正装置3。
步骤502，处理深度图像得到3D点云。所述投影畸变校正装置3对所述深度图像进行处理，所述处理包括，但不限于，降噪、down sampling、outlier filter等，生成对应于每个深度图像采集装置局部坐标系下的3D点云。其中，图像平面坐标系是以所述深度图像采集装置的光轴与图像平面的交点为图像坐标系的原点所构成的直角坐标系，所述深度图像采集装置的局部坐标系是以分别平行于所述图像平面坐标系的平面坐标轴作为X、Y轴，以光轴方向作为Z轴，以所述深度图像采集装置的光心为原点构建的三维坐标系。所述深度图像的深度信息即代表所述深度图像中的每一像素点在所述深度图像采集装置的局部坐标系下的Z轴坐标值。在一些实施例中，所述投影畸变校正装置3还将所述深度图像中的每一像素点在所述深度图像采集装置的局部坐标系下的坐标转换至全局坐标系下的坐标。所述全局坐标系是相对所述深度图像采集装置的局部坐标系和投影***的局部坐标系来说的，可以是原点定义在任意位置的任意参考系，例如可以是原点定义在空间某点的笛卡尔坐标系。
其中，假定深度图像采集装置的输出的深度图像中的任一像素(第i行，第j列)在深度图像采集装置局部坐标系下的坐标可以表示为
Figure BDA0001605134110000161
其中
Figure BDA0001605134110000162
和
Figure BDA0001605134110000163
FOVh和FOVv分别为深度图像采集装置的水平和垂直视角；n×m为深度图像采集装置的成像分辨率。
从深度图像采集装置的局部坐标系坐标(x0′，y0′，z0′)到全局坐标系坐标(x0，y0，z0)的变换公式为
Figure BDA0001605134110000164
其中，
Figure BDA0001605134110000165
分别为深度图像采集装置局部坐标系的三个主轴方向；(xc，yc，zc)为深度图像采集装置局部坐标系原点在全局坐标下的坐标。
在一些实施方式中，若所述深度图像采集***2包括至少两个深度图像采集装置，则还包括该至少两个深度图像采集装置采集的图像合并成一个总的点云。具体地，根据各个深度图像采集装置的位置，方向以及成像长宽比等预先配置的信息将各深度图像采集装置的局部坐标系下的点云转换到全局坐标下，然后再将分别对应于该至少两个深度图像采集装置的全局坐标系下的点云合并成一个总的点云。在一些实施例中，还可以对该分别对应于该至少两个深度图像采集装置的全局坐标系下的点云进行对齐以进一步校正及消除所采集的深度图像的畸变。
步骤503，提取投影目标曲面的3D点云，构建投影目标曲面的模型。所述投影畸变校正装置3根据点云的分布特性进行分类，分类算法可采用任何适宜的分类算法，例如k近邻分类(k-nearest neighbor)，k维数(k-dTree)等。所述投影目标曲面模型建立模块302从分类后的3D点云中提取出所述投影目标曲面4的点云。然后根据所述投影目标曲面4的3D点云构建所述投影目标曲面的模型(例如三角网格模型)。在构建所述投影目标曲面4的模型时，可采用现有的任何建模方法来实现，例如基于三角剖分算法(delaunay)的三角网格化处理等。
步骤504，计算投影目标曲面的中心及投影画面中心与边界。所述投影畸变校正装置3首先将投影图像转换至与所述投影目标曲面统一的三维全局坐标系下。所述投影畸变校正装置3利用预先配置的投影转换参数(如投影长宽比，投影竖直、水平方向的发散角度等)建立投影空间转换函数。空间转换函数将投影图像的二维局部坐标转换为空间全局坐标。
具体地，可以先将所述投影图像的二维局部坐标转换至投影坐标系下的三维局部坐标，然后再根据投影***1的镜头的位置将投影坐标系下的三维局部坐标转换至全局坐标系，其中投影***坐标系是以所述投影***1的光心为原点构建的三维坐标系。
其中，假设在全局坐标下的坐标定义为(x0，y0，z0)T，则转换为投影坐标系下的坐标(x0″，y0″，z0″)T为
Figure BDA0001605134110000171
其中，
Figure BDA0001605134110000172
分别为投影***局部坐标系的三个主轴方向；(xp，yp，zp)为投影***局部坐标系原点在全局坐标下的坐标。
所述投影畸变校正装置3将所述投影图像与所述投影目标曲面转换至同一坐标系下(三维全局坐标)后，先根据所述投影目标曲面的三维点云确定所述投影目标曲面4的中心位置。所述投影目标曲面4的中心可以通过计算所述投影目标曲面4的点云的重心(gravity center)、几何中心(geometric center)，与预先设定的特征匹配中心等方法来实现。所述投影画面的中心可确定为投影图像的中心映射至投影画面的位置。
确定所述投影画面的边界的方法为：投影画面的边界是投影图像四个角所对应的像素的投影射线为边界的锥形空间的边界。已知任一平面或曲面，其与前述锥形空间的截面决定了投影画面的边界。所述投影目标曲面4的边界由表征所述投影目标曲面4的点云决定。如果所述投影目标曲面4的点云完全处在投影锥形体积内，则投影目标曲面的边界由点云的边界决定，否则由所述投影目标曲面4和投影锥形体积相交的部分决定。
步骤505，对齐投影画面中心与投影目标曲面中心，并剪裁投影画面边缘。所述畸变校正模块304根据所述投影目标曲面4的中心在三维全局坐标中偏离所述投影图像的中心的方向和距离来平移投影图像，以使得所述投影目标曲面4的中心与所述投影图像的中心对齐；然后，所述投影畸变校正装置3根据所述投影画面的边界对平移后的投影图像进行裁剪以使得投影画面的边界与所述投影目标曲面4的边界(即投影目标曲面点云的边界)吻合。
步骤506，利用贴图算法对投影图像进行畸变补偿以生成新的投影图像。
所述投影畸变校正装置3在完成投影画面与投影目标曲面中心对准以后，根据投影目标曲面的位置生成投影转换函数并将投影图像转换到三维全局坐标中。再利用三维贴图的算法和原理，利用坐标转换后的投影图像对投影目标曲面进行三维贴图从而生成贴图映射函数。所述投影畸变校正装置3利用贴图映射函数对投影图像进行逆变换从而生成畸变补偿后的图像。
其中，贴图的算法假设画面上的面积和曲面上的面积一一对应。在一些实施例中，投影目标曲面由三角形网格表示，其上的每个三角形都有一个对应的法线方向。如果三角形的法线方向和投影画面(空间光调制器)垂直，则画面上的图案能够无畸变的投影到该三角形上，如图6中的(a)所示。如果三角形的法线方向和投影画面不垂直，则会产生畸变，如图6中的(b)所示。图6中的(b)中的第一三角形70为直投到偏移的投影目标曲面的三角形上的区域。而如果按照面积相等原则，则实际应该对应到投影目标曲面的该三角形的区域为第二三角形72。为了补偿这个畸变，算法会将第二三角形72内的画面压缩映射到第一三角形70的区域内，这个变换跟3D显示里面3D贴图算法基本一样。
步骤507，投影畸变补偿后的投影图像。所述投影畸变校正装置将完成畸变校正后的投影图像发送至投影***进行投影。
请参阅图7和图8所示，分别展示了投影图像在消除畸变前后的变化。其中图7中的(a)和图8中的(a)为源投影图像；图7中的(b)和图8中的(b)为未消除畸变的投影图像投射在投影目标曲面上的投影效果；图7中的(c)和图8中的(c)为完成畸变校正后的投影图像；图7中的(d)和图8中的(d)为完成畸变校正后的投影图像投射在投影目标曲面上的投影效果。从图7中的(b)和图8中的(b)中可看出，投影在投影目标曲面上的图像在曲面部分畸变严重；从图7中的(d)和图8中的(d)中可看出，投影在投影目标曲面上的图像的畸变基本消除。
所述深度图像采集***2和所述投影畸变校正装置3工作在实时模式，按照一定的帧率采集分析所述深度图像采集***2采集的深度图像，实时生成所述投影目标曲面的模型，对投影图像进行实时的校正。因而采用本发明的投影畸变校正装置3和***能够实现对投影目标曲面的实时跟踪从而使得投影画面一直和投影目标曲面吻合。
下面列举几个本发明投影畸变校正***的应用举例。
超短焦投影的电子白板。
应用实例1：
激光电视的自动屏幕对其畸变校正。激光电视利用超短焦实现在很近的投影距离上的大尺寸投影。同时为了更好的对比度和色彩表现，激光电视一般配置了抗光屏幕。电视和屏幕之间需要仔细的调试以使得激光电视投影的画面和抗光屏幕完美的吻合以达到满意的显示效果。一般激光电视的主机并不是固定安装，其所放置的柜子和电视本身都会因为各种原因发生移动。每次移动以后都需要重新进行屏幕的对准和校正，很不方便使用。采用本发明投影畸变校正装置的激光电视，不需要精确的放置激光电视的位置，只需要对激光电视进行大致的对准(使得投影屏幕位于深度图像采集***的采集范围内即可)。激光电视自身就可以完成屏幕的识别和自动的畸变校正和屏幕对齐。
应用实例2：
异面活动电子展示牌。活动的电子展示牌以往都是LED、OLED或者LCD屏幕的。LED和LCD显示屏无法做成异面结构的，OLED虽然是柔性的，但是目前还没有看到利用柔性OLED做任意形状的异面显示。利用本发明提出的技术，能够利用不规则曲面投影和自动特征匹配追踪校准技术实现异面活动电子展示牌。如图9所示多台实现本发明技术的投影仪共同向兔子外形的展示牌投影。针对不同的节日或事件，可以通过更新投影内容的方式给兔子更换不同的主题服装和纹理。
应用实例3：
舞台移动的显示圆柱。多架投影仪同时投影到白色圆柱上，形成需要的图案。圆柱可能根据需要升降或平移。多架投影仪的投射范围远大于圆柱的大小，并能覆盖圆柱移动的轨迹。利用投影曲面中心检测和边缘检测能力，能够根据圆柱的位置校正投影内容的位置和由于圆柱表面起伏造成的畸变，实现投影到圆柱上的画面和圆柱始终保持同步，如图10所示。
上述实施例中所述的投影畸变校正装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例所述的投影畸变校正方法中的全部或部分流程，也可以通过计算机程序指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上文方法实施例所述的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种投影畸变校正方法，其特征在于，所述方法包括：
获取深度图像采集***采集的投影目标曲面的深度图像；
对所述深度图像采集***采集的深度图像进行处理得到3D点云；
从所述3D点云中提取出投影目标曲面的3D点云，并基于投影目标曲面的3D点云创建所述投影目标曲面的模型；
根据所述投影目标曲面的模型确定所述投影目标曲面的中心及边界，并根据投影目标曲面的三维位置确定投影画面的中心及投影画面的边界，其中所述投影画面是投影图像的四个角所对应的像素在投影***局部坐标系下的投影射线为边界的锥形空间与所述投影目标曲面的交集所限定的曲面，计算所述投影目标曲面的中心偏离所述投影画面的中心的方向及距离，根据偏离的方向及距离平移投影图像以使得投影目标曲面的中心与所述投影画面的中心对齐，并裁剪所述投影画面的边缘以使得所述投影画面的边界与所述投影目标曲面的边界吻合，得到畸变校正后的投影图像。
2.如权利要求1所述的投影畸变校正方法，其特征在于，所述方法还包括利用投影图像对投影目标曲面进行三维贴图从而生成贴图映射函数，再利用贴图映射函数对投影图像进行逆变换从而生成畸变补偿后的图像。
3.如权利要求1所述的投影畸变校正方法，其特征在于，所述投影目标曲面的中心通过所述投影目标曲面的3D点云的重心、几何中心或预先设定的特征匹配中心确定。
4.如权利要求1所述的投影畸变校正方法，其特征在于，所述投影画面的边界通过以投影图像四个角所对应的像素的投影射线为边界的锥形空间的边界与所述投影目标曲面的3D点云的交点决定。
5.一种投影畸变校正装置，其特征在于，所述投影畸变校正装置包括：
图像获取模块，用于获取深度图像采集***采集的投影目标曲面的深度图像；
投影目标曲面模型建立模块，用于对所述深度图像采集***采集的深度图像进行处理得到3D点云；从所述3D点云中提取出投影目标曲面的3D点云，并基于投影目标曲面的3D点云创建所述投影目标曲面的模型；及
畸变校正模块，用于根据所述投影目标曲面的模型确定所述投影目标曲面的中心及边界，并根据投影目标曲面的三维位置确定投影画面的中心及投影画面的边界，其中所述投影画面是投影图像的四个角所对应的像素在投影***局部坐标系下的投影射线为边界的锥形空间与所述投影目标曲面的交集所限定的曲面，计算所述投影目标曲面的中心偏离所述投影画面的中心的方向及距离，根据偏离的方向及距离平移投影图像以使得投影目标曲面的中心与所述投影画面的中心对齐，并裁剪所述投影画面的边缘以使得所述投影画面的边界与所述投影目标曲面的边界吻合，得到畸变校正后的投影图像。
6.如权利要求5所述的投影畸变校正装置，其特征在于，所述投影畸变校正模块还用于利用投影图像对投影目标曲面进行三维贴图从而生成贴图映射函数，再利用贴图映射函数对投影图像进行逆变换从而生成畸变补偿后的图像。
7.一种投影畸变校正***，其特征在于，所述投影畸变校正***包括：
投影***，所述投影***与投影源设备相连接，用于将投影源设备的内容投射至投影目标曲面；
深度图像采集***，所述深度图像采集***固定设置在所述投影***上，用于采集包括所述投影目标曲面在内的深度图像；及
权利要求6所述的投影畸变校正装置。
8.如权利要求7所述的投影畸变校正***，其特征在于，所述深度图像采集***能够实时以一定的帧率采集图像的深度信息，包括一个或多个深度采集装置，若为多个，则分别设置在所述投影***上不同位置。
9.如权利要求7所述的投影畸变校正***，其特征在于，所述投影畸变校正装置集成在所述投影***内或所述投影源设备内。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-4中任意一项所述的投影畸变校正方法。
CN201810240367.9A 2018-03-22 2018-03-22 投影畸变校正方法、装置、***及存储介质 Active CN110300292B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810240367.9A CN110300292B (zh) 2018-03-22 2018-03-22 投影畸变校正方法、装置、***及存储介质
PCT/CN2018/118837 WO2019179168A1 (zh) 2018-03-22 2018-12-03 投影畸变校正方法、装置、***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810240367.9A CN110300292B (zh) 2018-03-22 2018-03-22 投影畸变校正方法、装置、***及存储介质

Publications (2)

Publication Number Publication Date
CN110300292A CN110300292A (zh) 2019-10-01
CN110300292B true CN110300292B (zh) 2021-11-19

Family

ID=67986655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810240367.9A Active CN110300292B (zh) 2018-03-22 2018-03-22 投影畸变校正方法、装置、***及存储介质

Country Status (2)

Country Link
CN (1) CN110300292B (zh)
WO (1) WO2019179168A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830781B (zh) * 2019-10-30 2021-03-23 歌尔科技有限公司 一种基于双目视觉的投影图像自动校正方法及***
TWI722703B (zh) 2019-12-09 2021-03-21 財團法人工業技術研究院 投影設備與投影校正方法
CN111458692B (zh) * 2020-02-01 2023-08-25 上海鲲游科技有限公司 深度信息处理方法及其***和电子设备
CN111738955A (zh) * 2020-06-23 2020-10-02 安徽海微电光电科技有限责任公司 投影图像的畸变校正方法、装置及计算机可读存储介质
CN111669557B (zh) * 2020-06-24 2022-05-13 歌尔光学科技有限公司 投影图像校正方法和校正装置
CN112348939A (zh) * 2020-11-18 2021-02-09 北京沃东天骏信息技术有限公司 用于三维重建的纹理优化方法及装置
CN112884898B (zh) * 2021-03-17 2022-06-07 杭州思看科技有限公司 用于测量纹理映***度的参考装置
CN113610916B (zh) * 2021-06-17 2024-04-12 同济大学 基于点云数据的不规则物体体积测定方法及***
CN113747133B (zh) * 2021-09-01 2024-04-26 广景视睿科技（深圳）有限公司 一种投影方法、装置、投影设备及存储介质
CN114286069B (zh) * 2021-12-31 2024-04-02 深圳市火乐科技发展有限公司 投影画面处理方法、装置、存储介质及投影设备
CN115146745B (zh) * 2022-09-01 2022-12-02 深圳市城市公共安全技术研究院有限公司 点云数据坐标点位置校正的方法、装置、设备及存储介质
CN116859829B (zh) * 2023-09-04 2023-11-03 天津天石休闲用品有限公司 基于材料边缘曲线投影的切刀运动控制方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129680A (zh) * 2010-01-15 2011-07-20 精工爱普生株式会社 实时几何形状感知投影和快速重校准
CN105227881A (zh) * 2015-09-15 2016-01-06 海信集团有限公司 一种投影画面校正方法及投影设备
EP3273413A1 (en) * 2016-07-21 2018-01-24 Christie Digital Systems USA, Inc. System and method for geometric warping correction in projection mapping

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100545864C (zh) * 2007-12-20 2009-09-30 四川川大智胜软件股份有限公司 基于软件的环幕帧缓存纹理重贴几何校正方法
CN101815188A (zh) * 2009-11-30 2010-08-25 四川川大智胜软件股份有限公司 一种非规则光滑曲面显示墙多投影仪图像画面校正方法
CN106604003B (zh) * 2016-11-10 2020-09-22 深圳市Tcl高新技术开发有限公司 一种短焦投影实现曲面幕布投影的方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129680A (zh) * 2010-01-15 2011-07-20 精工爱普生株式会社 实时几何形状感知投影和快速重校准
CN105227881A (zh) * 2015-09-15 2016-01-06 海信集团有限公司 一种投影画面校正方法及投影设备
EP3273413A1 (en) * 2016-07-21 2018-01-24 Christie Digital Systems USA, Inc. System and method for geometric warping correction in projection mapping

Also Published As

Publication number Publication date
CN110300292A (zh) 2019-10-01
WO2019179168A1 (zh) 2019-09-26

Similar Documents

Publication Publication Date Title
CN110300292B (zh) 投影畸变校正方法、装置、***及存储介质
WO2020035002A1 (en) Methods and devices for acquiring 3d face, and computer readable storage media
CN106796718B (zh) 用于高效深度图像变换的方法和设备
US9652849B2 (en) Techniques for rapid stereo reconstruction from images
KR101121034B1 (ko) 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품
WO2021208933A1 (zh) 用于相机的图像校正方法和装置
US10726580B2 (en) Method and device for calibration
US20150381965A1 (en) Systems and methods for depth map extraction using a hybrid algorithm
KR101903619B1 (ko) 구조화된 스테레오
US11282232B2 (en) Camera calibration using depth data
US20170223338A1 (en) Three dimensional scanning system and framework
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
US20170374256A1 (en) Method and apparatus for rolling shutter compensation
US20180198970A1 (en) High dynamic range imaging using camera arrays
WO2016155110A1 (zh) 图像透视畸变校正的方法及***
JP2014071850A (ja) 画像処理装置、端末装置、画像処理方法、およびプログラム
US20180124378A1 (en) Enhanced depth map images for mobile devices
US20140204083A1 (en) Systems and methods for real-time distortion processing
CN113643414A (zh) 一种三维图像生成方法、装置、电子设备及存储介质
CN103500471A (zh) 实现高分辨率增强现实***的方法
TWI820246B (zh) 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品
CN101729739A (zh) 一种图像纠偏处理方法
CN114332356A (zh) 一种虚实画面结合方法和装置
US20230005213A1 (en) Imaging apparatus, imaging method, and program
CN112862976B (zh) 一种数据处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant