CN111670574A - 信息处理装置和信息处理方法 - Google Patents

信息处理装置和信息处理方法 Download PDF

Info

Publication number
CN111670574A
CN111670574A CN201980011183.8A CN201980011183A CN111670574A CN 111670574 A CN111670574 A CN 111670574A CN 201980011183 A CN201980011183 A CN 201980011183A CN 111670574 A CN111670574 A CN 111670574A
Authority
CN
China
Prior art keywords
projection
section
image
posture
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980011183.8A
Other languages
English (en)
Inventor
田原都梦
小林直树
胜木祐伍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111670574A publication Critical patent/CN111670574A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/10—Projectors with built-in or built-on screen
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/145—Housing details, e.g. position adjustments thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/147—Optical correction of image distortions, e.g. keystone
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)

Abstract

本公开内容涉及能够减少图像投影校正的精度下降的信息处理装置和方法。通过使用采用了fθ透镜的失真系数的图像投影模型来执行对用于投影图像的投影部和用于捕获图像被投影到的投影面的成像部的姿势估计，该fθ透镜的入射光的像高度由焦距f与入射光的入射角θ的乘积表示。本公开内容可以应用于例如信息处理装置、投影装置、成像装置、投影成像装置、投影成像控制装置、图像投影成像***等。

Description

信息处理装置和信息处理方法
技术领域
本公开内容涉及信息处理装置和信息处理方法。更具体地，本公开内容涉及用于抑制图像投影校正的精度降低的信息处理装置和信息处理方法。
背景技术
迄今为止，已经存在用于通过使用投影仪-摄像装置***来测量三维形状的投影校正技术。代表这些技术的一些方法涉及三维测量投影面(屏幕)的形状，并且基于关于测量的信息对其上的投影图像进行几何校正。为了测量三维形状，有必要估计(校准)两种类型的参数：指示投影仪和摄像装置的各个特性的内部参数(例如，焦距、主点和镜头失真系数)；以及代表投影仪和摄像装置相对于彼此的位置和姿势的外部参数。
例如，已经存在下述方法：预先校准投影仪和摄像装置的内部变量或外部变量，基于关于在装置被配置之后获得的关于测量的信息来校准其他变量(例如，参见专利文献1和专利文献2)。
已经通过使用在普通投影仪中采用的通常所谓的ftanθ透镜***来预测上述通过使用投影仪-摄像装置***来测量三维形状的投影校正技术。在使用具有ftanθ透镜的投影仪的投影仪-摄像装置***进行投影校正的情况下，与由内部参数和外部参数引起的效果相比，投影仪中的透镜失真的影响非常小。因此，即使不考虑透镜失真而执行校准，也能够以足够高的精度进行投影校正。
[引用列表]
[专利文献]
[专利文献1]
日本专利特许公开第2015-142157号
[专利文献2]
日本专利特许公开第2005-244835号
发明内容
[技术问题]
另一方面，通常所谓的fθ透镜涉及远大于ftanθ透镜的透镜失真的影响。因此，在使用具有fθ透镜的投影仪的投影仪-摄像装置***进行投影校正的情况下，在与ftanθ透镜***的情况一样不考虑透镜失真而执行校准会导致投影校正的精度低于ftanθ透镜***中的投影校正。
鉴于以上情况作出了本公开内容，并且本公开内容的目的在于抑制图像投影校正的精度的降低。
[问题的解决方案]
根据本技术的一个方面，提供了一种信息处理装置，该信息处理装置包括姿势估计部，该姿势估计部被配置成：使得姿势估计部通过使用采用了fθ透镜的失真系数的图像投影模型来估计用于投影图像的投影部的姿势以及用于捕获图像要投影到的投影面的成像部的姿势，该fθ透镜的入射光的像高度由焦距f与入射光的入射角θ的乘积表示。
另外，根据本技术的一个方面，提供了一种信息处理方法，包括：通过使用采用了fθ透镜的失真系数的图像投影模型来估计用于投影图像的投影部的姿势以及用于捕获图像要投影到的投影面的成像部的姿势，该fθ透镜的入射光的像高度由焦距f与入射光的入射角θ的乘积表示。
利用根据本技术的一个方面的信息处理装置和信息处理方法，通过使用采用了fθ透镜的失真系数的图像投影模型来估计用于投影图像的投影部的姿势以及用于捕获图像要投影到的投影面的成像部的姿势，该fθ透镜的入射光的像高度由焦距f与入射光的入射角θ的乘积表示。
[本发明的有益效果]
根据本公开内容，可以校正图像投影。更具体，本公开内容允许减少图像投影校正的精度的降低。
附图说明
[图1]
图1是描绘投影成像***的主要配置示例的框图。
[图2]
图2是描绘控制装置的主要配置示例的框图。
[图3]
图3是描绘由控制部实现的主要功能块的示例的功能框图。
[图4]
图4是描绘投影装置的主要配置示例的框图。
[图5]
图5是描绘成像装置的主要配置示例的框图。
[图6]
图6是说明校准处理的典型流程的流程图。
[图7]
图7是描绘如何使用结构化光来获得像素到像素的对应关系的图。
[图8]
图8是说明姿势估计处理的典型流程的流程图。
[图9]
图9是说明参数估计处理的通常流程的流程图。
[图10]
图10是描绘如何典型地校正失真的图。
[图11]
图11是描绘如何在考虑到失真的情况下典型地执行光线轨迹的图。
[图12]
图12是描绘如何典型地执行姿势估计的图。
[图13]
图13是说明几何校正处理的典型流程的流程图。
[图14]
图14是描绘如何相对于虚拟视点典型地执行几何投影校正的图。
[图15]
图15是描绘如何典型地设置虚拟视点的图。
[图16]
图16是描绘如何典型地执行二维曲面拟合的图。
[图17]
图17是描绘如何典型地发生模型失准的图。
[图18]
图18是描绘如何典型地执行模型失准处理的图。
[图19]
图19是描绘投影成像***的另一配置示例的框图。
具体实施方式
下面描述用于实现本公开内容的模式(以下称为实施方式)。注意，将按以下顺序给出描述。
1.图像投影校正
2.第一实施方式(使用fθ透镜的投影成像***)
3.第二实施方式(投影成像***的另一配置示例)
4.注意事项
<1.图像投影校正>
<ftanθ透镜***的投影校正>
为了通过使用多个投影仪将单个图像投影到屏幕上，需要以下技术：考虑屏幕的曲面上的来自投影仪的单个图像的失真，并且将投影图像相应地校正为几何上准确、无失真的图像。代表这种技术的一些方法涉及使被配置的投影仪将图案或标记投影到屏幕上，并且使也被配置的摄像装置或传感器获得用于校正目的的信息。
例如，已经提出了两种类型的方法作为在非平面投影中使用摄像装置的投影校正技术：使用二维信息并且基于捕获图像的外观来执行校正的方法；以及使用三维信息并且涉及基于投影仪的投影范围(即关于屏幕形状的测量的信息)对指示摄像装置和投影仪的特性的内部变量和表示用于校正其相对位置和姿势的外部变量二者进行估计(＝校准)的方法。
使用二维信息的方法涉及简化的装置配置，而无需校准投影仪或摄像装置。然而，该方法不能保证校正后的图像在几何上是准确的(例如，从摄像装置的视角来看，校正后的直线应视为一条直线)。相比之下，使用三维信息(其校正与屏幕形状对齐)的方法更可能保证所得图像的几何准确度，但需要以下校准步骤。
即，通过使用三维信息的方法，投影仪将图案或标记投影到目标；摄像装置捕获投影的图案或标记；以及控制装置通过使用捕获图像获得投影仪与摄像装置之间的像素到像素的对应关系，并且通过使用原理或三角测量法测量深度信息(depth)。此时，在根据投影仪与摄像装置之间的像素到像素的对应关系来测量深度时，控制装置需要遵循用于估计投影仪和摄像装置的内部变量及其相对位置和姿势的过程，即，在使用三维信息的方法的情况下，控制装置需要校准。
例如，通过在配置装置之前校准投影仪和摄像装置外壳中的每一个的所有内部变量和外部变量，可以满足上述要求。替选地，如以上引用的专利文献1和专利文献2中所描述的，每个投影仪和摄像装置外壳的内部变量或外部变量都被预先校准，而其他变量则基于配置了该装置之后的测量信息来校准。
然而，在投影仪或摄像装置已经被移动或者通常通过变焦/移位操作改变了内部变量的情况下，上述方法需要繁琐的重新校准工作。在由多个投影仪投影单个图像而投影未校正的情况下，多个投影仪的投影之间的交叠区域中出现图像失准。在投影校正后，即使投影仪稍微移动，也可能导致失准。这要求随后进行繁琐、耗时的用于重新校准的初步过程的工作，这在实际操作设置中非常不现实。
此外，现有的校准方法是基于以下假设：将这些方法应用于使用配备有通常所谓的ftanθ透镜(普通透镜)的投影仪的***，该ftanθ透镜的入射角为θ的光的像高度由焦距f与tanθ的乘积(f·tanθ)表示。在使用具有ftanθ透镜的投影仪的投影仪-摄像装置***进行投影校正的情况下，与内部参数和外部参数的影响相比，投影仪中的透镜失真的影响非常小。因此，即使不考虑透镜失真而进行校准也能够以足够高的精度进行投影校正。
另一方面，在最近引入的图像投影***(例如，通过该图像投影***将图像投影到圆顶型曲面(例如，半球形)的投影面上，以增强用户观看投影图像时的沉浸感)的情况下，提出了使用配备有通常所谓的fθ透镜(也称为鱼眼镜头)的投影仪，该fθ透镜的入射光的像高由焦距f与入射光的入射角θ乘积表示。
与使用ftanθ镜头时相比，使用fθ镜头可以使投影图像的视角更宽。因此，与采用ftanθ透镜的投影仪相比，使用fθ透镜的投影仪更适合于在诸如圆顶型投影面的曲面上进行图像投影。
然而，通常所谓的fθ透镜要经历比ftanθ透镜高得多的透镜失真的影响。因此，在使用具有fθ透镜的投影仪的投影仪-摄像装置***进行投影校正的情况下，在如ftanθ透镜***的情况那样不考虑透镜失真的情况下执行校准会使投影校正的精度低于ftanθ镜头***情况下的精度。
尽管以上引用的专利文献1公开了使用鱼眼投影仪的投影仪-摄像装置***，但是其中描述的方法涉及将图像投影到两个投影面，即在投影仪的光轴方向上的平面以及与该平面垂直的平面。因此，难以将该方法应用于在圆顶型球面屏幕上进行图像投影。
因此，为了进行图像投影校正，使用采用了fθ透镜的失真系数的图像投影模型来估计用于投影图像的投影部的姿势以及用于捕获图像要投影到的投影面的成像部的姿势，该fθ透镜具有由焦距f与入射光的入射角θ的乘积表示的入射光的像高度。
例如，信息处理装置包括姿势估计部，该姿势估计部用于通过使用采用了fθ透镜的失真系数的图像投影模型来估计用于投影图像的投影部的姿势以及用于捕获图像要投影到的投影面的成像部的姿势，该fθ透镜的入射光的像高度由焦距f与入射光的入射角θ的乘积表示。
上述配置允许在校正fθ透镜的透镜失真的同时进行姿势估计。因此，即使在使用fθ透镜的情况下，也可以抑制图像投影校正的精度的降低。换言之，以上配置使得能够以足够高的精度校准投影部和成像部的内部参数和外部参数。即，更容易执行图像投影校正，从而增强了面对环境变化的参数精度的鲁棒性。这使得使用fθ透镜的图像投影***能够进行实际操作。
<2.第一实施方式>
<投影成像***>
图1是描绘应用了本技术的投影成像***的主要配置示例的框图。在图1中，投影成像***100是将图像投影到投影面并且通过使用捕捉到投影到投影面上的图像的图像来校准参数的***。
如图1所示，投影成像***100包括控制装置111、投影装置112-1、成像装置113-1、投影装置112-2和成像装置113-2。投影装置112-1、成像装置113-1、投影装置112-2和成像装置113-2分别经由电缆115-1至115-4可通信地连接至控制装置111。
在下面的描述中，在不需要进行单独说明的情况下，将投影装置112-1和112-2称为投影装置112。同样，在不需要进行单独说明的情况下，将成像装置113-1和113-2称为成像装置113。此外，在不需要进行单独说明的情况下，将电缆115-1至115-4称为电缆115。
控制装置111经由电缆115控制每个投影装置112和每个成像装置113。例如，控制装置111经由电缆114被提供图像。控制装置111将图像馈送到每个投影装置112，每个投影装置112又将图像投影到圆顶型(部分球形表面)屏幕121。作为另一个示例，控制装置111使每个成像装置113捕获屏幕121(例如，投影到屏幕121上的图像)并且获取捕获图像。
作为又一示例，控制装置111通过使用捕获的图像来校准投影装置112和成像装置113的参数，从而计算用于对由投影装置112投影的图像进行几何校正的参数。使用所计算的参数，控制装置111对从外部提供的图像进行几何校正，并且将经过几何校正的图像馈送到投影装置112。
投影装置112均具有通常称为投影仪的功能。例如，在控制装置111的控制下，投影装置112将从控制装置111提供的图像投影到屏幕121。在控制装置111的控制下，投影装置112相互协作以执行图像投影，使得单个投影图像出现在屏幕121上(即，将一个投影图像显示在屏幕121上)。
例如，多个投影装置112以如下方式执行图像投影：将被投影的图像没有间隙地并排布置在屏幕121上，从而获得比由单个投影装置112投影的图像更大(具有高分辨率)的投影图像(即，将这样的投影图像显示在屏幕121上)。作为另一示例，多个投影装置112以使得投影的图像在屏幕121上的位置彼此一致的方式执行图像投影，从而获取比由单个投影装置112投影的图像更亮的(高动态范围的)图像(即，将这样的投影图像显示在屏幕121上)。即，这种情况下的投影成像***100是实现所谓的投影映射的通常所称的多投影***。
成像装置113均具有通常称为摄像装置的功能。例如，在控制装置111的控制下，成像装置113捕获屏幕121(即，由投影装置112向其投影图像的屏幕121)，并且将捕获图像的数据(也称为捕获图像数据)馈送到控制装置111。捕获图像由控制装置111用于计算用于对图像进行几何校正的参数(即，用于校准投影装置112和成像装置113的参数)。即，成像装置113被配置成对要投影的图像进行几何校正(即，被配置成计算用于几何校正的参数)。
屏幕121是近似圆顶形(部分球形的表面形状)的投影面。在将屏幕121配置成弯曲表面的情况下，与将图像投影到平面屏幕上相比，能够以更宽的视角在屏幕121上投影(显示)图像。这使用户可以体验到更真实的感觉和更深的沉浸感。
此外，投影装置112和成像装置113均包括通常所谓的fθ透镜(也称为鱼眼镜头)，而不是包括通常所谓的ftanθ透镜(普通透镜)。因此，与ftanθ透镜的情况相比，由投影装置112投影的图像或者由成像装置113捕获的图像均具有更大的失真，特别是在***区域中。
<控制装置>
图2是描绘作为应用了本技术的信息处理装置的实施方式的控制装置111的主要配置示例的框图。要注意的是，图2描绘了主要处理块以及这些主要处理块之间的主要数据流，而没有覆盖控制装置111的整个配置。即，控制装置111可以包括在图11中未示出的处理块以及除了图2中箭头所示之外的数据流和处理。
如图2所示，控制装置111包括控制部201、输入部211、输出部212、存储部213、通信部214和驱动器215。
控制部201执行与控制相关的处理。例如，控制部201控制控制装置111中的任何配置的元件。控制部201还执行与对诸如投影装置112和成像装置113的其他装置的控制相关的处理。控制部201可以以任何期望的方式配置。例如，控制部201可以包括CPU(中央处理单元)、ROM(只读存储器)和RAM(随机存取存储器)，CPU将程序和数据从ROM加载到RAM中并且对所加载的程序和数据进行执行和操作以实施相关处理。
输入部211包括用于接受来自外部的诸如来自用户的输入之类的信息的输入装置。例如，输入部211可以包括键盘、鼠标、操作按钮、触摸面板、摄像装置、麦克风和输入端子。输入部211还可以包括诸如加速度传感器、光学传感器和温度传感器之类的各种传感器，以及诸如条形码读取器之类的输入仪器。输出部212包括用于输出诸如图像和声音之类的信息的输出装置。例如，输出部212可以包括显示单元、扬声器和输出端子。
存储部213包括用于存储诸如程序和数据之类的信息的存储介质。例如，存储部213可以包括硬盘、RAM盘和非易失性存储器。通信部214包括通信装置，该通信装置用于经由预定通信介质(例如，诸如因特网之类的合适网络)通过向外部装置发送以及从外部装置接收诸如程序和数据之类的信息来与外部装置进行通信。例如，通信部214可以包括网络接口。通信部214例如与控制装置111外部的装置(例如，投影装置112和成像装置113)执行通信(即，交换程序和数据)。优选地，通信部214可以具有有线通信功能或无线通信功能或者两者。
驱动器215从例如附接到驱动器215的磁盘、光盘、磁光盘或半导体存储器的可移除介质221中检索信息(例如程序和数据)。驱动器215将从可移除介质221中检索到的信息提供给控制部201等。在可擦写的可移除介质221被附接到驱动器215的情况下，驱动器215可以将从控制部201提供的信息(例如，程序和数据)存储在所附接的可移除介质221中。
<控制装置的功能块>
图3是描绘由例如控制装置111执行程序实现的主要功能块的示例的功能框图。如图3所示，控制装置111执行程序以实现例如感测处理部251、姿势估计部252和几何校正部253的功能。
感测处理部251执行与感测相关的处理。例如，感测处理部251通过使用来自成像装置113的捕获图像来执行检测投影装置112的像素与成像装置113的像素之间的对应点的处理。感测处理部251向姿势估计部252提供处理结果(即，关于投影装置112与成像装置113之间的对应点的信息)。
姿势估计部252执行与对投影装置112和成像装置113的姿势的估计相关的处理。例如，姿势估计部252使用采用了fθ透镜的失真系数的图像投影模型来估计与投影装置112和成像装置113中的至少任何一个的与姿势相关的参数(变量)(即，计算与姿势相关的变量的估计)。
与姿势相关的参数可以是任何合适的类型。例如，参数可以包括投影装置112和成像装置113中的至少任何一个的内部参数(也称为内部变量)。内部参数可以是任何合适的类型。例如，内部参数可以包括下投影装置112或成像装置113的焦距、主点以及与透镜失真系数的逆变换对应的参数(kinv)中的至少任意一个。
替选地，与姿势相关的参数可以包括投影装置112和成像装置113中的至少任何一个的外部参数(也称为外部变量)。外部参数可以是任何合适的类型。例如，外部参数可以包括相对于投影装置112或成像装置113的世界坐标系的原点的旋转矩阵和平移矢量中的至少任何一个。
姿势估计部252基于和投影装置112与成像装置113之间的对应点相关的信息、从感测处理部251提供的信息，来估计与姿势相关的参数。姿势估计部252还基于已经预先确定的投影装置112和成像装置113中的至少任何一个的内部参数的代表值(也称为内部变量代表值)来估计与姿势相关的参数。
姿势估计部252向几何校正部253提供投影装置112和成像装置113中的至少任何一个的获得的参数估计(内部参数估计(也称为内部变量估计)或外部参数估计(也称为外部变量估计)中的至少任何一个)。
几何校正部253执行与图像的几何校正相关的处理。例如，基于从姿势估计部252提供的参数估计，几何校正部253计算经由电缆114从外部输入的用于图像的几何校正的参数(例如，用于几何校正的矢量数据)。
<姿势估计部>
如图3所示，姿势估计部252包括成像变量估计部261、投影变量估计部262和总体优化部263。
成像变量估计部261执行与估计成像装置113的内部参数或外部参数(这些参数也称为成像变量)中的至少任何一个相关的处理。投影变量估计部262执行与估计投影装置112的内部参数或外部参数(这些参数也称为投影变量)中的至少任何一个相关的处理。总体优化部263执行与优化由成像变量估计部261获得的成像变量的估计(也称为成像变量估计)以及由投影变量估计部262获得的投影变量的估计(也称为投影变量估计)相关的处理。
以这种方式，姿势估计部252估计成像变量和投影变量，通过总体优化，获得投影装置112和成像装置113中的至少任何一个的内部变量估计或外部变量估计中的至少任何一个。
此时，姿势估计部252通过使用采用了fθ透镜的失真系数的图像投影模型来执行上述姿势估计。即，成像变量估计部261通过使用采用了fθ透镜的失真系数的图像投影模型来获得成像变量估计。同样，投影变量估计部262通过使用采用了fθ透镜的失真系数的图像投影模型来获取投影变量估计。类似地，总体优化部263通过使用采用了fθ透镜的失真系数的图像投影模型来优化所有这些参数。
因此，即使在投影装置112或成像装置113使用fθ透镜的情况下，控制装置111也可以抑制图像投影校正的精度的降低。这允许使用fθ透镜的投影成像***100的实际操作。
<几何校正部>
此外，如图3所示，几何校正部253包括投影面建模部271、虚拟视点位置/投影方向估计部272、模型失准对应处理部273和投影掩模生成部274。
投影面建模部271执行与投影面建模(曲面的功能化)相关的处理。虚拟视点位置/投影方向估计部272执行与估计用作用于失真校正的参考点的虚拟视点位置以及从该虚拟视点位置的图像投影方向相关的处理。模型失准对应处理部273执行用于抑制实际投影面与其模型之间的失准(也称为模型失准)的对应处理。投影掩模生成部274执行与生成投影掩模相关的处理，该投影掩模用于限制投影装置112投影图像的范围。
<投影装置>
图4是描绘作为应用了本技术的信息处理装置的一个实施方式的投影装置112的主要配置示例的框图。要注意的是，图4描绘了主要处理块以及这些主要处理块之间的主要数据流，并且没有覆盖投影装置112的整体配置。也就是说，投影装置112也可以包括在图4中未示出的处理块以及除了图4中箭头所示之外的数据流和处理。
如图4所示，投影装置112包括控制部301、投影部302、输入部311、输出部312、存储部313、通信部314和驱动器315。
控制部301执行与控制相关的处理。例如，控制部301控制投影装置112中的任何配置的元件。例如，控制部301控制投影部302的驱动。控制部301可以以任何期望的方式配置。例如，控制部301可以包括CPU、ROM和RAM，CPU将程序和数据从ROM加载到RAM中，并且对所加载的程序和数据进行执行和操作以执行相关处理。
投影部302在控制部301的控制下执行与图像投影相关的处理。例如，投影部302从控制部301获取从控制装置111提供的图像数据，并且将所获取的图像投影到屏幕121。投影部302具有如上所述的fθ透镜，从而经由fθ透镜将图像投影到屏幕121。
输入部311包括用于从外部接受诸如来自用户的输入之类的信息的输入装置。例如，输入部311可以包括键盘、鼠标、操作按钮、触摸面板、摄像装置、麦克风和输入端子。输入部311还可以包括诸如加速度传感器、光学传感器和温度传感器之类的各种传感器，以及诸如条形码读取器之类的输入装置。输出部312包括用于输出诸如图像和声音的信息的输出装置。例如，输出部312可以包括显示单元、扬声器和输出端子。
存储部313包括用于存储诸如程序和数据之类的信息的存储介质。例如，存储部313可以包括硬盘、RAM盘和非易失性存储器。通信部314包括通信装置，该通信装置用于通过预定的通信介质(例如，诸如因特网之类的适当网络)通过向外部装置发送以及从外部装置接收诸如程序和数据之类的信息来与外部装置通信。例如，通信部314可以包括网络接口。通信部314例如与投影装置112外部的装置(例如控制装置111)进行通信(即，交换程序和数据)。优选地，通信部314可以具有有线通信功能或无线通信功能或者两者。
驱动器315从连接到驱动器315的可移除介质321(例如磁盘、光盘、磁光盘或半导体存储器)中检索信息(例如程序和数据)。驱动器315将从可移除介质321中检索到的信息提供给控制部301等。在可擦写的可移除介质321被附接到驱动器315的情况下，驱动器315可以将从控制部301提供的信息(例如，程序和数据)存储在所附接的可移除介质321中。
<成像装置>
图5是描绘作为应用了本技术的信息处理装置的一个实施方式的成像装置113的主要配置示例的框图。要注意的是，图5描绘了主要处理块以及这些主要处理块之间的主要数据流，而没有覆盖成像装置113的整体配置。也就是说，成像装置113也可以包括在图5中未示出的处理块以及除了图5中箭头所示之外的数据流和处理。
如图5所示，成像装置113包括控制部401、成像部402、输入部411、输出部412、存储部413、通信部414和驱动器415。
控制部401执行与控制相关的处理。例如，控制部401控制成像装置113中的任何配置的元件。例如，控制部401控制成像部402的驱动。可以以任何期望的方式配置控制部401。例如，控制部401可以包括CPU、ROM和RAM，CPU将来自ROM的程序和数据加载到RAM中，并且对加载的程序和数据进行执行和操作以执行相关处理。
成像部402在控制部401的控制下执行与捕获被成像对象相关的处理。例如，成像部402捕获由投影装置112投影到屏幕121的图像，以获得捕获图像数据。成像部402将捕获图像数据提供给控制部401。控制部401又经由通信部414将捕获图像数据提供给控制装置111。注意，成像部402具有如上所述的fθ透镜，使得成像部402经由fθ透镜捕获屏幕121(即，投影图像)。
输入部411包括用于从外部接受诸如来自用户的输入之类的信息的输入装置。例如，输入部411可以包括键盘、鼠标、操作按钮、触摸面板、摄像装置、麦克风和输入端子。输入部411还可以包括诸如加速度传感器、光学传感器和温度传感器之类的各种传感器，以及诸如条形码读取器之类的输入装置。输出部412包括用于输出诸如图像和声音的信息的输出装置。例如，输出部412可以包括显示单元、扬声器和输出端子。
存储部413包括用于存储诸如程序和数据之类的信息的存储介质。例如，存储部413可以包括硬盘、RAM盘和非易失性存储器。通信部414包括通信装置，该通信装置用于通过预定的通信介质(例如，诸如因特网之类的合适的网络)通过向外部装置发送以及从外部装置接收诸如程序和数据之类的信息来与外部装置进行通信。例如，通信部414可以包括网络接口。通信部414例如与成像装置113外部的装置(例如，控制装置111)进行通信(即，交换程序和数据)。优选地，通信部414可以具有有线通信功能或无线通信功能或者两者。
驱动器415从附接到驱动器415的可移除介质421(例如磁盘、光盘、磁光盘或半导体存储器)检索信息(例如程序和数据)。驱动器415将从可移除介质421检索的信息提供给控制部401等。在可擦写的可移除介质421被附接到驱动器415的情况下，驱动器415可以将从控制部401提供的信息(例如，程序和数据)存储在所附接的可移除介质421中。
<校准处理的流程>
下面说明由上述投影成像***100执行的处理。投影成像***100中的控制装置111执行校准处理以校准投影变量(投影装置112的内部参数和外部参数)和成像变量(成像装置113的内部参数和外部参数)。
下面参照图6的流程图说明校准处理的典型流程。当校准处理开始时，感测处理部251在步骤S101中执行感测处理以检测对应点。
在感测处理中，如图7的示例所示，结构化光方法用于获得投影装置112(例如，投影仪)与成像装置113(例如，摄像装置)之间的像素到像素的对应关系。更具体地，投影装置112(投影仪)将其像素在时间方向上编码的图案(例如，格雷码或方格图案)投影到圆顶型屏幕121上，同时按时间顺序切换图案。此外，成像装置113(摄像装置)捕获这些图案中的每一个的投影图像。基于捕获图像中包括的每个图案，控制装置111获得投影装置112的像素与成像装置113的像素之间的对应点。当已经获得关于对应点的信息(即，投影装置与成像装置之间的对应点)时，处理进行到步骤S102。
在步骤S102中，姿势估计部252基于关于在步骤S101中获得的对应点的信息来执行姿势估计处理，从而获得投影装置112和成像装置113中的每一个的内部变量估计和外部变量估计。
注意，姿势估计部252初始地将投影装置112和成像装置113的内部变量和外部变量视为未知。在相对于投影装置112向其投影图像的屏幕121适当地布置了投影装置112和成像装置113之后，姿势估计部252根据该布置估计变量。即，利用本方法，不需要对投影装置112和成像装置113的内部变量和外部变量执行初步校准处理。
然而，投影装置112和成像装置113可以优选地将其内部变量(例如，焦距、主点和透镜失真)的代表值保持为初始值。然后，姿势估计部252可以使用这些代表值来执行姿势估计处理。例如，可以基于所捕获和投影的图像的分辨率来设置焦距和主点。通过预先校准多个投影装置112和成像装置113而获得的值的平均值可以用作透镜失真系数。这些内部变量仅用作初始值。在步骤S102的处理(姿势估计处理)中，姿势估计部252再次估计所有这些内部变量。因此，即使在投影装置112和成像装置113配置有不用于获得内部变量的代表值的投影和成像装置的情况下，执行姿势估计处理也可以抑制图像投影校正的精度的降低。
注意，通过执行姿势估计处理，姿势估计部252进一步估计投影装置112和成像装置113的外部变量。获得外部变量不需要预先准备其初始值。可以在外部变量完全未知的状态下自动估计外部变量。
在通过上述姿势估计处理获取了投影装置112和成像装置113中的每一个的内部变量估计和外部变量估计之后，处理进行到步骤S103。
在步骤S103中，几何校正部253通过使用在步骤S102的处理中获取的投影装置112和成像装置113中的每一个的内部变量估计和外部变量估计来执行几何校正处理，从而获得用于几何校正的矢量数据。
完成步骤S103中的处理后，校准处理终止。
<姿势估计处理的流程>
下面参照图8的流程图说明在图6的步骤S102中执行的姿势估计处理的通常流程。
当开始姿势估计处理时，在步骤S121中，姿势估计部252中的成像变量估计部261估计成像装置113的内部变量和外部变量(即，成像变量)。如上所述，不必预先估计外部变量，因为可以通过该处理对外部变量进行估计。内部变量的代表值用作其初始值。此时，成像变量估计部261通过使用采用了fθ透镜的失真系数的图像投影模型来估计成像装置113的与姿势相关的参数(即，成像变量)。利用所估计的成像变量，处理进行到步骤S122。
在步骤S122中，投影变量估计部262估计投影装置112的内部变量和外部变量(即，投影变量)。以与在步骤S121中估计成像变量的情况相似的方式估计投影变量。
在步骤S123中，总体优化部263对在步骤S121中获得的成像变量的估计(成像装置113的内部变量估计和外部变量估计)以及在步骤S122中获得的投影变量的估计(投影装置112的内部变量估计和外部变量估计)进行优化。
在优化了每个变量估计之后并且在终止步骤S123的处理之后，姿势估计处理结束。然后，该处理返回图6的流程图。
如上所述，在最终并且同时优化参数以获得最终估计之前，姿势估计部252执行姿势估计处理以分别估计和优化投影装置112的内部参数(焦距、主点以及与透镜失真系数的逆变换对应的参数kinv)和外部参数(相对于世界坐标系的原点的旋转矩阵和平移矢量)。
<图像投影模型>
接下来说明在上述姿势估计处理期间执行的对成像变量的估计(步骤S121)以及对投影变量的估计(步骤S122)。基本上使用相似的方法来估计成像变量和投影变量。使用采用了fθ镜头的图像投影模型来估计这些变量。
首先说明上述模型的定义。当三维空间中的三维点P在世界坐标系中具有坐标值X并且当将点P转换为摄像装置坐标系时，坐标值X被转换为坐标值Xc，如下面的数学表达式(1)所表达，通过使用旋转矩阵R和平移矢量T进行从世界坐标系到摄像装置坐标系的转换。
[数学式1]
Xc＝RX+T...(1)
其中，x＝Xc1，y＝Xc2，Z＝Xc3
当将点P作为透视投影模型投影到z＝1的平面上时，如以下表达式(2)至(5)所定义，给出点P的齐次坐标a，b，从该齐次坐标获得视角θ。
[数学式2]
Figure BDA0002612003000000161
[数学式3]
Figure BDA0002612003000000162
[数学式4]
r2＝a2+b2···(4)
[数学式5]
θ＝arctan(r)···5)
在此，将鱼眼镜头的失真因数k定义为下式(6)，如下式(7)至(9)所表达，计算考虑了失真的齐次坐标x′，y′。
[数学式6]
k＝[k1 k2 k3 k4]T···(6)
[数学式7]
θd＝θ(1+k1θ2+k2θ4+k3θ6+k4θ8)···(7)
[数学式8]
x′＝(θd/r)a···(8)
[数学式9]
y′＝(θd/r)b···(9)
上面的项(θd/r)表示由于镜头失真而导致的图像坐标失准，并且当k＝0时，对应于理想的鱼眼镜头模型(r＝fθ)。最后，使用如下式(10)和(11)表达的焦距fx、fy来计算当转换为摄像装置坐标系时变为图像坐标u，v的坐标x′，y′。注意，在表达式中，项cx、cy表示摄像装置的主点，值α是表示剪切系数的参数，此时α＝0。
[数学式10]
u＝fx(x′+αy′)+cx···(10)
[数学式11]
v＝fyy′+cy···(11)
在这种情况下，投影装置112和成像装置113的内部参数(例如，焦距和主点)可以由下面的表达式(12)表达。在假定深度方向上的比例为1的情况下，内部参数可以由下面的表达式(13)表达。因此，当将参数乘以A或A-1时，使得二维图像坐标与三维坐标之间的相互变换成为可能。
[数学式12]
Figure BDA0002612003000000181
[数学式13]
Figure BDA0002612003000000182
通过使用该模型，可以实现在使用鱼眼镜头(fθ镜头)的情况下考虑透镜失真地将该点变换为图像坐标之前首先将三维空间中的点重新投影到图像平面上的处理。
<与镜头失真系数的逆变换对应的参数>
为了使用上述模型执行光线跟踪，本方法使用与透镜失真系数的逆变换对应的参数kinv。通过这种方法，假设其中存在要测量的目标的三维空间是没有失真的理想空间，并且假设在投影装置112(或成像装置113)的图像坐标系中表示的并且对应于三维空间中的点的像素值包括失真。此时，对投影装置112(或成像装置113)的图像坐标系中的像素p'进行失真校正，以获得理想坐标值p(无失真)，然后将理想坐标值p投影到三维空间，以获取在其上存在与点p'对应的三维点P的光线。因此，基于投影装置112与成像装置113之间的像素到像素的对应关系，将对应的理想坐标投影到三维空间，以获得其交点被测量为与每个像素对应的三维点的多条光线。
在上述模型中，将值k定义为用于在失真的二维图像的方向上从三维空间重新投影点的参数。通常，通过失真校正在三维空间的方向上投影点需要对每个像素的失真进行重复补偿。相比之下，本方法引入与镜头失真系数k的逆变换对应的参数kinv，以便通过使用上述表达式(7)至(9)对投影装置112和成像装置113的坐标值执行失真校正。使用参数kinv可以对所有像素进行统一的失真校正。此外，与补偿每个像素的方法相比，该方法抑制了计算成本的增加。通过以下处理使用失真系数k的值初始地估计参数kinv。此后，在稍后要讨论的优化步骤(参数估计处理)中再次估计参数kinv。
上面的数学表达式(7)针对失真系数k来设置，并且以由下面的表达式(14)定义的矩阵形式来表达。
[数学式14]
Figure BDA0002612003000000191
针对与投影装置112和成像装置113的图像中的一个像素对应的每个视角θ，获得上面的表达式(14)。因此，对“n”个像素的透镜失真变换的处理由以下表达式(15)定义的(n×4)矩阵与(4×1)矩阵的乘积来表达。
[数学式15]
Figure BDA0002612003000000192
在此，将失真变换前的角度θi与失真变换后的角度θdi(其中I＝1,2,...,n)彼此交换，从而将上述表达式重新定义为用于对[k1 k2 k3 k4]T进行失真校正的变换矩阵[kinv(1) kinv(2) kinv(3) kinv(4)]。因此，通过将表达式的左侧乘以右侧的(n×4)矩阵的伪逆矩阵，可以估计由以下表达式(16)定义的参数kinv。
[数学式16]
kinv＝[kinv(1) kinv(2) kinv(3) kinv(4)]T···(16)
估计中使用的点(像素)应为在整个图像上沿纵向和横向以相等间隔采样的足够数目的点。应当向失真的二维图像方向(重新投影的方向)上的透镜失真系数k赋予适当的初始值，例如根据多个投影装置112(投影仪)和成像装置113(摄像装置)的校准值的平均值生成的代表值。
此外，使用参数kinv来校正透镜失真需要与上述失真处理相反地进行跟踪。给定包括失真的坐标x'，y'，如以下表达式(17)和(18)所定义，获得经失真校正的视角θ’。
[数学式17]
r′2＝x′2+y′2···(17)
[数学式18]
θ′＝r′(1+kinv(1)r′2+kinv(2)r′4+kinv(3)r′6+kinv(4)r′8)···(18)
然后，如以下表达式(19)和(20)所定义，获得与视角θ′对应的齐次坐标a，b。
[数学式19]
a＝(tanθ′/r′)x′···(19)
[数学式20]
b＝(tanθ′/r′)y′···(20)
这使得可以将包括失真的坐标校正为无失真坐标。
<参数估计处理的流程>
在图8的步骤S121和S122中，重新估计与透镜失真系数的逆变换对应的参数kinv。通过非线性优化来实现重新估计，该非线性优化涉及使根据投影装置112与成像装置113之间的像素到像素的对应关系获得的对应光线之间的距离(三角误差)最小化。下面参照图9的流程图说明由图8中的步骤S121和S122构成的参数估计处理的通常流程。作为用于非线性优化的算法，例如可以使用Levenberg-Marquardt方法。
当参数估计处理开始时，在步骤S141中，成像变量估计部261(或投影变量估计部262)例如将参数kinv设置为估计目标参数。在此，可以指定除参数kinv以外的任何内部变量或外部变量来代替参数kinv。此外，可以同时指定多个参数。
在步骤S142中，成像变量估计部261(或投影变量估计部262)通过使用与透镜失真系数的逆变换对应的参数kinv，对每个对应点执行失真校正。
利用本方法，如上所述，三维空间被认为是无失真的理想空间，并且被捕获或投影的图像被定义为包括由fθ透镜引起的失真。即，已经获得了先前获取的投影装置112与成像装置113之间的像素到像素的对应关系作为每个均包括失真的像素的图像坐标之间的对应关系。因此，为了基于对应关系在三维空间中执行光线跟踪，必须使用无失真的图像坐标。
鉴于上述情况，使用参数kinv以及上述表达式(7)至(11)对例如图10的左侧描绘的二维平面上的图像611中的对应像素601进行失真校正。因此，在无失真图像612中获得图像坐标值(对应像素602)，无失真图像612的范围由于fθ透镜的影响而变得比初始矩形宽，如图10的右侧所示。对每个对应像素执行该失真校正。
在步骤S143中，成像变量估计部261(或投影变量估计部262)通过跟踪对应光线来计算(近似)三角测量点。通过使用上述表达式(10)和(11)的关系，可以通过在三维空间的方向上投影无失真的图像坐标来跟踪与像素对应光线。即，如图11所示，失真校正将失真的二维平面图像611A中的对应像素601A变换为图像612A中的对应像素602A。同样地，失真校正将失真的二维平面图像611B中的对应像素601B变换为图像612B中的对应像素602B。以这种方式，校正了投影装置112与成像装置113之间的对应像素的失真并且将对应像素进行投影，以获得其交点被测量为与该像素对应的三维点的光线。
此时，将与三角测量点对应光线之间的距离视为对应光线之间的误差(即，三角测量误差)。在误差为零的情况下，这意味着对应光线在三维空间中的一点处彼此相交。在以这种方式获得每个对应点的三维坐标(也称为对应三维坐标)和伴随的测量误差之后，处理进行到步骤S144。
在步骤S144中，成像变量估计部261(或投影变量估计部262)基于在步骤S143的处理中获得的测量误差来计算全部对应点的平均误差。
在步骤S145中，成像变量估计部261(或投影变量估计部262)确定是否已经处理了所有对应点。在确定存在未处理的对应点的情况下，处理返回到步骤S141，并且重复随后的步骤。即，对每个对应点执行步骤S141至S145。然后，在步骤S145中确定已经处理了所有对应点的情况下，处理进行到步骤S146。
在步骤S146中，成像变量估计部261(或投影变量估计部262)确定在步骤S144中计算出的平均误差是否在规定阈值以下。在确定平均误差大于规定阈值的情况下，处理进行到步骤S147。
在步骤S147中，成像变量估计部261(或投影变量估计部262)校正估计参数(例如，参数kinv和其他参数)。注意，为了实现高度准确的估计，每个处理块将根据需要去除误差非常大的对应点，从而这些点将不用于估计。在步骤S147中的处理完成之后，处理返回到步骤S141，并且重复随后的步骤。即，重复步骤S141至步骤S147的处理，直到将全部对应点的平均误差被优化为在规定阈值以下。
此外，在步骤S146中确定平均误差在规定阈值以下并且参数已被优化的情况下，参数估计处理终止。然后处理返回到图8的流程图。
即，去除异常值，使得屏幕121外部的点或者低感测精度的点将不用于估计。例如，如图12的上部所示，在找到三角测量点时，获得来自投影装置112和成像装置113的对应光线之间的误差。然后，如图12的下部所示，重复用于使对应光线之间的误差最小化以及去除在对应光线之间具有非常大的误差的感测点的优化。在已经从感测处理获得了关于对应点的高度准确的信息的情况下，这使得能够更准确地估计内部变量和外部变量。
注意，在图8的步骤S123的总体优化中，基本上以类似的方式优化参数。然而，应注意，在总体优化期间，重复如上所述的更新所有估计的投影变量和成像变量的处理，同时一个接一个地改变针对估计的参数。
当如上所述执行姿势估计处理和参数估计处理时，可以通过在包括均使用非常容易受到透镜失真的影响的鱼眼镜头(fθ透镜)的投影装置112和成像装置113的投影成像***100的自动校准期间精确地估计透镜失真系数来实现高精度、自动的投影校正。
<几何校正处理的流程>
接下来参照图13的流程图说明在图6的步骤S103中执行的几何校正处理的典型流程。
当开始进行几何校正处理时，在步骤S161中，几何校正部253中的投影面建模部271通过使用与投影装置112和成像装置113的姿势估计相关的参数来重新配置投影面，从而拟合二维曲面。
在步骤S162中，虚拟视点位置/投影方向估计部272估计虚拟视点位置以及从该虚拟视点位置的图像投影方向。例如，假定步骤S161中的处理已经设置了如图14所示的屏幕形状模型701。然后，虚拟视点位置/投影方向估计部272在屏幕形状模型701前方设置虚拟视点702，并且建立从虚拟视点702(在前方)的投影方向。
为了以几何上准确的方式将图像从虚拟视点702投影到屏幕形状模型701，必须确定虚拟视点702的前方、水平方向和竖直方向。因此，为了确定前方，虚拟视点位置/投影方向估计部272从如图15的子图A所示测量的一组三维点中选择图15的子图B所示的与屏幕121的边缘对应的一组点。虚拟视点位置/投影方向估计部272还将所选择的一组点拟合为如图15的子图C所示的平面。从视点摄像装置观看时，该平面的法线方向被视为前方方向。此外，因为投影装置112-1和112-2通常被布置在大致相同的高度，所以基于投影装置112的高度来确定水平方向。竖直方向最终被确定为与其他两个方向成直角的矢量。使用测量信息自动执行对虚拟视点方向和投影方向的这种估计。无需明确和手动地指定方向。
通过以上处理，可以估计虚拟视点方向和投影方向。因此，假设屏幕121位于虚拟视点位置的前方，则可以以允许以几何上准确的方式从该位置观看图像的方式生成几何校正矢量。
在步骤S163中，模型失准对应处理部273确定估计是否对应于模型失准。在确定投影面与其模型之间存在失准(模型失准)并且估计对应于模型失准的情况下，处理进行到步骤S164。
在步骤S164中，模型失准对应处理部273执行模型失准对应插值处理。在步骤S161中重新配置投影面时，如图16的子图A所示，使用与投影装置112与成像装置113之间的对应点相关的信息以及这些装置的内部变量估计和外部变量估计来测量投影面上的三维点721。然后，如图16的子图B所示，将这组测量的三维点与二维曲面的屏幕形状模型701(例如椭球体、双曲面或圆柱体)拟合，以使平方误差最小化。在球面屏幕的情况下，通常将这些点建模为椭球体。通过基于从整个像素估计的模型来计算几何校正矢量，可以提供平滑、抗噪声的几何校正。
然而，要注意的是，当由于失真而将形状测量为例如偏离如图17所示的所估计的模型的三维点时，基于模型的几何校正可能会引起屏幕形状的误差。在图17的示例中，发现在所估计的屏幕形状模型701上测量的三维点731偏离应该在实际(真实世界)屏幕121上测量的三维点732。
因此，如图18所示，根据交点在模型上的位置生成几何校正矢量，其半径由虚拟布置的球形模型的球心和三角测量点的距离的插值来设置。即，在图18的示例中，将屏幕形状模型701A上的三维点741和屏幕形状模型701B上的三维点742测量为三角测量点。然后在这些三维点之间***三维点743(即，屏幕形状模型701C上的假定交点，其半径相对于球体中心进行插值)。然后使用三维点743来生成几何校正矢量。
以这种方式，即使对于在实际屏幕121的与理想模型(即，屏幕形状模型701)失准的那些模型失准部分，也可以实施平滑校正。
然后，在步骤S165中，模型失准对应处理部273生成与模型失准对应的校正矢量(也称为模型失准对应校正矢量)。完成步骤S165中的处理后，处理进行到步骤S167。
另外，在步骤S163中确定估计不对应于模型失准的情况下，处理进行到步骤S166。在步骤S166中，模型失准对应处理部273生成与模型失准不对应的校正矢量(也称为模型失准非对应校正矢量)。完成步骤S166中的处理后，处理进行到步骤S167。
在步骤S167中，投影掩模生成部274生成投影掩模，以将图像投影的范围限制到屏幕121内部的区域(即，投影图像不从屏幕121伸出(被限制在屏幕121内))。投影掩模生成部274输出包括在步骤S165或S166中生成的校正矢量以及在步骤S167中生成的投影掩模的几何校正矢量数据。完成步骤S167中的处理后，终止几何校正处理。然后，该处理返回图6的流程图。
通过执行如上所述的处理，控制装置111通过使用投影成像***100的三维方法，来实现对均使用fθ透镜的多个投影装置112所使用的圆顶型屏幕121的投影的校正。
在这种情况下，基于建立在表示屏幕形状的三维信息的二维曲面模型来校正图像。因此，该处理保证了图像的几何精度，例如将直线视为校正直线。此外，在具有鱼眼(等距投影)光学组件的投影成像***100中，该处理容易地实现从校准投影装置112和成像装置113的内部变量和外部变量到投影校正的步骤，这些步骤尚未通过涉及使用基于现有透视投影光学组件的投影仪-摄像装置***的方法成功处理。
而且，与涉及需要这种初步估计的普通投影成像***的三维方法相比之下，不必对投影装置和成像装置中的每一个的部分或全部内部变量和外部变量进行初步估计(初步校准)。
此外，相对于所建立的虚拟视点实现了几何准确校正，而无需将成像装置113布置在期望作为视点的位置处。此外，以适当的投影方向在保持适当的上下/左右图像方向的情况下从虚拟视点向屏幕112进行投影。此外，基于不是通过投影装置112和成像装置113在屏幕121的前方而是从其侧面进行投影和成像所获得的信息，相对于屏幕121的正面以几何上准确的方式校正投影图像。
另外，如上所述，在参数估计中引入了与投影装置112的透镜失真系数的逆变换对应的参数kinv，该参数kinv用于针对失真均匀地校正像素。这消除了使用透镜失真系数k来补偿每个像素的需要。
此外，通过校正失真图像的像素的失真并且将像素投影到无失真的图像上来执行光线跟踪。因此，用于使对应光线之间的距离最小化的优化实现了对包括参数kinv的投影装置112和成像装置113的内部变量和外部变量的重新估计。
另外，仅需要给投影装置112和成像装置113的一些内部参数足够适当的初始值(例如，校准值的平均值)。这仍然提供了对布置在屏幕前方的投影装置112和成像装置113的整个内部变量和外部变量的校准，而无需求助于每个装置外壳的初步校准过程。
上面已经说明了控制装置111估计投影装置112和成像装置113中的每一个的内部变量和外部变量。然而，本方法不限于前述示例。替选地，控制装置111可以估计投影装置112或成像装置113中的任一个的内部变量和外部变量。在这种情况下，可以预先确定或者可以通过其他装置来估计其余装置的内部变量和外部变量。
作为另一替选，控制装置111可以估计内部变量或外部变量。在这种情况下，可以预先确定或者可以通过其他装置来估计其他变量。
即，控制装置111仅需要估计投影装置112或成像装置113中的任何一个的至少内部变量或外部变量中的至少任何一个。
<3.第二实施方式>
<其他配置>
注意，应用了本技术的成像***的配置不限于图1中的上述示例。例如，可以以期望的数目设置控制装置111、投影装置112和成像装置113。控制装置111例如可以设置为多个。可以存在三个或更少、或者五个或更多个的投影装置112以及三个或更少、或者五个或更多个的成像装置113。而且，投影装置112和成像装置113不必设置为相等的数目。
此外，以上已经说明了投影装置112和成像装置113经由电缆115与控制装置111连接。替选地，这些装置可以以任何其他合适的方式互连，只要这些装置能够彼此通信即可。例如，控制装置111可以通过有线方式或无线方式或者两者与投影装置112和成像装置113通信。作为另一替选，控制装置111、投影装置112和成像装置113可以经由任何适当的通信网络可通信地互连。
该网络可以采用任何合适的通信方法。例如，该方法可以是有线通信或无线通信或者两者。该网络可以包括单个或多个通信网络。例如，该网络可以包括互联网、公用电话网络、移动宽带网络(例如通常所谓的3G或4G网络)、WAN(广域网)、LAN(局域网)、基于Bluetooth(注册商标)标准的用于通信的无线通信网络、用于近程无线通信(例如NFC(近场通信))的通信信道、用于红外线通信的通信信道、基于HDMI(高清晰度多媒体接口；注册商标)和USB(通用串行总线)等标准的有线通信网络、或者基于任何适当通信标准的任何其他通信网络和通信通道。
而且，投影装置112和成像装置113可以被集成到单个装置中。例如，如图19的子图A所示，投影成像***100可以包括投影成像装置801-1、投影成像装置801-2和控制装置111。
投影成像装置801-1包括投影部811-1和成像部812-1。投影部811-1具有与图1中的投影装置112-1相似的功能。另外，成像部812-1具有与图1中的成像装置113-1相似的功能。即，投影成像装置801-1具有投影装置112-1和成像装置113-1的功能。
同样，投影成像装置801-2包括投影部811-2和成像部812-2。投影部811-2具有与图1的投影装置112-2相同的功能。另外，摄像部812-2具有与图1的摄像装置113-2相同的功能。即，投影成像装置801-2具有投影装置112-2和成像装置113-2的功能。
控制装置111经由电缆115-1与投影成像装置801-1可通信地连接。通信允许控制装置111控制投影成像装置801-1。通过这样的控制，向投影成像装置801-1提供图像，将图像投影到投影面，并且捕获投影面上的投影图像以进行图像获取。控制装置111还经由电缆115-2与投影成像装置801-2可通信地连接。通信允许控制装置111控制投影成像装置801-2。通过这样的控制，向投影成像装置801-2提供图像，将图像投影到投影面(例如，屏幕121)，并且捕获投影面上的投影图像以进行图像获取。
即，在这种情况下，投影成像***100也可以通过使用本技术并且以与图1中的情况类似的方式来执行图像投影校正。
注意，在不需要进行单独说明的情况下，将投影成像装置801-1和801-2称为投影成像装置801。另外，在不需要进行单独说明的情况下，将投影部811-1和811-2称为投影部811。此外，在不需要进行单独说明的情况下，将成像部812-1和812-2称为成像部812。
如在图1的情况下，可以以期望的数目设置投影成像装置801。例如，可以设置三个或更多个投影成像装置801。此外，在投影成像装置801中可以设置一个或更多个投影部811以及一个或更多个成像部812；可以以不同的数目设置投影部811和成像部812。此外，每个投影成像装置801可以包括不同数目的投影部811和成像部812。此外，投影成像***100可以包括投影成像装置801和投影装置112或成像装置113、或者以混合的方式包括投影成像装置801以及投影装置112和成像装置113。
此外，控制装置111可以与另一装置集成在一起。例如，如图19的子图B所示，投影成像***100可以包括成像装置820、投影装置112和投影成像装置801。
成像装置820包括成像部812-1和控制部821。控制部821具有与图1中或图19的子图A中的控制装置111类似的功能。即，成像装置820具有投影装置112和成像装置113的功能。成像装置820、投影装置112和投影成像装置801经由电缆115可通信地彼此连接。
因此，图像经由电缆114被提供给成像装置820。成像装置820中的控制部821经由电缆115控制投影装置112中的投影部811-1和投影成像装置801中的投影部811-2，以将所提供的图像投影到投影面(例如，屏幕121)。控制部821还经由电缆115控制投影成像装置801中的成像部812-1以及成像部812-2，以捕获投影面上的投影图像。此时，控制部821通过使用本技术对图像执行几何校正，从而将投影经几何校正的图像。
即，同样在这种情况下，投影成像***100可以通过使用本技术并且以与图1中的情况类似的方式来执行图像投影校正。
注意，控制装置111可以与除成像装置113之外的装置集成在一起，例如与投影装置112或投影成像装置801集成在一起。即，包括控制部821的装置可以以任何合适的方式配置，并且可以以期望的数目具有投影部811和成像部812。此外，可以存在一个或多个均具有控制部821的装置。此外，在投影成像***100中，可以根据需要配置除具有控制部821的装置以外的构成要素。因此，投影成像***100的配置不限于图19的子图B中的示例的配置。
此外，投影成像***100的整体配置可以被集成到单个装置中。例如，如图19的子图C所示，整个***可以被集成到投影成像装置830中。在图19的子图C的示例中，投影成像装置830包括投影部811-1、投影部811-2、成像部812-1、成像部812-2和控制部821。即，投影成像装置830以类似于图1中的投影成像***100的方式配置。如上所述，本技术可以在内部应用于投影成像装置830。
显然，投影成像装置830可以根据需要配置，并且配置不限于图19的子图C中的示例的配置。例如，控制部821、投影部811和成像部812可以各自以所需数目设置。
<4.注意事项>
<软件>
可以通过硬件或软件来执行上述一系列处理。在要由软件执行这些处理的情况下，从网络或从记录介质安装构成软件的程序。
例如，在图2中的控制装置111的情况下，其记录介质由可移除介质221构成，在该可移除介质221上记录有程序，并且该可移除介质221与该装置分开地分发给用户，以便传送所记录的程序。在这种情况下，例如，其上记录有程序的可移除介质221可以被附接到驱动器215，以便在从附接的可移除介质221取回程序之后将程序安装到存储部213中。
作为另一示例，在图4中的投影装置112的情况下，其记录介质由可移除介质321构成，在该可移除介质321上记录有程序，并且该可移除介质321与该装置分开地分发给用户，以便传送所记录的程序。在这种情况下，例如，其上记录有程序的可移除介质321可以被附接到驱动器315，以便在从附接的可移除介质321中取回程序之后将程序安装到存储部313中。
作为另一示例，在图5中的成像装置113的情况下，其记录介质由可移除介质421构成，在该可移除介质421上记录有程序，并且该可移除介质421与该装置分开地分发给用户，以便传送所记录的程序。在这种情况下，例如，其上记录有程序的可移除介质421可以被附接到驱动器415，以便在从附接的可移除介质421取回程序之后将程序安装到存储部413中。
此外，可以经由诸如局域网、因特网和数字卫星广播之类的有线或无线传输介质来提供程序。例如，在图2中的控制装置111的情况下，程序可以由通信部214接收并且被安装到存储部213中。此外，例如，在图4中的投影装置112的情况下，程序可以由通信部314接收并且被安装到存储部313中。此外，例如，在图5的摄像装置113的情况下，程序可以由通信部414接收并且被安装到存储部413中。
否则，程序可能会被预先安装在存储部或ROM中。例如，在图2中的控制装置111的情况下，程序可以被预先安装在存储部213中或控制部201内部的ROM(未示出)中。此外，例如，图4中的投影装置112的情况下，程序可以被预先安装在存储部313中或控制部301内的ROM(未示出)中。此外，例如，在图5中的成像装置113的情况下，程序可以被预先安装在存储部413或控制部401内的ROM(未示出)中。
<可以应用本技术的目标>
此外，本技术可以被实现为构成装置的任何部件或者配置***的任何装置，例如形式为***LSI(大规模集成)的处理器(例如，视频处理器)、使用多个处理器的模块(例如，视频模块)、使用多个模块的单元(例如，视频单元)以及用其他功能补充该单元(即，作为装置的一部)的机器(例如，视频机(video set))。
此外，本技术还可以应用于包括多个装置的网络***。例如，该技术可以应用于向任何类型的终端(例如计算机、AV(视听)装置、移动信息处理终端和IoT(物联网))提供图像相关(视频相关)服务的云服务。装置。
注意，可以应用本技术的***、装置或处理部在任何类型的领域(例如运输、医疗保健、犯罪预防、农业、畜牧业、采矿、美容保健、工厂、家庭电器、气候和自然监测)中用于期望的目的。
例如，本技术可以应用于出于美学或欣赏目的提供内容的***和装置。作为另一个示例，本技术可以应用于与交通相关的目的的***和装置，例如用于监测交通状况和控制自动驾驶。作为另一示例，本技术可以应用于用于安全目的的***和装置。作为又一个示例，本技术可以应用于用于机器的自动控制的***和装置。作为又一个示例，本技术可以应用于在农业和畜牧业中使用的***和装置。作为又一个示例，本技术可以应用于用于监测诸如火山、森林和海洋的自然状态以及野生生物的状态的***和装置。作为另一示例，本技术可以应用于运动中使用的***和装置。
<其他>
本技术不限于以上讨论的实施方式，并且可以以各种变型来实施，只要本技术在所附权利要求书或其等同物的范围内即可。
例如，本技术可以被实现为构成装置或***的任何部件，例如形式为***LSI(大规模集成)的处理器(例如，视频处理器)、使用多个处理器的模块(例如，视频模块)、使用多个模块的单元(例如，视频单元)以及用其他功能补充该单元(即，作为装置的一部)的机器(例如，视频机(video set))。
注意，在本说明书中，术语“***”是指多个部件(例如，装置或模块(零件))的集合。是否所有部件都在同一外壳中并且不重要。因此，***可以配置有容纳在单独的外壳中并且经由网络互连的多个装置，或者配置有容纳多个模块的单个外壳中的单个装置。
此外，例如，在前面的段落中说明为一个装置(或处理部)的任何配置可以被划分为多个装置(或处理部)。相比之下，以上说明为多个装置(或处理部)的配置可以被统一为一个装置(或处理部)。另外，显然，可以用除上述之外的一种或多种配置来补充每个装置(或处理部)的配置。此外，装置(或处理部)的部分配置可以被包括在另一装置(或处理部)的配置中，只要该配置和工作对于整个***基本上保持相同即可。
作为另一示例，本技术可以被实现为云计算设置，在该云计算设置中，多个网络装置在共享的基础上协同地处理单个功能。
作为另一示例，上述程序可以由任何装置执行。在这种情况下，仅要求装置具有必要的功能(例如，功能块)并且获得用于程序执行的必要信息。
而且，参照上述流程图讨论的每个步骤可以由单个装置或由多个装置在共享的基础上执行。此外，如果单个步骤包括多个处理，则这些处理可以由单个装置执行，或者可以由多个装置在共享的基础上执行。换言之，可以将包括在单个步骤中的多个步骤作为多个步骤的处理来执行。相比之下，说明为由多个步骤组成的处理可以作为单个步骤执行。
注意，可以以这样的方式处理由计算机执行的程序，使得描述程序的步骤的处理按时间顺序执行，即，根据需要以本说明书中描述的顺序执行、与其他程序并行地执行、例如在程序被调用时以适当的定时方式执行。即，只要步骤之间没有冲突，就可以以与上述不同的顺序来执行步骤的以上处理。此外，描述给定程序的步骤的处理可以与其他程序的处理并行或组合执行。
注意，在本说明书中讨论的多种技术可以彼此独立地实施，只要这些技术之间没有矛盾即可。显然，可以组合地实现任何数目的这些技术。例如，结合一个实施方式讨论的一些或全部技术可以与结合另一实施方式说明的一些或全部技术结合地实现。此外，以上讨论的任何技术中的一些或全部可以结合以上未描述的另一技术来实现。
注意，在本说明书中陈述的有益效果仅是示例，而不是对还可以提供其他有益效果的本技术的限制。
注意，本公开内容还可以优选地以以下配置来实现：
(1)
一种信息处理装置，包括：
姿势估计部，其被配置成通过使用采用了fθ透镜的失真系数的图像投影模型来估计用于投影图像的投影部的姿势以及用于捕获所述图像被投影到的投影面的成像部的姿势，所述fθ透镜的入射光的像高度由焦距f与所述入射光的入射角θ的乘积表示。
(2)
如以上第(1)段所述的信息处理装置，其中，
所述姿势估计部通过使用所述图像投影模型估计所述投影部和所述成像部中的至少任何一个的与姿势相关的参数。
(3)
如以上第(2)段所述的信息处理装置，其中，
所述与姿势相关的参数包括所述投影部和所述成像部中的至少任何一个的内部参数。
(4)
如以上第(3)段所述的信息处理装置，其中，
所述内部参数包括所述投影部或所述成像部的焦距、主点以及与所述失真系数的逆变换对应的参数中的任意一个。
(5)
如以上第(2)至(4)段中任一段所述的信息处理装置，其中，
所述与姿势相关的参数包括所述投影部和所述成像部中的至少任何一个的外部参数。
(6)
如以上第(5)段所述的信息处理装置，其中，
所述外部参数包括相对于所述投影部或所述成像部的世界坐标系的原点的旋转矩阵和平移矢量中的任何一个。
(7)
如以上第(2)至(6)段中任一段所述的信息处理装置，其中，
所述姿势估计部
通过使用与所述失真系数的逆变换对应的参数，执行所述投影部和所述成像部的图像失真校正，并且
通过使用所述失真校正后的所述投影部和所述成像部的光线跟踪来检测对应点，从而估计所述与姿势相关的参数。
(8)
如以上第(7)段所述的信息处理装置，其中，
所述姿势估计部将所述与姿势相关的参数优化成使得检测到的对应点的平均误差成为规定阈值以下。
(9)
如以上第(8)段所述的信息处理装置，其中，
在所述平均误差未成为阈值以下的情况下，所述姿势估计部校正用于估计所述与姿势相关的参数的参数，并且
所述姿势估计部重复地估计所述与姿势相关的参数，直到所述平均误差成为所述阈值以下。
(10)
如以上第(8)或(9)段所述的信息处理装置，其中，
所述姿势估计部将具有大误差的对应点作为异常值去除来进行所述与姿势相关的参数的优化。
(11)
如以上第(7)至(10)段中任一段所述的信息处理装置，其中，
所述姿势估计部
估计所述投影部的与姿势相关的参数，
估计所述成像部的与姿势相关的参数，并且
优化所估计的所述投影部的与姿势相关的参数以及所估计的所述成像部的与姿势相关的参数。
(12)
如以上第(2)至(11)段中任一段所述的信息处理装置，还包括：
几何校正部，其被配置成通过使用由所述姿势估计部估计的与姿势相关的参数来生成用于对由所述投影部投影的图像进行几何校正的矢量数据。
(13)
如以上第(12)段所述的信息处理装置，其中，
所述几何校正部
通过使用所述投影部和所述成像部的与姿势相关的参数获得所述投影面，使得将所获得的投影面建模为二维曲面；并且
通过使用如此获得的投影面模型来生成所述矢量数据。
(14)
如以上第(13)段所述的信息处理装置，其中，
所述几何校正部通过使用所述投影面模型来估计所述投影面前方的虚拟视点位置以及从所述虚拟视点位置的投影方向，从而生成用于抑制所述虚拟视点位置的失真的矢量数据。
(15)
如以上第(14)段所述的信息处理装置，其中，
所述几何校正部执行用于抑制实际投影面与所述模型之间的差所导致的误差的模型失准对应处理。
(16)
如以上第(15)段所述的信息处理装置，其中，
所述几何校正部生成用于对投影的图像限制投影范围的投影掩模。
(17)
如以上第(1)至(16)段中任一段所述的信息处理装置，还包括：
对应点检测部，其被配置成检测所述投影部与所述成像部之间的对应点，其中，
所述姿势估计部通过使用由所述对应点检测部检测到的所述对应点来估计所述投影部的姿势和所述摄像部的姿势。
(18)
如以上第(1)至(17)段中任一段所述的信息处理装置，还包括：
所述投影部。
(19)
如以上第(1)至(18)段中任一段所述的信息处理装置，还包括：
所述成像部。
(20)
一种信息处理方法，包括：
通过使用采用了fθ透镜的失真系数的图像投影模型来估计用于投影图像的投影部的姿势以及用于捕获所述图像被投影到的投影面的成像部的姿势，所述fθ透镜的入射光的像高度由焦距f与所述入射光的入射角θ的乘积表示。
[附图标记列表]
100 投影成像***，111 控制装置，112 投影装置，113 成像装置，201 控制部，251 感测处理部，252 姿势估计部，253 几何校正部，261 成像变量估计部，262 投影变量估计部，263 总体优化部，271 投影面建模部，272 虚拟视点位置/投影方向估计部，273 模型失准对应处理部，274 投影掩模生成部，301 控制部，302 投影部，401 控制部，402 成像部，801 投影成像装置，811 投影部，812 成像部，820 成像装置，821 控制部，830 投影成像装置。

Claims (20)

1.一种信息处理装置，包括：
姿势估计部，其被配置成通过使用采用了fθ透镜的失真系数的图像投影模型来估计用于投影图像的投影部的姿势以及用于捕获所述图像被投影到的投影面的成像部的姿势，所述fθ透镜的入射光的像高度由焦距f与所述入射光的入射角θ的乘积来表示。
2.根据权利要求1所述的信息处理装置，其中，
所述姿势估计部通过使用所述图像投影模型来估计所述投影部以及所述成像部中的至少任意一者的与姿势相关的参数。
3.根据权利要求2所述的信息处理装置，其中，
所述与姿势相关的参数包括所述投影部以及所述成像部中的至少任意一者的内部参数。
4.根据权利要求3所述的信息处理装置，其中，
所述内部参数包括所述投影部或所述成像部的焦距、主点以及与所述失真系数的逆变换对应的参数中的至少任意一个。
5.根据权利要求2所述的信息处理装置，其中，
所述与姿势相关的参数包括所述投影部以及所述成像部中的至少任意一者的外部参数。
6.根据权利要求5所述的信息处理装置，其中，
所述外部参数包括相对于所述投影部或所述成像部的世界坐标系的原点的旋转矩阵以及平移矢量中的至少任意一个。
7.根据权利要求2所述的信息处理装置，其中，
所述姿势估计部通过使用与所述失真系数的逆变换对应的参数，执行所述投影部和所述成像部的图像失真校正，
所述姿势估计部通过使用所述失真校正后的所述投影部和所述成像部的光线跟踪来检测对应点，从而估计所述与姿势相关的参数。
8.根据权利要求7所述的信息处理装置，其中，
所述姿势估计部进行所述与姿势相关的参数的优化，使得检测到的对应点的平均误差成为规定阈值以下。
9.根据权利要求8所述的信息处理装置，其中，
在所述平均误差未成为所述阈值以下的情况下，所述姿势估计部校正估计所述与姿势相关的参数所使用的参数，
所述姿势估计部重复地估计所述与姿势相关的参数，直到所述平均误差成为所述阈值以下。
10.根据权利要求8所述的信息处理装置，其中，
所述姿势估计部将大误差的对应点作为异常值去除来进行所述与姿势相关的参数的优化。
11.根据权利要求7所述的信息处理装置，其中，
所述姿势估计部
估计所述投影部的所述与姿势相关的参数，
估计所述成像部的所述与姿势相关的参数，并且
优化所估计的所述投影部的所述与姿势相关的参数以及所估计的所述成像部的所述与姿势相关的参数。
12.根据权利要求2所述的信息处理装置，还包括：
几何校正部，其被配置成通过使用由所述姿势估计部估计的所述与姿势相关的参数来生成用于对由所述投影部投影的图像进行几何校正的矢量数据。
13.根据权利要求12所述的信息处理装置，其中，
所述几何校正部
通过使用所述投影部的所述与姿势相关的参数和所述成像部的所述与姿势相关的参数来获得所述投影面，将所述投影面建模为二维曲面；并且
使用所获得的投影面的模型来生成所述矢量数据。
14.根据权利要求13所述的信息处理装置，其中，
所述几何校正部使用所述投影面的模型，来估计所述投影面的前方的虚拟视点位置以及从所述虚拟视点位置的投影方向，生成用于抑制所述虚拟视点位置处的失真的所述矢量数据。
15.根据权利要求14所述的信息处理装置，其中，
所述几何校正部执行模型失准对应处理，该模型失准对应处理用于抑制实际投影面与所述模型之间的差所导致的误差。
16.根据权利要求15所述的信息处理装置，其中，
所述几何校正部生成投影掩模，所述投影掩模对投影的图像限制投影范围。
17.根据权利要求1所述的信息处理装置，还包括：
对应点检测部，其被配置成检测所述投影部与所述成像部之间的对应点，其中，
所述姿势估计部使用由所述对应点检测部检测到的所述对应点来估计所述投影部的姿势和所述摄像部的姿势。
18.根据权利要求1所述的信息处理装置，还包括：
所述投影部。
19.根据权利要求1所述的信息处理装置，还包括：
所述成像部。
20.一种信息处理方法，包括：
通过使用采用了fθ透镜的失真系数的图像投影模型来估计用于投影图像的投影部的姿势以及用于捕获所述图像被投影到的投影面的成像部的姿势，所述fθ透镜的入射光的像高度由焦距f与所述入射光的入射角θ的乘积来表示。
CN201980011183.8A 2018-02-08 2019-01-25 信息处理装置和信息处理方法 Pending CN111670574A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-020612 2018-02-08
JP2018020612 2018-02-08
PCT/JP2019/002389 WO2019155903A1 (ja) 2018-02-08 2019-01-25 情報処理装置および方法

Publications (1)

Publication Number Publication Date
CN111670574A true CN111670574A (zh) 2020-09-15

Family

ID=67547993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980011183.8A Pending CN111670574A (zh) 2018-02-08 2019-01-25 信息处理装置和信息处理方法

Country Status (3)

Country Link
US (1) US11483528B2 (zh)
CN (1) CN111670574A (zh)
WO (1) WO2019155903A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022116194A1 (zh) * 2020-12-04 2022-06-09 中国科学院深圳先进技术研究院 一种全景呈现方法及其装置
CN114765667A (zh) * 2021-01-13 2022-07-19 安霸国际有限合伙企业 用于多视图拼接的固定图案校准
CN115103169B (zh) * 2022-06-10 2024-02-09 深圳市火乐科技发展有限公司 投影画面校正方法、装置、存储介质以及投影设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320652A (ja) * 2000-05-11 2001-11-16 Nec Corp プロジェクタ装置
JP2006222920A (ja) * 2005-02-14 2006-08-24 Iwate Univ 撮像装置及び撮像系パラメータの校正方法
US20110181689A1 (en) * 2007-07-29 2011-07-28 Nanophotonics Co., Ltd. Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
JP2013005393A (ja) * 2011-06-21 2013-01-07 Konica Minolta Advanced Layers Inc 広角歪補正処理を有する画像処理方法、画像処理装置及び撮像装置
CN103247030A (zh) * 2013-04-15 2013-08-14 丹阳科美汽车部件有限公司 基于球面投影模型和逆变换模型的车辆全景显示***鱼眼图像校正方法
US20150189267A1 (en) * 2013-12-27 2015-07-02 Sony Corporation Image projection device and calibration method thereof
CN105993167A (zh) * 2014-02-13 2016-10-05 株式会社万代南梦宫娱乐 图像生成***、图像生成方法及信息存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3922543B2 (ja) 2002-06-05 2007-05-30 ソニー株式会社 撮像装置、および画像表示装置
JP2004282711A (ja) 2003-02-28 2004-10-07 Victor Co Of Japan Ltd 投射表示装置
JP2005244835A (ja) 2004-02-27 2005-09-08 Olympus Corp マルチプロジェクションシステム
JP4917351B2 (ja) 2006-05-16 2012-04-18 ローランドディー．ジー．株式会社 ３次元形状測定装置におけるキャリブレーション方法
JP5558973B2 (ja) * 2010-08-31 2014-07-23 株式会社日立情報通信エンジニアリング 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム
CN103869661B (zh) 2012-12-17 2018-09-11 株式会社理光 显影装置以及图像形成装置
JP2015142157A (ja) 2014-01-27 2015-08-03 パナソニックＩｐマネジメント株式会社 映像投影システム、投影制御装置、投影制御用プログラム
KR101666959B1 (ko) * 2015-03-25 2016-10-18 ㈜베이다스 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
JPWO2016204068A1 (ja) 2015-06-19 2018-04-26 ソニー株式会社 画像処理装置および画像処理方法、ならびにプロジェクションシステム
EP3523777A4 (en) * 2016-12-06 2019-11-13 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD FOR CONFIGURING A WIDE ANGLE IMAGE
US11373335B2 (en) * 2017-03-27 2022-06-28 Nec Corporation Camera parameter estimation device, method and program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320652A (ja) * 2000-05-11 2001-11-16 Nec Corp プロジェクタ装置
JP2006222920A (ja) * 2005-02-14 2006-08-24 Iwate Univ 撮像装置及び撮像系パラメータの校正方法
US20110181689A1 (en) * 2007-07-29 2011-07-28 Nanophotonics Co., Ltd. Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
JP2013005393A (ja) * 2011-06-21 2013-01-07 Konica Minolta Advanced Layers Inc 広角歪補正処理を有する画像処理方法、画像処理装置及び撮像装置
CN103247030A (zh) * 2013-04-15 2013-08-14 丹阳科美汽车部件有限公司 基于球面投影模型和逆变换模型的车辆全景显示***鱼眼图像校正方法
US20150189267A1 (en) * 2013-12-27 2015-07-02 Sony Corporation Image projection device and calibration method thereof
CN105993167A (zh) * 2014-02-13 2016-10-05 株式会社万代南梦宫娱乐 图像生成***、图像生成方法及信息存储介质

Also Published As

Publication number Publication date
WO2019155903A1 (ja) 2019-08-15
US11483528B2 (en) 2022-10-25
US20210067753A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
US11232593B2 (en) Calibration apparatus, calibration system, and calibration method
JP6764533B2 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
Raposo et al. Fast and accurate calibration of a kinect sensor
US10594941B2 (en) Method and device of image processing and camera
US9344695B2 (en) Automatic projection image correction system, automatic projection image correction method, and non-transitory storage medium
US11210804B2 (en) Methods, devices and computer program products for global bundle adjustment of 3D images
US20120320190A1 (en) System for Calibrating a Vision System
US8817079B2 (en) Image processing apparatus and computer-readable recording medium
US20120162220A1 (en) Three-dimensional model creation system
US8531505B2 (en) Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium
CN113841384B (zh) 校准装置，用于校准的图表和校准方法
JP2011253376A (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN111670574A (zh) 信息处理装置和信息处理方法
WO2016042779A1 (ja) 三角測量装置、三角測量方法およびそのプログラムを記録した記録媒体
US10602125B2 (en) Camera-parameter-set calculation apparatus, camera-parameter-set calculation method, and recording medium
EP3633606B1 (en) Information processing device, information processing method, and program
WO2019171984A1 (ja) 信号処理装置、信号処理方法、及び、プログラム
US9807359B1 (en) System and method for advanced lens geometry fitting for imaging devices
KR102452575B1 (ko) 광학식 이미지 안정화 움직임에 의한 이미지의 변화를 보상하기 위한 장치 및 방법
US20210407113A1 (en) Information processing apparatus and information processing method
JP6318576B2 (ja) 画像投影システム、画像処理装置、画像投影方法およびプログラム
WO2019203002A1 (ja) 情報処理装置および方法
JP7040511B2 (ja) 情報処理装置および方法
CN111553969A (zh) 一种基于梯度域的纹理映射方法、介质、终端和装置
CN115965697A (zh) 基于沙姆定律的投影仪标定方法、标定***及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20231229

AD01 Patent right deemed abandoned