CN105026997B - 投影***、半导体集成电路及图像修正方法 - Google Patents

投影***、半导体集成电路及图像修正方法 Download PDF

Info

Publication number
CN105026997B
CN105026997B CN201580000132.7A CN201580000132A CN105026997B CN 105026997 B CN105026997 B CN 105026997B CN 201580000132 A CN201580000132 A CN 201580000132A CN 105026997 B CN105026997 B CN 105026997B
Authority
CN
China
Prior art keywords
image
coordinate
projected
projection
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580000132.7A
Other languages
English (en)
Other versions
CN105026997A (zh
Inventor
渕上竜司
大桥政宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN105026997A publication Critical patent/CN105026997A/zh
Application granted granted Critical
Publication of CN105026997B publication Critical patent/CN105026997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

投影***(100)具有：投影装置(102)，将图案光投影在物体上，该图案光表示将以投影坐标系规定的投影坐标代码化而得到的图像；摄像装置(101)，拍摄图案光并生成第1摄像图像；以及图像修正装置(104)，根据第1摄像图像生成将投影坐标和以摄像装置的摄像坐标系规定的摄像像素坐标关联起来的第1坐标变换信息，使用第1坐标变换信息来修正预先准备的投影图像。

Description

投影***、半导体集成电路及图像修正方法
技术领域
本发明涉及投影***、半导体集成电路及图像修正方法。
背景技术
已经公知有将影像内容(content)投影于物体例如建筑物那样的构造物上的技术、即被称为所谓投影映射(projection mapping)的技术。在投影映射的***中有具备摄像功能的***。例如，专利文献1公开了根据摄像数据调整影像内容的投影装置。
现有技术文献
专利文献
专利文献1：日本特开2013－192189号公报
专利文献2：日本专利第4917351号公报
非专利文献
非专利文献1：“高速プロジェクタを用いた3000フレーム毎秒の三次元画像計測システムの開発”，ロボティクス·メカトロニクス講演会講演概要集2007，“1P1-M02(1)”-“1P1-M02(4)”，2007-05-11
发明内容
在上述的以往的投影装置中，要求进一步提高使影像内容与投影对象高精度一致的技术。
本发明的非限定性的示例性的一个方式是能够使影像内容与作为投影对象的构造物高精度一致的投影***。
本发明的一个方式的附加性的优点及有利之处根据本说明书及附图得到明确。该优点以及/或者有利之处能够通过本说明书及附图所公开的各个方式及特征而单独地提供，为了得到其中一个以上的优点及有利之处，不需要全部的方式及特征。
有关本发明的一个方式的投影***具有：投影装置，将包括图案图像的图案光投影在物体上，该图案图像对应于将投影坐标系中的投影坐标进行代码化而得到的信息；摄像装置，对被投影在所述物体上的图案光进行拍摄，并生成包括摄像坐标系中的摄像像素坐标的摄像像素值的第1摄像图像；以及图像修正装置，根据所述第1摄像图像生成将所述投影坐标和所述摄像像素坐标关联起来的第1坐标变换信息，使用所述第1坐标变换信息来修正预先准备的投影图像。
另外，这些总括性或者具体的方式也可以以***、方法、集成电路、计算机程序或者计算机可读的记录介质来实现，还可以以装置、***、方法、集成电路、计算机程序及计算机可读的记录介质的任意组合来实现。计算机可读的记录介质包括例如CD－ROM(Compact－Disc－Read Only Memory)等非易失性记录介质。
根据本发明，能够使影像内容与投影对象高精度一致。
附图说明
图1是表示示例性的第1实施方式的投影***的概略结构的示意图。
图2是表示在以40张图案图像将XGA坐标代码化的示例中，40张图案图像中包含的代表性的12张图案图像的概念图。
图3是示例性的第1实施方式的图像修正装置的功能块结构图。
图4是示例性的第1实施方式的图像修正方法的流程图。
图5(a)是表示构造物的摄像图像的一例的概念图，图5(b)是表示基准图像的一例的概念图。
图6是用于说明基于使用局部特征量的方式的图像间的关联的概念图，图6(a)表示构造物的摄像图像的一例的概念图，图6(b)是表示基准图像的一例的概念图。
图7是用于说明基于相位相关法的图像间的关联的概念图，图7(a)表示构造物的摄像图像的一例的概念图，图7(b)是表示基准图像的一例的概念图。
图8是用于说明基于像素坐标和投影坐标的关联的示例的概念图，图8(a)表示摄像图像与被投影在构造物上的图案图像的位置关系的示意图，图8(b)是基准图像的概念图。
图9是表示示例性的第2实施方式的图像修正装置的功能块结构图。
图10是示例性的第2实施方式的图像修正方法的流程图。
图11是表示示例性的第3实施方式的图像修正装置的功能块结构图。
图12是示例性的第3实施方式的图像修正方法的流程图。
图13是用于说明现有技术的投影***结构图。
具体实施方式
在说明本发明的实施方式之前，参照图13说明以往的投影***900。
投影***900具有摄像装置901、投影装置902和计算装置903。计算装置903根据由摄像装置901取得的摄像结果进行投影对象904的图像识别。计算装置903生成其影像以便在识别出投影对象904的区域中投影影像内容。投影装置902将影像内容投影在投影对象904上。
在计测的领域中，除专利文献1以外，还公知有例如专利文献2和非专利文献1公开的***。非专利文献1公开了使用光图案投影快速计测3D形状的方法。非专利文献1的***结构也可以理解为与图13所示的***结构相同。但是，在非专利文献1的***中，摄像装置901具有进行快速摄影的功能。并且，投影装置902被分配了能够使用数字微镜装置输出高速二进制图像的设备。例如，摄像装置901能够以6000fps进行高速摄影。投影装置902能够以6000fps以上的速度投影具有1024×768的像素的二进制图案。
具体而言，对将1024×768的图像的X坐标格雷编码(Gray Code)后的各个比特进行曼彻斯特编码得到的图案，在数字微镜装置中被设定为6000fps。该图案被投影在投影对象904上，摄像装置901以6000fps拍摄被投影了图案的投影对象904。
X坐标在0～1023的范围内，因而用10比特表示各个坐标。并且，通过进行曼彻斯特编码，各个坐标用20比特来表示。因此，从20帧的摄像图像能够得到各个X坐标。并且，能够利用三角法得到每个像素的到投影对象904的距离。将摄影结果传输给计算装置(例如个人电脑)903进行分析。通过曼彻斯特编码对每2帧得到新的X坐标的比特，并再次计算。因此，最终的计算能力是能够以3000fps的分辨率进行3D计测。
另外，专利文献2公开了这样的技术，一边投影表示2值化图案的格雷编码(方格板)一边用摄像机拍摄，并修正投影在屏幕上的图像的变形。根据该技术，通过组合多个方格板，能够考虑摄像机的变形而进一步提高修正的精度。
下面，说明在研究本发明时发现的现有技术的问题点。
在需要考虑投影映射等在投影对象的构造物上投影影像内容的情况下，要求按照意图对影像内容进行位置调整并投影在构造物上。在这种情况下，本领域技术人员即使从上述的现有技术想到了使用由摄像装置取得的数据来控制影像内容的投影范围，在抑制投影范围的误差方面依旧不能解决两大课题。
第1课题是在生成影像内容时假想的投影装置的配置与实际的配置不一致。投影映射用的影像内容是根据例如实际的构造物的照片及建筑时的设计数据等设计的。但是，以与事前预想的情况完全相同的位置及视场角来设置投影装置是非常困难的事情，与预想范围相比较，可能产生误差。此时，可以考虑通过手工作业进行误差调整。但是，受到重新设置及微小震动等外在因素的影响，需要再次进行调整，因而基于手工作业的调整称不上是良好的对策。
第2课题是即使是使用摄像装置尝试自动调整，也要求在摄像装置与投影装置的位置关系方面进行极其高度的调整，以便摄像装置能够对构造物进行严格计测。另外，摄像装置的位置及视场角与投影装置的位置及视场角不同，而且构造物不是平面的，在进深方向具有复杂的构造。因此，要求伴随三维计测的高度的计测及几何学变形。在不能得到严格的计测结果时，计测误差表现为投影时的错位。
专利文献2公开的修正技术是以将屏幕作为投影对象为前提的。因此，在提取具有复杂的构造的构造物的特征、并将投影映射至该特征位置这样的用途中，现有技术不适用。本发明的一个方式的概要如下所述。
本发明的一个方式的投影***具有：投影装置，将包括图案图像的图案光投影在物体上，该图案图像对应于将投影坐标系中的投影坐标进行代码化而得到的信息；摄像装置，对被投影在所述物体上的图案光进行拍摄，并生成包括摄像坐标系中的摄像像素坐标的摄像像素值的第1摄像图像；以及图像修正装置，根据所述第1摄像图像生成将所述投影坐标和所述摄像像素坐标关联起来的第1坐标变换信息，使用所述第1坐标变换信息来修正预先准备的投影图像。
根据这种结构，能够以使投影图像与作为投影对象的物体高精度一致的方式自动修正预先准备的投影图像。
在某个方式中，也可以是，所述图像修正装置对由所述摄像装置取得的表示所述物体的构造的第2摄像图像、与预先准备的基准图像进行比较，生成通过几何学变形将所述第2摄像图像和所述基准图像关联起来的第2坐标变换信息，并使用所述第1坐标变换信息和所述第2坐标变换信息对所述投影图像实施几何学变形处理。
根据这种结构，能够以使投影图像与作为投影对象的物体高精度一致的方式自动修正预先准备的投影图像。
在某个方式中，也可以是，所述图像修正装置通过利用所述基准图像的图案映射，来限定所述第2摄像图像的全部范围中的、被用于所述第2摄像图像和所述基准图像的基于几何学变形的关联的图像的范围。
根据这种结构，能够以更高精度生成第2坐标变换信息。
在某个方式中，也可以是，所述图像修正装置使用所述第1坐标变换信息对由所述摄像装置取得的表示所述物体的构造的第2摄像图像实施几何学变形处理，来生成视点变换图像。
根据这种结构，能够使用由在与投影装置不同的位置设置的摄像装置取得的图像，生成从投影装置的视点观察的图像(视点变换图像)。
在某个方式中，也可以是，所述图像修正装置具有将所述视点变换图像输出到外部的输出部。
根据这种结构，能够将视点变换图像输出到外部。
在某个方式中，也可以是，所述图像修正装置对所述视点变换图像和预先准备的基准图像进行比较，生成通过几何学变形将所述视点变换图像和所述基准图像关联起来的第3坐标变换信息，使用所述第3坐标变换信息对所述投影图像实施几何学变形处理。
根据这种结构，能够将由摄像装置拍摄到的摄像图像直接变换为投影坐标系的图像，因而能够提高与投影图像的图像匹配中的鲁棒性。
在某个方式中，也可以是，所述投影图像包括彼此不同的第1投影图像和第2投影图像，所述图像修正装置根据从所述摄像装置得到的三维计测信息和所述第1坐标变换信息，从所述第1投影图像和所述第2投影图像中选择一个投影图像，并且修正所选择的投影图像。
根据这种结构，能够按照到物体的距离使投影图像与作为投影对象的物体高精度一致。
在某个方式中，也可以是，所述三维计测信息是利用三角法从所述第1坐标变换信息得到的到所述物体的距离信息，所述图像修正装置按照到所述物体的距离信息，从所述第1投影图像和所述第2投影图像中选择一个投影图像，并且根据所述第1坐标变换信息修正所选择的投影图像。
根据这种结构，能够提供根据三维计测信息修正投影图像的图像修正装置的变形。由于能够在投影装置的投影坐标系中进行计测，因而能够没有像素偏差地生成修正后的投影图像。
在某个方式中，也可以是，所述三维计测信息是利用光度立体法得到的所述物体的表面的法线矢量信息，所述图像修正装置按照所述法线矢量信息所表示的矢量方向，从所述第1投影图像和所述第2投影图像中选择一个投影图像，并且根据所述第1坐标变换信息修正所选择的投影图像。
根据这种结构，能够提供根据三维计测信息修正投影图像的图像修正装置的变形。不需追加新的光源，利用软件即可高精度地检测法线矢量。
在某个方式中，也可以是，所述摄像装置包括图像传感器，该图像传感器能够根据从光源发出的光在所述物体反射并到达所述摄像装置的时间进行距离测定，所述图像修正装置根据通过所述距离测定而得到的到所述物体的距离信息，从所述第1投影图像和所述第2投影图像中选择一个投影图像，并且根据所述第1坐标变换信息修正所选择的投影图像。
根据这种结构，能够提供根据三维计测信息修正投影图像的图像修正装置的变形。也能够同时进行距离的计测和影像的取得。
也可以是，所述投影装置将修正后的投影图像投影在所述物体上。
本发明的一个方式的半导体集成电路，在投影***中使用，该投影***具有：投影装置，将包括图案图像的图案光投影在物体上，该图案图像对应于将投影坐标系中的投影坐标进行代码化而得到的信息；摄像装置，对被投影在所述物体上的图案光进行拍摄，并生成包括摄像坐标系中的摄像像素坐标的摄像像素值的第1摄像图像，所述半导体集成电路具有：投影坐标变换信息生成部，根据所述第1摄像图像生成将所述投影坐标和所述摄像像素坐标关联起来的第1坐标变换信息；以及投影图像数据变换部，使用所述第1坐标变换信息来修正预先准备的投影图像。
根据该半导体集成电路，在投影***中能够使投影图像与作为投影对象的物体高精度一致。
本发明的一个方式的图像修正方法包括：投影步骤，将包括图案图像的图案光投影在物体上，该图案图像对应于将投影坐标系中的投影坐标进行代码化而得到的信息；第1摄像步骤，拍摄被投影在所述物体上的图案光，并生成包括摄像坐标系中的摄像像素坐标的摄像像素值的第1摄像图像；第1坐标变换信息生成步骤，根据所述第1摄像图像生成将所述投影坐标和所述摄像像素坐标关联起来的第1坐标变换信息；以及投影图像修正步骤，使用所述第1坐标变换信息来修正预先准备的投影图像。
根据该方法，在投影***中能够使投影图像与作为投影对象的物体高精度一致。
根据上述的结构以及组合了该结构的***结构，通过在相同的投影设备中进行影像投影和计测，能够从原理上抑制投影和计测的偏差的发生，而且能够实现不干扰可见光的影像的几何学计测的重叠。
下面，参照附图说明本发明的具体的实施方式。在下面的说明中，对相同或者相似的构成要素标注相同的参照标号。并且，存在省略重复说明的情况。另外，本发明的实施方式的投影***不限于以下示例的方式。
(实施方式1)
参照图1～图8说明本实施方式的投影***100的构造及功能。
图1示意地示出了投影***100的概略结构。投影***100具有摄像装置101、投影装置102和图像修正装置104。
投影装置102将表示图案图像的图案光投影在构造物103上，该图案图像对应于将用投影坐标系规定的投影坐标进行代码化后而得到的信息。投影装置102包括光源和透镜光学***等。在本说明书中，投影坐标系是指用于确定投影图像即影像内容105的图像的各个像素的坐标的坐标系。将用于确定影像内容105的图像的各个像素的坐标称为投影坐标系的“投影坐标”。
摄像装置101对图案光进行拍摄并生成图案光的摄像图像(第1摄像图像)。摄像装置101包括图像传感器、透镜光学***等。图像修正装置104构成为根据图案光的摄像图像生成将投影坐标和以摄像装置101的投影坐标系规定的摄像像素坐标关联起来的第1坐标变换信息，并使用第1坐标变换信息来修正影像内容105。在本说明书中，摄像坐标系是指用于确定由摄像装置101取得的摄像图像的各个像素的坐标的坐标系。为了与“投影坐标”区分，将摄像图像的各个像素的坐标称为摄像坐标系的“摄像坐标”。
图2表示在以40张图案图像将XGA坐标代码化的示例中，40张图案图像中包含的代表性的12张图案图像的概念图。投影装置102能够根据例如1024×768像素的图案图像，将图案光投影在构造物103上。像素的X坐标和Y坐标都是大于512且在1024以下。在这种情况下，表示X坐标的从比特0到比特9的10比特被格雷编码。与X坐标一样，表示Y坐标的从比特0到比特9的10比特被格雷编码。这样，通过对各个坐标分别分配10比特合计20比特，能够将坐标信息代码化。以下，说明利用40帧的图像数据进行该20比特的信息的编码的示例。
图2的(X9a)表示与将X坐标格雷编码后的比特9对应的图案图像。另外，在本实施方式中，通过曼彻斯特编码对投影坐标进行编码，因而也使用使比特9进行比特反转后的反转图案图像。图2的(X9b)表示使(X9a)的图案图像反转后的反转图案图像。同样，图2的(X8a)表示与将X坐标格雷编码后的比特8对应的图案图像，(X8b)表示使(X8a)的图案图像反转后的反转图案图像。图2的(X7a)表示与将X坐标格雷编码后的比特7对应的图案图像，(X7b)表示使(X7a)的图案图像反转后的反转图案图像。
图2的(Y9a)表示与将Y坐标格雷编码后的比特9对应的图案图像。图2的(Y9b)表示使(Y9a)的图案图像反转后的反转图案图像。同样，图2的(Y8a)表示与将Y坐标格雷编码后的比特8对应的图案图像，(Y8b)表示使(Y8a)的图案图像反转后的反转图案图像。图2的(Y7a)表示与将Y坐标格雷编码后的比特7对应的图案图像，(Y7b)表示使(Y7a)的图案图像反转后的反转图案图像。
尽管图中未示出，但投影装置102将包括与X坐标及Y坐标的比特6～比特0分别对应的图案图像以及使该图案图像反转后的图像在内的40张图案图像依次投影在构造物103上。摄像装置101对投影在构造物103上的图案光进行拍摄，并依次生成40张图案图像(图案光包括这40张图案图像)。
下面，参照图3和图4详细说明图像修正装置104的构造、功能及动作。
图3表示图像修正装置104的功能块结构的一例。图像修正装置104具有控制投影***整体的功能。图像修正装置104例如能够利用以计算机、处理器为代表的运算装置或者半导体集成电路实现。半导体集成电路是指例如ASIC(Application Specific IntegratedCircuit：专用集成电路)及FPGA(Field Programmable Gate Array：现场可编程门阵列)等。也可以是，在存储器中安装用于发挥各构成要素的功能的计算机程序，半导体集成电路内的处理器依次执行计算机程序，由此实现各构成要素的功能。
图像修正装置104包括坐标图案生成部311、构造物摄像图像数据记录部312、坐标图案图像数据记录部313、投影装置坐标变换数据生成部314、投影装置坐标变换数据记录部315、摄像装置坐标变换数据生成部316、摄像装置坐标变换数据记录部317、投影内容基准图像数据记录部318、投影内容投影图像数据记录部319、投影图像数据变换部320。图像修正装置104对预先准备的投影图像进行修正。以下，有时将被修正后的投影图像称为“修正后的投影图像”，以便与预先准备的修正前的投影图像区分。
图4表示本实施方式的图像修正方法的流程图。
(步骤S101)
首先，摄像装置101拍摄构造物103。图像修正装置104将构造物103的摄像图像(第2摄像图像)记录在构造物摄像图像数据记录部312中。在进行该摄像时，投影装置102也可以投影帧整体为白色的影像来取代照明。在本实施方式中，图像修正装置104内的数据记录部例如是图像修正装置104内的存储器。
(步骤S102)
在通过步骤S101得到的摄像图像和预先准备的基准图像之间执行图像的比较处理。其结果是，能够得到用于通过几何学变形将图像关联起来的第2坐标变换信息。基准图像是指在设计影像内容时参照的图像。
在投影内容基准图像数据记录部318中记录了生成预先准备的影像内容时的基准图像。摄像装置坐标变换数据生成部316将该基准图像、和在构造物摄像图像数据记录部312中记录的摄像图像进行比较，并生成第2坐标变换信息。第2坐标变换信息是通过几何学变形将该摄像图像和基准图像关联起来的信息。
第2坐标变换信息被记录在摄像装置坐标变换数据记录部317中。或者，也可以是，摄像装置坐标变换数据生成部316根据影像内容的类型，使用在投影内容投影图像数据记录部319中记录的图像，来取代基准图像。在投影内容投影图像数据记录部319中预先记录了投影图像作为投影用的修正前的影像内容。
图5(a)表示构造物103的摄像图像的一例，图5(b)表示基准图像的一例。
图5(a)所示的摄像图像的一部分相当于图5(b)所示的基准图像。并且，可知由于摄像装置101的位置错位，如果不实施旋转以及/或者缩小等几何学变形，则无法使两者的位置一致。在这种情况下，能够广泛使用公知的方法进行图像的定位。下面，分别说明使用局部特征量或者相位相关(phase only correlation)法进行图像的定位的示例。
图6是用于说明基于使用局部特征量的方式的图像间的关联的概念图。例如，关于局部特征量可以举出SIFT(Scale-Invariant Feature Transform：尺度不变特征转换)特征量等不易受到旋转、放大缩小及照明条件的影响的特征量。在SIFT算法中，将亮度变化最大的方向作为基准，将图像的局部区域分割成16个块。并且，将各个块的8方向的亮度变化作为合计128维的矢量来记述特征量。
在图6的示例中，首先从图6(b)中提取具有大的特征量的部位作为关键点候选。并且，从图6(a)中找出具有与关键点的特征量相同的特征量的部分，由此进行图像间的关联。在图6中示出了5种关联(对，pair)。但是，实际上还会产生许多的对。
通过使用直方图等将错误排除，能够以高精度得到多个关联。在能够得到多个关联的阶段，也可以对这些关联进行插补来生成对应表，作为第2坐标变换信息。或者，也可以使用最小二乘法等求出仿射变换或者投影变换的坐标变换矩阵。在哪种情况下都能够得到用于将坐标从摄像坐标系变换为投影坐标系的数据。
图7是用于说明基于相位相关法的图像间的关联的概念图。例如，若利用SIFT特征量等的方法，则处理大厦的窗户等相同图案反复的图像时，具有容易出现误判定的倾向。因此，也一并使用例如相位相关法等其它方法。
例如，根据相位相关法，在对被比较的各个图像进行傅里叶变换后将振幅归一化，按照相位信息将两个图像合成。然后，进行逆傅里叶变换而得到图像相位差的相关性。也存在能够应用相位相关法并利用Log-Polar变换一并进行旋转以及/或者放大缩小的旋转不变相位相关法等方法。但是，在图7所示的例子中，示出了关于旋转及放大缩小没有大的差异的情况、或者事前在某种程度上实施了SIFT等的预处理时的图。
首先，将图7(b)的图像整体作为对象，根据相位相关法求出相对于图7(a)的相关位置。然后，将图7(a)的图像分割成4个块，将相位范围限制在固定的距离以内。并且，根据相位相关法求出各个块的相关位置。其结果是，能够得到4组块彼此间的图像的关联。另外，也可以将各个块分割成16份等分层地进行关联。通过这样分层地搜索，即使在图像内存在多个相似的特征点时，也能够抑制误动作。并且，根据相位相关法能够容易进行子像素精度的计算。因此，相位相关法在更准确地运算各个对应坐标的方面比较有效，通过进行块分割，也提高了耐受摄像图像和基准图像的局部变形的性能。
再次参照图3和图4。
(步骤S103)
投影装置102将表示图案图像的图案光投影在物体上，该图案图像对应于将投影坐标代码化而得到的信息。坐标图案生成部311生成针对将投影坐标代码化而得到的信息的图案图像。例如，如上所述图案光包括多帧的图案图像。在使用曼彻斯特编码，根据1024×768像素的图案图像将图案光投影在构造物103上的情况下，假设每1帧包括1个图案图像，则需要40帧的图案图像。投影装置102将由坐标图案生成部311生成的40帧图案图像依次投影在构造物103上。
(步骤S104)
摄像装置101依次拍摄被投影在构造物103上的图案图像。该图案图像的数据被记录在坐标图案图像数据记录部313中。
(步骤S105)
从坐标图案图像数据记录部313中的图案图像得到第1坐标变换信息。第1坐标变换信息是将摄像装置101的摄像坐标和投影装置102的投影坐标关联起来的信息。
投影装置坐标变换数据生成部314从坐标图案图像数据记录部313读出图案图像。投影装置坐标变换数据生成部314根据所读出的图案图像，生成将投影坐标和摄像坐标关联起来的第1坐标变换信息。此时，通过获取对应于各比特的图案图像、与使该图案图像比特反转后的图案图像的差分，能够与构造物103具有的颜色信息无关地判定各个比特的0和1。对于在构造物103中与投影光(图案光)未到达的部分对应的像素，也可以将差分较小的像素从处理对象中去除。这样，通过对40帧图案图像进行图像处理，能够得到与摄像坐标系的摄像坐标相关联的投影坐标系的投影坐标。
关于像素坐标与投影坐标的关联，也可以设为基于像素等级(亮度值)的变换表，也可以使用最小二乘法等设为仿射变换或者投影变换用的坐标变换矩阵。
参照图8说明限定了图像的范围的像素坐标与投影坐标的关联的示例。
图8(a)示意地表示摄像图像与被投影在构造物103上的图案图像的位置关系。图8(b)表示基准图像的概念。投影装置102将图案图像投影在构造物103的整个面上。通过利用了基准图像的图案映射，限定由摄像装置101取得的摄像图像的全部范围中、被用于摄像坐标和投影坐标的关联的范围。最后，将摄像图像的所限定的范围内的图像与基准图像进行比较，得到将摄像坐标和投影坐标关联起来的第1坐标变换信息。构造物103往往不是矩形的，因而导致非投影对象的部分也被包含在投影范围中。因此，通过将该范围去除，生成第2坐标变换信息时的精度提高。
再次参照图3和图4。
(步骤S106)
使用第1及第2坐标变换信息对预先准备的投影图像实施几何学变形处理，生成修正后的投影图像。在投影内容投影图像数据记录部319中预先记录了投影用的图像。投影图像数据变换部320从投影内容投影图像数据记录部319中读出投影图像。投影图像数据变换部320使用第1及第2坐标变换信息对投影图像进行修正(图像变换)。在变换中，在作为矩阵式而赋予了第1及第2坐标变换信息时，也可以使用将这些矩阵式合成后的矩阵式，还可以不合成而分别使用两个矩阵式进行两次变换处理。这样，能够使用公知的所有的方法修正投影图像。
(步骤S107)
投影装置102将通过投影图像数据变换部320被变换后的修正后的投影图像投影在构造物103上。
这样，能够按照图4所示的流程，在投影映射中将影像内容投影在构造物103上。另外，在本实施方式的方法中，也可以在数据的依存关系中不产生矛盾的范围内更换各个步骤的顺序。
在本实施方式的投影***中，为了简单起见，摄像装置和投影装置都是一台。但是，本发明不限于此，通过将摄像装置和投影装置增加为多台，能够更有效地修正预先准备的投影图像。尤其在增加用于捕捉一台投影装置的投影目的地的摄像装置时，也能够减少死角。因此，也可以使用两台以上的摄像装置。
另外，也可以限定在希望高精度定位的部分(基准部分)变焦使用多台中的几台摄像装置，也可以设置在构造物103的附近。并且，只要能够充分确保定位用的基准部分，构造物103也可以不全部进入摄像装置101的视场角内。
根据本实施方式，能够提供这样的投影***，能够以使所投影的影像内容与实际的构造物103高精度一致的方式自动修正预先准备的投影图像。
(实施方式2)
参照图9和图10说明本实施方式的图像修正104的结构、功能及动作。
本实施方式的投影***100生成视点变换图像作为副产物，这一点与第1实施方式的投影***100不同，下面以与第1实施方式的投影***100的不同之处为中心进行说明。
图9表示本实施方式的图像修正装置104的功能块结构的一例。本实施方式的图像修正装置104在第1实施方式的图像修正装置104的构成要素基础上，还包括投影装置视点图像数据生成部321和投影装置视点图像数据记录部321。
图10表示本实施方式的图像修正方法的流程图。
(步骤S201)
摄像装置101拍摄构造物103。图像修正装置104将构造物103的摄像图像记录在构造物摄像图像数据记录部312中。
(步骤S202)
然后，投影装置102将表示图案图像的图案光投影在物体上，该图案图像对应于将投影坐标代码化而得到的信息。例如，在如上所述使用曼彻斯特编码，根据1024×768像素的图案图像将图案光投影在构造物103上的情况下，需要40帧的图案图像。投影装置102将由坐标图案生成部311生成的40帧图案图像依次投影在构造物103上。
(步骤S203)
摄像装置101依次拍摄被投影在构造物103上的图案图像。该图案图像的数据被记录在坐标图案图像数据记录部313中。
(步骤S204)
从坐标图案图像数据记录部313中的图案图像得到将摄像装置101的摄像坐标和投影装置102的投影坐标关联起来的第1坐标变换信息。
(步骤S205)
投影装置视点图像数据生成部321从构造物摄像图像数据记录部312读出构造物的摄像图像，从投影装置坐标变换数据记录部315读出表示构造物的摄像图像中的第1坐标变换信息。投影装置视点图像数据生成部321使用由摄像装置取得的第1坐标变换信息进行几何学变形处理，生成视点变换图像作为副产物。视点变换图像是指从摄影装置的视点得到的图像。视点变换图像是被变换为源自投影装置102的视点的图像，是单独具有应用价值的图像。视点变换图像被记录在投影装置视点图像数据记录部322中。这样，使用由在与投影装置102不同的位置设置的摄像装置101取得的图像，能够生成从投影装置102的视点观察的图像。
视点变换图像在设计投影用的影像内容方面非常有效。例如，视点变换图像能够原样地用于对位，因而能够用于预先准备的投影图像的修正。或者，视点变换图像能够用作新的影像内容的设计用的基准图像。因此，在本实施方式中，图像修正装置104具有将视点变换图像输出到外部的输出部。输出部例如指USB接口及存储卡接口等。并且，在图像修正装置104以半导体集成电路来实现的情况下，设有专用的输出端子。根据这样的结构，能够将视点变换图像输出到外部。
(步骤S206)
摄像装置坐标变换数据生成部316从投影内容基准图像数据记录部318读出预先准备的基准图像，从投影装置视点图像数据记录部322读出视点变换图像。摄像装置坐标变换数据生成部316比较视点变换图像和基准图像，并生成第3坐标变换信息。第3坐标变换信息是通过几何学变形将视点变换图像和基准图像关联起来的信息。第3坐标变换信息被记录在摄像装置坐标变换数据记录部317中。
(步骤S207)
投影图像数据变换部320使用第3坐标变换信息对投影图像进行几何学变形处理，并生成修正后的投影图像。在几何学变形处理中能够利用在实施方式1中说明的处理。
(步骤S208)
投影装置102将通过投影图像数据变换部320变换后的修正后的投影图像投影在构造物103上。
这样，能够按照图10所示的流程图，在投影映射中将影像内容投影在构造物103上。另外，在本实施方式的方法中，也可以在数据的依存关系中不产生矛盾的范围内更换各个步骤的顺序。并且，作为图像修正装置104的中间成果，也可以利用位于不同视点的两个以上的摄像装置的数据，生成从投影装置102的视点观察没有像素偏差误差的视点变换图像。
根据本实施方式，将由摄像装置101拍摄到的摄像图像直接变换为投影坐标系的图像，因而能够提高与为投影装置102用而准备的投影图像的图像匹配中的鲁棒性。但是，由于是在尚未决定投影对象的位置的阶段进行变换处理，因而尤其是在变换矩阵等暂且退化的情况下，有可能受到投影对象以外的部分的影响而使得精度劣化。虽然能够通过反复进行两者的处理来进行避免，但是要注意到也许会使处理复杂化。
另外，能够得到投影装置102的投影坐标系中的摄像图像。这对于投影映射的内容设计而言意义非凡。因为准备具有与投影装置102完全相同条件的光学***的摄像装置101、以及从与投影装置102相同的位置进行拍摄是很困难的事情。
(实施方式3)
参照图11和图12，说明本实施方式的图像修正装置104的结构、功能及动作。
本实施方式的投影***100按照到构造物103的距离信息有选择地对预先准备的投影图像进行修正，这一点与第1及第2实施方式的投影***100不同，下面以与第1及第2实施方式的投影***100的不同之处为中心进行说明。
图11表示本实施方式的图像修正装置104的功能块结构的一例。本实施方式的图像修正装置104包括坐标图案图像数据记录部313、坐标图案生成部311、投影装置坐标关联数据生成部1020、投影装置坐标关联数据记录部1021、投影图像数据生成部1022、第1投影内容投影图像数据记录部1023、第2投影内容投影图像数据记录部1024。
图12表示本实施方式的图像修正方法的流程图。
(步骤S301)
坐标图案生成部311生成针对将投影装置102的像素坐标代码化而得到的信息的图案图像。投影装置102将该图案图像投影在构造物103上。
(步骤S302)
摄像装置101依次拍摄被投影了图案图像的构造物103，并记录在坐标图案图像数据记录部313中。
(步骤S303)
投影装置坐标关联数据生成部1020将摄像装置101的摄像坐标系的摄像坐标与投影装置102的投影坐标系的投影坐标的关联(投影装置坐标关联数据)写入投影装置坐标关联数据记录部1021中。
在第1投影内容投影图像数据记录部1023中预先记录了与第1距离对应的第1投影图像，在第2投影内容投影图像数据记录部1024中预先记录了与不同于第1距离的第2距离对应的第2投影图像。另外，除第1及第2投影图像以外，还能够按照到物体的距离设置包括第3及第4投影图像在内的多个投影图像。
(步骤S304)
投影图像数据生成部1022根据投影装置坐标关联数据记录部1021内的投影装置坐标关联数据、和从摄像装置101得到的三维计测信息，从第1投影图像和第2投影图像中选择一个投影图像，而且修正所选择的投影图像。例如，投影图像数据生成部1022根据到构造物103的距离信息，有选择地切换被投影在构造物103上的投影图像的颜色或者纹理。对于实现上述的功能的方法可以想到多种变形。
根据第1方法，投影装置坐标关联数据记录部1021内的投影装置坐标关联数据能够原样地利用三角法换算为距离。投影图像数据生成部1022根据该距离信息选择预先准备的投影图像。例如，投影图像数据生成部1022以第1投影图像被投影为背景、第2投影图像被投影为处于一定的距离范围内的物体的方式，生成修正后的投影图像。
根据本方式，能够在投影装置102的投影坐标系中进行计测，因而能够没有像素偏差地生成修正后的投影图像。
根据第2方法，利用三角法将投影装置坐标关联数据记录部1021内的投影装置坐标关联数据换算为距离。然后，进一步进行微分并变换为倾斜信息，将距离信息变换为构造物103的表面的法线矢量的信息。第1投影图像和第2投影图像是根据法线矢量的方向有选择地决定的。
例如，假设构造物103的形状为立方体。在这种情况下，在投影映射中往往需要在立方体的各个面上投影不同的影像内容。
根据本方式，能够在投影装置102的投影坐标系中进行计测，因而能够没有像素偏差地生成修正后的投影图像。
根据第3方法，利用光度立体(photometric stereo)法求出法线矢量，来取代使用投影装置坐标关联数据记录部1021内的投影装置坐标关联数据。光度立体法是古典的图像处理技术。在该方法中，对拍摄从不同的方向被光源照射的被摄体而得到的图像彼此间进行比较，估计出被摄体的表面的法线矢量。光源可以采用为专用目的而设置的光源，也可以采用包括投影装置102的投影装置组。尤其是在投影映射中往往设置多台投影装置102，因而光度立体法可以说是不需追加新的光源，利用软件即可高精度地检测法线矢量的方法。
根据第4方法，摄像装置101具有能够在摄像的同时进行3D计测的特殊传感器。例如该传感器是能够根据TOF(Time Of Flight：飞行时间)方式等计测距离的传感器。如果采用这样的传感器，能够同时进行距离的计测和影像的取得。
基于TOF方式的距离计测是指根据从光源发出的光在物体反射并到达传感器的时间和光的速度，来获得到物体的距离的距离计测。
根据本方法，能够将特殊传感器的计测结构变换为投影装置102的投影坐标进行使用。在TOF方式中，有时适合于使用三角法计测视差较小的区域，或死角减少。因此，根据使用条件，TOF方式能够成为有效的利用方法。
(步骤S305)
投影装置102将与到构造物103的距离对应的修正后的投影图像投影在该构造物103上。
根据本实施方式，能够提供按照到物体的距离使影像内容与作为投影对象的物体高精度一致的投影***。
根据本发明，能够以如下方式加工影像内容，即能够通过非常简单的操作自动而且按照意图地对事前准备的投影映射用的影像内容和对象构造物进行对位，来进行投影。这使得***的初始设置容易进行，并且有助于设置条件由于随时间经过的恶化或者外部的振动而产生变化时的投影图像的自动修正。这样，在常设投影映射用设备时，能够大幅削减维护成本。
另外，在商品展示等领域中，可以预想到大量生产具有特定形状的物品，在多家店铺中设置相同的投影映射设备的情况。这意味着投影映射设备的量产。在设计独一无二的影像内容的情况下，影像内容的设计成本占据一大半，因而校准的成本的比率较低。但是，大量生产时的校准成本仍是课题，不能忽视。本发明在这种情况时也能带来较大的成本削减的效果。
另外，未来可以预想到经由Web下载销售例如将具有简单构造的房间的角落及立方体等投影对象简化来提高通用性的投影映射用的内容的情况。在这种情况下，作为***的设置者，必须也要预想到不具备投影映射的充足知识的用户。基于这种观点，如本发明这样简易的校准技术能够用于投影映射中。
产业上的可利用性
本发明的投影***、半导体集成电路及图像修正方法能够应用于投影映射***中。
标号说明
100、900投影***；101、901摄像装置；102、902投影装置；103构造物；104图像修正装置；105影像内容；311坐标图案生成部；312构造物摄像图像数据记录部；313坐标图案图像数据记录部；314投影装置坐标变换数据生成部；315投影装置坐标变换数据记录部；316摄像装置坐标变换数据生成部；317摄像装置坐标变换数据记录部；318投影内容基准图像数据记录部；319投影内容投影图像数据记录部；320投影图像数据变换部；321投影装置视点图像数据生成部；322投影装置视点图像数据记录部；903计算装置；904投影对象；1020投影装置坐标关联数据生成部；1021投影装置坐标关联数据记录部；1022投影图像数据生成部；1023第1投影内容投影图像数据记录部；1024第2投影内容投影图像数据记录部。

Claims (12)

1.一种投影***，具有：
投影装置，将包括图案图像的图案光投影在物体上，该图案图像对应于将投影坐标系中的投影坐标进行代码化而得到的信息；
摄像装置，对被投影在所述物体上的图案光进行拍摄，并生成包括摄像坐标系中的摄像像素坐标的摄像像素值的第1摄像图像；以及
图像修正装置，根据所述第1摄像图像生成将所述投影坐标和所述摄像像素坐标关联起来的第1坐标变换信息，使用所述第1坐标变换信息来修正预先准备的投影图像，
所述图像修正装置对由所述摄像装置取得的表示所述物体的构造的第2摄像图像、与预先准备的基准图像进行比较，生成通过几何学变形将所述第2摄像图像和所述基准图像关联起来的第2坐标变换信息，并使用所述第1坐标变换信息和所述第2坐标变换信息对所述投影图像实施几何学变形处理。
2.根据权利要求1所述的投影***，
所述图像修正装置通过利用所述基准图像的图案映射，来限定所述第2摄像图像的全部范围中的、被用于所述第2摄像图像和所述基准图像的基于几何学变形的关联的图像的范围。
3.根据权利要求1所述的投影***，
所述图像修正装置使用所述第1坐标变换信息对由所述摄像装置取得的表示所述物体的构造的第2摄像图像实施几何学变形处理，来生成视点变换图像。
4.根据权利要求3所述的投影***，
所述图像修正装置具有将所述视点变换图像输出到外部的输出部。
5.根据权利要求3所述的投影***，
所述图像修正装置对所述视点变换图像和预先准备的基准图像进行比较，生成通过几何学变形将所述视点变换图像和所述基准图像关联起来的第3坐标变换信息，使用所述第3坐标变换信息对所述投影图像实施几何学变形处理。
6.根据权利要求1所述的投影***，
所述投影图像包括彼此不同的第1投影图像和第2投影图像，
所述图像修正装置根据从所述摄像装置得到的三维计测信息和所述第1坐标变换信息，从所述第1投影图像和所述第2投影图像中选择一个投影图像，并且修正所选择的投影图像。
7.根据权利要求6所述的投影***，
所述三维计测信息是利用三角法从所述第1坐标变换信息得到的到所述物体的距离信息，
所述图像修正装置按照到所述物体的距离信息，从所述第1投影图像和所述第2投影图像中选择一个投影图像，并且根据所述第1坐标变换信息修正所选择的投影图像。
8.根据权利要求6所述的投影***，
所述三维计测信息是利用光度立体法得到的所述物体的表面的法线矢量信息，
所述图像修正装置按照所述法线矢量信息所表示的矢量方向，从所述第1投影图像和所述第2投影图像中选择一个投影图像，并且根据所述第1坐标变换信息修正所选择的投影图像。
9.根据权利要求6所述的投影***，
所述摄像装置包括图像传感器，该图像传感器能够根据从光源发出的光在所述物体反射并到达所述摄像装置的时间进行距离测定，
所述图像修正装置根据通过所述距离测定而得到的到所述物体的距离信息，从所述第1投影图像和所述第2投影图像中选择一个投影图像，并且根据所述第1坐标变换信息修正所选择的投影图像。
10.根据权利要求1所述的投影***，
所述投影装置将修正后的投影图像投影在所述物体上。
11.一种半导体集成电路，在投影***中使用，该投影***具有：投影装置，将包括图案图像的图案光投影在物体上，该图案图像对应于将投影坐标系中的投影坐标进行代码化而得到的信息；摄像装置，对被投影在所述物体上的图案光进行拍摄，并生成包括摄像坐标系中的摄像像素坐标的摄像像素值的第1摄像图像，所述半导体集成电路具有：
投影坐标变换信息生成部，根据所述第1摄像图像生成将所述投影坐标和所述摄像像素坐标关联起来的第1坐标变换信息；以及
投影图像数据变换部，使用所述第1坐标变换信息来修正预先准备的投影图像，
所述投影图像数据变换部对由所述摄像装置取得的表示所述物体的构造的第2摄像图像、与预先准备的基准图像进行比较，生成通过几何学变形将所述第2摄像图像和所述基准图像关联起来的第2坐标变换信息，并使用所述第1坐标变换信息和所述第2坐标变换信息对所述投影图像实施几何学变形处理。
12.一种图像修正方法，包括：
投影步骤，将包括图案图像的图案光投影在物体上，该图案图像对应于将投影坐标系中的投影坐标进行代码化而得到的信息；
第1摄像步骤，拍摄被投影在所述物体上的图案光，并生成包括摄像坐标系中的摄像像素坐标的摄像像素值的第1摄像图像；
第1坐标变换信息生成步骤，根据所述第1摄像图像生成将所述投影坐标和所述摄像像素坐标关联起来的第1坐标变换信息；以及
投影图像修正步骤，使用所述第1坐标变换信息来修正预先准备的投影图像，
所述投影图像修正步骤，对由所述第1摄像步骤取得的表示所述物体的构造的第2摄像图像、与预先准备的基准图像进行比较，生成通过几何学变形将所述第2摄像图像和所述基准图像关联起来的第2坐标变换信息，并使用所述第1坐标变换信息和所述第2坐标变换信息对所述投影图像实施几何学变形处理。
CN201580000132.7A 2014-02-18 2015-01-07 投影***、半导体集成电路及图像修正方法 Active CN105026997B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014-028441 2014-02-18
JP2014028441 2014-02-18
JP2014-222824 2014-10-31
JP2014222824A JP6510213B2 (ja) 2014-02-18 2014-10-31 投影システム、半導体集積回路、および画像補正方法
PCT/JP2015/000020 WO2015125401A1 (ja) 2014-02-18 2015-01-07 投影システム、半導体集積回路、および画像補正方法

Publications (2)

Publication Number Publication Date
CN105026997A CN105026997A (zh) 2015-11-04
CN105026997B true CN105026997B (zh) 2019-04-30

Family

ID=53877930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580000132.7A Active CN105026997B (zh) 2014-02-18 2015-01-07 投影***、半导体集成电路及图像修正方法

Country Status (5)

Country Link
US (2) US9524578B2 (zh)
EP (1) EP3110138B1 (zh)
JP (1) JP6510213B2 (zh)
CN (1) CN105026997B (zh)
WO (1) WO2015125401A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6618249B2 (ja) * 2014-02-18 2019-12-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 投影システムおよび半導体集積回路
JP6537332B2 (ja) * 2014-04-28 2019-07-03 キヤノン株式会社 画像処理方法および撮影装置
AU2016222716B2 (en) * 2015-02-25 2018-11-29 Facebook Technologies, Llc Identifying an object in a volume based on characteristics of light reflected by the object
JP6636252B2 (ja) * 2015-03-19 2020-01-29 株式会社メガチップス 投影システム、プロジェクター装置、撮像装置、および、プログラム
US10078473B2 (en) * 2015-03-23 2018-09-18 Netapp, Inc. Resource allocation in networked storage systems
JP6643858B2 (ja) * 2015-10-15 2020-02-12 株式会社コア 投影システム、投影方法、およびプログラム
CN107238996B (zh) * 2016-03-28 2020-10-23 中强光电股份有限公司 投影***以及投影画面的校正方法
JP6846661B2 (ja) 2016-04-13 2021-03-24 パナソニックＩｐマネジメント株式会社 ３次元的な投影対象のための投影方法及び装置
US11062383B2 (en) * 2016-05-10 2021-07-13 Lowe's Companies, Inc. Systems and methods for displaying a simulated room and portions thereof
JP2017215374A (ja) * 2016-05-30 2017-12-07 パナソニックＩｐマネジメント株式会社 画像投影システムおよび画像投影方法
CN107852475B (zh) 2016-06-08 2018-11-06 松下知识产权经营株式会社 投影***
JP6153050B1 (ja) 2016-06-08 2017-06-28 パナソニックＩｐマネジメント株式会社 投影システム
JP6480902B2 (ja) 2016-10-06 2019-03-13 ファナック株式会社 投影パターン作成装置および３次元計測装置
KR101820905B1 (ko) * 2016-12-16 2018-01-22 씨제이씨지브이 주식회사 촬영장치에 의해 촬영된 이미지 기반의 투사영역 자동보정 방법 및 이를 위한 시스템
JP7058471B2 (ja) * 2017-04-17 2022-04-22 キヤノン株式会社 画像処理装置、画像処理方法
JP6898021B2 (ja) * 2018-03-07 2021-07-07 Ｎｅｃソリューションイノベータ株式会社 操作入力装置、操作入力方法、及びプログラム
JP7344660B2 (ja) * 2018-03-30 2023-09-14 キヤノン株式会社 視差算出装置、視差算出方法及び視差算出装置の制御プログラム
JP7285470B2 (ja) * 2018-05-17 2023-06-02 パナソニックＩｐマネジメント株式会社 投影システム、投影装置及び投影方法
US20200314411A1 (en) 2019-03-29 2020-10-01 Alibaba Group Holding Limited Synchronizing an illumination sequence of illumination sources with image capture in rolling shutter mode
US11182630B2 (en) 2019-03-29 2021-11-23 Advanced New Technologies Co., Ltd. Using an illumination sequence pattern for biometric authentication
CN113155053A (zh) * 2020-01-22 2021-07-23 株式会社三丰 三维几何形状测量装置和三维几何形状测量方法
JP7184072B2 (ja) * 2020-10-23 2022-12-06 セイコーエプソン株式会社 特定方法、特定システム、及びプログラム
JP2022073496A (ja) 2020-11-02 2022-05-17 セイコーエプソン株式会社 射影変換行列の決定方法、プロジェクターおよび決定システム
CN114845091B (zh) * 2021-02-01 2023-11-10 扬智科技股份有限公司 投影装置与其梯形校正方法
CN113034565B (zh) * 2021-03-25 2023-07-04 奥比中光科技集团股份有限公司 一种单目结构光的深度计算方法及***
CN114363600B (zh) * 2022-03-15 2022-06-21 视田科技（天津）有限公司 一种基于结构光扫描的远程快速3d投影方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1436004A (zh) * 2002-01-31 2003-08-13 松下电器产业株式会社 正交变换、逆正交变换方法及装置、编码、解码方法及装置
CN1713069A (zh) * 2004-06-16 2005-12-28 精工爱普生株式会社 投影机和图像修正方法
CN1738441A (zh) * 2004-08-19 2006-02-22 精工爱普生株式会社 使用屏幕的一部分的边的梯形失真校正
CN103503030A (zh) * 2012-03-23 2014-01-08 松下电器产业株式会社 通过进行图像处理来决定位于现实空间中的对象物的进深的图像处理装置、立体视觉装置、集成电路、程序

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3996610B2 (ja) * 2002-07-23 2007-10-24 Ｎｅｃディスプレイソリューションズ株式会社 プロジェクタ装置とその画像歪補正方法
US7019713B2 (en) * 2002-10-30 2006-03-28 The University Of Chicago Methods and measurement engine for aligning multi-projector display systems
US7119833B2 (en) * 2002-12-03 2006-10-10 University Of Kentucky Research Foundation Monitoring and correction of geometric distortion in projected displays
US6709116B1 (en) * 2003-03-21 2004-03-23 Mitsubishi Electric Research Laboratories, Inc. Shape-adaptive projector system
US6811264B2 (en) * 2003-03-21 2004-11-02 Mitsubishi Electric Research Laboratories, Inc. Geometrically aware projector
JP3880582B2 (ja) * 2004-02-13 2007-02-14 Ｎｅｃビューテクノロジー株式会社 複数のカメラを備えたプロジェクタ
JP2005326247A (ja) * 2004-05-14 2005-11-24 Nippon Telegr & Teleph Corp <Ntt> 校正装置及び校正方法並びに校正プログラム
DE502005010520D1 (de) * 2004-08-30 2010-12-23 Univ Weimar Bauhaus Verfahren und vorrichtung zur darstellung eines digitalen bildes auf einer geometrisch und photometrisch nicht-trivialen oberfläche
DE102006002602A1 (de) * 2006-01-13 2007-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kalibrierungsverfahren und Kalibrierungssystem
JP4917351B2 (ja) 2006-05-16 2012-04-18 ローランドディー．ジー．株式会社 ３次元形状測定装置におけるキャリブレーション方法
US8218003B2 (en) * 2007-10-05 2012-07-10 Seiko Epson Corporation Optimization strategies for GPU view projection matrix implementation
JP4906683B2 (ja) * 2007-11-12 2012-03-28 日本放送協会 カメラパラメータ推定装置およびカメラパラメータ推定プログラム
JP5251202B2 (ja) * 2008-03-27 2013-07-31 セイコーエプソン株式会社 プロジェクタの投射画像の歪補正方法、及びプロジェクタ
US8540381B2 (en) * 2008-06-17 2013-09-24 The Invention Science Fund I, Llc Systems and methods for receiving information associated with projecting
JP5445461B2 (ja) * 2008-11-17 2014-03-19 日本電気株式会社 画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラム
JP5261287B2 (ja) * 2009-05-22 2013-08-14 パナソニック株式会社 照明システム、空間演出システム、投影画像生成方法
JP5834615B2 (ja) * 2011-08-18 2015-12-24 株式会社リコー プロジェクタ、その制御方法、そのプログラム、及び、そのプログラムを記録した記録媒体
JP2013192189A (ja) 2012-03-15 2013-09-26 Casio Comput Co Ltd 画像処理装置、投影システム、プログラム及び画像処理方法
JP6035947B2 (ja) * 2012-07-26 2016-11-30 セイコーエプソン株式会社 画像表示装置、画像表示方法および画像表示プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1436004A (zh) * 2002-01-31 2003-08-13 松下电器产业株式会社 正交变换、逆正交变换方法及装置、编码、解码方法及装置
CN1713069A (zh) * 2004-06-16 2005-12-28 精工爱普生株式会社 投影机和图像修正方法
CN1738441A (zh) * 2004-08-19 2006-02-22 精工爱普生株式会社 使用屏幕的一部分的边的梯形失真校正
CN103503030A (zh) * 2012-03-23 2014-01-08 松下电器产业株式会社 通过进行图像处理来决定位于现实空间中的对象物的进深的图像处理装置、立体视觉装置、集成电路、程序

Also Published As

Publication number Publication date
JP2015173430A (ja) 2015-10-01
EP3110138A4 (en) 2017-03-01
US9693028B2 (en) 2017-06-27
CN105026997A (zh) 2015-11-04
US9524578B2 (en) 2016-12-20
JP6510213B2 (ja) 2019-05-08
EP3110138B1 (en) 2018-07-25
US20170078631A1 (en) 2017-03-16
EP3110138A1 (en) 2016-12-28
US20150348313A1 (en) 2015-12-03
WO2015125401A1 (ja) 2015-08-27

Similar Documents

Publication Publication Date Title
CN105026997B (zh) 投影***、半导体集成电路及图像修正方法
JP6507730B2 (ja) 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム
US6930685B1 (en) Image processing method and apparatus
CN110300292B (zh) 投影畸变校正方法、装置、***及存储介质
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
US7773799B2 (en) Method for automatic stereo measurement of a point of interest in a scene
TWI253006B (en) Image processing system, projector, information storage medium, and image processing method
JP4065488B2 (ja) ３次元画像生成装置、３次元画像生成方法及び記憶媒体
JP6344050B2 (ja) 画像処理システム、画像処理装置、プログラム
WO2019049331A1 (ja) キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
US11290704B2 (en) Three dimensional scanning system and framework
US20150302648A1 (en) Systems and methods for mapping an environment using structured light
US20060215935A1 (en) System and architecture for automatic image registration
KR20160121798A (ko) 직접적인 기하학적 모델링이 행해지는 hmd 보정
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
CN113841384B (zh) 校准装置，用于校准的图表和校准方法
CN108206946A (zh) 基于拍摄装置拍摄的图像自动校正投影区的方法及其***
JP6541920B1 (ja) 情報処理装置、プログラム及び情報処理方法
JP2004235934A (ja) キャリブレーション処理装置、およびキャリブレーション処理方法、並びにコンピュータ・プログラム
JP2012185772A (ja) 非固定ズームカメラを用いた自由視点映像の合成画質高精度化方法およびプログラム
JP2015233266A (ja) 画像処理システム、情報処理装置、プログラム
JP2010128608A (ja) ステレオマッチング処理システム、ステレオマッチング処理方法、及びプログラム
WO2010013289A1 (ja) カメラ校正画像作成装置およびカメラ校正画像作成プログラム
RU2735066C1 (ru) Способ отображения широкоформатного объекта дополненной реальности
JP4177017B2 (ja) オルソフォト生成方法、オルソフォト生成システム及びオルソフォト生成プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant