JP6798491B2 - 情報処理装置および方法、並びにプログラム - Google Patents

情報処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP6798491B2
JP6798491B2 JP2017527174A JP2017527174A JP6798491B2 JP 6798491 B2 JP6798491 B2 JP 6798491B2 JP 2017527174 A JP2017527174 A JP 2017527174A JP 2017527174 A JP2017527174 A JP 2017527174A JP 6798491 B2 JP6798491 B2 JP 6798491B2
Authority
JP
Japan
Prior art keywords
projection
unit
information
pixel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017527174A
Other languages
English (en)
Other versions
JPWO2017006780A1 (ja
Inventor
宏昌 長沼
宏昌 長沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017006780A1 publication Critical patent/JPWO2017006780A1/ja
Application granted granted Critical
Publication of JP6798491B2 publication Critical patent/JP6798491B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)
  • Image Processing (AREA)

Description

本技術は、情報処理装置および方法、並びにプログラムに関し、特に、色補正精度の低減を抑制することができるようにした情報処理装置および方法、並びにプログラムに関する。
従来、プロジェクタにおける投影画像の色補正方法として様々な手法が考えられた。例えば、投射面の分光反射率あるいは光源下の色情報を用いて入力画像の各色成分を補正する方法が考えられた（例えば、特許文献１参照）。また、補正情報の生成過程で分光データからXYZ空間に変換を行いRGBに変換することで補正を行う方法も考えられた（例えば、特許文献２参照）。
特開２００３−３３３６１１号公報 特開２００３−３２３６１０号公報
しかしながら、これらの方法においては、投影画像全体について一様に色補正が行われるため、例えば模様や凹凸等を有する投影面に投影する場合のような複雑な環境下での投影の場合、投影画像の色補正精度が低減し、投影画像の画質が低減するおそれがあった。
本技術は、このような状況に鑑みて提案されたものであり、色補正精度の低減を抑制することを目的とする。
本技術の情報処理装置は、較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像の各画素の画素値と、前記投影部の各画素と前記撮像部の各画素との対応関係と、前記投影面のデプス情報および法線情報とに基づいて、前記投影画像を投影する際の前記投影部の投影レベルの初期値を前記投影部の画素毎に設定する初期値設定部と、前記撮像画像の各画素の画素値に基づいて、前記初期値設定部により設定された前記投影部の画素毎の前記投影レベルの初期値を調整する調整部と、前記調整部により各画素の前記投影レベルが調整された前記投影部により投影される前記投影画像が前記撮像部により撮像された前記撮像画像を用いて、前記投影部の画素毎の色補正に関する情報である色補正情報を設定する色補正情報設定部を備える情報処理装置である。
前記色補正情報設定部は、前記投影画像と前記撮像画像とに基づいて、前記投影画像が前記投影面に投影されることによる色に関する影響を示す情報である環境情報を、前記投影部の画素毎に求め、前記投影部の画素毎の前記環境情報を用いて前記色補正情報を設定することができる。
前記色補正情報設定部は、さらに、前記投影画像を投影していない状態の前記投影面を撮像した撮像画像に基づいて、前記投影面の照明成分を前記投影部の画素毎に求め、白の前記投影画像から前記色補正情報のゲイン量を前記投影部の画素毎に求め、前記投影部の画素毎の前記照明成分と前記ゲイン量と前記環境情報を用いて前記色補正情報を設定することができる。
前記調整部は、前記撮像画像の各画素の画素値が各画素の目標値に収束するように、前記投影部の画素毎に前記投影レベルを調整することができる。
前記調整部は、さらに、前記画素値が前記投影画像全体の目標値に収束するように、前記投影部の画素毎に前記投影レベルを調整することができる。
前記投影画像と前記撮像画像とに基づいて、前記対応関係を設定する対応関係設定部をさらに備え、前記初期値設定部は、前記撮像画像の各画素の画素値と、前記対応関係設定部により設定された前記対応関係とに基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定することができる。
前記デプス情報および前記法線情報を設定するデプス法線情報設定部をさらに備え、前記初期値設定部は、前記デプス法線情報設定部により設定された前記デプス情報および前記法線情報に基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定することができる。
前記初期値設定部は、さらに、前記投影面への投影画像の入射角に応じた反射率に関する情報に基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定することができる。
前記反射率に関する情報を設定する反射率情報設定部をさらに備え、前記初期値設定部は、前記反射率情報設定部により設定された前記反射率に関する情報に基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定することができる。
前記色補正情報設定部は、前記投影部および前記撮像部を有する複数の投影撮像装置のそれぞれについて、前記色補正情報を設定することができる。
前記調整部は、全ての前記投影撮像装置の前記投影部により前記投影面に投影された投影画像の、観察者から見た場合の輝度値の最小値を、目標値として設定し、前記目標値に収束するように前記投影部の画素毎に前記投影レベルを調整することができる。
前記色補正情報設定部は、前記投影撮像装置のそれぞれと前記投影面とのなす角の角度差が所定の閾値より大きい場合、前記投影撮像装置と前記投影面とのなす角に応じて、前記色補正情報を補正することができる。
前記投影部および前記撮像部を有する投影撮像装置から、前記投影画像に関する情報および前記撮像画像に関する情報を取得する取得部をさらに備え、前記色補正情報設定部は、前記取得部により取得された前記投影画像に関する情報および前記撮像画像に関する情報に基づいて、前記色補正情報を設定することができる。
前記投影部および前記撮像部をさらに備えることができる。
前記投影部および前記撮像部を有する他の情報処理装置から、前記投影画像に関する情報および前記撮像画像に関する情報を取得する取得部をさらに備え、前記色補正情報設定部は、前記情報処理装置自身の前記投影部により投影される投影画像に関する情報、前記情報処理装置自身の前記撮像部により撮像された撮像画像に関する情報、前記取得部により取得された前記他の情報処理装置の前記投影部により投影される投影画像に関する情報、並びに、前記取得部により取得された前記他の情報処理装置の前記撮像部により撮像された撮像画像に関する情報に基づいて、前記色補正情報を設定することができる。
本技術の情報処理方法は、較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像の各画素の画素値と、前記投影部の各画素と前記撮像部の各画素との対応関係と、前記投影面のデプス情報および法線情報とに基づいて、前記投影画像を投影する際の前記投影部の投影レベルの初期値を前記投影部の画素毎に設定し、前記撮像画像の各画素の画素値に基づいて、設定された前記投影部の画素毎の前記投影レベルの初期値を調整し、各画素の前記投影レベルが調整された前記投影部により投影される前記投影画像が前記撮像部により撮像された前記撮像画像を用いて、前記投影部の画素毎の色補正に関する情報である色補正情報を設定する情報処理方法である。
本技術のプログラムは、コンピュータを、較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像の各画素の画素値と、前記投影部の各画素と前記撮像部の各画素との対応関係と、前記投影面のデプス情報および法線情報とに基づいて、前記投影画像を投影する際の前記投影部の投影レベルの初期値を前記投影部の画素毎に設定する初期値設定部と、前記撮像画像の各画素の画素値に基づいて、前記初期値設定部により設定された前記投影部の画素毎の前記投影レベルの初期値を調整する調整部と、前記調整部により各画素の前記投影レベルが調整された前記投影部により投影される前記投影画像が前記撮像部により撮像された前記撮像画像を用いて、前記投影部の画素毎の色補正に関する情報である色補正情報を設定する色補正情報設定部として機能させるためのプログラムである。
本技術の情報処理装置および方法、並びに、プログラムにおいては、較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像の各画素の画素値と、投影部の各画素と撮像部の各画素との対応関係と、投影面のデプス情報および法線情報とに基づいて、投影画像を投影する際の投影部の投影レベルの初期値がその投影部の画素毎に設定され、撮像画像の各画素の画素値に基づいて、その設定された投影部の画素毎の投影レベルの初期値が調整され、各画素の投影レベルが調整された投影部により投影される投影画像が撮像部により撮像された撮像画像が用いられて、その投影部の画素毎の色補正に関する情報である色補正情報が設定される。
本技術によれば、情報を処理することが出来る。また本技術によれば、色補正精度の低減を抑制することができる。
投影の様子の例を説明する図である。 投影撮像装置の主な構成例を示すブロック図である。 補正設定処理の流れの例を説明するフローチャートである。 センシングパターン調整処理の流れの例を説明するフローチャートである。 補正データ生成処理の流れの例を説明するフローチャートである。 投影撮像システムの主な構成例を示す図である。 制御装置の主な構成例を示すブロック図である。 補正設定処理の流れの例を説明するフローチャートである。 投影撮像システムや投影撮像装置の他の構成例を示す図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（投影撮像装置）
２．第２の実施の形態（投影撮像システム）
３．第３の実施の形態（応用例）
＜１．第１の実施の形態＞
＜投影撮像装置＞
本技術を適用した情報処理装置の一実施の形態である投影撮像装置の主な構成例を、図１に示す。
図１に示される投影撮像装置１０１は、投影部１１１を有し、その投影部１１１により画像を投影面１０２に投影する。投影部１１１は、画像の投影に関する処理を行う。例えば、投影部１１１は、投影光を発光し、供給される画像データの画像を投影撮像装置１０１の外部（例えば投影面１０２等）に投影する。つまり、投影部１１１は、投影機能を実現する。投影部１１１の光源は任意であり、LED（Light Emitting Diode）やキセノン等であってもよい。また、投影部１１１が投影光としてレーザ光を発光するようにしてもよい。なお、投影部１１１が、例えば複数のレンズや絞り等からなり、投影光の焦点距離、露出、投影方向、投影画角等を制御する光学系を有するようにしてもよい。
また、投影撮像装置１０１は、撮像部１１２をさらに有し、投影面１０２を撮像し、撮像画像を得る。撮像部１１２は、イメージセンサを有し、そのイメージセンサにより入射光を光電変換することにより、装置外部の被写体を撮像し、撮像画像を生成する。つまり、撮像部１１２は、撮像機能（センサ機能）を実現する。なお、撮像部１１２が有するイメージセンサは任意であり、例えば、CMOS（Complementary Metal Oxide Semiconductor）を用いたCMOSイメージセンサであってもよいし、CCD（Charge Coupled Device）を用いたCCDイメージセンサであってもよいし、それら以外であってもよい。
図１に示されるように、投影面１０２における撮像部１１２の撮像範囲１２２は、その投影面１０２における投影部１１１の投影範囲１２１を内包する。したがって、撮像部１１２が得る撮像画像には、投影部１１１によって投影面１０２に投影された投影画像が含まれる。投影撮像装置１０１は、この撮像画像を用いて（すなわち、投影面１０２に投影された様子を参照して）、投影部１１１により投影される画像の色補正を行い、投影面１０２における投影画像の歪みを低減させることができる。
投影撮像装置１０１が投影する画像は、動画像であってもよいし、静止画像であってもよい。また、投影撮像装置１０１が撮像して得られる撮像画像は、動画像であってもよいし、静止画像であってもよい。また、投影撮像装置１０１にスピーカ等を設け、投影撮像装置１０１が音声を出力することができるようにしてもよい。例えば、投影撮像装置１０１が、投影する画像に合わせた音声（例えばBGM（Back Ground Music）等）を出力することができるようにしてもよいし、操作確認用の音声（例えばビープ音やメッセージ等）を出力することができるようにしてもよい。
投影面１０２は、投影撮像装置１０１が画像を投影する面である。投影面１０２は、平面であってもよいし、曲面であってもよいし、一部若しくは全部に凹凸を有する面であってもよいし、複数の面により構成されていてもよい。また、投影面１０２の色は任意であり、複数色により構成されるようにしてもよいし、模様や絵柄を有するようにしてもよい。
図１の例の場合、投影面１０２は、水玉模様のカーテンにより形成されている。つまり、投影面１０２は、様々な曲面の集合により形成されている。また、水玉模様もその曲面形状に応じて変形し、投影面１０２は、より複雑な模様となっている。
なお、この投影面１０２は、任意の物体に形成されるようにしてもよい。例えば、投影面１０２は、所謂スクリーンや壁面のような面状の物体に形成されるようにしてもよい。また、投影面１０２は、立体構造物に形成されるようにしてもよい。例えばビルディング、駅舎、城等の建造物の壁面等に形成されるようにしてもよいし、例えば、岩等の自然物、看板や銅像等の人造物、箪笥、椅子、机等の家具等に形成されるようにしてもよいし、例えば人や動植物等の生物に形成されるようにしてもよい。また、投影面１０２は、例えば部屋空間の壁、床、天井等のように、複数の面に形成されるようにしてもよい。
また、投影面１０２は、固体に形成されるようにしてもよいし、液体や気体に形成されるようにしてもよい。例えば、池やプール等の水面、滝や噴水等の流水面、霧やガス等の気体に形成されるようにしてもよい。また、投影面１０２は、移動してもよいし、変形してもよいし、変色してもよい。また、投影面１０２は、例えば、部屋の壁と家具と人物、複数のビルディング、城壁と噴水等のように、複数の物体に形成されるようにしてもよい。
＜色補正＞
このような投影面１０２の形状や色等によって、投影面１０２に投影された投影画像の輝度や色に影響を及ぼし、投影画像の画質が低減してしまう可能性がある。そこで、投影画像に対して色補正を行うことが考えられた。例えば、投影部１１１が所定のテストパターンであるセンシングパターン１３１を投影し、撮像部１１２がその投影画像を撮像し、その撮像画像を得る。この撮像画像を参考にして投影部１１１の投影レベルを制御して、投影画像に対する色補正の為の情報（色補正に関する情報）である色補正情報を設定する方法が考えられた。
その際、投影部１１１は、センシングパターン１３１として、例えば、黒（BL）のセンシングパターン１３１−１、青（B）のセンシングパターン１３１−２、赤（R）のセンシングパターン１３１−３、緑（G）のセンシングパターン１３１−４、白（W）のセンシングパターン１３１−５のように、複数色のセンシングパターンを用いて色補正情報を生成する。青（B）のセンシングパターン１３１−２、赤（R）のセンシングパターン１３１−３、および緑（G）のセンシングパターン１３１−４は、色域補正のためのセンシングパターン１３１である。黒（BL）のセンシングパターン１３１−１は、照明成分（投影光以外の光による投影面１０２の輝度）補正のためのセンシングパターン１３１である。白（W）のセンシングパターン１３１−５は、ホワイトバランス補正のためのセンシングパターン１３１である。
ところで、投影画像の色補正方法として、例えば特許文献１に記載の方法のように、投射面の分光反射率あるいは光源下の色情報を用いて入力画像の各色成分を補正する方法が考えられた。また、例えば特許文献２に記載の方法のように、補正情報の生成過程で分光データからXYZ空間に変換を行いRGBに変換することで補正を行う方法も考えられた。
しかしながら、これらの方法においては、投影画像全体について一様に色補正が行われるため、例えば模様や凹凸等を有する投影面に投影する場合のような複雑な環境下での投影の場合、投影画像の色補正精度が低減し、投影画像の画質が低減する可能性があった。
例えば、投影面１０２において投影部１１１からの光が、その投影面１０２の形状によって投影画像を見る観察者の方向に反射し難く、輝度が低減することが考えられる。特に、図１の例のように、投影面１０２が複雑な凹凸形状を有する場合、投影画像の位置によってその輝度の低減率が変化することが考えられる。このような場合、投影画像全体に一様に補正を行っても、位置に応じた輝度のばらつきは解消されず、投影画像の画質の低減を十分に抑制することができない可能性がある。
また、例えば、投影面１０２が赤色の場合、投影画像が赤みがかる等の色変化が生じることが考えられる。特に、図１の例のように、投影面１０２が複雑な模様を有する場合、投影画像の位置によってその色変化の色や程度が変化することが考えられる。このような場合、投影画像全体に一様に補正を行っても、位置に応じた色変化のばらつきは解消されず、投影画像の画質の低減を十分に抑制することができない可能性がある。
なお、付言するに、特許文献１に記載の方法の場合、色補正情報の生成過程においてRGBの各ゲイン調整が行われるが、それだけでは、色補正性能が十分でない可能性があった。また、特許文献２に記載の方法の場合、補正値を求める過程において事前情報を用いていないため、最適値を求めるまでの処理が複雑になり、処理時間が増大する可能性があった。
そこで、色補正精度の低減を抑制することができるように、較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像を用いて、その投影部の画素毎の色補正に関する情報である色補正情報を設定するようにする。
例えば、較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像を用いて、前記投影部の画素毎の色補正に関する情報である色補正情報を設定する色補正情報設定部を備えるようにする。
＜投影撮像装置の主な構成例＞
図２は、投影撮像装置１０１の主な構成例を示すブロック図である。図２に示されるように、投影撮像装置１０１は、投影部１１１および撮像部１１２の他に、制御部１５１、画像表示部１５２、デバイス制御部１５３、および画像入力部１５４を有する。
制御部１５１は、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し（いずれも図示せず）、プログラムを実行したりデータを処理したりすることにより、投影撮像装置１０１の各部の制御に関する処理を行う。
画像表示部１５２は、制御部１５１に制御されて、投影される画像に対する画像処理を行う。例えば、画像表示部１５２は、制御部１５１から供給される画像に対して所定の画像処理を行い、その画像を投影部１１１に供給する。
デバイス制御部１５３は、制御部１５１に制御されて、投影部１１１および撮像部１１２の駆動の制御に関する処理を行う。例えば、デバイス制御部１５３は、投影部１１１を制御して、画像表示部１５２から供給される画像を投影させたり、撮像部１１２を制御して、投影面１０２（投影画像）を撮像させたりする。
画像入力部１５４は、制御部１５１に制御されて、撮像部１１２において得られる撮像画像に対する画像処理を行う。例えば、画像入力部１５４は、撮像部１１２から供給される撮像画像に対して所定の画像処理を行い、その撮像画像を制御部１５１に供給する。
投影撮像装置１０１は、さらに、入力部１６１、出力部１６２、記憶部１６３、通信部１６４、およびドライブ１６５を有する。
入力部１６１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部１６１には、キーボード、マウス、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれる。また、加速度センサ、光センサ、温度センサ等の各種センサや、バーコードリーダ等の入力機器が入力部１６１に含まれるようにしてもよい。出力部１６２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部１６２には、ディスプレイ、スピーカ、出力端子等が含まれる。
記憶部１６３は、プログラムやデータ等の情報を記憶する記憶媒体よりなる。例えば、記憶部１６３には、ハードディスク、RAMディスク、不揮発性メモリ等が含まれる。通信部１６４は、所定の通信媒体を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスよりなる。通信部１６４は、例えば、ネットワークインタフェースよりなる。例えば、通信部１６４は、投影撮像装置１０１の外部の装置と通信（プログラムやデータの授受）を行う。
ドライブ１６５は、自身に装着された、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア１７１に記憶されている情報（プログラムやデータ等）を読み出す。ドライブ１６５は、リムーバブルメディア１７１から読み出した情報を制御部１５１に供給する。また、ドライブ１６５は、書き込み可能なリムーバブルメディア１７１が自身に装着された場合、制御部１５１等から供給される情報（プログラムやデータ等）を、そのリムーバブルメディア１７１に記憶させることができる。
なお、投影部１１１および撮像部１１２は較正済みであり、互いの位置関係（相対位置）も定義されている。
制御部１５１のCPUは、例えば、ROMや記憶部１６３に記憶されているプログラムを取得し、RAMにロードして実行することにより、各種処理を行う。このRAMにはまた、CPUが各種の処理を実行する上において必要なデータなども適宜記憶される。
例えば、制御部１５１のCPUは、そのようにプログラム等を実行することにより、投影部１１１や撮像部１１２の制御や色補正情報の設定に関する処理等を行うことができる。
＜補正設定処理の流れ＞
例えば、制御部１５１（のCPU）は、補正設定処理を実行することにより、色補正情報を設定する。この補正設定処理の流れの例を、図３のフローチャートを参照して説明する。
補正設定処理が開始されると、制御部１５１は、ステップＳ１０１において、投影対象との距離、すなわち、投影部１１１から投影面１０２までの距離を求める。投影部１１１および撮像部１１２は較正済みであり互いの相対位置は既知であるので、制御部１５１は、投影画像を撮像した撮像画像から、三角測量により投影面１０２までの距離（デプス情報）を投影部１１１の画素毎に測定する。また、制御部１５１は、その画素毎の投影面１０２のデプス情報に基づいて、投影面１０２の形状を示す法線情報を生成する。そして、その求めたデプス情報や法線情報に基づいて、制御部１５１は、輝度の幾何的な変化、すなわち輝度の距離による減衰を投影部１１１の画素毎に推定する。つまり、制御部１５１は、投影部１１１の画素毎の輝度値を求める。
制御部１５１は、以上のように求めた、画素毎の輝度値、デプス情報、および法線情報を例えば記憶部１６３に記憶する。
ステップＳ１０２において、制御部１５１は、投影部１１１と撮像部１１２との画素対応関係を求める。つまり、制御部１５１は、撮像部１１２の撮像画像上の座標に対して、投影部１１１の投影画素がどこに対応するかを示す画素対応点情報を生成する。より具体的には、制御部１５１は、投影部１１１を制御し、投影部１１１の各画素に対応する投影画像内の位置を識別可能なパターン画像を投影面に投影させる。また、制御部１５１は、撮像部１１２を制御して、その投影画像を撮像させ、撮像画像を生成させる。上述したように、撮像画像に含まれる投影画像において、どの位置が投影部１１１のどの画素に対応するかが既知である。そして撮像画像のどの位置が撮像部１１２のどの画素に対応するかは当然既知である。したがって、制御部１５１は、その撮像画像に含まれる投影画像に基づいて、投影部１１１と撮像部１１２との画素対応関係を求める。
制御部１５１は、以上のように求めた画素対応関係を、例えば記憶部１６３に記憶する。
ステップＳ１０３において、制御部１５１は、投影対象形状と視点からの入射角を求める。つまり、制御部１５１は、投影対象（投影面１０２）のデプス情報と法線情報とに基づいて、投影画像を見る観測者から見て、どのような素材・形状の投影対象にどのような入射角で投影光が当たっているかを示す入射角情報を、投影部１１１の画素毎に求める。そして、制御部１５１は、その入射角情報に基づいて、投影光の投影面１０２に対する入射角や投影面の素材・形状等による輝度の減衰量（補正減衰量とも称する）を示す減衰情報（反射率情報とも称する）を、投影部１１１の画素毎に求める。
制御部１５１は、以上のように求めた画素毎の減衰情報（反射率情報）を、例えば記憶部１６３に記憶する。
ステップＳ１０４において、制御部１５１は、センシングパターン１３１の初期値（初期出力画素値）と目標輝度値とを生成する。このセンシングパターン１３１は、投影画像に対する色補正の為の情報（色補正に関する情報）である色補正情報を設定するために投影される所定のテストパターンの画像である。このテストパターンは、どのようなパターン（絵柄）であってもよい。例えば、センシングパターン１３１が、色毎（図１の例の場合、黒（BL）のセンシングパターン１３１−１、青（B）のセンシングパターン１３１−２、赤（R）のセンシングパターン１３１−３、緑（G）のセンシングパターン１３１−４、白（W）のセンシングパターン１３１−５）に設定されるようにしてもよい。例えば、制御部１５１は、記憶部１６３に記憶されている画素毎の輝度値、デプス情報、法線情報、画素対応関係、画素毎の減衰情報等を読み出し、それらの情報に基づいて、センシングパターン１３１の初期値（初期出力画素値）を投影部１１１の画素毎に設定する。
また、目標輝度値は、観察者から見て理想の状態となるようにした場合の投影面１０２の投影画像の輝度値である。理想の状態とは、投影画像が投影面１０２の色や形状等の影響を受けない状態である。つまり、観察者から見た投影画像が、投影部１１１が投影する画像と同一となる状態（輝度、色、形状等に変化が無い状態）である。例えば、制御部１５１は、記憶部１６３に記憶されている画素毎の輝度値、デプス情報、法線情報、画素対応関係、画素毎の減衰情報等を読み出し、それらの情報に基づいて、目標輝度値を投影部１１１の画素毎に設定する。
ステップＳ１０５において、制御部１５１は、投影面１０２の輝度値が目標輝度値に近づくようにセンシングパターン１３１の調整を行う。上述したように、ステップＳ１０４の処理により、センシングパターン１３１の初期値（初期出力画素値）が設定される。制御部１５１は、このセンシングパターン１３１の初期値（初期出力画素値）に対して、より適切に色補正されたセンシングパターン１３１となるように調整を行う。この調整は必要に応じて繰り返し行われる。この調整の詳細については後述する。
ステップＳ１０６において、制御部１５１は、ステップＳ１０５の処理により得られた調整後のセンシングパターン１３１を用いて環境モデル式を生成し、その環境モデル式を用いて、色補正情報（色補正の為の補正データ（補正モデル式））を画素毎に生成（設定）する。この色補正情報の設定の詳細については後述する。
ステップＳ１０７において、制御部１５１は、得られた色補正情報（補正データ（補正モデル式））を、例えば記憶部１６３に記憶する。
ステップＳ１０７の処理が終了すると、補正設定処理が終了する。
＜センシングパターン調整処理の流れ＞
次に、図４のフローチャートを参照して、図３のステップＳ１０５において実行されるセンシングパターン調整処理の流れの例を説明する。
センシングパターン調整処理が開始されると、ステップＳ１２１において、制御部１５１は、センシングパターン１３１の投影レベル（出力画素値）を、例えば制御部１５１内のRAMや記憶部１６３等に記憶させる。例えば初回のステップＳ１２１の処理の場合、制御部１５１は、ステップＳ１０４（図３）の処理により設定されたセンシングパターン１３１の初期値（初期出力画素値）を記憶させる。２回目以降のステップＳ１２１の処理の場合、制御部１５１は、後述するステップＳ１２３の処理により設定されたセンシングパターン１３１の投影レベル（出力画素値）を記憶させる。なお、このセンシングパターン１３１の投影レベルのことを、センシングパターンの観察ゲインとも称する。
ステップＳ１２２において、制御部１５１は、投影部１１１にセンシングパターンを投影させ、撮像部１１２にその投影画像を撮像させて撮像画像を、センシング結果（センシング画素値）として取得する。制御部１５１は、そのセンシング結果（センシング画素値）を、例えば制御部１５１内のRAMや記憶部１６３等に記憶させる。なお、このセンシング結果（センシング画素値）のことを、投影部画素に対応する撮像部画素情報とも称する。
ステップＳ１２３において、制御部１５１は、センシングパターンの観察ゲインと投影部画素に対応する撮像部画素情報とを記憶部１６３等から読み出し、それぞれのデータを、事前に得られた投影部１１１および撮像部１１２の較正結果（キャリブレーション情報）に基づいてリニア値（リニア領域）に変換して光量計算を行い、目標とするセンシング結果（目標輝度値）にするためのゲイン（センシングゲインとも称する）を設定する。つまり、制御部１５１は、投影面１０２における投影画像の輝度値が目標輝度値により近づくようにゲインの調整を行う。
制御部１５１は、ステップＳ１２１乃至ステップＳ１２３の各処理を、投影部１１１の処理対象の画素について行う。
ステップＳ１２４において、制御部１５１は、全ての画素を処理したか否かを判定する。未処理の画素が存在すると判定された場合、制御部１５１は、未処理の画素を処理対象として選択する。ここで選択される画素は、未処理の画素であればどの画素であってもよい。新たな画素が処理対象として選択されると、処理はステップＳ１２１に戻り、それ以降の処理が繰り返される。
つまり、ステップＳ１２１乃至ステップＳ１２４の各処理が、投影部１１１の画素毎に行われる。各処理が繰り返し実行され、ステップＳ１２４において全ての画素を処理したと判定された場合、処理はステップＳ１２５に進む。
ステップＳ１２５において、制御部１５１は、投影画像全体としての目標値の達成度を求め、達成度が十分であるか否かを判定する。この十分か否かの判定基準（判定するパラメータや閾値等）は任意である。どのような画質の投影画像にするか等に応じて決定すればよい。画面全体の収束（すなわちセンシング結果）が目標値に十分達していないと判定された場合、処理は、ステップＳ１２１に戻り、それ以降の処理を繰り返す。つまり、投影画像全体の目標値に達するまで、センシングパターンの調整（ステップＳ１２１乃至ステップＳ１２５の各処理）が繰り返される。
画面全体の収束が目標値に十分達したと判定された場合、センシングパターン調整処理が終了し、処理は図３に戻る。
＜補正データ生成処理の流れ＞
次に、図５のフローチャートを参照して、図３のステップＳ１０６において実行される補正データ生成処理の流れの例を説明する。
補正データ生成処理が開始されると、ステップＳ１４１において、制御部１５１は、無照射時（つまり、センシングパターン１３１を照射していない状態）のセンシング結果（撮像画像）から、投影光以外の光に基づく投影面１０２の輝度値である照明成分（すなわち、オフセット）を求める。この処理において、制御部１５１は、投影部１１１にセンシングパターン１３１を投影させないようにしてもよいし、照明成分を求めるためのセンシングパターン１３１（例えば、黒（BL）のセンシングパターン１３１−１）を投影させるようにしてもよい。
ステップＳ１４２において、制御部１５１は、投影部１１１を制御して、色域補正のための各色のセンシングパターン１３１（例えば、青（B）のセンシングパターン１３１−２、赤（R）のセンシングパターン１３１−３、緑（G）のセンシングパターン１３１−４）を投影させる。そして、制御部１５１は、各センシングパターンのセンシング結果に基づいて投影面１０２の距離や形状等を表すパラメータである環境情報を生成する。環境情報は例えば行列式で表され、赤、緑、青の結果を格納する。
ステップＳ１４３において、制御部１５１は、投影部１１１および撮像部１１２に関する事前に得られた情報（キャリブレーション情報等）を用い、ステップＳ１４２において得られた環境情報を補正するための逆行列（補正行列とも称する）を求める。この逆行列を用いて補正を行うことにより、投影画像の色域変換を行うことができる。
ステップＳ１４４において、制御部１５１は、投影部１１１を制御して、ホワイトバランスを調整するためのセンシングパターン１３１（例えば、白（W）のセンシングパターン１３１−５）を投影させる。そして、制御部１５１は、ステップＳ１４３の処理により得られた逆行列（補正行列）に対してどのようなゲインをかけるかを示すゲイン情報（変換式のゲイン情報とも称する）を、そのセンシングパターンのセンシング結果と投影対象（投影面１０２）の補正減衰量（ステップＳ１０３（図３）の処理により得られる減衰情報（反射率情報））から求め、投影対象の補正式（補正行列）に反映させる。つまり、このゲイン情報を用いて補正を行うことにより、投影画像のホワイトバランス調整を行うことができる。
ステップＳ１４５において、制御部１５１は、ステップＳ１４１の処理により設定された照明成分情報、ステップＳ１４３の処理により設定された補正行列、および、ステップＳ１４４の処理により設定された変換式のゲイン情報を組み合わせて、補正データ（補正モデル式）を生成（設定）する。
ステップＳ１４１乃至ステップＳ１４５の各処理は、投影部１１１の処理対象の画素に対して行われる。ステップＳ１４６において、制御部１５１は、投影部１１１の全ての画素について、これらの処理を実行したか否かを判定する。未処理の画素が存在すると判定された場合、処理はステップＳ１４１に戻り、それ以降の処理が繰り返される。つまり、ステップＳ１４１乃至ステップＳ１４６の各処理が、投影部１１１の各画素について実行される。ステップＳ１４１乃至ステップＳ１４６の各処理が繰り返し実行され、ステップＳ１４６において、全ての画素が処理されたと判定された場合、補正データ生成処理が終了し、処理は図３に戻る。
＜補正モデル式＞
以上のような補正データ生成処理により、例えば、以下の式（１）に示されるような補正モデル式が得られる。
Figure 0006798491
 ・・・（１）
なお、式（１）の左辺（fc（ci , cγ））は、 撮像部１１２の画素値ciと撮像部１１２のγカーブcγで表される撮像部１１２のリニア画素値を示している。また、式（１）の右辺のM3x3は、投影部１１１と撮像部１１２の色域変換のための行列を示している。また、式（１）の右辺のV3x3は、投影部１１１が投影面の色の影響を受けることを表す行列を示している。
＜補正情報の利用＞
画像を投影する際、制御部１５１は、その投影する画像に対して、以上のような各処理を実行して生成された色補正情報を用いて色補正を画素毎に行い、その色補正された画像を投影部１１１に投影させる。
このようにすることにより、投影撮像装置１０１は、単純な平面単色壁面のみならず、複雑な形状かつ複雑な模様、色を含む投影面に関してもより適切に補正を行うことができる。つまり、より多様な投影面に対して、色補正精度の低減を抑制することができる。
また、法線マップを利用して特定の視点からの角度依存による光量減衰を推定することで、視点切り替え時の見えの差を補正する際に拘束に色補正を完了させることができる。
さらに、投影対象への投影結果から、対象の反射率推定を行い２回目以降のテストパターンを変化させテストパターンを収束させることで目的の期待値を得るためプロジェクタの光学特性情報を必要としない。したがって、より容易に色補正情報を得ることができる。
また、較正された投影部１１１と撮像部１１２とを用いることにより、投影部１１１の投影面１０２の環境情報をより容易に推定することができ、投影面１０２の形状や投影部１１１からの距離、投影面１０２の反射率などをより容易に把握することができる。そして、較正された撮像部１１２を用いることで、投影部１１１と撮像部１１２との画素対応点をより容易に把握することができる。したがって、投影部１１１の画素単位の色補正情報をより容易に求めることができる。なお、この色補正情報を求める際に、上述の環境情報の推定結果を用いることで、最適値を求めるまでの処理時間を低減することができる。
さらに、補正目標値に関してはあらかじめ定めるのではなく、投影環境の情報から最適値を推定することで、環境に適した補正を行うことができる。
また、目標値に達するまでの過程で投影部１１１の特性が経時変化していたとしても、目標値の見直しを行っているため最終的な補正性能がより変わらないようにすることができる。
さらに、上述したように、制御部１５１は、補正式を求める計算時間に関して、センシングパターンの結果を環境情報に変換する際に、センジングパターンの計算結果が環境情報そのもののため、環境情報の逆行列を求めることは高速であり、分光データからの変換や、色空間の変換を必要としない。また最小化問題を解く必要もないため、非常に高速に計算を行うことができる。
＜その他＞
なお、以上に説明した装置の構成や処理の流れは一例であり、本技術を適用した装置の構成や処理の流れは、上述した例に限定されない。本技術は、較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像を用いて、その投影部の画素毎の色補正情報を設定すればよい。
例えば、投影撮像装置１０１が、図２の例以外の構成を有するようにしてもよい。また、図２に示される構成の一部が省略されるようにしてもよい。
また、例えば、補正設定処理（図３）において、ステップＳ１０４の処理（センシングパターン１３１の初期値の生成や目標輝度値の生成）において、法線情報を利用しないようにしてもよい。また、画素毎の減衰情報を利用しないようにしてもよい。つまり、これらの情報の生成処理を省略するようにしてもよい。
また、例えば、ステップＳ１０６の処理において生成した補正データを、他の装置（例えばサーバ等）に供給するようにしてもよい。また、ステップＳ１０５の処理により生成した補正後のセンシングパターン１３１を他の装置（例えばサーバ等）に供給するようにしてもよい。そしてその場合、ステップＳ１０６の補正データ生成処理が、他の装置（例えばサーバ等）において実行されるようにしてもよい。
また、ステップＳ１０４の処理により生成されたセンシングパターン１３１の初期値と目標輝度値とを、他の装置（例えばサーバ等）に供給するようにしてもよい。そしてその場合、ステップＳ１０５のセンシングパターン調整処理が、他の装置（例えばサーバ等）において実行されるようにしてもよい。さらに、ステップＳ１０６の補正データ生成処理も、他の装置（例えばサーバ等）において実行されるようにしてもよい。
また、ステップＳ１０１乃至ステップＳ１０３の各処理において生成される各種情報を、他の装置（例えばサーバ等）に供給するようにしてもよい。そしてその場合、ステップＳ１０４の処理（センシングパターン１３１の初期値と目標輝度値との生成処理）が、他の装置（例えばサーバ等）において実行されるようにしてもよい。さらに、ステップＳ１０５のセンシングパターン調整処理も、他の装置（例えばサーバ等）において実行されるようにしてもよい。さらに、ステップＳ１０６の補正データ生成処理も、他の装置（例えばサーバ等）において実行されるようにしてもよい。
つまり、ステップＳ１０６の補正データ生成処理は、投影撮像装置１０１以外の任意の情報処理装置において行うようにしてもよい。すなわち、本技術は、投影撮像装置１０１以外の任意の情報処理装置に適用することができる。
なお、センシングパターン調整処理（図４）において、画面全体の収束を考慮せず、ステップＳ１２５の処理を省略するようにしてもよい。また、一部の画素についてのみセンシングパターン調整処理を行い、その他の画素については、補間処理等を行うようにしてもよい。
また、補正データ生成処理（図５）において、補正データの生成の際（ステップＳ１４５）において、照明成分情報を利用しないようにしてもよい。また、変換式のゲイン情報を利用しないようにしてもよい。その場合、これらの情報の生成処理を省略するようにしてもよい。また、一部の画素についてのみ補正データ処理を行い、その他の画素については、補間処理等を行うようにしてもよい。
さらに、各処理において上述した以外の処理を行ったり、上述した以外のデータを利用したりするようにしてもよい。
＜２．第２の実施の形態＞
＜投影撮像システム＞
第１の実施の形態においては、１台の投影撮像装置１０１の色補正について説明したが、投影撮像装置１０１の台数は任意であり、複数であってもよい。本技術は、例えば、複数の投影撮像装置１０１を協働させて画像の投影を行うシステムにも適用することができる。
図６は、本技術を適用した投影撮像システムの一実施の形態の主な構成例を示す図である。図６に示される投影撮像システム３００は、３台の投影撮像装置１０１（投影撮像装置１０１−１、投影撮像装置１０１−２、投影撮像装置１０１−３）と制御装置３０１を有し、制御装置３０１がこれらの投影撮像装置１０１を協働させて画像の投影を行うシステムである。
第１の実施の形態において上述したように、各投影撮像装置１０１は、投影部１１１および撮像部１１２を有する。例えば、投影撮像装置１０１−１は、投影部１１１−１および撮像部１１２−１を有する。また、例えば、投影撮像装置１０１−２は、投影部１１１−２および撮像部１１２−２を有する。さらに、例えば、投影撮像装置１０１−３は、投影部１１１−３および撮像部１１２−３を有する。
各投影撮像装置１０１は、ネットワーク３０２に通信可能に接続されている。この接続は有線であってもよいし、無線であってもよいし、その両方であってもよい。
ネットワーク３０２は、任意の通信網であり、有線通信を行ってもよいし、無線通信を行ってもよいし、それらの両方を行ってもよい。また、ネットワーク３０２が、１の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク３０２に含まれるようにしてもよい。
制御装置３０１は、ネットワーク３０２に通信可能に接続されている。つまり、制御装置３０１は、このネットワーク３０２を介して、各投影撮像装置１０１と通信することができる。なお、この接続は有線であってもよいし、無線であってもよいし、その両方であってもよい。
制御装置３０１は、その通信により各投影撮像装置１０１を制御し、投影や撮像等の任意の処理を実行させることができる。例えば、制御装置３０１は、１枚の大画像の互いに異なる部分の小画像を各投影撮像装置１０１から投影面１０２に投影させ、投影面１０２に１枚の大画像に相当する投影画像を投影させることができる。
なお、図６の例の場合、投影面１０２における、投影撮像装置１０１−１の投影部１１１−１の投影範囲３１１−１と、投影撮像装置１０１−２の投影部１１１−２の投影範囲３１１−２とは、その一部分である重複部分３１３−１において重複している。つまり、投影面１０２のこの重複部分３１３−１においては、投影部１１１−１が投影する投影画像と、投影部１１１−２が投影する投影画像とが重畳して投影されている。
また、投影面１０２における、投影撮像装置１０１−２の投影部１１１−２の投影範囲３１１−２と、投影撮像装置１０１−３の投影部１１１−３の投影範囲３１１−３とは、その一部分である重複部分３１３−２において重複している。つまり、投影面１０２のこの重複部分３１３−２においては、投影部１１１−２が投影する投影画像と、投影部１１１−３が投影する投影画像とが重畳して投影されている。
また、投影面１０２において、投影撮像装置１０１−１の撮像部１１２−１の撮像範囲３１２−１は、投影部１１１−１の投影範囲３１１−１を含む。同様に、投影撮像装置１０１−２の撮像部１１２−２の撮像範囲３１２−２は、投影部１１１−２の投影範囲３１１−２を含む。さらに、投影撮像装置１０１−３の撮像部１１２−３の撮像範囲３１２−３は、投影部１１１−３の投影範囲３１１−３を含む。
なお、各投影撮像装置１０１の投影部１１１および撮像部１１２は、較正済みであるものとする。
このような投影撮像システム３００において、制御装置３０１は、各投影撮像装置１０１について、画素毎の色補正情報を生成する。各投影撮像装置１０１は、制御装置３０１において生成された色補正情報を用いて、投影する画像に対して色補正を画素毎に行い、その色補正された画像を投影する。
＜制御装置の構成例＞
図７は、図６の制御装置３０１の主な構成例を示すブロック図である。図７に示されるように、制御装置３０１は、CPU３５１、ROM３５２、RAM３５３、バス３５４、入出力インタフェース３６０、入力部３６１、出力部３６２、記憶部３６３、通信部３６４、およびドライブ３６５を有する。
CPU３５１、ROM３５２、RAM３５３は、バス３５４を介して相互に接続されている。バス３５４にはまた、入出力インタフェース３６０も接続されている。入出力インタフェース３６０には、入力部３６１、出力部３６２、記憶部３６３、通信部３６４、およびドライブ３６５が接続されている。
入力部３６１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部３６１には、キーボード、マウス、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれる。また、加速度センサ、光センサ、温度センサ等の各種センサや、バーコードリーダ等の入力機器が入力部３６１に含まれるようにしてもよい。出力部３６２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部３６２には、ディスプレイ、スピーカ、出力端子等が含まれる。
記憶部３６３は、プログラムやデータ等の情報を記憶する記憶媒体よりなる。例えば、記憶部３６３には、ハードディスク、RAMディスク、不揮発性メモリ等が含まれる。通信部３６４は、所定の通信媒体を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスよりなる。通信部３６４は、例えば、ネットワークインタフェースよりなる。例えば、通信部３６４は、制御装置３０１の外部の装置と通信（プログラムやデータの授受）を行う。
ドライブ３６５は、自身に装着された、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア３７１に記憶されている情報（プログラムやデータ等）を読み出す。ドライブ３６５は、リムーバブルメディア３７１から読み出した情報をCPU３５１やRAM３５３等に供給する。また、ドライブ３６５は、書き込み可能なリムーバブルメディア３７１が自身に装着された場合、CPU３５１やRAM３５３等から供給される情報（プログラムやデータ等）を、そのリムーバブルメディア３７１に記憶させることができる。
CPU３５１は、例えば、記憶部３６３に記憶されているプログラムを、入出力インタフェース３６０およびバス３５４を介して、RAM３５３にロードして実行することにより、各種処理を行う。RAM３５３にはまた、CPU３５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
例えば、CPU３５１は、そのようにプログラム等を実行することにより、色補正情報の設定に関する処理や、各投影撮像装置１０１の制御に関する処理等を行うことができる。
＜補正設定処理の流れ＞
図８のフローチャートを参照して、制御装置３０１により実行される、色補正情報を設定するための補正設定処理の流れの例を説明する。
第２の実施の形態の場合、制御装置３０１は、各投影撮像装置１０１について、色補正情報を生成する。各投影撮像装置１０１についての色補正情報は、第１の実施の形態の場合と基本的に同様に生成される。また、第２の実施の形態の場合、全投影撮像装置１０１により画像を投影させることにより投影面１０２に投影される１枚の投影画像全体についても目標値の達成度を判定する。
そこで、制御装置３０１は、投影撮像装置１０１毎にセンシングパターンを生成して調整し（ステップＳ３０１乃至ステップＳ３０７）、次に、システム全体の収束が目標値に十分に達したことを確認し（ステップＳ３０８）、各投影撮像装置１０１について、補正データを生成する（ステップＳ３０９）。
したがって、制御装置３０１のCPU３５１は、ステップＳ３０１において、未処理の投影撮像装置１０１の中から処理対象とする投影撮像装置１０１を選択する。その選択された処理対象の投影撮像装置１０１について、ステップＳ３０２乃至ステップＳ３０６の各処理が、図３のステップＳ１０１乃至ステップＳ１０５の各処理と同様に実行される。つまり、ステップＳ３０６においては、図４のフローチャートを参照して説明したように、センシングパターン調整処理が実行される。
処理対象の投影撮像装置１０１について、以上のように調整後のセンシングパターン１３１が得られると、制御装置３０１のCPU３５１は、ステップＳ３０７において、全ての投影撮像装置１０１について、補正設定処理を行い、（調整済みの）センシングパターン１３１を生成したか否かを判定する。センシングパターン１３１を生成していない投影撮像装置１０１が存在すると判定された場合、処理はステップＳ３０１に戻りそれ以降の処理が繰り返される。すなわち、新たな未処理の投影撮像装置１０１が処理対象として選択され、その投影撮像装置１０１について補正設定処理（ステップＳ３０２乃至ステップＳ３０６の各処理）が行われる。
以上のように、ステップＳ３０１乃至ステップＳ３０７の各処理が繰り返されることにより、全投影撮像装置１０１について（調整済みの）センシングパターン１３１が生成されると、処理はステップＳ３０８に進む。
ステップＳ３０８において、制御装置３０１のCPU３５１は、全投影撮像装置１０１が投影した投影画像全体としての目標値の達成度を求め、達成度が十分であるか否かを判定する。この十分か否かの判定基準（判定するパラメータや閾値等）は任意である。どのような画質の投影画像にするか等に応じて決定すればよい。システム全体の収束（すなわち全投影撮像装置１０１のセンシング結果）がその目標値に十分達していないと判定された場合、処理は、ステップＳ３０１に戻り、それ以降の処理を繰り返す。つまり、全投影撮像装置１０１が投影した投影画像全体の目標値に達するまで、センシングパターンの調整（ステップＳ３０１乃至ステップＳ３０８の各処理）が繰り返される。
そして、ステップＳ３０８において、システム全体の収束が目標値に十分達したと判定された場合、処理はステップＳ３０９に進む。
ステップＳ３０９において、制御装置３０１のCPU３５１は、各投影撮像装置１０１について、補正データを生成する。つまり、図５のフローチャートを参照して説明したように、補正データ生成処理が各投影撮像装置１０１について実行される。例えば、投影撮像システム３００（図６）の場合、３台の投影撮像装置１０１のそれぞれに対して補正データ生成処理が実行される（３回繰り返される）。
以上のようにして各投影撮像装置１０１の補正データが生成されると、処理はステップＳ３１０に進む。
ステップＳ３１０において、制御装置３０１のCPU３５１は、ステップＳ３０９の処理により生成された各投影撮像装置１０１の補正データをRAM３５３、記憶部３６３、若しくはリムーバブルメディア３７１等に記憶する。そして、制御装置３０１のCPU３５１は、所定のタイミングにおいて通信部３６４を制御し、その補正データを各投影撮像装置１０１に色補正情報として供給させる。なお、CPU３５１は、生成された補正データを記憶部３６３等に記憶させずに、通信部３６４を介して投影撮像装置１０１に供給するようにしてもよい。
ステップＳ３１０の処理が終了すると、補正設定処理が終了する。
＜補正情報の利用＞
画像を投影する際、各投影撮像装置１０１の制御部１５１は、その投影する画像に対して、制御装置３０１から供給される色補正情報を用いて色補正を画素毎に行い、その色補正された画像を投影部１１１に投影させる。
このようにすることにより、投影撮像システム３００は、投影撮像装置１０１が複数の場合も、より多様な投影面に対して、より適切に補正を行うことができ、色補正精度の低減を抑制することができる。
投影撮像装置１０１が１台の場合、投影撮像装置１０１と投影面１０２との角度によってはオクルージョンが発生し、光が当たらないケースが発生する可能性があったが、複数台の投影撮像装置１０１を用いることにより、そのようなケースの発生を抑制することができる。つまり、複数台の投影撮像装置１０１を用いることにより、より色補正精度の低減を抑制することができる。
＜その他＞
なお、以上に説明したシステムや装置の構成、処理の流れ等は一例であり、本技術を適用したシステムや装置の構成、処理の流れ等は、上述した例に限定されない。
例えば、図６においては、３台の投影撮像装置１０１が示されているが、投影撮像システム３００が有する投影撮像装置１０１の数は任意である。同様に、投影撮像システム３００が有する制御装置３０１の数は任意である。また、ネットワーク３０２に、図６に示される装置以外の装置が接続されていてもよい。
また、例えば、制御装置３０１が、図７の例以外の構成を有するようにしてもよい。また、図７に示される構成の一部が省略されるようにしてもよい。
また、例えば、補正設定処理（図８）については、第１の実施の形態の場合と基本的に同様に、一部の処理やデータを省略したり、図８に示した以外の処理を行ったり、図８に示されないデータを利用したりしてもよい。また、一部の処理を他の装置において行うようにしてもよい。
例えば、複数台の投影撮像装置１０１を用いて画像を投影し、図６の例のように投影面１０２において互いの投影画像の一部を重畳させる場合（重複投影を行う場合）その重複投影された領域は、他の領域よりも明るく表示させることができる。そこで、例えば、変換式のゲイン情報を生成する際に（図５のステップＳ１４４の処理の際に）、そのような重複投影される領域を用いるようにしてもよい。この場合、その領域に画像を投影する各投影部１１１の光量の総和を用いて目標値を推定することができるので、変換式のゲイン情報をより正確に設定することができる。つまり、投影画像全体の光量調整をより正確に行うことができる。
また、投影撮像システム３００が複数の投影撮像装置１０１を有する場合、各投影撮像装置１０１に対する補正設定処理において、他の投影撮像装置１０１の情報を用いることができる。したがって、例えば、投影面１０２が完全拡散反射面でなくとも、撮像画像を利用する撮像部１１２の優先順位を決めることができるため、投影面１０２の反射率を考慮した補正を行うことができる。つまり、色補正精度の低減を抑制することができる。
例えば、投影面１０２の形状情報を示す「法線ベクトル」と投影面１０２から投影撮像装置１０１への「方向ベクトル」のなす角θが最も小さい投影撮像装置１０１の撮像画像から得られる輝度値を「最大反射輝度値」として得る。なす角θが最も大きい投影撮像装置１０１の撮像画像から得られる輝度値を「最小反射輝度値」として得る。この２つの輝度値からなす角θの変化に応じた「輝度減衰カーブ」を得ることができる。
そして、「輝度減衰カーブ」が急峻な変化（最大反射輝度と最小反射輝度の差が大きい場合）の場合、投影面の反射率補正を行う。各投影撮像装置１０１で得られた輝度値に、投影面１０２から投影撮像装置１０１への「方向ベクトル」のなす角θで表される「輝度減衰カーブ」を適用し、輝度値の補正を行うことで「環境モデル」を更新する。
また、投影面１０２から観察者への「方向ベクトル」を使って、観察者から見たときの全ての投影撮像装置１０１の投影面１０２の輝度値を算出する。それら輝度値の最小値を「目標輝度値」とする。
そして、各投影撮像装置１０１の「補正モデル」のゲインは「目標輝度値」に合わせて収束させる。
以上のようにすることにより、投影面１０２が任意の形状かつ完全拡散反射面でない場合でも、観察者から見たときに輝度差がより少ない投影を行うことができる。また、補正モデルのゲインの収束が早くなるため、結果的に目標輝度値に合わせた補正モデルの作成を、投影撮像装置１０１単体で行う場合よりも高速に行うことができる。これにより処理時間の短縮だけでなく、負荷の増大の抑制を実現することができる。
＜３．第３の実施の形態＞
＜投影撮像システム、投影撮像装置の構成例＞
なお、本技術を適用した投影撮像装置や投影撮像システムの構成例は、上述した例に限定されない。例えば、図９のＡに示される投影撮像システム４００のように、制御装置３０１を省略するようにしてもよい。この投影撮像システム４００の場合、上述した補正設定処理等の各処理は、いずれかの投影撮像装置１０１において行われるようにすればよい。このように処理を行う投影撮像装置１０１の数は任意であり、１台であってもよいし、複数台であってもよい。このようにすることにより、この投影撮像システム４００の場合であっても、色補正精度の低減を抑制することができる。
また、図９のＢに示される投影撮像システム４１０のように、各投影撮像装置の構成が互いに異なるようにしてもよい。図９のＢに示されるように、投影撮像システム４１０は、ネットワーク３０２に通信可能に接続される３台の投影撮像装置４１１（投影撮像装置４１１−１、投影撮像装置４１１−２、投影撮像装置４１１−３）を有する。
投影撮像装置４１１−１は、２つの投影部１１１（投影部１１１−１−１および投影部１１１−１−２）と１つの撮像部１１２−１とを有する。投影撮像装置４１１−２は、１つの投影部１１１−２と１つの撮像部１１２−２とを有する。投影撮像装置４１１−３は、１つの投影部１１１−３と２つの撮像部１１２（撮像部１１２−３−１および撮像部１１２−３−２）とを有する。
このように投影撮像装置４１１の構成が互いに異なる場合であっても、第２の実施の形態の場合と同様に処理を行うことができる。つまり、この投影撮像システム４１０の場合も、色補正精度の低減を抑制することができる。
さらに、図９のＣに示される投影撮像装置４２０のように、複数の投影部１１１と複数の撮像部１１２を備えるようにしてもよい。この場合、投影撮像装置４２０は、投影撮像システム３００の場合と同様に、各投影部１１１について、色補正情報を生成するようにすればよい。このようにすることにより、投影撮像装置４２０の場合も、色補正精度の低減を抑制することができる。
＜ソフトウェア＞
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
例えば図２の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア１７１により構成される。このリムーバブルメディア１７１には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリ等も含まれる。その場合、例えば、リムーバブルメディア１７１をドライブ１６５に装着することにより、そのリムーバブルメディア１７１に記憶されているこのプログラムを読み出させ、記憶部１６３にインストールさせることができる。
また例えば図７の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア３７１により構成される。このリムーバブルメディア３７１には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MDを含む）や半導体メモリ等も含まれる。その場合、例えば、リムーバブルメディア３７１をドライブ３６５に装着することにより、そのリムーバブルメディア３７１に記憶されているこのプログラムを読み出させ、記憶部３６３にインストールさせることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図２の場合、プログラムは、通信部１６４で受信し、記憶部１６３にインストールすることができる。また例えば図７の場合、プログラムは、通信部３６４で受信し、記憶部３６３にインストールすることができる。
その他、このプログラムは、記憶部やROM等に、あらかじめインストールしておくこともできる。例えば図２の場合、プログラムは、記憶部１６３や制御部１５１に内蔵されるROM等に予めインストールしておくこともできる。また、例えば図７の場合、プログラムは、記憶部３６３やROM３５２等に予めインストールしておくこともできる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
＜その他＞
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
なお、本技術は以下のような構成も取ることができる。
（１） 較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像を用いて、前記投影部の画素毎の色補正に関する情報である色補正情報を設定する色補正情報設定部
を備える情報処理装置。
（２） 前記色補正情報設定部は、前記投影画像と前記撮像画像とに基づいて、前記投影画像が前記投影面に投影されることによる色に関する影響を示す情報である環境情報を、前記投影部の画素毎に求め、前記投影部の画素毎の前記環境情報を用いて前記色補正情報を設定する
（１）に記載の情報処理装置。
（３） 前記色補正情報設定部は、さらに、
前記投影画像を投影していない状態の前記投影面を撮像した撮像画像に基づいて、前記投影面の照明成分を前記投影部の画素毎に求め、
白の前記投影画像から前記色補正情報のゲイン量を前記投影部の画素毎に求め、
前記投影部の画素毎の前記照明成分と前記ゲイン量と前記環境情報を用いて前記色補正情報を設定する
（２）に記載の情報処理装置。
（４） 前記撮像画像の各画素の画素値に基づいて、前記投影画像を投影する際の前記投影部の投影レベルを前記投影部の画素毎に調整する調整部をさらに備え、
前記色補正情報設定部は、前記調整部により各画素の投影レベルが調整された前記投影部により投影される前記投影画像を用いて、前記色補正情報を設定する
（１）乃至（３）のいずれかに記載の情報処理装置。
（５） 前記調整部は、前記撮像画像の各画素の画素値が各画素の目標値に収束するように、前記投影部の画素毎に前記投影レベルを調整する
（４）に記載の情報処理装置。
（６） 前記調整部は、さらに、前記画素値が前記投影画像全体の目標値に収束するように、前記投影部の画素毎に前記投影レベルを調整する
（５）に記載の情報処理装置。
（７） 前記撮像画像の各画素の画素値と、前記投影部の各画素と前記撮像部の各画素との対応関係とに基づいて、前記投影レベルの初期値を前記投影部の画素毎に設定する初期値設定部をさらに備え、
前記調整部は、前記初期値設定部により設定された前記投影部の画素毎の前記投影レベルの初期値を調整する
（４）乃至（６）のいずれかに記載の情報処理装置。
（８） 前記投影画像と前記撮像画像とに基づいて、前記投影部の各画素と前記撮像部の各画素との対応関係を求める対応関係設定部をさらに備え、
前記初期値設定部は、前記撮像画像の各画素の画素値と、前記対応関係設定部により設定された前記対応関係とに基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定する
（７）に記載の情報処理装置。
（９） 前記初期値設定部は、さらに、前記投影面のデプス情報および法線情報に基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定する
（７）または（８）に記載の情報処理装置。
（１０） 前記デプス情報および前記法線情報を設定するデプス法線情報設定部をさらに備え、
前記初期値設定部は、前記デプス法線情報設定部により設定された前記デプス情報および前記法線情報に基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定する
（９）に記載の情報処理装置。
（１１） 前記初期値設定部は、さらに、前記投影面への投影画像の入射角に応じた反射率に関する情報に基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定する
（７）乃至（１０）のいずれかに記載の情報処理装置。
（１２） 前記反射率に関する情報を設定する反射率情報設定部をさらに備え、
前記初期値設定部は、前記反射率情報設定部により設定された前記反射率に関する情報に基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定する
（１１）に記載の情報処理装置。
（１３） 前記色補正情報設定部は、前記投影部および前記撮像部を有する複数の投影撮像装置のそれぞれについて、前記色補正情報を設定する
（４）乃至（１２）のいずれかに記載の情報処理装置。
（１４） 前記調整部は、全ての前記投影撮像装置の前記投影部により前記投影面に投影された投影画像の、観察者から見た場合の輝度値の最小値を、目標値として設定し、前記目標値に収束するように前記投影部の画素毎に前記投影レベルを調整する
（１３）に記載の情報処理装置。
（１５） 前記色補正情報設定部は、前記投影撮像装置のそれぞれと前記投影面とのなす角の角度差が所定の閾値より大きい場合、前記投影撮像装置と前記投影面とのなす角に応じて、前記色補正情報を補正する
（１３）または（１４）に記載の情報処理装置。
（１６） 前記投影部および前記撮像部を有する投影撮像装置から、前記投影画像に関する情報および前記撮像画像に関する情報を取得する取得部をさらに備え、
前記色補正情報設定部は、前記取得部により取得された前記投影画像に関する情報および前記撮像画像に関する情報に基づいて、前記色補正情報を設定する
（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７） 前記投影部および前記撮像部をさらに備える
（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８） 前記投影部および前記撮像部を有する他の情報処理装置から、前記投影画像に関する情報および前記撮像画像に関する情報を取得する取得部をさらに備え、
前記色補正情報設定部は、前記情報処理装置自身の前記投影部により投影される投影画像に関する情報、前記情報処理装置自身の前記撮像部により撮像された撮像画像に関する情報、前記取得部により取得された前記他の情報処理装置の前記投影部により投影される投影画像に関する情報、並びに、前記取得部により取得された前記他の情報処理装置の前記撮像部により撮像された撮像画像に関する情報に基づいて、前記色補正情報を設定する
（１７）に記載の情報処理装置。
（１９） 較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像を用いて、前記投影部の画素毎の色補正に関する情報である色補正情報を設定する
情報処理方法。
（２０） コンピュータを、
較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像を用いて、前記投影部の画素毎の色補正に関する情報である色補正情報を設定する色補正情報設定部
として機能させるためのプログラム。
１０１ 投影撮像装置， １０２ 投影面， １１１ 投影部， １１２ 撮像部， １２１ 投影範囲， １２２ 撮像範囲， １３１ センシングパターン， １５１ 制御部， １５２ 画像表示部， １５３ デバイス制御部， １５４ 画像入力部， １６１ 入力部， １６２ 出力部， １６３ 記憶部， １６４ 通信部， １６５ ドライブ， ３００ 投影撮像システム， ３０１ 制御装置， ３０２ ネットワーク， ３５１ CPU， ３５２ ROM， ３５３ RAM， ３５４ バス， ３６０ 入出力インタフェース， ３６１ 入力部， ３６２ 出力部， ３６３ 記憶部， ３６４ 通信部， ３６５ ドライブ， ４００ 投影撮像システム， ４１０ 投影撮像システム， ４１１ 投影撮像装置， ４２０ 投影撮像装置

Claims (17)

  1. 較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像の各画素の画素値と、前記投影部の各画素と前記撮像部の各画素との対応関係と、前記投影面のデプス情報および法線情報とに基づいて、前記投影画像を投影する際の前記投影部の投影レベルの初期値を前記投影部の画素毎に設定する初期値設定部と、
    前記撮像画像の各画素の画素値に基づいて、前記初期値設定部により設定された前記投影部の画素毎の前記投影レベルの初期値を調整する調整部と、
    前記調整部により各画素の前記投影レベルが調整された前記投影部により投影される前記投影画像が前記撮像部により撮像された前記撮像画像を用いて、前記投影部の画素毎の色補正に関する情報である色補正情報を設定する色補正情報設定部と
    を備える情報処理装置。
  2. 前記色補正情報設定部は、前記投影画像と前記撮像画像とに基づいて、前記投影画像が前記投影面に投影されることによる色に関する影響を示す情報である環境情報を、前記投影部の画素毎に求め、前記投影部の画素毎の前記環境情報を用いて前記色補正情報を設定する
    請求項１に記載の情報処理装置。
  3. 前記色補正情報設定部は、さらに、
    前記投影画像を投影していない状態の前記投影面を撮像した撮像画像に基づいて、前記投影面の照明成分を前記投影部の画素毎に求め、
    白の前記投影画像から前記色補正情報のゲイン量を前記投影部の画素毎に求め、
    前記投影部の画素毎の前記照明成分と前記ゲイン量と前記環境情報を用いて前記色補正情報を設定する
    請求項２に記載の情報処理装置。
  4. 前記調整部は、前記撮像画像の各画素の画素値が各画素の目標値に収束するように、前記投影部の画素毎に前記投影レベルを調整する
    請求項１に記載の情報処理装置。
  5. 前記調整部は、さらに、前記画素値が前記投影画像全体の目標値に収束するように、前記投影部の画素毎に前記投影レベルを調整する
    請求項４に記載の情報処理装置。
  6. 前記投影画像と前記撮像画像とに基づいて、前記対応関係を設定する対応関係設定部をさらに備え、
    前記初期値設定部は、前記撮像画像の各画素の画素値と、前記対応関係設定部により設定された前記対応関係とに基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定する
    請求項１に記載の情報処理装置。
  7. 前記デプス情報および前記法線情報を設定するデプス法線情報設定部をさらに備え、
    前記初期値設定部は、前記デプス法線情報設定部により設定された前記デプス情報および前記法線情報に基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定する
    請求項１に記載の情報処理装置。
  8. 前記初期値設定部は、さらに、前記投影面への投影画像の入射角に応じた反射率に関する情報に基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定する
    請求項１に記載の情報処理装置。
  9. 前記反射率に関する情報を設定する反射率情報設定部をさらに備え、
    前記初期値設定部は、前記反射率情報設定部により設定された前記反射率に関する情報に基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定する
    請求項８に記載の情報処理装置。
  10. 前記色補正情報設定部は、前記投影部および前記撮像部を有する複数の投影撮像装置のそれぞれについて、前記色補正情報を設定する
    請求項１に記載の情報処理装置。
  11. 前記調整部は、全ての前記投影撮像装置の前記投影部により前記投影面に投影された投影画像の、観察者から見た場合の輝度値の最小値を、目標値として設定し、前記目標値に収束するように前記投影部の画素毎に前記投影レベルを調整する
    請求項１０に記載の情報処理装置。
  12. 前記色補正情報設定部は、前記投影撮像装置のそれぞれと前記投影面とのなす角の角度差が所定の閾値より大きい場合、前記投影撮像装置と前記投影面とのなす角に応じて、前記色補正情報を補正する
    請求項１１に記載の情報処理装置。
  13. 前記投影部および前記撮像部を有する投影撮像装置から、前記投影画像に関する情報および前記撮像画像に関する情報を取得する取得部をさらに備え、
    前記色補正情報設定部は、前記取得部により取得された前記投影画像に関する情報および前記撮像画像に関する情報に基づいて、前記色補正情報を設定する
    請求項１に記載の情報処理装置。
  14. 前記投影部および前記撮像部をさらに備える
    請求項１に記載の情報処理装置。
  15. 前記投影部および前記撮像部を有する他の情報処理装置から、前記投影画像に関する情報および前記撮像画像に関する情報を取得する取得部をさらに備え、
    前記色補正情報設定部は、前記情報処理装置自身の前記投影部により投影される投影画像に関する情報、前記情報処理装置自身の前記撮像部により撮像された撮像画像に関する情報、前記取得部により取得された前記他の情報処理装置の前記投影部により投影される投影画像に関する情報、並びに、前記取得部により取得された前記他の情報処理装置の前記撮像部により撮像された撮像画像に関する情報に基づいて、前記色補正情報を設定する
    請求項１４に記載の情報処理装置。
  16. 較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像の各画素の画素値と、前記投影部の各画素と前記撮像部の各画素との対応関係と、前記投影面のデプス情報および法線情報とに基づいて、前記投影画像を投影する際の前記投影部の投影レベルの初期値を前記投影部の画素毎に設定し、
    前記撮像画像の各画素の画素値に基づいて、設定された前記投影部の画素毎の前記投影レベルの初期値を調整し、
    各画素の前記投影レベルが調整された前記投影部により投影される前記投影画像が前記撮像部により撮像された前記撮像画像を用いて、前記投影部の画素毎の色補正に関する情報である色補正情報を設定する
    情報処理方法。
  17. コンピュータを、
    較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像の各画素の画素値と、前記投影部の各画素と前記撮像部の各画素との対応関係と、前記投影面のデプス情報および法線情報とに基づいて、前記投影画像を投影する際の前記投影部の投影レベルの初期値を前記投影部の画素毎に設定する初期値設定部と、
    前記撮像画像の各画素の画素値に基づいて、前記初期値設定部により設定された前記投影部の画素毎の前記投影レベルの初期値を調整する調整部と、
    前記調整部により各画素の前記投影レベルが調整された前記投影部により投影される前記投影画像が前記撮像部により撮像された前記撮像画像を用いて、前記投影部の画素毎の色補正に関する情報である色補正情報を設定する色補正情報設定部
    として機能させるためのプログラム。
JP2017527174A 2015-07-08 2016-06-24 情報処理装置および方法、並びにプログラム Active JP6798491B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015136728 2015-07-08
JP2015136728 2015-07-08
PCT/JP2016/068754 WO2017006780A1 (ja) 2015-07-08 2016-06-24 情報処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2017006780A1 JPWO2017006780A1 (ja) 2018-05-24
JP6798491B2 true JP6798491B2 (ja) 2020-12-09

Family

ID=57685564

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017527174A Active JP6798491B2 (ja) 2015-07-08 2016-06-24 情報処理装置および方法、並びにプログラム

Country Status (4)

Country Link
US (2) US10218949B2 (ja)
JP (1) JP6798491B2 (ja)
CN (1) CN107852484B (ja)
WO (1) WO2017006780A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6766720B2 (ja) * 2017-03-27 2020-10-14 カシオ計算機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2018207373A (ja) * 2017-06-07 2018-12-27 パナソニックＩｐマネジメント株式会社 投写型表示装置の較正装置、較正方法、プログラム、投写型表示装置、及び投写型表示システム
JP6872239B2 (ja) * 2017-07-28 2021-05-19 国立大学法人電気通信大学 画像処理装置、画像処理方法および画像処理プログラム
WO2019064804A1 (ja) 2017-09-27 2019-04-04 パナソニックＩｐマネジメント株式会社 荷物認識装置、荷物仕分けシステムおよび荷物認識方法
JP2019078786A (ja) * 2017-10-20 2019-05-23 セイコーエプソン株式会社 画像投射システム、プロジェクター、及び画像投射システムの制御方法
CN108848358B (zh) * 2018-05-31 2020-10-09 歌尔股份有限公司 色彩汇聚误差的修正方法及装置
CN108900821A (zh) * 2018-06-15 2018-11-27 深圳汇通九州科技有限公司 一种投影方法、***、投影机及终端设备
JP2019220887A (ja) * 2018-06-21 2019-12-26 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN110874002B (zh) 2018-08-31 2021-12-21 深圳光峰科技股份有限公司 动态调节显示***色域的***、方法及显示***
CN113412612A (zh) * 2019-02-14 2021-09-17 索尼集团公司 信息处理装置、信息处理方法和记录介质
US11104350B2 (en) * 2019-06-28 2021-08-31 GM Cruise Holdings, LLC Wireless vehicle control of vehicle sensor calibration environment
JP7215458B2 (ja) * 2020-05-19 2023-01-31 セイコーエプソン株式会社 表示システムの制御方法、表示システム、及びプロジェクターの制御方法
EP4228253A4 (en) * 2021-04-22 2024-05-29 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND CONTROL METHOD THEREFOR
KR102669074B1 (ko) 2021-11-23 2024-05-24 한국공학대학교산학협력단 인간 친화형 로봇의 감정 표현을 위한 몸짓 시각화 정보 생성 방법 및 장치
KR102669078B1 (ko) 2021-11-23 2024-05-24 한국공학대학교산학협력단 인간 친화형 로봇의 감정 표현을 위한 표정 시각화 정보 생성 방법 및 장치
CN114143523B (zh) * 2021-12-10 2024-07-23 深圳市火乐科技发展有限公司 亮度调节方法、装置、投影设备及存储介质
WO2023189068A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
KR102667970B1 (ko) 2022-06-27 2024-05-23 한국공학대학교산학협력단 반응형 로봇

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1090645A (ja) * 1996-09-12 1998-04-10 Matsushita Electric Ind Co Ltd 液晶表示装置
JP2003323610A (ja) 2002-03-01 2003-11-14 Nec Corp プロジェクタの色補正方法および色補正装置
JP4445693B2 (ja) 2002-05-17 2010-04-07 日本電気株式会社 プロジェクタの投射面色補正方法、プロジェクタの投射面色補正システムおよびプロジェクタの投射面色補正用プログラム
US7384158B2 (en) * 2003-01-08 2008-06-10 Silicon Optix Inc Image projection system and method
DE10308427B4 (de) * 2003-02-27 2016-07-07 Mann + Hummel Gmbh Kraftstoffilter
US6811264B2 (en) * 2003-03-21 2004-11-02 Mitsubishi Electric Research Laboratories, Inc. Geometrically aware projector
JP3871061B2 (ja) * 2003-03-25 2007-01-24 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP4055010B2 (ja) * 2003-09-26 2008-03-05 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP4120841B2 (ja) 2003-12-10 2008-07-16 日本電気株式会社 プロジェクタの色補正方法
JP3994290B2 (ja) * 2005-01-17 2007-10-17 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2007206797A (ja) * 2006-01-31 2007-08-16 Omron Corp 画像処理方法および画像処理装置
JP5119607B2 (ja) * 2006-05-10 2013-01-16 株式会社ニコン プロジェクタ
US7905606B2 (en) * 2006-07-11 2011-03-15 Xerox Corporation System and method for automatically modifying an image prior to projection
JP2008294961A (ja) * 2007-05-28 2008-12-04 Panasonic Electric Works Co Ltd 映像表示装置
US20090066916A1 (en) * 2007-09-06 2009-03-12 Microvision, Inc. Scanning laser projector with reduced laser power incident on the retina
JP2011188083A (ja) * 2010-03-05 2011-09-22 Sony Corp 情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置
CN102801952B (zh) * 2011-05-28 2015-01-21 华为终端有限公司 视频会议***调整的方法及装置
JP6041513B2 (ja) * 2012-04-03 2016-12-07 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN103400005B (zh) * 2013-07-22 2016-09-28 西安电子科技大学 一种强光源干扰微光***成像的特征量化方法
JP2015139177A (ja) * 2014-01-24 2015-07-30 株式会社東芝 制御装置、制御方法、および画像投影システム
JP6459194B2 (ja) * 2014-03-20 2019-01-30 セイコーエプソン株式会社 プロジェクター、及び投写画像制御方法
CN104504710B (zh) * 2014-12-30 2017-04-12 中国科学技术大学 X射线光栅相位衬度成像中摩尔条纹的识别方法及装置

Also Published As

Publication number Publication date
CN107852484B (zh) 2021-08-13
US10602106B2 (en) 2020-03-24
JPWO2017006780A1 (ja) 2018-05-24
WO2017006780A1 (ja) 2017-01-12
US20180160086A1 (en) 2018-06-07
US20190141303A1 (en) 2019-05-09
US10218949B2 (en) 2019-02-26
CN107852484A (zh) 2018-03-27

Similar Documents

Publication Publication Date Title
JP6798491B2 (ja) 情報処理装置および方法、並びにプログラム
JP5902297B2 (ja) 撮像デバイスを較正するための方法および装置
US9406147B2 (en) Color balance in digital photography
JP6658520B2 (ja) 画像処理装置および方法
JP6915537B2 (ja) 情報処理装置および方法、並びに、投影撮像装置および情報処理方法
CN110741412B (zh) 图像处理装置和方法
JP2013042411A (ja) 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
AU2012295854A1 (en) Image processing apparatus, projector and image processing method
JP2006285763A (ja) 被写体についての陰影のない画像を生成する方法および装置、並びにそれに用いる白色板
JP2023093574A (ja) 情報処理装置、制御装置、情報処理方法及びプログラム
WO2019203002A1 (ja) 情報処理装置および方法
JP7243623B2 (ja) 画像処理装置および方法
JP2017138927A (ja) 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム
WO2019244315A1 (ja) 出力制御装置、出力制御システム、および出力制御方法
US11727597B2 (en) Calibrating volumetric rig with structured light
JP2019068306A (ja) 撮像装置および撮像方法
WO2020184173A1 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2022120606A (ja) 投影装置及び投影方法
JP2022120607A (ja) 投影装置及び投影方法
WO2019171943A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2024527182A (ja) ３次元仮想モデルの生成のためのテキスチャーリング方法及びそのためのコンピューティング装置
JP2023021670A (ja) 画像処理装置、撮像システム、及び照明装置
KR20240045044A (ko) 프로젝션 장치 및 그 동작 방법
JP2021005418A (ja) 画像処理装置およびその制御方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201102

R151 Written notification of patent or utility model registration

Ref document number: 6798491

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151