JP7070417B2 - 画像処理装置および方法 - Google Patents

Description

本開示は、画像処理装置および方法に関し、特に、投影画像の状態の把握をより安価に実現することができるようにした画像処理装置および方法に関する。

従来、プロジェクタにより投影された投影画像の歪みの低減等のために、カメラによって投影画像を撮像し、その撮像画像を用いて、プロジェクタの位置や姿勢、投影面形状等を推定し、それらに応じた投影画像の幾何補正を行う方法があった。例えば、スクリーンが、プロジェクタに正対してない場合、カメラでスクリーンに投影された投影画像を撮影し、投影画像が台形状などに変形していれば、スクリーン上に正しく投影されるよう、投影する画像を逆台形状に補正する等の処理があった。

このような方法の場合、投影画像と撮像画像との間で対応点を求める必要があり、この対応点を求める方法として、コンテンツの視聴中にセンシングを行うISL（Imperceptible Structured Light）が提案された（例えば、非特許文献１参照）。ISL方式では、所定のパタンの画像であるパタン画像が、コンテンツの画像に埋め込まれ、積分効果を利用して人間に知覚されないように投影される。そして、そのパタン画像を用いて対応点の検出が行われる。

Imperceptible Structured Light Ramesh Raskar, SIGGRAPH 98

しかしながら、この方法を安価なローリングシャッタ方式のカメラを用いて行うと、撮像画像1フレームに複数フレームの投影画像が映り込むため、撮像画像からパタン画像を抽出することが困難であった。そのため、投影画像の状態を把握するために、高価なグローバルシャッタ方式のカメラを用いなければならず、コストが増大するおそれがあった。

本開示は、このような状況に鑑みてなされたものであり、投影画像の状態の把握をより安価に実現することができるようにするものである。

本技術の一側面の画像処理装置は、投影部により正負が互いに逆の所定のパタン画像が順次投影された投影画像を、ローリングシャッタ方式で駆動する撮像部が前記投影画像のフレームレートの２Ｎ（Ｎは自然数）倍のフレームレートで撮像して得られた撮像画像の、２Ｎフレーム間隔のフレーム同士の差分を算出する差分算出部と、前記差分算出部により算出された前記差分から、前記パタン画像を検出可能な領域を抽出する抽出部と、前記抽出部により複数の前記差分のそれぞれから抽出された前記領域を接合し、１フレーム分の前記パタン画像を生成する接合部と、前記接合部により生成された前記パタン画像を用いて、前記投影部と前記撮像部との間の画素の対応点を検出する対応点検出部とを備える画像処理装置である。

前記対応点検出部により検出された前記対応点を用いて、前記投影部により投影される画像を補正する画像補正部をさらに備えるようにすることができる。

前記パタン画像は、前記投影部と前記撮像部との間の画素の対応点の検出に利用可能なパタンと、前記投影画像の画素行の識別に利用可能なパタンとを含み、前記抽出部は、前記パタン画像を検出可能な領域を、前記投影画像の画素行の識別に利用可能なパタンに基づいて抽出することができる。
前記パタン画像の、前記投影画像の画素行の識別に利用可能なパタンは、前記投影画像の左端近傍若しくは右端近傍または両方に形成されることができる。

前記パタン画像は、前記投影画像の画素列の識別に利用可能なパタンをさらに含むようにすることができる。

前記パタン画像の、前記投影画像の画素行の識別に利用可能なパタン、および、前記投影画像の画素列の識別に利用可能なパタンは、前記投影画像の左右上下端近傍に形成されるようにすることができる。

前記パタン画像の、前記投影画像の画素行の識別に利用可能なパタン、および、前記投影画像の画素列の識別に利用可能なパタンは、前記投影画像全体に格子状に形成されるようにすることができる。
前記パタン画像は、前記投影部と前記撮像部との間の画素の対応点の検出に利用可能なパタンと、前記投影画像の画素列の識別に利用可能なパタンとを含み、前記抽出部は、前記パタン画像を検出可能な領域を、前記投影画像の画素列の識別に利用可能なパタンに基づいて抽出することができる。
前記パタン画像の、前記投影画像の画素列の識別に利用可能なパタンは、前記投影画像の上端近傍若しくは下端近傍または両方に形成されることができる。

前記パタン画像は、前記投影部と前記撮像部との間の画素の対応点の検出と前記投影画像の画素行の識別との両方に利用可能なパタンを含み、前記抽出部は、前記パタン画像を検出可能な領域を、前記投影部と前記撮像部との間の画素の対応点の検出と前記投影画像の画素行の識別との両方に利用可能なパタンに基づいて抽出することができる。

前記投影部による投影のタイミングと前記撮像部による撮像のタイミングとの同期をとる同期処理部をさらに備えるようにすることができる。

前記複数フレームの前記撮像画像の中から、前記差分算出部が前記差分を算出するフレームを選択する画像選択部をさらに備え、前記差分算出部は、前記画像選択部により選択されたフレームの中の、前記２Ｎフレーム間隔のフレーム同士の前記差分を算出することができる。

前記画像選択部は、前記撮像画像の、前記投影画像の複数のフレームが混合するフレームを選択することができる。

前記画像選択部は、前記撮像画像の、前記投影画像の単数のフレームのみが含まれるフレームを選択することができる。

前記投影画像は、動画像の所定のフレームに、正の前記パタン画像が重畳された重畳画像と、負の前記パタン画像が重畳された重畳画像とが、順次投影されたものであるようにすることができる。

前記撮像部をさらに備えるようにすることができる。

前記投影部をさらに備えるようにすることができる。

本技術の一側面の画像処理方法は、投影部により正負が互いに逆の所定のパタン画像が順次投影された投影画像を、ローリングシャッタ方式で駆動する撮像部が前記投影画像のフレームレートの２Ｎ（Ｎは自然数）倍のフレームレートで撮像して得られた撮像画像の、２Ｎフレーム間隔のフレーム同士の差分を算出し、算出された前記差分から、前記パタン画像を検出可能な領域を抽出し、複数の前記差分のそれぞれから抽出された前記領域を接合し、１フレーム分の前記パタン画像を生成し、生成された前記パタン画像を用いて、前記投影部と前記撮像部との間の画素の対応点を検出する画像処理方法である。

本技術の一側面の画像処理装置および方法においては、投影部により正負が互いに逆の所定のパタン画像が順次投影された投影画像を、ローリングシャッタ方式で駆動する撮像部がその投影画像のフレームレートの２Ｎ（Ｎは自然数）倍のフレームレートで撮像して得られた撮像画像の、２Ｎフレーム間隔のフレーム同士の差分が算出され、その算出された差分から、パタン画像を検出可能な領域が抽出され、複数の差分のそれぞれから抽出された領域が接合され、１フレーム分のパタン画像が生成され、その生成されたパタン画像を用いて、投影部と撮像部との間の画素の対応点が検出される。

本開示によれば、画像を処理することができる。特に、投影画像の状態の把握をより安価に実現することができる。

投影撮像システムの主な構成例を示す図である。 制御装置の主な構成例を示すブロック図である。 制御装置が実現する機能例を示す機能ブロック図である。 投影する画像とパタン画像の例を示す図である。 投影と撮像との関係の例を示すタイミングチャートである。 パタン画像抽出の様子の例を説明する図である。 投影制御処理の流れの例を説明するフローチャートである。 制御装置が実現する機能例を示す機能ブロック図である。 投影制御処理の流れの例を説明するフローチャートである。 パタン画像の例を示す図である。 差分画像の領域抽出の様子の例を説明する図である。 投影制御処理の流れの例を説明するフローチャートである。 投影と撮像との関係の例を示すタイミングチャートである。 制御装置が実現する機能例を示す機能ブロック図である。 投影制御処理の流れの例を説明するフローチャートである。 制御装置が実現する機能例を示す機能ブロック図である。 投影制御処理の流れの例を説明するフローチャートである。 投影撮像システムや投影撮像装置の主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（投影撮像システム）
２．第２の実施の形態（投影撮像システム：同期）
３．第３の実施の形態（投影撮像システム：位置決めパタン）
４．第４の実施の形態（投影撮像システム：高速撮像）
５．第５の実施の形態（投影撮像システム・投影撮像装置：他の構成）
６．その他

＜１．第１の実施の形態＞
＜投影画像の幾何補正＞
プロジェクタの投影面（スクリーンや壁等）に対する姿勢（位置や向き等）や投影面の形状等によって、投影された画像（投影画像とも称する）が歪み、見づらくなってしまう場合がある。このような場合、プロジェクタが投影する画像に対して歪みの補正等の幾何補正を施すことにより、投影画像の歪みを低減し、見やすくすることができる。

本明細書においては、投影画像の変形、移動、拡大、縮小等、投影画像の各画素の投影面における位置が変化する補正を幾何補正と称する。つまり、「幾何補正」には、画像処理によるものだけでなく、シフトやズーム等の光学系の制御によるものや、投影部の姿勢等の制御によるもの等も含まれるものとする。また、本明細書において、投影部や撮像部等の「姿勢」には、それらの「向き」（投影や撮像の向き）だけでなく、それらの「位置」（投影や撮像を行う位置）も含まれるものとする。

このような幾何補正は、プロジェクタを操作する操作者等の手動によって行うこともできるが、煩雑な作業を必要とするおそれがある。そこで、カメラを用いてプロジェクタが投影した投影画像を撮像し、その撮像画像を用いて幾何補正の設定を行う方法が考えられた。この場合、撮像画像に含まれる投影画像から、カメラやプロジェクタの姿勢や、スクリーン形状等が推定され、それらに応じて適切な幾何補正が設定される。

＜オンラインセンシング＞
このような幾何補正の設定は、コンテンツ（動画像）の投影前だけでなく、コンテンツの投影中に必要になる場合もある。例えば、コンテンツの投影中にプロジェクタの姿勢が変化すると、投影画像に歪みが生じてしまう。このような場合、幾何補正を適切な設定にするためには、このプロジェクタの姿勢を推定し直す必要がある。しかしながら、そのためにコンテンツの投影を中断するのは、コンテンツを視聴しているユーザにとって、そのコンテンツの視聴を妨げることになり、好ましくない。そこで、コンテンツの投影を継続したまま対応点を検出する方法（オンラインセンシング）が考えられた。

オンラインセンシング技術として、例えば、Infrared等の不可視光を利用した方式、SIFT等の画像特徴量を利用した方式、ISL（Imperceptible Structured Light）方式等が考えられた。Infrared等の不可視光を利用した方式の場合、不可視光を投影するプロジェクタ（例えばInfraredプロジェクタ）がさらに必要になるためコストが増大するおそれがあった。また、SIFT等の画像特徴量を利用した方式の場合、対応点の検出精度や密度が投影する画像コンテンツに依存してしまうため、対応点検出を安定した精度で行うことが困難であった。

これらに対してISL方式の場合、可視光を利用するため、システム構成要素の増大（すなわちコストの増大）を抑制することができる。また、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。

＜ISL方式＞
ISL方式では、所定のパタンの画像であるパタン画像が、コンテンツの画像に埋め込まれ、積分効果を利用して人間に知覚されないように投影される。そして、そのパタン画像を用いて対応点の検出が行われる。より具体的に説明すると、入力画像（コンテンツの画像）に対して、所定のパタン画像（Structured Light）のポジ画像とネガ画像とがそれぞれ重畳され、ポジフレーム（Pos Frame）とネガフレーム（Neg Frame）との２フレームが生成される。この２フレームをプロジェクタにより順次投影させる。パタン画像のポジ画像（正のパタン画像とも称する）とネガ画像（負のパタン画像とも称する）は、パタンの輝度値変化方向が互いに逆向き（例えば白と黒）であるので、プロジェクタからこれらの２フレームが連続して投影されると、ユーザには、積分効果によりこのパタン画像（ポジ画像とネガ画像）を知覚することが困難になる。

これに対して、グローバルシャッタ方式で駆動するカメラは、プロジェクタによる投影に同期して動作し、この２フレームの投影画像をそれぞれ撮像する。各撮像画像には、パタン画像のポジ画像とネガ画像とがそれぞれ含まれる。したがって、これらの撮像画像の差分を求めることにより、コンテンツの画像が消去され、パタン画像が抽出される。このパタン画像を用いてプロジェクタとカメラの画素の対応点を検出することができる。つまり、投影画像の状態の把握をより安価に実現することができる。

しかしながら、この方法を安価なローリングシャッタ方式のカメラを用いて行うと、撮像画像1フレームに複数フレームの投影画像が映り込むため、撮像画像からパタン画像を抽出することが困難であった。そのため、投影画像の状態を把握するために、高価なグローバルシャッタ方式のカメラを用いなければならず、コストが増大するおそれがあった。

このようなカメラは、直接的に画像投影に関わる構成では無く、投影画像の補正の為の補助的な構成である。そのため、例えば、このカメラが高価な機能を備えても、投影画像の解像度が向上する等の直接的な画質改善には繋がらない。このような補助的な構成は、特に、過度な性能向上よりも、できるだけ安価に実現することが求められることが多い。そのため、グローバルシャッタ方式のカメラよりも安価なローリングシャッタ方式のカメラを用いてこのようなカメラを実現することが望まれるが、上述のように、その実現は困難であった。

そこで、正負が互いに逆の所定のパタン画像が順次投影された投影画像を、ローリングシャッタ方式で、その投影画像のフレームレートよりも高速に撮像して得られた複数フレームからなる撮像画像の、不連続なフレーム同士の差分を算出するようにする。このようにすることにより、ローリングシャッタ方式で駆動するカメラを用いてISL方式のオンラインセンシングを実現することができる。すなわち、投影画像の状態の把握をより安価に実現することができる。

＜投影撮像システム＞
図１は、本技術を適用した投影撮像システムの一実施の形態の主な構成例を示すブロック図である。図１において、投影撮像システム１００は、画像を投影したり、投影画像を撮像したり、本技術を適用した方法で、ISL方式による対応点検出を行ったりすることができるシステムである。

図１に示されるように、投影撮像システム１００は、制御装置１０１、投影装置１０２、および撮像装置１０３を有する。投影装置１０２および撮像装置１０３は、それぞれ制御装置１０１と通信可能に接続される。

この接続を実現する通信およびその通信媒体は任意である。例えば、専用のケーブルを介して接続されるようにしてもよいし、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の所定の規格のケーブルを介して接続されるようにしてもよいし、LAN（Local Area Network）やインターネット等の所定のネットワーク（通信網）を介して接続されるようにしてもよい。また、例えば、Bluetooth（登録商標）通信、NFC（Near Field Communication）等の近距離無線通信、赤外線通信、IEEE（Institute of Electrical and Electronic Engineers）802.11の無線LAN等といった任意の無線通信により接続されるようにしてもよい。また、例えば、無線LANとインターネット等のように、複数種類の通信媒体を介して接続されるようにしてもよい。

制御装置１０１は、本技術を適用した画像処理装置または制御部の一実施の形態であり、投影装置１０２や撮像装置１０３の動作を制御する。また、制御装置１０１は、撮像装置１０３により得られた撮像画像を用いて、投影装置１０２により投影させる画像の補正等に関する処理を行う。

投影装置１０２は、本技術を適用した画像処理装置または投影部の一実施の形態であり、例えばプロジェクタ等により構成される。投影装置１０２は、制御装置１０１から供給される画像を、スクリーン１０に投影する。撮像装置１０３は、本技術を適用した画像処理装置または撮像部の一実施の形態であり、例えばカメラ等により構成される。撮像装置１０３は、その投影画像が投影されたスクリーン１０を撮像する。このとき、投影装置１０２は、図１に示されるように、スクリーン１０のPL乃至PRに画像を投影する。また、撮像装置１０３は、スクリーン１０のCL乃至CRの範囲を撮像する。つまり、撮像装置１０３は、投影画像全体を含むような撮像範囲でスクリーン１０を撮像する。図１においては、投影画像の横方向について示されているが、縦方向も同様である。なお、撮像装置１０３は、ローリングシャッタ方式で駆動する。撮像装置１０３は、得られた投影画像の撮像画像を制御装置１０１に供給する。

＜制御装置＞
図２は、本技術を適用した画像処理装置の一実施の形態である制御装置１０１の主な構成例を示すブロック図である。

図２に示されるように、制御装置１０１は、CPU１１１、ROM１１２、RAM１１３、バス１１４、入出力インタフェース１２０、入力部１２１、出力部１２２、記憶部１２３、通信部１２４、およびドライブ１２５を有する。

CPU１１１、ROM１１２、RAM１１３は、バス１１４を介して相互に接続されている。バス１１４にはまた、入出力インタフェース１２０も接続されている。入出力インタフェース１２０には、入力部１２１、出力部１２２、記憶部１２３、通信部１２４、およびドライブ１２５が接続されている。

CPU１１１は、例えば、ROM１１２や記憶部１２３に記憶されているプログラム等をRAM１１３にロードして実行することにより、各種処理を行う。RAM１１３にはまた、CPU１１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

例えば、CPU１１１は、そのようにプログラム等を実行することにより、画像投影の状況把握に関する処理を行うことができる。

入力部１２１は、例えばユーザ入力等の外部の任意の情報を受け付ける入力デバイスを含む。この入力デバイスはどのようなものであってもよい。例えば、キーボード、マウス、操作ボタン、タッチパネル、カメラ、マイクロホン、バーコードリーダ等であってもよい。また、加速度センサ、光センサ、温度センサ等の各種センサであってもよい。さらに、外部の任意の情報をデータ（信号）として受け付ける入力端子であってもよい。出力部１２２は、例えば画像や音声等の装置内部の任意の情報を出力する出力デバイスを含む。この出力デバイスはどのようなものであってもよい。例えば、ディスプレイやスピーカ等であってもよい。また、任意の情報をデータ（信号）として外部に出力する出力端子であってもよい。

記憶部１２３は、プログラムやデータ等の情報を記憶する記憶媒体を含む。この記憶媒体はどのようなものであってもよい。例えば、ハードディスク、RAMディスク、不揮発性メモリ等であってもよい。通信部１２４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスを含む。この通信デバイスはどのようなものであってもよい。例えば、ネットワークインタフェースであってもよい。この通信部１２４による通信の通信方法や通信規格は任意である。例えば、通信部１２４が、有線通信を行うことができるようにしてもよいし、無線通信を行うことができるようにしてもよいし、その両方を行うことができるようにしてもよい。

ドライブ１２５は、自身に装着されたリムーバブルメディア１３１に対する情報（プログラムやデータ等）の読み出しや書き込みに関する処理を行う。このリムーバブルメディア１３１は、どのような記録媒体であってもよい。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってもよい。例えば、ドライブ１２５は、自身に装着されたリムーバブルメディア１３１に記憶されている情報（プログラムやデータ等）を読み出し、その情報をCPU１１１やRAM１１３等に供給する。また、例えば、ドライブ１２５は、CPU１１１やRAM１１３等から供給される情報（プログラムやデータ等）を取得し、その情報を自身に装着されたリムーバブルメディア１３１に書き込む。

＜制御装置の機能ブロック＞
図３は、制御装置１０１がプログラム等を実行することにより実現する機能の例を示す機能ブロック図である。図３に示されるように、プログラムを実行することにより制御装置１０１は、例えば、パタン合成部１４１、投影制御部１４２、撮像制御部１４３、差分算出部１４４、切り取り部１４５、接合部１４６、対応点検出部１４７、および画像補正部１４８の機能を有する。

パタン合成部１４１は、コンテンツ（動画像）に対するパタン画像の合成に関する処理を行う。投影制御部１４２は、投影装置１０２の制御に関する処理を行う。撮像制御部１４３は、撮像装置１０３の制御に関する処理を行う。差分算出部１４４は、撮像画像のフレーム同士の差分の算出に関する処理を行う。切り取り部１４５は、差分画像の所望の領域の抽出に関する処理を行う。接合部１４６は、領域の接合に関する処理を行う。対応点検出部１４７は、投影装置１０２と撮像装置１０３との間の画素の対応点の検出に関する処理を行う。画像補正部１４８は、画像の補正に関する処理を行う。

なお、各機能ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。また、制御装置１０１がこれら以外の機能を有するようにしてもよい。

＜パタン画像の合成＞
パタン合成部１４１は、コンテンツのフレーム画像にパタン画像を重畳するように合成する。図４のＡに示されるフレーム画像１６１は、投影するコンテンツのフレーム画像である。なお、このフレーム画像の絵柄は任意であり、図４のＡの例に限定されない。パタン合成部１４１は、このフレーム画像１６１に、図４のＢに示されるパタン画像１７０－１とパタン画像１７０－２をそれぞれ重畳し、２枚の重畳画像を生成する。

パタン画像１７０－１は、投影装置１０２と撮像装置１０３との間の画素の対応点の検出に利用可能なパタン１７１－１を含む画像である。図４のＢにおいては、パタン１７１－１が円形のパタンにより構成されるように示されているが、このパタン１７１－１は、対応点の検出が可能なものであれば、どのような絵柄のパタンにより構成されるようにしてもよい。なお、パタン１７１－１の輝度値は、周囲のパタン以外の部分よりも正の方向に変化している。つまり、パタン画像１７０－１は、正のパタン画像である。

パタン画像１７０－２は、パタン画像１７０－１と同様に、投影装置１０２と撮像装置１０３との間の画素の対応点の検出に利用可能なパタン１７１－２を含む画像である。このパタン１７１－２は、パタン１７１－１と同一の絵柄のパタンにより構成され、かつ、その輝度値は、周囲のパタン以外の部分よりも負の方向に変化している。つまり、パタン１７１－２は、パタン１７１－１と同一の絵柄で、かつ、輝度値変化が逆向きのパタンにより構成される。つまり、パタン画像１７０－２は、負のパタン画像である。

以下において、パタン画像１７０－１とパタン画像１７０－２とを互いに区別して説明する必要が無い場合、パタン画像１７０と称する。また、パタン１７１－１とパタン１７１－２とを互いに区別して説明する必要が無い場合、パタン１７１と称する。

＜重畳画像の投影と撮像＞
投影制御部１４２は、投影装置１０２にパタン合成部１４１が生成した以上のような重畳画像を順次供給し、投影させる。図５の上段にその投影の様子を示す。例えば、投影制御部１４２は、30Hzのフレームレートで重畳画像をスクリーン１０に投影する。上述の各重畳画像が１フレームとして投影されるので、約1/30秒間、コンテンツのフレーム画像１６１に正のパタン画像１７０－１が重畳された重畳画像１８１が投影され、その次の約1/30秒間、コンテンツのフレーム画像１６１に負のパタン画像１７０－２が重畳された重畳画像１８２が投影される。

撮像装置１０３がグローバルシャッタ方式で駆動するのであれば、重畳画像の投影に同期して30Hzのフレームレートで撮像するようにして、重畳画像１８１のフレームと重畳画像１８２のフレームを撮像すればよい。そして、撮像画像の連続するフレーム同士の差分を求めることにより、コンテンツのフレーム画像１６１を除去し、パタン画像１７０を抽出することができる。つまり、コンテンツを投影中に、視聴者に視認されないようにパタン画像１７０を投影し、そのパタン画像１７０を検出させることができる。したがって、コンテンツの投影中に、対応点の検出を行ったり、さらに画像補正の設定を更新したりすることができる。

しかしながら、ローリングシャッタ方式の撮像装置１０３の場合、画素行毎に露光タイミングおよび読み出しタイミングが異なる（下の画素行程、タイミングが遅れる）ため、撮像画像の各フレームが、投影画像の複数フレームが混合する画像となってしまう。そのため、撮像画像の連続するフレーム同士の差分を求めても、パタン画像１７０が消える部分やコンテンツの画像が残る部分が発生し、パタン画像１７０を適切に抽出することができないおそれがあった。

そこで、撮像のフレームレートを投影の２倍にしてみる。つまり、図５の下段に示されるように、撮像画像のフレームレートを60Hzとする。この図５の下段に示される各ひし形は、撮像画像のフレーム毎の露光時間を示している。このひし形の図中横方向が時間を示し、図中縦方向が画素行を示す。撮像装置１０３は、ローリングシャッタ方式で駆動しているため、画素行毎に露光タイミングおよび読み出しタイミングが異なる（下の画素行程、タイミングが遅れる）ため、露光時間は図５のようにひし形となる。

したがって、この場合も、撮像画像の各フレームには、投影画像の複数フレームが混合する可能性がある。例えば、フレームＤにおいては、所定の画素行Ａより上側の両矢印Ｂの範囲の領域Ｄ１において、重畳画像１８１のフレームだけでなく、その１つ前のフレームも露光してしまう。また、その次のフレームＥにおいては、所定の画素行Ａより下側の両矢印Ｃの範囲の領域Ｅ２において、重畳画像１８１のフレームだけでなく、その次の重畳画像１８２のフレームも露光してしまう。同様に、フレームＦにおいては、所定の画素行Ａより上側の両矢印Ｂの範囲の領域Ｆ１において、重畳画像１８２のフレームだけでなく、その１つ前の重畳画像１８１のフレームも露光してしまう。また、その次のフレームＧにおいては、所定の画素行Ａより下側の両矢印Ｃの範囲の領域Ｇ２において、重畳画像１８２のフレームだけでなく、その次のフレームも露光してしまう。

したがって、撮像装置１０３がグローバルシャッタ方式の場合と同様に、撮像画像の連続するフレーム同士の差分を求めると、パタン画像１７０が消えたり、コンテンツの画像が残ったりして、パタン画像１７０を適切に抽出することができないおそれがあった。

そこで、差分算出部１４４は、さらに、撮像画像の１フレームおきの（２フレーム間隔の）フレーム同士で差分を算出する。例えば、図６に示されるように、撮像装置１０３によって、フレームＤの撮像画像１９１、フレームＥの撮像画像１９２、フレームＦの撮像画像１９３、およびフレームＧの撮像画像１９４が得られたとする。差分算出部１４４は、フレームＤの撮像画像１９１とフレームＦの撮像画像１９３との差分を算出し、フレームＥの撮像画像１９２とフレームＧの撮像画像１９４との差分を算出する。

上述したように、撮像画像１９１の画素行Ａより上の領域Ｄ１は、重畳画像１８１のフレームの画像だけでなく、その１つ前のフレームの画像も混合されている。また、撮像画像１９３の画素行Ａより上の領域Ｆ１は、重畳画像１８２のフレームの画像だけでなく、重畳画像１８１も混合されている。したがって、撮像画像１９１と撮像画像１９３との差分画像１９５の画素行Ａより上の領域は、パタン画像１７０が消えたり、コンテンツの画像１６１が残ったりする。そこで、切り取り部１４５は、差分画像１９５の画素行Ａより下の領域を切り取り、抽出する。

同様に、撮像画像１９２の画素行Ａより下の領域Ｅ２は、重畳画像１８１のフレームの画像だけでなく、重畳画像１８２も混合されている。同様に、撮像画像１９４の画素行Ａより下の領域Ｇ２は、重畳画像１８２のフレームの画像だけでなく、その１つ後のフレームの画像も混合されている。したがって、撮像画像１９２と撮像画像１９４との差分画像１９６の画素行Ａより下の領域は、パタン画像１７０が消えたり、コンテンツの画像１６１が残ったりする。そこで、切り取り部１４５は、差分画像１９６の画素行Ａより上の領域を切り取り、抽出する。

そして、接合部１４６は、差分画像１９５より抽出された領域と、差分画像１９６より抽出された領域とを接合し、１フレーム分のパタン画像１９７を生成する。対応点検出部１４７は、このパタン画像１９７を用いて対応点の検出を行う。また、画像補正部１４８は、検出された対応点を利用して、投影する画像の補正を行う。

このようにすることにより、制御装置１０１は、撮像装置１０３がローリングシャッタ方式で駆動する場合であっても、コンテンツを投影中に、視聴者に視認されないようにパタン画像１７０を投影し、そのパタン画像１７０を検出することができる。したがって、コンテンツの投影中に、対応点の検出を行ったり、さらに画像補正の設定を更新したりすることができる。つまり、投影画像の状態の把握をより安価に実現することができる。

＜投影制御処理の流れ＞
次に、このような構成の投影撮像システム１００において実行される処理について説明する。上述したように、投影撮像システム１００の制御装置１０１は、投影装置１０２を制御し、コンテンツ（動画像）を投影する。このようなコンテンツの投影を行うために制御装置１０１において実行される投影制御処理の流れの例を、図７のフローチャートを参照して説明する。

投影制御処理が開始されると、制御装置１０１のパタン合成部１４１は、ステップＳ１０１において、投影するコンテンツ（動画像）のフレーム画像に正のパタン画像と負のパタン画像をそれぞれ重畳する。

ステップＳ１０２において、投影制御部１４２は、ステップＳ１０１において得られた重畳画像を順次投影装置１０２に供給し、コンテンツ（動画像）の２倍のフレームレート（投影フレームレート）でスクリーン１０に投影させる。

ステップＳ１０３において、撮像制御部１４３は、ローリングシャッタ方式で駆動する撮像装置１０３を制御し、ステップＳ１０２の処理によりスクリーン１０に投影された投影画像を、投影フレームレートの２倍のフレームレート（撮像フレームレート）で撮像させる。

ステップＳ１０４において、差分算出部１４４は、ステップＳ１０３の処理により得られた撮像画像の、コンテンツ（動画像）の互いに同一のフレームに対応する４フレーム（図５のフレームＤ乃至フレームＧ）の内、奇数番目のフレーム同士の差分と、偶数番目のフレーム同士の差分とを算出する。

ステップＳ１０５において、切り取り部１４５は、ステップＳ１０４の処理により得られた各差分画像の、パタン検出可能な領域を抽出する。

ステップＳ１０６において、接合部１４６は、ステップＳ１０５の処理により各差分画像から抽出された領域同士を接合し、１フレーム分のパタン画像を生成する。

ステップＳ１０７において、対応点検出部１４７は、ステップＳ１０６の処理により得られた１フレーム分のパタン画像に基づいて、投影装置１０２と撮像装置１０３との画素の対応点を検出する。

ステップＳ１０８において、画像補正部１４８は、ステップＳ１０７の処理により得られた対応点に基づいて、スクリーン１０に投影する重畳画像を幾何補正する。

ステップＳ１０８の処理が終了すると、投影制御処理が終了する。このように投影制御処理を実行することにより、投影撮像システム１００は、投影画像の状態の把握をより安価に実現することができる。

＜２．第２の実施の形態＞
＜同期＞
なお、第１の実施の形態において説明した投影撮像システム１００において、投影のタイミングと撮像のタイミングとの同期をとるようにしてもよい。図８は、その場合の、制御装置１０１が実現する機能の例を示す機能ブロック図である。図８に示されるように、この場合、第１の実施の形態において説明した機能（図３）の他に、例えば同期処理部２４１の機能を有する。

同期処理部２４１は、動作タイミングの同期に関する処理を行う。例えば、同期処理部２４１は、投影装置１０２による投影のタイミングと、撮像装置１０３による撮像のタイミングとの同期をとる。このようにすることにより、図５の画素行Ａの位置が既知となるので、切り取り部１４５は、その既知の画素行Ａに基づいて領域を切り取ることにより、パタン検出可能な領域をより正確に切り取り、抽出することができる。

＜投影制御処理の流れ＞
この場合の投影制御処理の流れの例を、図９のフローチャートを参照して説明する。

投影制御処理が開始されると、制御装置１０１のパタン合成部１４１は、ステップＳ２０１において、投影するコンテンツ（動画像）のフレーム画像に正のパタン画像と負のパタン画像をそれぞれ重畳する。

ステップＳ２０２において、同期処理部２４１は、投影制御部１４２および撮像制御部１４３を制御し、投影装置１０２による投影のタイミングと、撮像装置１０３による撮像のタイミングとの同期をとる。

ステップＳ２０３において、投影制御部１４２は、ステップＳ２０１において得られた重畳画像を順次投影装置１０２に供給し、ステップＳ２０２の処理により設定された同期タイミングに従って、コンテンツ（動画像）の２倍のフレームレート（投影フレームレート）でスクリーン１０に投影させる。

ステップＳ２０４において、撮像制御部１４３は、ローリングシャッタ方式で駆動する撮像装置１０３を制御し、ステップＳ２０３の処理によりスクリーン１０に投影された投影画像を、ステップＳ２０２の処理により設定された同期タイミングに従って、投影フレームレートの２倍のフレームレート（撮像フレームレート）で撮像させる。

ステップＳ２０５において、差分算出部１４４は、ステップＳ２０４の処理により得られた撮像画像の、コンテンツ（動画像）の互いに同一のフレームに対応する４フレーム（図５のフレームＤ乃至フレームＧ）の内、奇数番目のフレーム同士の差分と、偶数番目のフレーム同士の差分とを算出する。

ステップＳ２０６において、切り取り部１４５は、ステップＳ２０５の処理により得られた各差分画像の、ステップＳ２０２の処理により設定された同期タイミングに応じた所定の領域を抽出する。つまり、切り取り部１４５は、同期タイミングに応じた既知の画素行Ａより上または下の領域、すなわち、パタン検出可能な領域を抽出する。

ステップＳ２０７乃至ステップＳ２０９の各処理は、ステップＳ１０６乃至ステップＳ１０８の各処理と同様に実行される。

ステップＳ２０９の処理が終了すると、投影制御処理が終了する。このように投影制御処理を実行することにより、投影撮像システム１００は、パタン検出可能な領域をより正確に切り取り、抽出することができる。そしてこの場合も、投影撮像システム１００は、投影画像の状態の把握をより安価に実現することができる。

＜３．第３の実施の形態＞
＜位置決めパタン＞
上述のように、撮像画像において、投影画像の複数のフレームが混合する領域が存在する場合、そのような領域を含まない、パタン検出可能な領域を抽出することにより、投影画像の状態をより正確に把握することができる。つまり、この投影画像の複数のフレームが混合する領域とパタン検出可能な領域との境界となる画素行（例えば画素行Ａ）を、より正確に特定することにより、投影画像の状態をより正確に把握することができる。

そこで、このような境界（画素行）を求めるために、投影画像の画素行の識別に利用可能なパタンを、パタン画像に含めるようにしてもよい。例えば、図１０のＡに示されるように、パタン画像に位置決めパタン３１０を設けるようにしてもよい。この位置決めパタン３１０は、投影画像の左右上下端近傍（例えば数画素分）に形成されるパタンであり、絵柄や模様は任意である。例えば、一様の輝度としてもよいし、何らかの絵柄や模様を有するようにしてもよい。

つまり、この場合、パタン画像は、図１０のＢのようになる。図１０のＢにおいて、パタン画像３２０－１は、正のパタン画像であり、第１の実施の形態において説明したパタン１７１－１と、位置決めパタン３１０－１を有する。なお、位置決めパタン３１０－１の輝度値は、周囲のパタン以外の部分よりも正の方向に変化している。また、パタン画像３２０－２は、負のパタン画像であり、第１の実施の形態において説明したパタン１７１－２と、位置決めパタン３１０－２を有する。なお、位置決めパタン３１０－２の輝度値は、周囲のパタン以外の部分よりも正の方向に変化している。

なお、以下において、位置決めパタン３１０－１と位置決めパタン３１０－２とを互いに区別して説明する必要が無い場合、位置決めパタン３１０と称する。また、パタン画像３２０－１とパタン画像３２０－２とを互いに区別して説明する必要が無い場合、パタン画像３２０と称する。

このようなパタン画像３２０を用いて第１の実施の形態において説明したように処理を行うと、差分算出部１４４は、フレームＤとフレームＦとの差分を算出し、図１１のＡの差分画像３３１を生成する。また、差分算出部１４４は、フレームＥとフレームＧとの差分を算出し、図１１のＢの差分画像３３２を生成する。

図１１のＡに示されるように、差分画像３３１においては、位置決めパタン３１０が、投影画像の複数のフレームが混合する領域とパタン検出可能な領域との境界となる画素行（例えば画素行Ａ）において途切れる。つまり、この位置決めパタン３１０に基づいて、より容易かつ正確に、この境界となる画素行を特定することができる。差分画像３３２の場合も同様に、位置決めパタン３１０が、投影画像の複数のフレームが混合する領域とパタン検出可能な領域との境界となる画素行（例えば画素行Ａ）において途切れるので、この位置決めパタン３１０に基づいて、より容易かつ正確に、この境界となる画素行を特定することができる。

つまり、切り取り部１４５がこの位置決めパタン３１０の途切れる画素行に応じた領域を切り取ることにより、投影撮像システム１００は、パタン検出可能な領域をより正確に切り取り、抽出することができる。なお、この場合、第２の実施の形態において説明したような投影と撮像の同期をとる必要が無いので、より容易に実現することができ、より多様なシステムに適用することができる。そしてこの場合も、投影撮像システム１００は、投影画像の状態の把握をより安価に実現することができる。

＜投影制御処理の流れ＞
この場合の投影制御処理の流れの例を、図１２のフローチャートを参照して説明する。

投影制御処理が開始されると、制御装置１０１のパタン合成部１４１は、ステップＳ３０１において、投影するコンテンツ（動画像）のフレーム画像に正のパタン画像と負のパタン画像をそれぞれ重畳する。なお、このパタン画像は、投影装置１０２と撮像装置１０３との対応点の検出に利用可能なパタン（例えば、パタン１７１）と、投影画像の画素行の識別に利用可能なパタン（例えば、位置決めパタン３１０）との両方を含む。

ステップＳ３０２乃至ステップＳ３０４の各処理は、第１の実施の形態において説明したステップＳ１０２乃至ステップＳ１０４の各処理（図７）と同様に実行される。

ステップＳ３０５において、切り取り部１４５は、ステップＳ３０４の処理により得られた各差分画像の、位置決めパタン３１０に応じた領域を抽出する。

ステップＳ３０６乃至ステップＳ３０８の各処理は、ステップＳ１０６乃至ステップＳ１０８の各処理と同様に実行される。

ステップＳ３０８の処理が終了すると、投影制御処理が終了する。このように投影制御処理を実行することにより、投影撮像システム１００は、パタン検出可能な領域をより容易かつ正確に切り取り、抽出することができる。そしてこの場合も、投影撮像システム１００は、投影画像の状態の把握をより安価に実現することができる。

＜位置決めパタンの構成＞
なお、図１０のＡに示される位置決めパタン３１０は、投影画像の画素行の識別に利用可能な位置決めパタンだけでなく、投影画像の画素列の識別に利用可能な位置決めパタンも含む。例えば、位置決めパタン３１０の内、投影画像の左右端近傍に形成される縦方向のパタンが、投影画像の画素行の識別に利用可能な位置決めパタンであり、投影画像の上下端近傍に形成される横方向のパタンが、投影画像の画素列の識別に利用可能な位置決めパタンである。

このように、パタン画像に、投影画像の画素列の識別に利用可能な位置決めパタンも含めることにより、この位置決めパタンを投影画像の幾何補正等にも利用することができる。

なお、位置決めパタン３１０が、投影画像の画素行の識別に利用可能な位置決めパタンのみにより構成されるようにしてもよいし、投影画像の画素列の識別に利用可能な位置決めパタンのみにより構成されるようにしてもよい。

また、位置決めパタン３１０の絵柄、模様、形状、位置等は、任意であり、図１０の例に限定されない。例えば、投影画像の画素行の識別に利用可能な位置決めパタンは、投影画像の左端近傍または右端近傍のみに形成されるようにしてもよいし、端部以外に形成されるようにしてもよい。また、例えば、投影画像の画素列の識別に利用可能な位置決めパタンは、投影画像の上端近傍または下端近傍のみに形成されるようにしてもよいし、端部以外に形成されるようにしてもよい。

例えば、位置決めパタン３１０が、投影画像全体に格子状に形成されるパタンであるようにしてもよい。

また、例えば、パタン画像が、投影装置１０２と撮像装置１０３との対応点の検出と、投影画像の画素行の識別との両方に利用可能なパタンを含むようにしてもよい。例えば、図１０の場合、パタン画像３２０が、パタン１７１と位置決めパタン３１０との両方の機能を有するパタンを含むようにしてもよい。

＜４．第４の実施の形態＞
＜高速撮像＞
なお、以上においては、撮像画像のフレームレートが、投影画像のフレームレートの２倍であるように説明したが、これに限らず、撮像画像のフレームレートは、投影画像のフレームレートよりも高速であればよい。差分算出部１４４は、投影部により正負が互いに逆の所定のパタン画像が順次投影された投影画像を、ローリングシャッタ方式で駆動する撮像部によって投影画像のフレームレートよりも高速に撮像して得られた複数フレームからなる撮像画像の、不連続なフレーム同士の差分を算出する。このようにすることにより、ローリングシャッタ方式で駆動するカメラを用いてISL方式のオンラインセンシングを実現することができる。すなわち、投影画像の状態の把握をより安価に実現することができる。

例えば、差分算出部１４４が、投影画像のフレームレートと撮像画像のフレームレートの比に応じた間隔のフレーム同士の差分を算出するようにしてもよい。例えば、撮像画像のフレームレートが、投影画像のフレームレートの２Ｎ（Ｎは自然数）倍であるようにしてもよい。その場合、差分算出部１４４が、２Ｎフレーム間隔のフレーム同士の差分を算出するようにしてもよい。

例えば、撮像画像のフレームレートを、投影画像のフレームレートの４倍とした場合のタイミングチャートの例を図１３に示す。図１３の下段に示されるように、撮像画像のフレームレートをより高速にすると、各フレームの露光時間が短くなり、得られるフレーム数が多くなるので、パタン画像の検出に全てのフレームを利用する必要が無くなる。

＜画像選択＞
そこで、制御装置１０１は、撮像画像の各フレームから、パタン画像の検出に用いるフレームを選択することができるようにしてもよい。その際、制御装置１０１は、図１３のフレームＤ、フレームＧ、フレームＨ、フレームＬのように、投影画像の複数のフレームが混合するフレームを選択するようにしてもよい。

＜制御装置の機能ブロック＞
図１４は、この場合の制御装置１０１が実現する機能の例を示す機能ブロック図である。図１４に示されるように、この場合、第１の実施の形態において説明した機能（図３）の他に、例えば画像選択部４４１の機能を有する。

画像選択部４４１は、撮像画像の中から、パタン画像の検出に用いるフレームを選択する。その際、画像選択部４４１は、投影画像の複数のフレームが混合するフレームを選択する（例えば、フレームＤ、フレームＧ、フレームＨ、フレームＬ）。

画像選択部４４１がフレームを選択すると、差分算出部１４４乃至接合部１４６は、その選択されたフレームを用いて、第１の実施の形態において説明したのと同様に各処理を行い、１フレーム分のパタン画像を検出する。

このようにすることにより、第１の実施の形態の場合と同様に、投影撮像システム１００は、投影画像の状態の把握をより安価に実現することができる。

＜投影制御処理の流れ＞
この場合の投影制御処理の流れの例を、図１５のフローチャートを参照して説明する。

投影制御処理が開始されると、ステップＳ４０１およびステップＳ４０２の各処理がステップＳ１０１およびステップＳ１０２の各処理（図７）と同様に実行される。

ステップＳ４０３において、撮像制御部１４３は、ローリングシャッタ方式で駆動する撮像装置１０３を制御し、ステップＳ４０２の処理によりスクリーン１０に投影された投影画像を、投影フレームレートより高速な撮像フレームレートで撮像させる。

ステップＳ４０４において、画像選択部４４１は、撮像画像の、動画像の互いに同一のフレームに対応するフレーム群の内、互いに同一の部分領域において正のパタン画像と負のパタン画像とが混合し、その他の領域において正または負のパタン画像を含むフレーム組を選択する。

ステップＳ４０５において、差分算出部１４４は、ステップＳ４０４の処理により選択されたフレーム組の差分を求める。

ステップＳ４０６乃至ステップＳ４０９の各処理は、ステップＳ１０５乃至ステップＳ１０８（図７）の各処理と同様に実行される。

ステップＳ４０９の処理が終了すると、投影制御処理が終了する。このように投影制御処理を実行することにより、投影撮像システム１００は、この場合も、投影画像の状態の把握をより安価に実現することができる。

＜画像選択＞
なお、撮像画像の各フレームからパタン画像の検出に用いるフレームを選択する際、制御装置１０１は、図１３のフレームＥまたはフレームＦ、フレームＪまたはフレームＫのように、投影画像の複数のフレームが混合しないフレーム（つまり、投影画像の単数のフレームのみが含まれるフレーム）を選択するようにしてもよい。

＜制御装置の機能ブロック＞
図１６は、この場合の制御装置１０１が実現する機能の例を示す機能ブロック図である。図１６に示されるように、この場合、図１４を参照して説明した場合と同様に画像選択部４４１の機能を有する。また、切り取り部１４５および接合部１４６を省略することができる。

画像選択部４４１は、撮像画像の中から、パタン画像の検出に用いるフレームを選択する。その際、画像選択部４４１は、投影画像の単数のフレームのみが含まれるフレームを選択する（例えば、フレームＥまたはフレームＦ、フレームＪまたはフレームＫ）。

画像選択部４４１がフレームを選択すると、差分算出部１４４は、その選択されたフレームの差分画像を生成する。この場合、選択されたフレームは、投影画像の複数フレームが混合しないので、差分算出部１４４が差分画像を生成することにより、１フレーム分のパタン画像を検出することができる。したがって、この場合、切り取り部１４５および接合部１４６を省略することができる。

このようにすることにより、第１の実施の形態の場合と同様に、投影撮像システム１００は、投影画像の状態の把握をより安価に実現することができる。

＜投影制御処理の流れ＞
この場合の投影制御処理の流れの例を、図１７のフローチャートを参照して説明する。

投影制御処理が開始されると、ステップＳ５０１乃至ステップＳ５０３の各処理がステップＳ４０１乃至ステップＳ４０３の各処理（図１５）と同様に実行される。

ステップＳ５０４において、画像選択部４４１は、撮像画像の、動画像の互いに同一のフレームに対応するフレーム群の内、正のパタン画像と負のパタン画像とが混合しないフレーム組を選択する。

ステップＳ５０５において、差分算出部１４４は、ステップＳ５０４の処理により選択されたフレーム組の差分を求める。

ステップＳ５０６およびステップＳ５０７の各処理は、ステップＳ４０８およびステップＳ４０９（図１５）の各処理と同様に実行される。

ステップＳ５０７の処理が終了すると、投影制御処理が終了する。このように投影制御処理を実行することにより、投影撮像システム１００は、この場合も、投影画像の状態の把握をより安価に実現することができる。

＜５．第５の実施の形態＞
＜他の構成例＞
なお、本技術を適用する投影撮像システム１００の構成は任意であり、上述した例に限定されない。例えば図１８のＡに示されるように、制御装置１０１と撮像装置１０３とを一体化するようにしてもよい。図１８のＡの例の場合、投影撮像システム１００は、投影装置１０２と撮像装置６０３とにより構成される。投影装置１０２と撮像装置６０３は、任意の構成により、互いに通信可能に接続されている。また、撮像装置６０３は、上述した制御装置１０１と同様の機能を有する制御部６０１を内蔵しており、上述した制御装置１０１および撮像装置１０３の機能を有する。したがって、この場合も、投影画像の状態の把握をより安価に実現することができる。

また、例えば、図１８のＢに示されるように、制御装置１０１と投影装置１０２とを一体化するようにしてもよい。図１８のＢの例の場合、投影撮像システム１００は、投影装置６１２と撮像装置１０３とにより構成される。投影装置６１２と撮像装置１０３は、任意の構成により、互いに通信可能に接続されている。また、投影装置６１２は、上述した制御装置１０１と同様の機能を有する制御部６１１を内蔵しており、上述した制御装置１０１および投影装置１０２の機能を有する。したがって、この場合も、投影画像の状態の把握をより安価に実現することができる。

なお、例えば、図１８のＣに示されるように、投影撮像システム１００を装置として実現するようにしてもよい。図１８のＣの例の場合、投影撮像装置６２０は、投影撮像システム１００と同様の機能を有する。つまり、投影撮像装置６２０は、制御部６２１、投影部６２２、および撮像部６２３を有する。制御部６２１は上述した制御装置１０１と同様の機能を有し、投影部６２２は上述した投影装置１０２と同様の機能を有し、撮像部６２３は上述した撮像装置１０３と同様の機能を有する。したがって、この場合も、投影画像の状態の把握をより安価に実現することができる。

なお、図示は省略するが、投影装置１０２と撮像装置１０３とを一体化するようにしてもよい。つまり、投影撮像システム１００が、制御装置１０１と、投影装置１０２と撮像装置１０３の両方の機能を有する投影撮像装置とにより構成されるようにしてもよい。

また、以上においては、制御装置、投影装置、撮像装置、投影撮像装置等の各種装置を１台ずつ示したが、これらの各種装置の数は任意である。例えば、投影撮像システム１００が、これらの各種装置を複数台有するようにしてもよい。また、各装置の台数が統一されていなくてもよい。さらに、投影撮像システム１００が、これらの装置以外の装置を有するようにしてもよい。

＜６．その他＞
＜本技術の適用例＞
上述した実施形態に係るシステムや装置は、任意のシステムや電子機器に応用され得る。また、本技術は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野の画像処理システムや画像処理装置に適用することができる。

例えば、本技術は、鑑賞の用に供される画像を投影・撮像するシステムにも適用することができる。また、例えば、本技術は、交通の用に供されるシステムにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムにも適用することができる。また、例えば、本技術は、スポーツの用に供されるシステムにも適用することができる。さらに、例えば、本技術は、農業の用に供されるシステムにも適用することができる。また、例えば、本技術は、畜産業の用に供されるシステムにも適用することができる。さらに、本技術は、例えば火山、森林、海洋等の自然の状態を監視するシステムや、例えば天気、気温、湿度、風速、日照時間等を観測する気象観測システムや、例えば鳥類、魚類、ハ虫類、両生類、哺乳類、昆虫、植物等の野生生物の生態を観測するシステム等にも適用することができる。

＜ソフトウェア＞
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

例えば図２の制御装置１０１の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア１３１により構成される。その場合、例えば、リムーバブルメディア１３１をドライブ１２５に装着することにより、そのリムーバブルメディア１３１に記憶されているこのプログラムを読み出させ、記憶部１２３にインストールさせることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図２の制御装置１０１の場合、プログラムは、通信部１２４で受信し、記憶部１２３にインストールすることができる。

その他、このプログラムは、記憶部やROM等に、予めインストールしておくこともできる。例えば図２の制御装置１０１の場合、プログラムは、記憶部１２３やROM１１２等に予めインストールしておくこともできる。

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

また、上述した各ステップの処理は、上述した各装置、または、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。

＜その他＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

また、本技術は、装置やシステムとして実施するだけでなく、装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） 投影部により正負が互いに逆の所定のパタン画像が順次投影された投影画像を、ローリングシャッタ方式で駆動する撮像部によって前記投影画像のフレームレートよりも高速に撮像して得られた複数フレームからなる撮像画像の、不連続なフレーム同士の差分を算出する差分算出部
を備える画像処理装置。
（２） 前記差分算出部は、前記投影画像のフレームレートと、前記撮像画像のフレームレートの比に応じた間隔のフレーム同士の差分を算出するように構成される
（１）に記載の画像処理装置。
（３） 前記撮像画像のフレームレートは、前記投影画像のフレームレートの２倍であり、
前記差分算出部は、２フレーム間隔のフレーム同士の差分を算出する
（１）または（２）に記載の画像処理装置。
（４） 前記差分算出部により算出されたフレーム同士の差分から、前記パタン画像を検出可能な領域を抽出する抽出部と、
前記抽出部により複数の差分のそれぞれから抽出された前記領域を接合し、１フレーム分の前記パタン画像を生成する接合部と
をさらに備える（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記接合部により生成された前記パタン画像を用いて、前記投影部と前記撮像部との対応点を検出する対応点検出部
をさらに備える（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記対応点検出部により検出された前記対応点を用いて、前記投影部により投影される画像を補正する画像補正部
をさらに備える（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記パタン画像は、前記投影部と前記撮像部との対応点の検出に利用可能なパタンと、前記投影画像の画素行の識別に利用可能なパタンとを含み、
前記抽出部は、前記パタン画像を検出可能な領域を、前記投影画像の画素行の識別に利用可能なパタンに基づいて抽出するように構成される
（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記パタン画像は、前記投影画像の画素列の識別に利用可能なパタンをさらに含む
（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記パタン画像の、前記投影画像の画素行の識別に利用可能なパタン、および、前記投影画像の画素列の識別に利用可能なパタンは、前記投影画像の左右上下端近傍に形成される
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記パタン画像の、前記投影画像の画素行の識別に利用可能なパタン、および、前記投影画像の画素列の識別に利用可能なパタンは、前記投影画像全体に格子状に形成される
（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記パタン画像は、前記投影部と前記撮像部との対応点の検出と前記投影画像の画素行の識別との両方に利用可能なパタンを含み、
前記抽出部は、前記パタン画像を検出可能な領域を、前記投影部と前記撮像部との対応点の検出と前記投影画像の画素行の識別との両方に利用可能なパタンに基づいて抽出するように構成される
（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 前記投影部による投影のタイミングと前記撮像部による撮像のタイミングとの同期をとる同期処理部
をさらに備える（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記撮像画像のフレームレートは、前記投影画像のフレームレートの２Ｎ（Ｎは自然数）倍であり、
前記差分算出部は、２Ｎフレーム間隔のフレーム同士の差分を算出するように構成される
（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４） 前記複数フレームの前記撮像画像の中から、前記差分算出部が差分を算出するフレームを選択する画像選択部をさらに備える
（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５） 前記画像選択部は、前記撮像画像の、前記投影画像の複数のフレームが混合するフレームを選択する
（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 前記画像選択部は、前記撮像画像の、前記投影画像の単数のフレームのみが含まれるフレームを選択する
（１）乃至（１５）のいずれかに記載の画像処理装置。
（１７） 前記投影画像は、動画像の所定のフレームに、正の前記パタン画像が重畳された重畳画像と、負の前記パタン画像が重畳された重畳画像とが、順次投影されたものである
（１）乃至（１６）のいずれかに記載の画像処理装置。
（１８） 前記撮像部をさらに備える
（１）乃至（１７）のいずれかに記載の画像処理装置。
（１９） 前記投影部をさらに備える
（１）乃至（１８）のいずれかに記載の画像処理装置。
（２０） 正負が互いに逆の所定のパタン画像が順次投影された投影画像を、ローリングシャッタ方式で、前記投影画像のフレームレートよりも高速に撮像して得られた複数フレームからなる撮像画像の、不連続なフレーム同士の差分を算出する
画像処理方法。

１００ 投影撮像システム， １０１ 制御装置， １０２ 投影装置， １０３ 撮像装置， １１１ CPU， １１２ ROM， １１３ RAM， １１４ バス， １２０ 入出力インタフェース， １２１ 入力部， １２２ 出力部， １２３ 記憶部， １２４ 通信部， １２５ ドライブ， １３１ リムーバブルメディア， １４１ パタン合成部， １４２ 投影制御部， １４３ 撮像制御部， １４４ 差分算出部， １４５ 切り取り部， １４６ 接合部， １４７ 対応点検出部， １４８ 画像補正部， ２４１ 同期処理部， ４４１ 画像選択部， ６０１ 制御部， ６０３ 撮像装置， ６１１ 制御部， ６１２ 投影装置， ６２０ 投影撮像装置， ６２１ 制御部， ６２２ 投影部， ６２３ 撮像部

Claims (18)

1. 投影部により正負が互いに逆の所定のパタン画像が順次投影された投影画像を、ローリングシャッタ方式で駆動する撮像部が前記投影画像のフレームレートの２Ｎ（Ｎは自然数）倍のフレームレートで撮像して得られた撮像画像の、２Ｎフレーム間隔のフレーム同士の差分を算出する差分算出部と、
   前記差分算出部により算出された前記差分から、前記パタン画像を検出可能な領域を抽出する抽出部と、
   前記抽出部により複数の前記差分のそれぞれから抽出された前記領域を接合し、１フレーム分の前記パタン画像を生成する接合部と、
   前記接合部により生成された前記パタン画像を用いて、前記投影部と前記撮像部との間の画素の対応点を検出する対応点検出部と
   を備える画像処理装置。
2. 前記対応点検出部により検出された前記対応点を用いて、前記投影部により投影される画像を補正する画像補正部
   をさらに備える請求項１に記載の画像処理装置。
3. 前記パタン画像は、前記投影部と前記撮像部との間の画素の対応点の検出に利用可能なパタンと、前記投影画像の画素行の識別に利用可能なパタンとを含み、
   前記抽出部は、前記パタン画像を検出可能な領域を、前記投影画像の画素行の識別に利用可能なパタンに基づいて抽出する
   請求項１に記載の画像処理装置。
4. 前記パタン画像の、前記投影画像の画素行の識別に利用可能なパタンは、前記投影画像の左端近傍若しくは右端近傍または両方に形成される
   請求項３に記載の画像処理装置。
5. 前記パタン画像は、前記投影画像の画素列の識別に利用可能なパタンをさらに含む
   請求項３に記載の画像処理装置。
6. 前記パタン画像の、前記投影画像の画素行の識別に利用可能なパタン、および、前記投影画像の画素列の識別に利用可能なパタンは、前記投影画像の左右上下端近傍に形成される
   請求項５に記載の画像処理装置。
7. 前記パタン画像の、前記投影画像の画素行の識別に利用可能なパタン、および、前記投影画像の画素列の識別に利用可能なパタンは、前記投影画像全体に格子状に形成される
   請求項５に記載の画像処理装置。
8. 前記パタン画像は、前記投影部と前記撮像部との間の画素の対応点の検出に利用可能なパタンと、前記投影画像の画素列の識別に利用可能なパタンとを含み、
   前記抽出部は、前記パタン画像を検出可能な領域を、前記投影画像の画素列の識別に利用可能なパタンに基づいて抽出する
   請求項１に記載の画像処理装置。
9. 前記パタン画像の、前記投影画像の画素列の識別に利用可能なパタンは、前記投影画像の上端近傍若しくは下端近傍または両方に形成される
   請求項８に記載の画像処理装置。
10. 前記パタン画像は、前記投影部と前記撮像部との間の画素の対応点の検出と前記投影画像の画素行の識別との両方に利用可能なパタンを含み、
    前記抽出部は、前記パタン画像を検出可能な領域を、前記投影部と前記撮像部との間の画素の対応点の検出と前記投影画像の画素行の識別との両方に利用可能なパタンに基づいて抽出する
    請求項１に記載の画像処理装置。
11. 前記投影部による投影のタイミングと前記撮像部による撮像のタイミングとの同期をとる同期処理部
    をさらに備える請求項１に記載の画像処理装置。
12. 前記複数フレームの前記撮像画像の中から、前記差分算出部が前記差分を算出するフレームを選択する画像選択部をさらに備え、
    前記差分算出部は、前記画像選択部により選択されたフレームの中の、前記２Ｎフレーム間隔のフレーム同士の前記差分を算出する
    請求項１に記載の画像処理装置。
13. 前記画像選択部は、前記撮像画像の、前記投影画像の複数のフレームが混合するフレームを選択する
    請求項１２に記載の画像処理装置。
14. 前記画像選択部は、前記撮像画像の、前記投影画像の単数のフレームのみが含まれるフレームを選択する
    請求項１２に記載の画像処理装置。
15. 前記投影画像は、動画像の所定のフレームに、正の前記パタン画像が重畳された重畳画像と、負の前記パタン画像が重畳された重畳画像とが、順次投影されたものである
    請求項１に記載の画像処理装置。
16. 前記撮像部をさらに備える
    請求項１に記載の画像処理装置。
17. 前記投影部をさらに備える
    請求項１に記載の画像処理装置。
18. 投影部により正負が互いに逆の所定のパタン画像が順次投影された投影画像を、ローリングシャッタ方式で駆動する撮像部が前記投影画像のフレームレートの２Ｎ（Ｎは自然数）倍のフレームレートで撮像して得られた撮像画像の、２Ｎフレーム間隔のフレーム同士の差分を算出し、
    算出された前記差分から、前記パタン画像を検出可能な領域を抽出し、
    複数の前記差分のそれぞれから抽出された前記領域を接合し、１フレーム分の前記パタン画像を生成し、
    生成された前記パタン画像を用いて、前記投影部と前記撮像部との間の画素の対応点を検出する
    画像処理方法。

Images