JPWO2018173183A1 - 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム - Google Patents

Abstract

光学機器制御装置（１）は、対象物（５１）上に複数の画像を投影する複数の光学機器（３）とこれらの配置を変更する複数の移動機構（４）とを制御する装置であって、複数の光学機器（３）が対象物上に画像を投影しているときに現実空間情報取得部（５）によって取得された現実空間情報に基づいて、複数の光学機器（３）から投影された画像が対象物上に到達しない領域である影（５３）が形成されているか否かを判断し、影が検出されたときに影を形成する物体（５２）の配置を示す情報を取得する物体推定部（１１）と、物体（５２）の配置を示す情報に基づいて、影が形成されない複数の光学機器（３）の配置を計算する配置計算部（１２）と、配置計算部（１２）によって計算された複数の光学機器（３）の配置に基づいて、影が形成されない位置に複数の光学機器（３）が配置されるように複数の移動機構（４）を制御する移動機構制御部（１３）とを有する。

Description

本発明は、画像を投影する又は画像を撮影する光学機器と光学機器の配置を変更する移動機構とを制御する光学機器制御装置、光学機器制御方法、及び光学機器制御プログラムに関する。

プロジェクタ（画像投影装置）は、投影光学系から出射された投影光を対象物に当てることで、対象物上に画像を表示する光学機器であり、カメラ（撮像装置）は、対象物からカメラに向かう光を撮像面で受光して対象物に基づく画像データを取得する光学機器である。言い換えれば、プロジェクタは、画像データに基づく２次元の画像を３次元の現実空間に投影することで画像を表示し、カメラは、３次元の現実空間の画像を２次元の撮像面に投影することで画像データを生成する。このように、プロジェクタとカメラは、扱う光の進行方向が逆である点を除いて、基本的に類似する光学モデルである。

このような光学モデルでは、光学機器と対象物との間の空間に物体（光遮蔽物）が存在する場合に、対象物上に投影された画像内に物体の影が形成され、投影画像の一部が欠落する、又は、撮像面上に投影される画像内に物体が含まれ、対象物の画像の一部が欠落する。

特許文献１は、観視者（ユーザ）に投影画像を提供するために、空中飛行機構部と、プロジェクタ部と、カメラと、カメラの撮影画像から観視者の人数を検出する人数検出部と、観視者の人数に応じて投影画像を表示する場所を決定し、決定した場所に投影画像を表示させるようにプロジェクタ部を制御する制御部とを備えるプロジェクション装置を提案している。

また、特許文献２は、複数のプロジェクタに対しそれぞれ指示された照度で光学像を投影させる光学投影制御装置を提案している。この装置は、スクリーンとプロジェクタとの間に物体（光遮蔽物）が存在しない状態で光学像をスクリーンに投影して予め撮影した撮像画像データ（光遮蔽物なし時）と、カメラで取得した撮影画像データとの、光量の差に応じた差分画像データを取得し、差分画像データに基づいて、投影画像の一部が遮蔽されているプロジェクタを検出し、投影像が遮蔽されていないプロジェクタの投影像の照度を補正する。

特開２０１６−２０８２５５号公報（例えば、請求項１） 特許第５５９６４２７号公報（例えば、請求項３）

しかしながら、特許文献１に記載の装置は、投影位置を変更する機能を説明しているが、投影画像内に物体の影が形成されないようにする技術を記載していない。

また、特許文献２に記載の装置は、投影画像の画素値の制御を行うことで光遮蔽物の影の除去がある程度可能であるが、影の除去が可能な範囲が狭いという課題がある。特に、光遮蔽物（例えば、ユーザの手）が光学機器と対象物との間で移動する場合には、影を除去することが困難になる場合がある。

本発明は、上記課題を解決するためになされたものであり、光学機器と対象物との間に物体が存在する場合であっても、投影画像に光遮蔽物の影が形成されないように又は撮影画像に光遮蔽物が含まれないように、光学機器及び移動機構を制御することができる光学機器制御装置、光学機器制御方法、及び光学機器制御プログラムを提供することを目的とする。

本発明の一態様に係る光学機器制御装置は、対象物上に複数の画像を投影する複数の光学機器と前記複数の光学機器の配置を変更する複数の移動機構とを制御する装置であって、前記複数の光学機器が前記対象物上に画像を投影しているときに現実空間情報取得部によって取得された現実空間情報に基づいて、前記複数の光学機器から投影された画像が前記対象物上に到達しない領域である影が形成されているか否かを判断し、前記影が検出されたときに前記影を形成する物体の配置を示す情報を取得する物体推定部と、前記物体の配置を示す情報に基づいて、前記影が形成されない前記複数の光学機器の配置を計算する配置計算部と、前記配置計算部によって計算された前記複数の光学機器の配置に基づいて、前記影が形成されない位置に前記複数の光学機器が配置されるように前記複数の移動機構を制御する移動機構制御部とを有することを特徴とする。

本発明の他の態様に係る光学機器制御装置は、対象物を撮影することで前記対象物の複数の画像を取得する複数の光学機器と前記複数の光学機器の配置を変更する複数の移動機構とを制御する装置であって、前記複数の光学機器により取得された前記複数の画像に基づいて、前記複数の光学機器が前記対象物上に非撮影領域を形成する物体が存在するか否かを判断し、前記物体が検出されたときに前記物体の配置を示す情報を取得する物体推定部と、前記物体の配置を示す情報に基づいて、前記非撮影領域が形成されない前記複数の光学機器の配置を計算する配置計算部と、前記配置計算部によって計算された前記複数の光学機器の配置に基づいて、前記非撮影領域が形成されない位置に前記複数の光学機器が配置されるように前記複数の移動機構を制御する移動機構制御部とを有することを特徴とする。

本発明によれば、光学機器と対象物との間に光遮蔽物が存在する場合であっても、複数の光学機器の配置を制御することによって、光学機器の投影画像に物体の影が形成されないように又は光学機器の撮影画像に物体が含まれないようにすることができる。

本発明の実施の形態１に係る光学機器制御装置の構成を概略的に示す機能ブロック図である。 （ａ）から（ｃ）は、実施の形態１に係る光学機器制御装置により制御される光学機器としてのプロジェクタと移動機構を概略的に示す斜視図である。 実施の形態１に係る光学機器制御装置のハードウェア構成の一例を示す図である。 実施の形態１に係る光学機器制御装置の動作を示すフローチャートである。 本発明の実施の形態２に係る光学機器制御装置の構成を概略的に示す機能ブロック図である。 （ａ）から（ｃ）は、実施の形態２に係る光学機器制御装置により制御される光学機器としてのカメラと移動機構を概略的に示す斜視図である。 実施の形態２に係る光学機器制御装置のハードウェア構成の一例を示す図である。 実施の形態２に係る光学機器制御装置の動作を示すフローチャートである。

以下に、本発明の実施の形態に係る光学機器制御装置、光学機器制御方法、及び光学機器制御プログラムを、添付図面を参照しながら説明する。実施の形態１においては、光学機器が、対象物上に画像を投影するプロジェクタ（画像投影装置）であり、投影画像に影が形成させない装置、方法、プログラムを説明する。実施の形態２においては、光学機器が、対象物を撮影して現実空間の画像データを取得するカメラ（撮像装置）であり、撮影画像に基づく合成画像に欠落（非撮影領域）を生じさせない装置、方法、プログラムを説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。

《１》実施の形態１．
《１−１》構成
図１は、実施の形態１に係る光学機器制御装置１の構成を概略的に示す機能ブロック図である。光学機器制御装置１は、実施の形態１に係る光学機器制御方法を実施することができる装置である。また、光学機器制御装置１は、実施の形態１に係る光学機器制御プログラムを実行することができる装置である。

図２（ａ）から（ｃ）は、実施の形態１に係る光学機器制御装置１により制御される光学機器としての複数のプロジェクタ３（３ａ，３ｂ）と複数の移動機構４（４ａ，４ｂ）を概略的に示す斜視図である。

光学機器制御装置１は、複数のプロジェクタ３（３ａ，３ｂ）と、複数のプロジェクタ３（３ａ，３ｂ）の配置をそれぞれ変更する複数の移動機構（例えば、ロボットアーム）４と、現実空間情報取得部（例えば、カメラ又はセンサ）５とに接続され、複数のプロジェクタ３（３ａ，３ｂ）の動作と複数の移動機構４（４ａ，４ｂ）の動作とを制御する。現実空間情報取得部５は、プロジェクタ３（３ａ，３ｂ）と別個の装置であってもよく、また、複数のプロジェクタ３（３ａ，３ｂ）のいずれかと一体型の装置であってもよい。光学機器制御装置１と、複数のプロジェクタ３（３ａ，３ｂ）と、複数の移動機構４（４ａ，４ｂ）と、現実空間情報取得部５とは、現実空間における対象物５１上に物体（光遮蔽物）５２が存在する場合であって、対象物５１上に影５３のない画像（合成投影画像）５４を投影することができる画像投影システムを構成する。物体５２は、例えば、対象物５１上で作業をするユーザ５０の動いている手であり、この場合には、影５３は、ユーザ５０の手の動きによって対象物５１上で動く。

光学機器制御装置１は、物体推定部１１と、配置計算部１２と、移動機構制御部１３と、パラメータ計算部１４と、画像データ生成部１５と、記憶部１６とを備えている。

物体推定部１１は、現実空間情報取得部５から現実空間情報を受け取り、対象物５１に生成された影５３を検出し、影５３の原因となる物体５２を推定する。例えば、物体推定部１１は、複数の光学機器３が対象物５１上に投影画像５４を投影しているときに現実空間情報取得部５によって取得された現実空間情報に基づいて、複数のプロジェクタ３（３ａ，３ｂ）から投影された複数の投影画像５４が対象物５１上に到達しない領域である影５３が形成されているか否かを判断し、影５３が検出されたときに影５３を形成する物体５２の配置（位置及び形状）を示す情報を取得する。

配置計算部１２は、記憶部１６から複数のプロジェクタ３（３ａ，３ｂ）の配置（位置及び姿勢）に必要な情報を取得し、対象物５１に対して影５３を形成しない複数のプロジェクタ３（３ａ，３ｂ）の配置（位置及び姿勢）を計算する。例えば、配置計算部１２は、物体５２の配置を示す情報に基づいて、影５３が形成されない複数のプロジェクタ３（３ａ，３ｂ）の配置（例えば、位置及び姿勢）を計算する。ここで、位置は、図２（ａ）から（ｃ）に示すｘｙｚ直交座標系で示される複数のプロジェクタ３（３ａ，３ｂ）の座標であり、姿勢とは、複数のプロジェクタ３（３ａ，３ｂ）の光軸（一点鎖線）ＡＸの方向である。

移動機構制御部１３は、配置計算部１２で計算した結果を基に、複数のプロジェクタ３（３ａ，３ｂ）を移動させる複数の移動機構４（４ａ，４ｂ）の動作を制御する。移動機構制御部１３は、配置計算部１２によって計算された複数のプロジェクタ３（３ａ，３ｂ）の配置に基づいて、影５３が形成されない位置に複数のプロジェクタ３（３ａ，３ｂ）が配置されるように複数の移動機構４（４ａ，４ｂ）を制御する。複数の移動機構４（４ａ，４ｂ）は、複数のプロジェクタ３（３ａ，３ｂ）の位置及び姿勢を変更可能な機構である。複数の移動機構４（４ａ，４ｂ）は、ロボットアームである。ただし、複数の移動機構４（４ａ，４ｂ）は、自走式ロボット、ドローンなどのような空中移動型機器、その他の機構であってもよい。

記憶部１６は、制御対象である、複数のプロジェクタ３（３ａ，３ｂ）の各々の焦点距離１６１、明るさ１６２、画像生成に使用される各種の画像生成パラメータ１６３などのような、プロジェクタの特性に関する情報を記録する。

パラメータ計算部１４は、移動機構制御部１３によって移動した複数のプロジェクタ３（３ａ，３ｂ）の位置と記憶部１６から取得した複数のプロジェクタ３（３ａ，３ｂ）に関する情報とから、複数のプロジェクタ３（３ａ，３ｂ）の各々が投影画像を生成するために必要な画像のパラメータを計算し、これを記憶部１６に画像生成パラメータ１６３として記憶する。複数のプロジェクタ３（３ａ，３ｂ）におけるパラメータとしては、例えば、プロジェクタにおける焦点距離、画像中心、レンズ歪などの機器に固有の内部パラメータと、プロジェクタの位置及び姿勢を表す外部パラメータとがある。

画像データ生成部１５は、画像生成パラメータ１６３から取得した情報を基に画像を生成する。複数のプロジェクタ３（３ａ，３ｂ）は、画像データ生成部１５で生成した画像、又は、初期状態の投影画像などを現実空間に投影する。

図３は、実施の形態１における光学機器制御装置１のハードウェア構成の一例を示す図である。光学機器制御装置１は、コンピュータであってもよい。光学機器制御装置１は、情報処理部としてのプロセッサであるＣＰＵ（Ｃｅｎｔａｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１と、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３２と、メインメモリ３３と、ストレージ３４と、データ交換用のデータ転送路であるバス３５とを備えている。光学機器制御装置１には、現実空間情報取得部としてのカメラ５ａと、複数のプロジェクタ３（３ａ，３ｂ）と、複数のプロジェクタ３（３ａ，３ｂ）を移動可能にそれぞれ支持する複数の移動機構４（４ａ，４ｂ）が接続されている。なお、光学機器制御装置１には、現実空間情報取得部として、カメラ５ａに加えて又はカメラ５ａの代わりに、センサ５ｂが接続されてもよい。

ＣＰＵ３１は、光学機器制御装置１の動作の全体を実行するための演算装置である。

メインメモリ３３は、光学機器制御装置１のハードウェアがデータの消去及び書き換えが可能な記憶装置である。メインメモリ３３は、揮発性であるが、ストレージ３４より高速に動作することから、使用中のデータ又は直ぐに使用する必要が生じるデータを保存するために使用される。例えば、後述の図４に示される影除去処理を行う光学機器制御プログラムをメインメモリ３３に格納する。光学機器制御プログラムは、ＣＰＵ３１で実行される。ＣＰＵ３１が光学機器制御プログラムを実行することにより、図１に示される物体推定部１１、配置計算部１２、移動機構制御部１３、パラメータ計算部１４、及び画像データ生成部１５の全体又は一部を実現することができる。

ストレージ３４は、光学機器制御装置１のハードウェアによって、データの消去及び書き換えが可能な記憶装置であり、図１における記憶部１６に対応する。このストレージに記憶してある情報は、プログラム実行時に、必要な情報をメインメモリ３３において展開する。

カメラ５ａは、現実空間情報を取得するために必要な画像を撮影する装置である。

センサ５ｂは、現実空間情報を取得するために必要な値を取得する装置である。センサ５は、例えば、位置を計測するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、加速度を検出する加速度センサ、方位を計測する地磁気センサ、物体までの距離を計測する深度センサである。

複数のプロジェクタ３（３ａ，３ｂ）は、画像を現実空間に投影するために必要な画像投影装置である。複数の移動機構４（４ａ，４ｂ）は、複数のプロジェクタ３（３ａ，３ｂ）を移動するための装置である。

《１−２》動作
図４は、実施の形態１に係る光学機器制御装置１の動作（影除去処理）を示すフローチャートである。図４に示される処理は、現実空間情報取得部５（５ａ，５ｂ）が現実空間情報を取得するごとに（例えば、一定の周期で）実行される。

ステップＳ１１において、光学機器制御装置１の画像データ生成部１５は、複数のプロジェクタ３（３ａ，３ｂ）に画像データを提供して、対象物５１に向けて所望の画像（物体５２が存在しない場合、ユーザ５０が見ることのできる投影画像）を投影する（図２（ａ）参照）。

次のステップＳ１２において、光学機器制御装置１は、現実空間情報取得部５に、対象物５１を含む現実空間情報を取得させる。現実空間情報取得部５がカメラである場合、現実空間情報取得部５は、現実空間情報として画像データを取得し、現実空間情報取得部５がセンサである場合、現実空間情報取得部５は、現実空間情報として検出値（例えば、深度センサの場合には距離情報）を取得する。

次のステップＳ１３においては、物体推定部１１は、ステップＳ１２で取得した情報を基に、対象物５１に物体５２によって暗い領域である影５３が形成されているかを検出し、影５３を検出しない場合（ステップＳ１３においてＮＯ）、対象物５１上に所望画像が投影されていると判断できるため、影除去処理（画像補間処理）を終了する。なお、複数のプロジェクタ３（３ａ，３ｂ）のいずれのプロジェクタからの投影画像が物体５２によって遮光されているのかを検出する処理は、公知の画像処理であるが、例えば、特許文献２に記載の方法を採用してもよい。なお、影５３を検出した場合（ステップＳ１３においてＹＥＳ）、処理はステップＳ１４に進み、物体推定部１１は、物体５２の位置及び形状を推定（算出）し、処理をステップＳ１５に進める。ステップＳ１５において、配置計算部１２は、複数のプロジェクタ３（３ａ，３ｂ）の配置（位置及び姿勢）を計算する。

次のステップＳ１６では、移動機構制御部１３は、複数の移動機構４（４ａ，４ｂ）を制御することで、ステップＳ１５で計算した配置（位置及び姿勢）で、ステップＳ１６で計算した位置まで複数のプロジェクタ３（３ａ，３ｂ）を移動する（図２（ｂ）参照）。

次のステップＳ１７では、パラメータ計算部１４は、複数のプロジェクタ３（３ａ，３ｂ）の各々の投影画像の画素値をどのようにすれば影が除去された画像になるかを示すパラメータを計算し、画像生成パラメータ１６３に記憶する。

次のステップＳ１８においては、画像データ生成部１５は、複数のプロジェクタ３（３ａ，３ｂ）の各々が画像生成パラメータ１６３を基に投影する画像を生成する。

次のステップＳ１９においては、複数のプロジェクタ３（３ａ，３ｂ）で、ステップＳ１７で生成された投影画像を投影する（図２（ｃ）参照）。

《１−３》効果
以上に説明したように、実施の形態１に係る光学機器制御装置１、光学機器制御方法、及び光学機器制御プログラムによれば、図２（ａ）に示されるように、投影画像の影５３が検出された場合に、物体５２の位置及び形状を推定し、図２（ｂ）に示されるように、推定結果に基づいて複数のプロジェクタ３（３ａ，３ｂ）を移動させ、プロジェクタの配置（位置及び姿勢）とパラメータを設定する。このため、対象物５１上に物体５２が存在する場合であっても、図２（ｃ）に示されるように、影のない所望の画像（合成投影画像）を対象物５１に投影することができる。

《２》実施の形態２．
《２−１》構成
上記実施の形態１では、複数台のプロジェクタ３（３ａ，３ｂ）の配置を計算し、複数台のプロジェクタ３（３ａ，３ｂ）を移動し、複数台のプロジェクタ３（３ａ，３ｂ）の配置（位置及び姿勢）に応じた投影画像を生成することで、影のない合成投影画像（図２（ｃ）の５４）を対象物（図２（ｃ）の５１）上に投影するための制御を行う光学機器制御装置１を説明した。
これに対し、実施の形態２では、複数台の光学機器（カメラ）の配置を計算し、複数台の光学機器（カメラ）を移動し、複数台の光学機器（カメラ）の配置（位置及び姿勢）に応じた画像を取得することで、対象物を隠すように配置された任意の物体を、表示画像から除去するための制御を行う光学機器制御装置２を説明する。ただし、光学機器は、深度センサなどのような、カメラ以外の空間情報取得手段であってもよい。
なお、プロジェクタとカメラは、類似した光学モデルであり、任意の物体を除去した撮影画像を取得したい場合、実施の形態１における処理と類似の処理によって物体を除去した表示画像を生成することが可能である。

図５は、実施の形態２に係る光学機器制御装置２の構成を概略的に示す機能ブロック図である。光学機器制御装置２は、実施の形態２に係る光学機器制御方法を実施することができる装置である。また、光学機器制御装置２は、実施の形態２に係る光学機器制御プログラムを実行することができる装置である。

図６（ａ）から（ｃ）は、実施の形態２に係る光学機器制御装置２により制御される光学機器としての複数のカメラ６（６ａ，６ｂ）と複数の移動機構７（７ａ，７ｂ）を概略的に示す斜視図である。

光学機器制御装置２は、複数のカメラ６（６ａ，６ｂ）と、複数のカメラ６（６ａ，６ｂ）の配置をそれぞれ変更する複数の移動機構（例えば、ロボットアーム）７（７ａ，７ｂ）と、表示装置８とに接続され、複数のカメラ６（６ａ，６ｂ）の動作と複数の移動機構７（７ａ，７ｂ）の動作とを制御する。光学機器制御装置２と、複数のカメラ６（６ａ，６ｂ）と、複数の移動機構７（７ａ，７ｂ）と、表示装置８とは、現実空間における対象物６１上に物体（光遮蔽物）６２が存在する場合であっても、表示装置８の表示画像において、欠落箇所（図６（ａ）における物体６２の画像６２ａ）のない合成画像６１ａを表示装置８に表示することができる撮影システムを構成する。物体６２は、例えば、対象物６１上、すなわち、対象物６１と複数のカメラ６（６ａ，６ｂ）との間に存在し、動いている物体であってもよい。

光学機器制御装置２は、物体推定部２１と、配置計算部２２と、移動機構制御部２３と、パラメータ計算部２４と、画像合成部２６と、記憶部２７とを備えている。

物体推定部２１は、複数のカメラ６（６ａ，６ｂ）から現実空間情報を受け取り、任意の画像を取得するために、不必要な物体６２の領域を推定する。例えば、物体推定部２１は、複数のカメラ６（６ａ，６ｂ）が対象物６１を撮影し、複数のカメラ６（６ａ，６ｂ）により取得された複数の画像に基づいて、複数のカメラ６（６ａ，６ｂ）が対象物６１上に非撮影領域を形成する物体（光遮蔽物）６２が存在するか否かを判断し、このような物体６２が検出されたときに物体６２の配置（位置及び形状）を示す情報を取得する（図６（ａ）参照）。図６（ａ）に示されるように、対象物６１の非撮影領域は、表示装置８の表示画像において、物体６２の画像６２ａになる。なお、現実空間情報取得部がセンサである場合、現実空間情報取得部５は、現実空間情報として検出値（例えば、深度センサの場合には距離情報）を取得する。

配置計算部２２は、記憶部２７から複数のカメラ６（６ａ，６ｂ）の配置（位置及び姿勢）に必要な情報を取得し、物体６２を除去した画像が取得できる配置（位置及び姿勢）を計算する。複数のカメラ６（６ａ，６ｂ）に関する情報は、予め記憶部１６に記憶される。例えば、配置計算部２２は、記憶部１６から複数のカメラ６（６ａ，６ｂ）の配置（位置及び姿勢）に必要な情報を取得し、物体６２の配置を示す情報に基づいて、対象物６１上に非撮影領域が形成されないようにするための複数のカメラ６（６ａ，６ｂ）の配置（例えば、位置及び姿勢）を計算する。ここで、位置は、図６（ａ）から（ｃ）に示すｘｙｚ直交座標系で示される複数のカメラ６（６ａ，６ｂ）の座標であり、姿勢は、複数のカメラ６（６ａ，６ｂ）の光軸（一点鎖線）ＡＸの方向である。

移動機構制御部２３は、配置計算部２２によって計算された複数のカメラ６（６ａ，６ｂ）の配置に基づいて、対象物６１上に非撮影領域が形成されないようにする位置に複数のカメラ６（６ａ，６ｂ）が配置されるように複数の移動機構７（７ａ，７ｂ）を制御する（図６（ｂ）参照）。複数の移動機構７（７ａ，７ｂ）は、複数のカメラ６（６ａ，６ｂ）の位置及び姿勢を変更可能な機構である。複数の移動機構７（７ａ，７ｂ）は、ロボットアームであるが、自走式ロボット、空中移動型機器、その他の機構であってもよい。

記憶部２７は、制御対象である、複数のカメラ６（６ａ，６ｂ）の各々の焦点距離２７１と画像生成に使用される各種の画像生成パラメータ２７２などのような、カメラの特性に関する情報を記録する。

パラメータ計算部２４は、複数の移動機構７（７ａ，７ｂ）によって移動した複数のカメラ６（６ａ，６ｂ）の位置と、記憶部２７から取得したカメラ６（６ａ、６ｂ）の各々に関する情報から、カメラ６（６ａ，６ｂ）の各々が取得した画像を補間し合うために必要な画像のパラメータを計算し、記憶部２７の画像生成パラメータ２７２として記憶する。複数のカメラ６（６ａ，６ｂ）におけるパラメータとしては、例えば、カメラにおける焦点距離、画像中心、レンズ歪などの機器に固有の内部パラメータと、カメラの位置及び姿勢を表す外部パラメータとがある。

画像データ生成部２５は、画像生成パラメータ２７２から取得した情報を基に、複数のカメラ６（６ａ，６ｂ）で取得された画像データに処理を施し、複数の画像データの１つにおいて欠落している画像部分を、他の画像データで補間するための補間画像生成処理を行う。

画像合成部２６は、画像データ生成部２５で生成された画像を合成し、物体６２を除去した合成画像を生成する（図６（ｃ）参照）。

図７は、実施の形態２における光学機器制御装置２のハードウェア構成の一例を示す図である。光学機器制御装置２は、コンピュータであってもよい。光学機器制御装置２は、情報処理部としてのプロセッサであるＣＰＵ４１と、ＧＰＵ４２と、メインメモリ４３と、ストレージ４４と、データ交換用のデータ転送路であるバス４５とを備えている。光学機器制御装置２には、複数のカメラ６（６ａ，６ｂ）と、複数のカメラ６（６ａ，６ｂ）を移動可能にそれぞれ支持する複数の移動機構７（７ａ，７ｂ）が接続されている。ＣＰＵ４１、ＧＰＵ４２、メインメモリ４３、及びストレージ４４は、図３におけるＣＰＵ３１、ＧＰＵ３２、メインメモリ３３、及びストレージ３４と同様である。ＣＰＵ４１は、後述の図８に示される物体除去処理を行う光学機器制御プログラムをメインメモリ４３に格納する。光学機器制御プログラムは、ＣＰＵ４１で実行される。ＣＰＵ４１が光学機器制御プログラムを実行することにより、図５に示される物体推定部２１、配置計算部２２、移動機構制御部２３、パラメータ計算部２４、画像データ生成部２５、及び画像合成部２６の全体又は一部を実現することができる。

《２−２》動作
図８は、実施の形態２に係る光学機器制御装置２の動作（物体除去処理）を示すフローチャートである。図８に示される処理は、カメラ６（６ａ，６ｂ）が現実空間情報を取得するごとに（例えば、一定の周期で）実行される。

ステップＳ２１において、光学機器制御装置２は、現実空間情報取得部としてのカメラ６（６ａ，６ｂ）に、対象物６１を含む現実空間情報を取得させる（図６（ａ）参照）。

次のステップＳ２２においては、物体推定部２１は、ステップＳ２１で取得した情報を基に、対象物６１に非撮影領域を形成する物体６２が存在するかを検出し、物体６２を検出しない場合（ステップＳ２２においてＮＯ）、対象物６１を撮影できると判断できるため、物体除去処理（画像補間処理）を終了する。なお、複数のカメラ６（６ａ，６ｂ）のいずれのカメラの画像に物体６２が映っているか（すなわち、対象物６１が物体６２によって隠れているか）を検出する処理は、公知の画像処理であるが、例えば、特許文献２に記載の方法を採用してもよい。なお、物体６２を検出した場合（ステップＳ２２においてＹＥＳ）、処理はステップＳ２３に進み、物体推定部２１は、物体６２の位置及び形状を推定（算出）し、処理をステップＳ２４に進める。ステップＳ２４において、配置計算部２２は、複数のカメラ６（６ａ，６ｂ）の配置（位置及び姿勢）を計算する。

次のステップＳ２５では、移動機構制御部２３は、複数の移動機構７（７ａ，７ｂ）を制御することで、ステップＳ２４で計算した配置（位置及び姿勢）で、ステップＳ２５で計算した位置まで複数のカメラ６（６ａ，６ｂ）を移動する（図６（ｂ）参照）。

次のステップＳ２６では、パラメータ計算部２４は、複数のカメラ６（６ａ，６ｂ）の各々の投影画像の画素値をどのようにすれば物体６２が除去された画像になるかを示すパラメータを計算し、画像生成パラメータ２７２に記憶する。

次のステップＳ２７においては、画像データ生成部２５は、複数のカメラ６（６ａ，６ｂ）の各々が画像生成パラメータ２７２を基に取得された画像データを変更する。つまり、画像データ生成部２５は、カメラ６（６ａ，６ｂ）の各々は、画像生成パラメータ２７２を用いて、撮影画像から補間画像を生成する。

次のステップＳ２８においては、画像合成部２６は、ステップＳ２７で生成された複数の画像（補間画像）を合成して１つの合成画像として表示装置８に表示させる（図６（ｃ）参照）。

《２−３》効果
以上に説明したように、実施の形態２に係る光学機器制御装置２、光学機器制御方法、及び光学機器制御プログラムによれば、図６（ａ）に示されるように、非撮影領域を形成する物体６２が検出された場合に、物体６２の位置及び形状を推定し、図６（ｂ）に示されるように、推定結果に基づいて複数のカメラ６（６ａ，６ｂ）を移動させ、複数のカメラ６（６ａ，６ｂ）の配置（位置及び姿勢）とパラメータを設定する。このため、対象物６１上に物体６２が存在する場合であっても、図６（ｃ）に示されるように、物体６２のない所望の合成画像を表示装置８に表示させることができる。

１，２ 光学機器制御装置、 ３，３ａ，３ｂ プロジェクタ（光学機器）、 ４，４ａ，４ｂ 移動機構、 ５ 現実空間情報取得部、 ５ａ 現実空間情報取得部（カメラ）、 ５ｂ 現実空間情報取得部（センサ）、 ６，６ａ，６ｂ カメラ（光学機器）、 ７，７ａ，７ｂ 移動機構、 ８ 表示装置、 １１ 物体推定部、 １２ 配置計算部、 １３ 移動機構制御部、 １４ パラメータ計算部、 １５ 画像データ生成部、 １６ 記憶部、 ２１ 物体推定部、 ２２ 配置計算部、 ２３ 移動機構制御部、 ２４ パラメータ計算部、 ２５ 画像データ生成部、 ２６ 画像合成部、 ２７ 記憶部、 ５１ 対象物、 ５２ 物体（光遮蔽物）、 ５３ 影、 ５４ 画像（合成投影画像）、 ６１ 対象物、 ６１ａ 表示された対象物、 ６２ 物体（光遮蔽物）、 ６２ａ 表示された物体、 ６４ 画像（合成画像）、 ＡＸ 光軸。

Claims (10)

1. 対象物上に複数の画像を投影する複数の光学機器と前記複数の光学機器の配置を変更する複数の移動機構とを制御する光学機器制御装置であって、
   前記複数の光学機器が前記対象物上に画像を投影しているときに現実空間情報取得部によって取得された現実空間情報に基づいて、前記複数の光学機器から投影された画像が前記対象物上に到達しない領域である影が形成されているか否かを判断し、前記影が検出されたときに前記影を形成する物体の配置を示す情報を取得する物体推定部と、
   前記物体の配置を示す情報に基づいて、前記影が形成されない前記複数の光学機器の配置を計算する配置計算部と、
   前記配置計算部によって計算された前記複数の光学機器の配置に基づいて、前記影が形成されない位置に前記複数の光学機器が配置されるように前記複数の移動機構を制御する移動機構制御部と、
   を有することを特徴とする光学機器制御装置。
2. 前記移動機構制御部は、前記複数の移動機構を制御することで、前記複数の光学機器の各々の位置と姿勢を変更することを特徴とする請求項１に記載の光学機器制御装置。
3. 前記複数の光学機器の各々の位置及び姿勢に応じて、前記複数の光学機器が投影する前記複数の画像が連結された１つの合成画像が生成されるようにする、前記複数の光学機器の投影条件を示すパラメータを計算することを特徴とする請求項２に記載の光学機器制御装置。
4. 対象物を撮影することで前記対象物の複数の画像を取得する複数の光学機器と前記複数の光学機器の配置を変更する複数の移動機構とを制御する光学機器制御装置であって、
   前記複数の光学機器により取得された前記複数の画像に基づいて、前記複数の光学機器が前記対象物上に非撮影領域を形成する物体が存在するか否かを判断し、前記物体が検出されたときに前記物体の配置を示す情報を取得する物体推定部と、
   前記物体の配置を示す情報に基づいて、前記非撮影領域が形成されない前記複数の光学機器の配置を計算する配置計算部と、
   前記配置計算部によって計算された前記複数の光学機器の配置に基づいて、前記非撮影領域が形成されない位置に前記複数の光学機器が配置されるように前記複数の移動機構を制御する移動機構制御部と、
   を有することを特徴とする光学機器制御装置。
5. 前記移動機構制御部は、前記複数の移動機構を制御することで、前記複数の光学機器の各々の位置と姿勢を変更することを特徴とする請求項４に記載の光学機器制御装置。
6. 前記複数の光学機器の各々の位置及び姿勢に応じて、前記複数の光学機器が撮影する前記複数の画像が連結された１つの合成画像が生成されるようにする、前記複数の光学機器の撮影条件を示すパラメータを計算することを特徴とする請求項５に記載の光学機器制御装置。
7. 対象物上に複数の画像を投影する複数の光学機器と前記複数の光学機器の配置を変更する複数の移動機構とを制御するための光学機器制御方法であって、
   前記複数の光学機器が前記対象物上に画像を投影しているときに現実空間情報取得部によって取得された現実空間情報に基づいて、前記複数の光学機器から投影された画像が前記対象物上に到達しない領域である影が形成されているか否かを判断し、前記影が検出されたときに前記影を形成する物体の配置を示す情報を取得するステップと、
   前記物体の配置を示す情報に基づいて、前記影が形成されない前記複数の光学機器の配置を計算するステップと、
   計算された前記複数の光学機器の配置に基づいて、前記影が形成されない位置に前記複数の光学機器が配置されるように前記複数の移動機構を制御するステップと、
   を有することを特徴とする光学機器制御方法。
8. 対象物を撮影することで前記対象物の複数の画像を取得する複数の光学機器と前記複数の光学機器の配置を変更する複数の移動機構とを制御するための光学機器制御方法であって、
   前記複数の光学機器により取得された前記複数の画像に基づいて、前記複数の光学機器が前記対象物上に非撮影領域を形成する物体が存在するか否かを判断し、前記物体が検出されたときに前記物体の配置を示す情報を取得するステップと、
   前記物体の配置を示す情報に基づいて、前記非撮影領域が形成されない前記複数の光学機器の配置を計算するステップと、
   計算された前記複数の光学機器の配置に基づいて、前記非撮影領域が形成されない位置に前記複数の光学機器が配置されるように前記複数の移動機構を制御するステップと、
   を有することを特徴とする光学機器制御方法。
9. 対象物上に複数の画像を投影する複数の光学機器と前記複数の光学機器の配置を変更する複数の移動機構とを制御するための光学機器制御プログラムであって、
   コンピュータに、
   前記複数の光学機器が前記対象物上に画像を投影しているときに現実空間情報取得部によって取得された現実空間情報に基づいて、前記複数の光学機器から投影された画像が前記対象物上に到達しない領域である影が形成されているか否かを判断し、前記影が検出されたときに前記影を形成する物体の配置を示す情報を取得する処理と、
   前記物体の配置を示す情報に基づいて、前記影が形成されない前記複数の光学機器の配置を計算する処理と、
   計算された前記複数の光学機器の配置に基づいて、前記影が形成されない位置に前記複数の光学機器が配置されるように前記複数の移動機構を制御する処理と、
   を実行させることを特徴とする光学機器制御プログラム。
10. 対象物を撮影することで前記対象物の複数の画像を取得する複数の光学機器と前記複数の光学機器の配置を変更する複数の移動機構とを制御するための光学機器制御プログラムであって、
    コンピュータに、
    前記複数の光学機器により取得された前記複数の画像に基づいて、前記複数の光学機器が前記対象物上に非撮影領域を形成する物体が存在するか否かを判断し、前記物体が検出されたときに前記物体の配置を示す情報を取得する処理と、
    前記物体の配置を示す情報に基づいて、前記非撮影領域が形成されない前記複数の光学機器の配置を計算する処理と、
    計算された前記複数の光学機器の配置に基づいて、前記非撮影領域が形成されない位置に前記複数の光学機器が配置されるように前記複数の移動機構を制御する処理と、
    を実行させることを特徴とする光学機器制御プログラム。

Images