JPWO2016021022A1 - 投写型映像表示装置及びその制御方法 - Google Patents

Abstract

投写型映像表示装置１は、複数の映像信号を入力する信号入力部１２０と、投写面に映像を投写表示する投写部１１５と、投写面を操作する１あるいは複数の操作者を撮影する撮像部１００と、撮像部の撮影画像から操作者の操作を検出する操作検出部１０４〜１０９と、投写部から投写する映像の表示を制御する制御部１１０と、を備える。制御部は、操作検出部の検出結果に基づいて、信号入力部に入力される映像信号の中から、投写部で投写表示する映像信号を選択する。

Description

本発明は、投写面に映像を投写して表示する投写型映像表示装置及びその制御方法に関するものである。

投写型映像表示装置により映像を投写する際に、ユーザ操作を撮影画像から検出し、映像の表示位置や表示方向をユーザにとって見やすい状態に制御する技術が提案されている。

特許文献１では、投影画像上のユーザ操作を検出可能な画像投影装置において、ユーザがユーザインタフェースの操作に用いる操作物体（例えば手）が投影画像上へ／から移動する方向を、投影画像を含む投影面の領域を撮像した画像から検出し、検出した方向に応じて、ユーザインタフェースの表示位置又は表示方向を決定し、投影させる構成が開示されている。

また、特許文献２では、ユーザが複数の場合もより見易い表示状態を実現するために、表示対象に対向する観察者の人数及び位置を取得し、取得した観察者の人数及び位置に基づき、表示する画像の向きを含む表示態様を決定し、決定した表示態様で画像を表示対象上に表示させる構成が開示されている。

特開２００９−６４１０９号公報 特開２０１３−７６９２４号公報

従来、投写型映像表示装置に複数の映像信号を入力し、映像信号を切替えて投写する場合、その信号切替は装置に備えられたスイッチやリモコンを操作することで行っている。しかしながら、ユーザが机上面やスクリーンなどの投写面の近傍に位置し、投写している映像を指さしして説明するような場合、スイッチやリモコンを用いての信号切替は不便である。

前記特許文献１および２に開示される技術では、撮影画像からユーザ操作を検出し、既に選択された映像の表示位置や表示方向をユーザにとって見やすい状態に制御するものであって、ユーザ画像により複数の映像信号を切替えることについては特に考慮されていない。仮に、特許文献１、２に開示される技術を映像信号の切替に適用する場合には、表示状態への操作と信号切替への操作とが混在し、誤った制御を起こす恐れがある。よって、両者の操作を識別する手法が必要になる。

本発明の目的は、複数の映像信号を入力する投写型映像表示装置において、撮影画像からユーザ操作を検出して、表示する映像信号の切替を好適に行うことにある。

本発明の投写型映像表示装置は、複数の映像信号を入力する信号入力部と、投写面に映像を投写表示する投写部と、投写面を操作する１あるいは複数の操作者を撮影する撮像部と、撮像部の撮影画像から操作者の操作を検出する操作検出部と、投写部から投写する映像の表示を制御する制御部と、を備え、制御部は、操作検出部の検出結果に基づいて、信号入力部に入力される映像信号の中から、投写部で投写表示する映像信号を選択する。

本発明によれば、表示する映像信号の切替を好適に行うことができ、使い勝手の良い投写型映像表示装置を実現する。

投写型映像表示装置の表示画面に対してユーザが操作する状態の一例を示す図。 実施例１の投写型映像表示装置の構成を示す図。 ２つの照明で生じるユーザの指の影の形状を示す図。 ユーザの操作位置による影の形状の影響を示す図。 複数の指で操作する場合の影の形状を示す図。 輪郭線による指さし方向の決定を説明する図。 長方形状の机に合わせて投写する例を示す図。 円形の机に合わせて投写する例を示す図。 複数のユーザに合わせて複数の映像を表示する例を示す図。 指操作による表示画面の平行移動の例を示す図。 指操作による表示画面の回転の例を示す図。 指操作による表示画面の拡大・縮小の例を示す図。 両手の指の操作により表示画面を回転させる例を示す図。 両手の指の操作により表示画面を拡大・縮小する例を示す図。 実施例２の投写型映像表示装置の構成を示す図。 複数の信号出力装置からの映像を表示する状態を示す図。 表示映像の入力切替操作の一例を示す図。 表示映像の入力切替操作の他の例を示す図。 表示映像の入力切替操作の他の例を示す図。 信号出力装置へのタッチ操作を組み合わせた操作の例を示す図。 実施例３の投写型映像表示装置の構成を示す図。 複数映像の同時表示操作の一例を示す図。 複数映像の同時表示操作の他の例を示す図。 複数映像の同時表示操作の他の例を示す図。 映像画面と描画用画面とを同時表示する例を示す図。 非接触による入力切替操作の一例を示す図（実施例４）。 非接触による入力切替操作の他の例を示す図。 非接触による入力切替操作の他の例を示す図。

以下、本発明の実施形態について図面を用いて説明する。

図１は、投写型映像表示装置１の表示画面に対してユーザ（操作者）３が操作する状態の一例を示す図である。ここでは、投写型映像表示装置１を投写面２である机上に設置し、２つの表示画面２０２、２０３を机上に投写する例を示している。表示画面２０２と２０３は、ＯＳＤ（オンスクリーンディスプレイ）の画面に相当し、表示画面２０２、２０３に表示される映像は最大投写範囲２１０の中の部分映像である。これにより、例えば、投写面２上の最大投写範囲２１０に装置の設計図を表示し、表示画面２０２、２０３に設計図の解説資料を表示するような使い方が可能である。なお、投写面２は机上に限らず、スクリーンやその他の構造物の面であってもよい。

投写型映像表示装置１は、ユーザ操作検出用に、カメラ（撮像部）１００と２つの照明１０１、１０２を備える。２つの照明１０１、１０２はユーザ３の指３０を照射し、カメラ１００は指３０とその近傍を撮像する。ユーザ３は操作物である指３０を、投写面２の表示画面２０３に接近させ、またある位置に接触させることで、表示映像に対する所望の操作（ジェスチャ操作）を行う。すなわち、投写面２の内、カメラ１００で撮像可能な領域は、ユーザ３が投写型映像表示装置１に対して操作可能な操作面でもある。

指３０が投写面２に接近または接触すると指３０の影の形状が変化することから、投写型映像表示装置１はカメラ１００の画像を解析し、投写面２に対する指の接近度、接触点、指さし方向を検出する。そして、ユーザの行う様々な操作に応じて、映像の表示形態や映像信号切替などの制御を行う。ユーザ３による各種操作（ジェスチャ操作）と表示制御の例については、後に詳しく述べる。

図２は、実施例１の投写型映像表示装置１の構成を示す図である。投写型映像表示装置１は、カメラ１００、２つの照明１０１と１０２、影領域抽出部１０４、特徴点検出部１０５、接近度検出部１０６、接触点検出部１０７、輪郭検出部１０８、方向検出部１０９、制御部１１０、表示制御部１１１、駆動回路部１１２、入力端子部１１３、入力信号処理部１１４、投写部１１５を含む。このうち、影領域抽出部１０４、特徴点検出部１０５、接近度検出部１０６、接触点検出部１０７、輪郭検出部１０８、方向検出部１０９は、ユーザ３の操作を検出する操作検出部である。以下、操作検出部を中心に各部の構成と動作を説明する。

カメラ１００は、イメージセンサ、レンズなどで構成され、ユーザ３の操作物である指３０を含む画像を撮像する。２つの照明１０１と１０２は、発光ダイオード、回路基板、レンズなどで構成され、投写面２およびユーザ３の指３０に照明光を照射して、カメラ１００で撮像する画像内に指３０の影を投影する。なお、照明１０１と１０２は赤外光照明とし、カメラ１００は赤外光カメラで構成しても良い。これにより、カメラ１００で撮像する赤外光画像を、操作検出機能付投写型映像表示装置１から投写される映像信号の映像である可視光映像から分離して取得することができる。

影領域抽出部１０４は、カメラ１００で得られた画像から影領域を抽出し影画像を生成する。例えば、操作検出時の撮像画像から予め撮像した投写面２の背景画像を減算して差分画像を生成し、差分画像の輝度を所定の閾値Ｌｔｈで二値化して、閾値以下の領域を影領域とすれば良い。さらに、抽出した影に対して互いに連結していない影の領域をそれぞれ別の影として区別する、いわゆるラベリング処理を行う。ラべリング処理により、抽出した複数の影についてどの指に対応するか、すなわち１本の指に対応する対となる２つの影を識別することができる。

特徴点検出部１０５は、影領域抽出部１０４で抽出した影画像内の特定の位置（以下、特徴点と呼ぶ）を検出する。例えば特徴点として、影画像内の先端位置（指先位置に対応）を検出する。特徴点検出のためには種々の手法が用いられるが、先端位置の場合はその影画像を構成する画素の座標データから検出可能であり、あるいは特徴点の持つ特有の形状に一致する部分を画像認識などにより検出することでも可能である。特徴点は１つの影から１箇所検出されるので、１本の指（２つの影）に対しては２か所検出される。

接近度検出部１０６は、特徴点検出部１０５で検出した２つの特徴点間の距離ｄを測定し、距離ｄに基づいて指と操作面との間隙ｓ（接近度）を検出する。これにより、指が操作面に接触しているか、接触していないかを判定する。

接触点検出部１０７は、接近度検出部１０６により指が操作面に接触していると判定した場合、その特徴点の位置に基づいて、操作面に対する指の接触点を検出し、その座標を算出する。

輪郭検出部１０８は、影領域抽出部１０４で抽出した影画像から影領域の輪郭を抽出する。例えば、影画像内を一定の方向に走査して輪郭追跡の開始画素を決定し、開始画素の近傍画素を反時計回りで追跡することで輪郭が得られる。

方向検出部１０９は、輪郭検出部１０８で検出した輪郭線からほぼ直線状の線分を抽出する。そして、抽出した輪郭線の方向に基づいて、操作面上の指の指さし方向を検出する。

なお、上記した各検出部の処理は、上記手法に限らず、他の画像処理のアルゴリズムを用いても良い。また、上記した各検出部は、回路基板によるハードウェアだけでなく、ソフトウェアで構成することもできる。

制御部１１０は、装置全体の動作を制御し、各検出部で検出した操作面に対する指の接近度、接触点座標、指さし方向などの検出結果データを生成する。

表示制御部１１１は、制御部１１０で生成した検出結果データに基づいて、映像信号切替、映像表示位置、映像表示方向、拡大縮小などの表示制御データを生成する。そして、入力端子１１３および入力信号処理部１１４を経由する映像信号に対して、表示制御データに基づいた表示制御処理を行う。また表示制御部１１１は、ユーザが文字や図形を描画するための描画用画面を生成する。

駆動回路部１１２は、処理された映像信号を表示映像として投写するための処理を行う。表示画像は投写部１１５から投写面に対して投写される。

ここまでの各部は一つの投写型映像表示装置１に内蔵されるとして説明したが、これらの一部が別ユニットとして構成され、伝送線で接続される構成であっても構わない。また、図２にはバッファやメモリ等の記載は省略しているが、必要なバッファやメモリ等は適宜搭載すればよい。

以下、ユーザ操作検出（ジェスチャ検出）の基本となる指接触の検出法を説明する。
図３は、２つの照明で生じるユーザの指の影の形状を示す図である。（ａ）は指３０と投写面２が接触していない状態、（ｂ）は接触している状態である。

（ａ）に示すように指３０が投写面２に接触していない状態（間隙ｓ≠０）では、２つの照明１０１、１０２からの光は指３０で遮断され、それぞれ影４０１、４０２（斜線で示す）が形成される。カメラ画像では、２つの影４０１、４０２は指３０の両側に互いに離れて存在する。

一方、（ｂ）に示すように指３０の指先が投写面２に接触している状態（間隙ｓ＝０）では、２つの影４０１、４０２は、指３０の指先の位置で接近して存在する。なお、影４０１、４０２の一部領域は指３０の陰に隠れているが、この隠れた部分は影領域には含めない。本実施例では、指３０が投写面２に接近すると影４０１と影４０２と間隔が接近する性質を利用して、指３０と投写面２との接触を判定する。

影４０１と影４０２と間隔を測定するために、それぞれの影の中に特徴点６０１，６０２を決め、特徴点間の距離ｄを測定する。特徴点は、それぞれの影４０１、４０２の先端位置（すなわち指先位置）に設定すれば、投写面との接触位置の対応が取り易くなる。指が投写面に接触しない状態においても、特徴点間の距離ｄの大きさにより指と投写面の接近度（間隙ｓ）をレベル分けし、指の接近度に応じた制御を行うこともできる。すなわち、指が接触状態で行う接触操作モードと、指が非接触状態で行う非接触操作モード（空中操作モード）を設定し、両者で制御内容を切替えることができる。

図４は、ユーザの操作位置による影の形状の影響を示す図である。ここでは、ユーザの操作位置が投写面２の中央から左側にずれた場合（ａ）と、右側にずれた場合（ｂ）のカメラ画像を比較している。（ａ）と（ｂ）ではカメラ１００から見たユーザの操作位置は変化するが、それらのカメラ画像では、指３０（３０’）に対する影４０１（４０１’）、４０２（４０２’）の位置関係は変わらない。すなわち、ユーザ操作位置に関係なく、常に指３０（３０’）の両側に影４０１（４０１’）と４０２（４０２’）が存在する。これは、カメラ１００と照明１０１、１０２の位置関係により一義的に決定されるからである。従って、ユーザが投写面２に対してどの位置で操作しても２つの影４０１、４０２の検出が可能であり、本実施例の操作検出方法が有効に適用できる。

図５は、複数の指で操作する場合の影の形状を示す図である。手を開いた状態で複数の指３１、３２・・・を操作面に接触させた際に、各指に対し、左側の影４１１、４２１・・・と、右側の影４１２、４２２・・・が形成される。そして、各影に対して特徴点を設定する。ここでは、影４１１、４１２に対する特徴点６１１、６１２と、影４２１、４２２に対する特徴点６２１、６２２を示す。対応する特徴点６１１、６１２、あるいは特徴点６２１、６２２間の距離ｄを測定することで、それぞれの指３１、３２の接近度や接触点を求めることができる。これより本実施例によれば、手を開いた状態でも複数の指についての接触を独立して検出できるので、マルチタッチ操作に適用可能となる。

図６は、輪郭線による指さし方向の決定を説明する図である。指３０の方向（指さし方向）を傾けたときの影４０１、４０２の形状を示し、指さし方向の変化に伴って影４０１、４０２の向きも変化する。指さし方向を検出するために、まず輪郭検出部１０８にて影４０１、４０２に対する輪郭線５０１、５０２を検出する。なお、輪郭線の検出では、指先などの曲線部分を除去して、略直線状の線分からなる輪郭線を検出する。その後、方向検出部１０９は次の方法で指さし方向を決定する。

（ａ）では、影４０１、４０２に対する内側の輪郭線５０１、５０２を使用する。そして、内側の輪郭線５０１、５０２の傾き方向７０１、７０２のいずれかを指さし方向として決定する。
（ｂ）では、影４０１、４０２に対する外側の輪郭線５０１’、５０２’を使用する。そして、外側の輪郭線５０１’、５０２’の傾き方向７０１’、７０２’のいずれかを指さし方向として決定する。
（ｃ）では、影４０１、４０２に対する内側の輪郭線５０１、５０２を使用する。そして、内側の輪郭線５０１、５０２の中線の傾き方向７０３を指さし方向として決定する。この場合には２つの輪郭線５０１、５０２の平均方向から求めるので、より精度が高くなる。なお、外側の輪郭線５０１’、５０２’の中線方向を指さし方向としても良い。

以上が、投写型映像表示装置１におけるユーザ操作の検出方法である。以上説明した指接触点および指さし方向の検出方式では、指あるいはこれに相当する細長い操作物であれば操作が可能である。これは、ペン先から所定の光を発光して認識処理を行う発光ペン方式に比べて、専用の発光ペン等を準備する必要がないので大幅に使い勝手がよい。

続いて、ユーザ操作によって実現する表示画面の制御の例について説明する。
まず、投写面における表示画面数、表示の向き、表示の位置、表示の大きさ等の基本設定について説明する。これらの基本設定は、初期状態では投写型映像表示装置１に設定されたディフォルト条件に従って、あるいはユーザがマニュアル操作を行って設定する。装置を使用中、ユーザの人数や位置が変化することがある。その場合は、ユーザの人数や位置と投写面の形状等を検出し、それに応じて表示画面数、表示位置、表示向き、表示の大きさ等を視認しやすい状態に変更する。

ここで、ユーザの人数や位置、投写面の形状等の認識は、投写型映像表示装置１のカメラ１００の撮影画像を用いて行う。投写型映像表示装置が机上に設置される場合、認識物（ユーザや投写面）との距離が近いことや、認識物との間を障害物によって遮蔽される頻度が少ないことなどから有利となる。なお、カメラ１００は指検出等によるユーザ３の操作を撮影するためのものとし、ユーザ３の位置や投写面２の形状を撮影するために別のカメラを備えてもよい。

以下、投写面の形状やユーザの位置等を認識して、これに合わせて表示画面の表示向きを決定する例を示す。
図７は、長方形状の机に合わせて投写する例を示す図である。（ａ）では、投写型映像表示装置１のカメラの撮影画像から、ユーザ３が長方形状の机である投写面２付近にいることが認識される。さらにユーザ３と机の縁との最接近部３０２の机の縁の位置が認識される。（ｂ）は表示画面２０２の向きを示し、最接近部３０２の位置の縁の方向と表示映像の底辺が平行、かつ３０２の位置が下側となる向きに、表示画面２０２の表示方向を決定する。

図８は、円形の机に合わせて投写する例を示す図である。（ａ）では、投写型映像表示装置１のカメラの撮影画像から、ユーザ３が円形の机である投写面２付近にいることが認識される。さらにユーザ３と机の縁との最接近部３０３の机の縁の位置が認識される。（ｂ）は表示画面２０２の向きを示し、最接近部３０３の位置の縁の方向と表示映像の底辺が平行、かつ３０３の位置が下側となる向きに、表示画面２０２の表示方向を決定する。

図９は、複数のユーザに合わせて複数の映像を表示する例を示す図である。（ａ）は四角形状の机である投写面２に投写する場合、（ｂ）は円形の机である投写面２に投写する場合である。いずれもカメラにより複数のユーザとその位置を検出し、その位置から最も接近した机の縁の位置と形状から、表示画面２０２の位置と表示方向を決定している。このように、ユーザ３に最も近い机の縁の形状から自動的に表示方向を決めることが可能となる。

次に、表示中の画面を、ユーザ３のジェスチャ操作により表示状態を変更するいくつかの例について説明する。この場合、ユーザの指先は表示画面２０２（投写面２）に接触させ、指先の位置を移動させることで操作する。投写型映像表示装置１により投写面２に映像を投写できる範囲を符号２１０で示している。最大投写範囲２１０の表示範囲内には、例えば２つの表示画面２０２と２０３が表示される。

図１０は、指操作による表示画面の平行移動の例を示す図である。（ａ）は操作前、（ｂ）は操作後の状態を示す。（ａ）では表示画面２０３に指を接触させ、指の向きを変えずに所望の方向（上下方向、左右方向、斜め方向のいずれか）に移動させる。すると（ｂ）のように、表示画面２０２，２０３のうち指が接触している表示画面２０３のみが、画面２０３’のように指の動きと同様に移動する。これにより、所望の表示画面をユーザが望む位置に移動させることができる。

図１１は、指操作による表示画面の回転の例を示す図である。（ａ）では表示画面２０３に接触させた指を回転させる。すると（ｂ）のように、指が接触している表示画面２０３のみが、画面２０３’のように指の動きに合わせて表示向きが回転する。これにより、所望の表示画面をユーザの所望の向きに回転させることができる。

図１１の回転操作では、ユーザ操作のうち指さし方向を検出する。よって（ｂ）で示すように、接触点の位置自体は変化させずに、指の方向を回転させた場合でも表示画面の回転操作を実現できる。これは、タブレット端末等のタッチセンサでは実現が困難な回転操作であり、本実施例の構成によって初めて実現するものである。

図１２は、指操作による表示画面の拡大・縮小の例を示す図である。（ａ）で表示画面２０２に接触させた２本の指を、長方形の向かい合う頂点上に置いたかのように位置させ、（ｂ）でその向かい合う頂点同士を結ぶ対角線を押し広げるように２本の指間の距離を広げる。すると、操作された表示画面２０２のみが押し広げた分だけ画面を拡大され、画面２０２’のようになる。一方、表示画面２０２に接触させた２本の指を接近させるように動かせば、画面を縮小させることもできる。画面の拡大・縮小操作は、前記した画面の移動、回転操作と並行して行うことで、定められた最大投写範囲２１０を有効に使って各表示画面を表示することができる。

その他の操作として、表示画面を分割して画面数を増加させることも可能である。ユーザは表示画面に指を接触させながら、画面を切断するように指を移動することで、同じ表示内容の２つの画面を生成することができる。

次に、ユーザの両手の指、すなわち複数の指を用いた表示画面操作の例を説明する。複数の指を用いた画面操作によれば、回転処理やサイズ変更処理において表示画面を明確に特定し、また、制御部の処理を効率化することが可能になる。

図１３は、両手の指の操作により表示画面を回転させる例を示す図である。（ａ）のように、２本の指の両方が表示画面２０３内に接触している状態で、（ｂ）のように、２本の指の接触点を結ぶ直線の傾きが変わるように２本の指を動かす。すると、投写型映像表示装置１は、当該傾きの変化に対応するように表示角度を変更し、画面２０３’のように表示する。これにより、表示画面の回転処理が可能となる。

図１４は、両手の指の操作により表示画面を拡大・縮小する例を示す図である。（ａ）のように、２本の指の両方が表示画面２０２内で接触している状態で、（ｂ）のように、２本の指の接触点を結ぶ直線の距離が長くなるように２本の指を動かす。すると、投写型映像表示装置１は、当該長さの変化に対応するように表示サイズを変更し、画面２０２’のように表示する。これにより、表示画面の拡大処理が可能となる。逆に、２本の指の接触点を結ぶ直線の距離が短くなる場合には、表示画面の縮小処理を行う。

なお、上記した回転、拡大・縮小操作等での誤動作をなくすため、２本の指の両方が表示画面内に接触している場合に動作を可能とし、一方の指が表示画面の外にある場合には、動作しないようにするとよい。

また、上記の操作において、２本の指の接触位置はこれら２本の指が空中から表示画面（投写面）に接触した最初の位置を採用する。よって、これらの指が投写面に接触しながら表示画面の外から内に移動してきた場合などは、動作をしないようにする。これにより、処理を簡素化し制御部１１０の処理効率が向上する。また、複数の表示画面のうち、処理対象となる表示画面を明確に特定することができる。

また、上記の操作では２本の指の接触位置を検出するが、制御部１１０は、カメラ１００で検出された複数の指のうち、表示画面（投写面）に接触した時間差が所定の時間内である２本の指を、上記操作に用いられた指の組み合わせと判断する。これにより、２本の指が接触する時間差に伴う誤動作を回避できる。

以上説明したように、実施例１によれば、指接触検出等による表示画面操作を精度良く効率的に行う投写型映像表示装置を実現できる。

実施例２では、ユーザのジェスチャ操作により、複数の信号出力装置から入力する表示映像の入力切替を行う機能について説明する。

図１５は、実施例２の投写型映像表示装置１の構成を示す図である。本実施例の構成では、実施例１（図２）の入力端子１１３に代えて、信号入力部１２０を備える。信号入力部１２０は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）端子、ＶＧＡ（Video Graphics Array）端子、コンポジット端子、ＬＡＮ（Local Area Network）端子およびワイヤレスＬＡＮモジュールを介したネットワーク映像伝送等の信号入力部であり、投写型映像表示装置１の外部にある信号出力装置より、映像信号及び操作検出信号を含む入力信号１２１を入力する。信号入力部１２０の信号入力方法は、上記した端子、モジュール等に限らず、映像信号及び操作検出信号を含む入力信号１２１を入力できる方法であれば良い。信号出力装置４ａ、４ｂ、４ｃ、４ｄは、ＰＣ（Personal Computer）、タブレット端末、スマートフォン、携帯電話等の装置であり、これらの装置に限らず、投写型映像表示装置１に映像信号及び操作検出信号を含む信号１２１を出力する装置であれば良い。

図１６は、複数の信号出力装置からの映像を表示する状態を示す図であり、（ａ）は正面図、（ｂ）は側面図である。投写型映像表示装置１には、映像伝送ケーブルやネットワークケーブル、無線接続等の通信手段により、複数の信号出力装置４ａ、４ｂ、４ｃ、４ｄが接続される。ユーザ３は投写面２の表示画面２０２を接触操作することで、各信号出力装置が出力する映像を１つ、もしくは複数同時に表示する。この例では、４つの表示映像Ａ〜Ｄを同時に表示する場合である。

本実施例では、以下の例に示すユーザ操作を検出した場合に、投写型映像表示装置１の制御部１１０は、入力切替操作と判別し、制御部１１０は表示制御部１１１に対して、信号入力部１２０および入力信号処理部１１４を介して入力されている複数の映像の中から、指定した映像に表示を切替えるよう指示する。ここで制御部１１０は、ユーザ操作を判別する際に、１本もしくは２本の指の接触を検出した場合は表示中の映像に対する操作として扱い、３本の指の接触を検出した場合は表示映像の入力切替に対する操作として扱う。

図１７は、表示映像の入力切替操作の一例を示す図である。例えば、信号出力装置４ａからの映像Ａを表示している際に、信号出力装置４ｂからの映像Ｂの表示に切替える場合を示す。表示映像を切替える際に用いるジェスチャ操作は、（ａ）に示すように、ユーザ３の３本の指３０ａが投写面２（表示画面２０２）に接触させることで行う。投写型映像表示装置１は、３本の指３０ａが投写面に接触しているジェスチャを検出すると、（ｂ）に示すように信号出力装置４ｂからの映像Ｂに入力を切替える。その後さらに、３本の指３０ａが投写面に接触するジェスチャを検出する度に、信号出力装置４ｃからの映像Ｃ、信号出力装置４ｄからの映像Ｄへと、所定の順番で表示映像を切替える。

図１８は、表示映像の入力切替操作の他の例を示す図である。この例では（ａ）に示すように、３本の指３０ａを投写面に接触させ横方向に移動（スライド）させる、いわゆるスワイプ操作を用いる。これにより、（ｂ）のように次の映像Ｂに表示を切替える。

図１９は、表示映像の入力切替操作の他の例を示す図である。まず（ａ）に示すように、３本の指３０ａを投写面に接触すると、入力切替メニュー２０９を表示する。この入力切替メニュー２０９には、入力映像の識別番号Ａ〜Ｄが表示されている。これに対しユーザは、（ｂ）に示すように、入力切替メニュー２０９から所望の映像の識別番号をタッチ操作で選択すると、選択した映像Ｂが表示される。

なお、入力切替メニュー２０９の表示位置は、表示画面２０２の中央または周囲の所定の位置とする。あるいは、（ａ）に示すジェスチャの指３０ａの接触位置の近傍に、入力切替メニュー２０９を表示してもよい。また、（ｂ）において入力切替メニュー２０９から所望の映像を選択する際、タッチ操作ではなく、手を横方向にスライドさせるスワイプ操作でもよい。

なお、図１７〜図１９において、３本の指の接触状態は指が完全に投写面に接触している必要はなく、投写面から所定の距離以内に近接している場合を含めても良い。実施例１（図３）で述べた接触検出法によれば、指の影の間隔ｄから非接触時の投写面からの距離（間隙ｓ）を判別できる。

本実施例では、投写型映像表示装置１に対する表示映像の切替操作として、ユーザの特定本数（３本）の指を投写面に接触させるジェスチャを用いた。これにより、１本もしくは２本の指を接触させるジェスチャによる表示中の映像に対する操作と明確に区別し、誤動作を防止することができる。なお、表示映像の切替操作として、表示中の映像に対するジェスチャ操作（１本もしくは２本の指を接触）と区別可能であれば、他のジェスチャ（３本以外の本数の指を接触）に変えても構わない。

さらに他の方法として、上記した３本の指による投写面に対するタッチ操作の他に、映像信号の入力源となる信号出力装置に対するタッチ操作を組み合わせることで、より確実に入力信号の切替を行うことができる。

図２０は、信号出力装置へのタッチ操作を組み合わせた操作の例を示す図である。（ａ）のように、投写型映像表示装置１が信号出力装置４ａの映像Ａを表示中に、ユーザ３は映像Ｃを出力する信号出力装置４ｃに対し、３本の指３０ａをその表示面に接触させるジェスチャを行い、装置４ｃを選択する。この操作に続いてユーザ３は、（ｂ）のように、投写型映像表示装置１の投写面に対し３本の指３０ａを接触させるジェスチャを行う。その結果、投写型映像表示装置１は、上記（ａ）の操作で選択された信号出力装置４ｃの映像Ｃに表示を切替える。

上記処理は次のように行う。信号出力装置４ｃは、（ａ）に示したジェスチャを検出すると、先に述べたネットワークケーブルや無線接続等の通信手段を介して、投写型映像表示装置１に操作検出信号１２１を送信する。投写型映像表示装置１の制御部１１０は、信号入力部１２０および入力信号処理部１１４を介して信号出力装置４ｃからの操作検出信号１２１を受信する。次に制御部１１０は、（ｂ）に示したジェスチャを検出すると入力切替操作と判別する。そして表示制御部１１１に対して、信号入力部１２０および入力信号処理部１１４を介して入力されている複数の映像信号１２１の中から、先に受信した操作検出信号の送信元である信号出力装置４ｃの映像Ｃに切替えるよう指示する。

なお、（ａ）、（ｂ）に示したジェスチャは一例であり、他の操作と区別可能であれば、他のジェスチャでも良い。また、（ａ）と（ｂ）に示したジェスチャの操作の順序は逆でもよい。すなわち、（ｂ）に示したジェスチャを検出すると、投写型映像表示装置１は、信号出力装置からの操作検出信号の受信を待機する。続いて（ａ）に示したジェスチャにより信号出力装置４ｃから操作検出信号を受信することで、投写型映像表示装置１は信号出力装置４ｃの映像Ｃに表示を切替える。

図２０に示した操作の効果を説明する。投写型映像表示装置１を複数ユーザで共用して使う場合、図１７〜図１９のように投写面に対するユーザのジェスチャだけで映像切替を行う方式では、投写面の近くにいる複数のユーザの指の動きにより、予期しない誤動作を起こす恐れがある。これに対し、図２０に示すように信号出力装置に対するタッチ操作を組み合わせる方式とすることで、誤動作がなく確実に映像切替を行うことができる。

さらに図２０に示した操作は、プレゼンテーション時のユーザの動きに適したものである。例えば、ユーザが信号出力装置４ｃの映像Ｃを表示し、表示画面２０２の近傍に立って周囲の人にプレゼンテーションをする場合を想定する。このときのユーザの動きは、まず手元にある信号出力装置４ｃの画面をタッチし、投写面２（表示画面２０２）の近傍に移動した後に、表示画面２０２をタッチすることになる。すなわち、プレゼンテーションを行うユーザは、自席からプレゼンテーションを行う投写面の位置に移動する動作の中で、投写型映像表示装置１の入力切替を円滑に行うことができるという効果がある。

以上説明したように、実施例２の入力切替機能によれば、複数の信号出力装置からの入力映像切替を行う際、ユーザにとって使い勝手の良い投写型映像表示装置を提供することができる。

実施例３では、実施例２の機能に加え、複数の信号出力装置から入力する映像の同時表示機能を有する構成について説明する。

図２１は、実施例３の投写型映像表示装置１の構成を示す図である。前記実施例２（図１５）の操作検出部の構成に、手識別部１２２が加わっている。手識別部１２２は、検出している手が左右どちらの手であるかを識別する。その手法は、図５で示した複数の指の特徴点の配置をもとに、パターン認識やテンプレートマッチング等の方法を用いることで可能となる。

本実施例では、以下に示したジェスチャを検出した場合に、投写型映像表示装置１の制御部１１０は、複数の映像の同時表示の操作と判別し、制御部１１０は表示制御部１１１に対して、信号入力部１２０および入力信号処理部１１４を介して入力されている複数の映像の中から、指定した２つ以上の表示映像を同時に表示するよう指示する。

図２２は、複数映像の同時表示操作の一例を示す図である。ここでは、投写型映像表示装置１が信号出力装置４ａの映像Ａを表示している場合に、信号出力装置４ａの映像Ａと信号出力装置４ｂの映像Ｂの同時表示に切替える操作を示す。表示映像を切替えるため、（ａ）に示すように、３本の指３０ａが投写面に接触した状態で手を縦方向に移動（スライド）させる、いわゆるスワイプ操作のジェスチャを行う。その結果（ｂ）に示すように、画面を２分割して表示画面２０２，２０３とし、信号出力装置４ａと信号出力装置４ｂからの２つの映像Ａ，Ｂを、同時に表示する。

図２３は、複数映像の同時表示操作の他の例を示す図である。（ａ）のように、ユーザは両手の３本の指３０ａ（計６本）を同時に表示面に接触させるジェスチャを行うことで、（ｂ）のように２つの映像Ａ，Ｂを同時に表示させる。その際、接触しているのがユーザの両手の指であることは手識別部１２２により判別する。

図２４は、複数映像の同時表示操作の他の例を示す図である。（ａ）は切替前の状態で、信号出力装置４ａからの１つの映像Ａを表示し、１人のユーザ３が１本の指をタッチして表示画面２０２を操作している。これに対し（ｂ）に示すように、３人のユーザ３ａ、３ｂ、３ｃが、それぞれの左手（または右手）の１本の指３０ｂで同時に投写面に接触する操作を行う。すなわち、等価的に３本の指を同時に接触するジェスチャとすることで、表示画面２０２を３分割して、３台の信号出力装置４ａ、４ｂ、４ｃからの各映像Ａ，Ｂ，Ｃを同時に表示させるものである。

上記したように、複数の表示映像の同時表示のためのジェスチャ操作は、３本の指が投写面に接触することで認識する。これにより、１本もしくは２本の指を接触させて表示中の表示映像に対する操作と区別し、誤動作を防止することができる。

なお、図２２〜図２４において、３本の指の接触状態は指が完全に表示面に接触している必要はなく、投写面から所定の距離以内に近接している場合を含めてもよい。実施例１（図３）で述べた接触検出法によれば、指の影の間隔ｄから非接触時の投写面からの距離（間隙ｓ）を判別できる。また、図２２〜図２４に示した画面の分割数は一例であり、４分割や５分割など、さらに分割数を増加して多数の入力映像を同時表示しても良い。

さらに上記した同時表示の変形として、分割した表示画面の少なくとも１つに描画用画面を表示させるようにしてもよい。
図２５は、映像画面と描画用画面とを同時表示する例を示す図である。（ａ）は、信号出力装置４ａからの映像Ａを表示中に、前記図２３（ａ）と同様にユーザ３が両手の３本の指３０ａを同時に投写面に接触することで、表示画面２０２を２つに分割する。（ｂ）は分割画面の表示状態を示し、例えば右側の表示画面２０２には信号出力装置４ａの映像Ａを表示し、左側の表示画面２０３にはホワイトボードのような描画画面ＷＢを表示している。描画用画面ＷＢは、ユーザ３がタッチ操作（またはペン操作）で文字や図形の描画を行うことができる。このような表示形態により、信号出力装置からの映像資料等と、それに対するユーザ描画用画面を並べて表示することができる。

上記の処理を行うため、投写型映像表示装置１の制御部１１０は、図２５（ａ）に示したジェスチャを検出すると複数の映像の同時表示の操作と判別し、表示制御部１１１に対して、信号出力装置４ａの映像Ａと、表示制御部１１１で生成される描画用の映像ＷＢの２つの映像を同時に表示するよう指示する。さらに（ｂ）の表示画面のうち右側の表示画面２０２では、１本もしくは２本の指の接触を行うと、表示中の映像Ａに対する画面操作（タッチ操作）として扱う。一方、左側の描画用画面２０３では、１本もしくは２本の指の接触を行うと、接触点を検出しそれに応じて画面２０３に文字や図形を描画する操作として扱い、描画の軌跡を表示する。

通常図２５（ｂ）のような表示形態を設定するには、別途描画用画面を立ち上げて、画面ごとにタッチ操作と描画操作を設定する必要があるが、本例では１つの操作で簡単に設定できるので使い勝手に優れるものとなる。

以上説明したように、実施例３の複数の映像の同時表示機能によれば、複数の信号出力装置からの映像を同時に表示する際、ユーザにとって使い勝手の良い投写型映像表示装置を提供することができる。

実施例４では、実施例２の変形として、非接触のジェスチャ操作により表示映像の入力切替を行う構成について説明する。

本実施例では、以下に示した非接触ジェスチャを検出した場合に、投写型映像表示装置１の制御部１１０は、入力切替操作と判別する。そして、制御部１１０は表示制御部１１１に対して、信号入力部１２０および入力信号処理部１１４を介して入力されている複数の映像の中から、指定した映像に表示を切替えるよう指示する。

なお、非接触状態のジェスチャ操作の検出については、実施例１（図３）で説明したように、指（または手）の２つの影の間隔ｄを測定することで投写面との間隙ｓ（接近度）を判定する。また、非接触状態のジェスチャ操作を用いる場合は、類似する接触状態の操作との誤動作を防ぐために、投写型映像表示装置１の操作設定メニューにより各機能の有効／無効を設定するのが良い。

図２６は、非接触による入力切替操作の一例を示す図である。（ａ）は切替前の状態で、信号出力装置４ａからの映像Ａを表示している表示画面２０２に対し、ユーザ３は指を接触して表示操作を行っている。これに対し（ｂ）に示すように、ユーザ３は手を開いた状態３０ｃで投写面２に非接触状態で横に移動（スライド）させる、いわゆるスワイプ操作のジェスチャを行う。これにより、信号出力装置４ｂからの映像Ｂの表示に切替える。その後、非接触状態のジェスチャを行う度に、信号出力装置４ｃからの映像Ｃ、信号出力装置４ｄからの映像Ｄへと、所定の順番で表示映像を切替える。

図２７は、非接触による入力切替操作の他の例を示す図である。（ａ）は切替前の状態で、信号出力装置４ａからの映像Ａを表示している。これに対し（ｂ）に示すように、ユーザ３は手を握った形３０ｄで投写面２に非接触状態で横にスライドさせる、いわゆるスワイプ操作のジェスチャを行う。これにより、信号出力装置４ｂからの映像Ｂの表示に切替える。この場合、特定の手の形（手を握った形３０ｄ）の場合にのみ入力切替可能とすれば、意図しない手の動きによる誤動作を防ぐことができる。

なお、図２６（ｂ）と図２７（ｂ）に示したジェスチャは一例であり、手を投写面に接触させない状態であれば、手の形はこれに限らない。さらに、手の形が同じで移動方向や移動距離が同じジェスチャであっても、手が投写面に接触状態か非接触状態かによって区別し、異なる処理を行うようにしても良い。

図２８は、非接触による入力切替操作の他の例を示す図である。（ａ）は、手の形状が１本指３０ｅで接触状態でスワイプ操作を行う場合である。この場合の第１の処理として、例えば、信号出力装置４ａからの映像Ａを表示している場合のページ送り処理の他、描画用画面が表示されている場合の描画処理、表示映像中にドラッグ可能なオブジェクトが表示されている場合のドラッグ処理等を割り当てる。一方（ｂ）は、（ａ）と同じ手の形３０ｅであるが非接触状態でスワイプ操作を行う場合である。この場合の第２の処理は（ａ）の第１の処理と異なり、例えば、信号出力装置４ａの映像Ａから信号出力装置４ｂの映像Ｂへの入力切替処理を割り当てる。

以上説明したように、実施例４の非接触状態のジェスチャによる入力切替機能によれば、手の位置精度がそれほど高くない非接触スワイプ操作などによって入力切替処理を確実に実行することができる。一方、接触位置の精度が要求されるボタン押下や描画等の処理には、接触状態のジェスチャ操作を割り当てることで、ユーザにとって使い勝手の良い投写型映像表示装置を提供することができる。

１：投写型映像表示装置、２：投写面、３：ユーザ、４ａ，４ｂ，４ｃ，４ｄ：信号出力装置、３０：指（手）、１００：カメラ、１０１，１０２：照明、１０４：影領域抽出部、１０５：特徴点検出部、１０６：接近度検出部、１０７：接触点検出部、１０８：輪郭検出部、１０９：方向検出部、１１０：制御部、１１１：表示制御部、１１２：駆動回路部、１１３：入力端子、１１４：入力信号処理部、１１５：投写部、１２０：信号入力部、１２１：入力信号、１２２：手識別部、２０２，２０３：表示画面、２０９：入力切替メニュー、４０１，４０２：影、５０１，５０２：輪郭線、６０１，６０２：特徴点。

図２は、実施例１の投写型映像表示装置１の構成を示す図である。投写型映像表示装置１は、カメラ１００、２つの照明１０１と１０２、影領域抽出部１０４、特徴点検出部１０５、接近度検出部１０６、接触点検出部１０７、輪郭検出部１０８、方向検出部１０９、制御部１１０、表示制御部１１１、駆動回路部１１２、入力端子１１３、入力信号処理部１１４、投写部１１５を含む。このうち、影領域抽出部１０４、特徴点検出部１０５、接近度検出部１０６、接触点検出部１０７、輪郭検出部１０８、方向検出部１０９は、ユーザ３の操作を検出する操作検出部である。以下、操作検出部を中心に各部の構成と動作を説明する。

Claims (12)

1. 操作者の操作に応じて投写表示する映像を制御する投写型映像表示装置において、
   複数の映像信号を入力する信号入力部と、
   投写面に映像を投写表示する投写部と、
   前記投写面を操作する１あるいは複数の操作者を撮影する撮像部と、
   前記撮像部の撮影画像から前記操作者の操作を検出する操作検出部と、
   前記投写部から投写する映像の表示を制御する制御部と、を備え、
   前記制御部は、前記操作検出部の検出結果に基づいて、前記信号入力部に入力される映像信号の中から、前記投写部で投写表示する映像信号を選択することを特徴とする投写型映像表示装置。
2. 請求項１に記載の投写型映像表示装置であって、
   前記操作検出部の検出結果、前記操作者が前記投写面に特定の本数の指で接触した場合、または特定の本数の指を接触して移動させた場合に、前記制御部は、前記投写部で投写表示する映像信号の選択を行うことを特徴とする投写型映像表示装置。
3. 請求項２に記載の投写型映像表示装置であって、
   前記信号入力部には複数の信号出力装置が接続されており、
   前記制御部は前記映像信号を選択する際、前記操作者が特定の操作を行った信号出力装置からの映像信号を選択することを特徴とする投写型映像表示装置。
4. 請求項１に記載の投写型映像表示装置であって、
   前記操作検出部の検出結果、前記操作者が前記投写面に特定の本数の指で接触した場合、または特定の本数の指を接触して移動させた場合に、前記制御部は、入力される前記複数の映像信号の中から２つ以上の映像信号を選択し、前記投写部で同時に投写表示することを特徴とする投写型映像表示装置。
5. 請求項４に記載の投写型映像表示装置であって、
   前記操作検出部は、前記操作者が操作した手の左右を識別する手識別部を有し、
   前記操作検出部の検出結果、前記操作者が両手を用いて特定の本数の指で接触した場合、または片手を用いて特定の本数の指を接触して移動させた場合に、前記制御部は、２つ以上の映像信号を選択し、前記投写部で同時に投写表示することを特徴とする投写型映像表示装置。
6. 請求項４または請求項５に記載の投写型映像表示装置であって、
   前記制御部は、２つ以上の映像信号を選択し、前記投写部で同時に投写表示する際、少なくとも１つの映像信号の表示に対し、前記操作検出部を用いて操作者が描画を行う機能を割り当てることを特徴とする投写型映像表示装置。
7. 請求項１に記載の投写型映像表示装置であって、
   前記操作検出部の検出結果、前記操作者が前記投写面に対して指または手を非接触の状態で移動させた場合、前記制御部は、前記投写部で投写表示する映像信号の選択を行うことを特徴とする投写型映像表示装置。
8. 請求項７に記載の投写型映像表示装置であって、
   前記操作検出部の検出結果、前記操作者が手を特定の形状で移動させた場合に、前記制御部は、前記投写部で投写表示する映像信号の選択を行うことを特徴とする投写型映像表示装置。
9. 投写面に映像を投写する投写部と、
   前記投写面を操作する操作物を撮影する撮像部と、
   前記撮像部の撮影画像から前記操作物による操作を検出する操作検出部と、
   前記操作検出部の検出結果に基づいて前記投写部から投写する映像の表示を制御する制御部と、を備え、
   前記操作検出部は、前記操作物が前記投写面に接触しているか、非接触であるかを識別可能であり、
   前記操作検出部の検出結果、前記操作物が前記投写面に接触しながら移動していると検出した場合と、前記操作物が前記投写面に非接触状態で移動していると検出した場合とで、前記制御部は前記投写部に対し、投写する映像の表示について異なる制御を行うことを特徴とする投写型映像表示装置。
10. 請求項９に記載の投写型映像表示装置であって、
    前記操作物は操作者の指であって、
    前記操作検出部の検出結果、前記操作者の指または手が前記投写面に接触しながら移動している場合で、前記指が１本以上接触していれば、前記制御部は有効な操作と判別し、
    前記操作者の指または手が前記投写面に非接触状態で移動している場合で、前記指または手が特定の形状であれば、前記制御部は有効な操作と判別することを特徴とする投写型映像表示装置。
11. 投写面に映像を投写する投写型映像表示装置の制御方法であって、
    前記投写面を操作する操作物を撮影するステップと、
    前記撮影した画像から前記操作物による操作を検出するステップと、
    前記操作の検出結果に基づいて前記投写面に投写する映像の表示を制御するステップと、を備え、
    前記操作検出のステップでは、前記操作物が前記投写面に接触しているか、非接触であるかを識別し、
    前記操作の検出結果、前記操作物が前記投写面に接触しながら移動していると検出した場合と、前記操作物が前記投写面に非接触状態で移動していると検出した場合とで、前記投写面に投写する映像の表示について異なる制御を行うことを特徴とする投写型映像表示装置の制御方法。
12. 請求項１１に記載の投写型映像表示装置の制御方法であって、
    前記操作物は操作者の指であって、
    前記操作の検出結果、前記操作者の指または手が前記投写面に接触しながら移動している場合で、前記指が１本以上接触していれば、前記操作は有効な操作と判別し、
    前記操作者の指または手が前記投写面に非接触状態で移動している場合で、前記指または手が特定の形状であれば、前記操作は有効な操作と判別することを特徴とする投写型映像表示装置の制御方法。

Images