JP5697351B2 - プロジェクタシステム - Google Patents

Description

本発明は、スクリーン等の投影面に映像光を投影して画像表示を行う、プロジェクタ等の画像投影装置に関し、特に、操作者のジェスチャを検出して所定の動作制御を行う画像投影装置に関する。

従来は、パソコン等の投影用画像出力装置から、画像投影用のプロジェクタ装置を用いて画像を投影している場合、ページ送り等の操作は、投影用画像出力装置に内蔵されているか、あるいは、有線または無線で接続されているキーやマウス等を操作する必要があった。

また、画像が投影されている場所に出て、プレゼンテーションを行っている場合等は、ページ送り等の操作を別のオペレータが行う場合もあった。

このような状況において、従来のプロジェクタは、レーザーポインタのポインティング光（特許文献１）や操作者のジェスチャ（特許文献２）を検出し、その検出結果に基づいてプロジェクタのページ送り等の動作制御を行うものであった。

特開２００１−１２５７３８号公報 特開２００８−２８７１４２号公報

ところが、上述した特許文献１のプロジェクタは、投影している画像よりも明るいレーザーポインタのポインティング光が照射されていることを前提とし、撮像データの中から、ある閾値以上の明るさのポイントを抽出することが特徴である。しかしながら、実際の投影画像は明るいため、閾値の設定が非常に困難であることが課題としてある。

また、上述した特許文献２のプロジェクタは、投影方向とは異なる方向でのジェスチャを行うものであり、この場合、ジェスチャを行う人の背景の動きと、ジェスチャの切り分けが課題としてある。

そこで、本発明の目的は、上記の課題を解決しつつ、画像が投影されている場所に出てプレゼンテーションを行っている場合等であっても、キーやマウス等を操作することなく、ジェスチャ等により自由に操作できるプロジェクタシステムの提供にある。

本発明のプロジェクタシステムは、投影画像データを出力する投影用画像出力部と、投影画像データを投影する画像投影用プロジェクタ部と、画像が投影される画像投影エリアにおける所定の動きを撮像するための画像認識用撮影部とを有するプロジェクタシステムであって、投影用画像出力部から出力される投影画像同等データと、画像認識用撮影部から出力される撮像画像データとの差分を抽出する画像差分抽出部を有することを特徴とする。

本発明のプロジェクタシステムによれば、像が投影されている場所に出てプレゼンテーションを行っている場合等であっても、キーやマウス等を操作することなく、ジェスチャ等により自由に操作できるという効果を奏する。

本発明に係る実施形態（１）の構成図である。 投影画像エリアと画像投影エリアとの関係を示した図である。 本発明に係る実施形態（２）の構成図である。 本発明に係る実施形態（３）の構成図である。

以下に、図面を参照して本発明の実施形態について詳細に説明する。

図１及び図２を参照すると、本発明のプロジェクタシステムは、投影画像データ１１を投影する経路である、投影用画像出力部３から画像投影用プロジェクタ部１への流れとは別に、人物のジェスチャやポインタのポインティング光の動き等により投影用画像出力部３を操作する経路である、画像認識用撮像部２から画像差分抽出部４と解析部５を経由して投影用画像出力部３へ入力される流れを持ったプロジェクタシステムである。

投影画像データ１１を画像投影用プロジェクタ部１から投影画像エリア１０１へ投影している時、その投影された画像を画像認識用撮像部２で撮像した撮像画像データ２１と元の投影画像データ１１との間には、画像投影エリア１００に人物やポインタがある場合は、その人物やポインタの分の画像が差として発生する。

しかし、投影画像エリア１０１の状態や外光等の影響により、投影画像データ１１と撮像画像データ２１との間には、画像投影エリア１００に人物やポインタがない状態であっても、差分が発生することが多い。画像投影エリア１００に人物やポインタがない状態では、撮像画像データ２１と投影画像データ１１との差分は可能な限り小さいことが望ましいため、投影画像データ１１を投影画像エリア１０１の条件に合うように補正した投影画像同等データ１２を画像差分抽出部４に入力するほうがよい。

画像差分抽出部４で抽出された差分画像データ４１は、解析部５に入力され、画像が投影されているエリアにおける人物のジェスチャやポインタの動きと関連付けられた操作を投影用画像出力部３に反映させるために、操作信号５１を投影用画像出力部３に対して出力する。

なお、本発明のプロジェクタシステムは、投影用画像出力部３と画像投影用プロジェクタ部１、画像認識用撮像部２、画像差分抽出部４及び、解析部５から構成されており、それぞれの構成要素は、別々で有線または無線で接続されていてもよいし、一部または全てが一体になっていてもよい。

次に、本発明のプロジェクタシステムの動作について、図１及び２を用いて詳細に説明する。

まず、投影画像データ１１が、投影用画像出力部３から画像投影用プロジェクタ部１へ送られ、画像投影用プロジェクタ部１から投影画像エリア１０１へ投影されることにより、投影画像エリア１０１には投影画像データ１１の内容が映し出される。

次に、その投影画像エリア１０１に映し出された投影画像データ１１の画像を画像認識用撮像部２で撮像する。その時に取得される画像データの中で投影画像エリア１０１に映し出された投影画像データ１１の画像に該当する箇所である撮像画像データ２１の内容は、投影画像エリア１０１の状態や画像認識用撮像部２の性能等の影響により、投影画像データ１１と差分が発生する。そのため、画像投影エリア１００に人物やポインタがない状態では、その差分が発生しないように投影画像データ１１を補正した投影画像同等データ１２を生成する。

そして、投影画像データ１１を投影画像エリア１０１の状態や画像認識用撮像部２の性能等の条件に合うように補正した投影画像同等データ１２と、画像認識用撮像部２で撮像した撮像画像データ２１を画像差分抽出部４に入力する。画像投影エリア１００に、人物やポインタ等のような、遮蔽物や画像投影用プロジェクタ部１以外からの投影が存在する場合は、画像差分抽出部４により、遮蔽物や画像投影用プロジェクタ部１以外からの投影分等が、差分画像データ４１として抽出される。

画像差分抽出部４で抽出された差分画像データ４１は、解析部５に入力される。解析部５では、入力された差分画像データ４１を解析し、投影用画像出力部３の命令の待機状態に合った操作信号５１を作り、その操作信号５１を投影用画像出力部３に対して出力する。

例えば、投影用画像出力部３の命令の待機状態がジェスチャであれば、人物のジェスチャやポインタの動きに対して関連付けられたページ送り等の命令が実行される。また、ポインティング状態であれば動作ボタンの選択等の命令、ドローイング状態であればペンやマーカ等の命令が実行される。

従来は、パソコン等の投影用画像出力装置から、画像投影用のプロジェクタ装置を用いて画像を投影している場合、ページ送り等の操作は、投影用画像出力装置に内蔵されているか、あるいは、有線または無線で接続されているキーやマウス等を操作する必要があったが、本実施形態によれば、画像が投影されている場所に出てプレゼンテーションを行っている場合等であっても、投影画像の前でジェスチャを行ったり、差し棒のようなものを動かしたりすることにより、ページ送り等の操作が行えるようになるという効果を奏する。

また、単純に画像認識用撮像部２からの撮像画像データ２１のみによるジェスチャ等の解析では、背景と切り分けする判断材料がないために、背景の動きがある場合には誤動作の可能性もあるが、本実施形態によれば、背景の情報との差分をとっているために、背景の動きがある場合であっても、ジェスチャ等の解析を行うことができるという効果を奏する。つまり、スライドショープレゼンテーションや、動画の投影を行っている場合であっても、ジェスチャと誤検知しないという効果がある。

次に、本発明の他の実施形態について、図３及び図４を参照して説明する。

本実施形態におけるプロジェクタシステムでは、投影用画像出力部３にて、画像投影エリア１００に人物やポインタがない状態で撮像画像データ２１との差分が発生しないように投影画像データ１１を補正した投影画像同等データ１２が生成されていた。

図３に示す実施形態では、投影用画像出力部３にて投影画像同等データ１２を生成せずに、画像差分抽出部４の前段で抽象化処理部６１による抽象化処理を行う。また、画像認識用撮像部２からの撮像画像データ２１は、投影画像エリア１０１以外のエリアの情報が含まれていたり、視点のズレにより長方形のエリアが台形に変形して撮像される可能性があるため、必要に応じて、撮像画像データ２１から投影画像エリア１０１を抽出し、視点ズレ補正を画像抽出視点ズレ補正部７にて行った後、抽象化処理部６２で抽象化処理を行う。

抽象化処理部６１及び６２による抽象化処理は、画像抽出視点ズレ補正部７での視点ズレ補正を行った後の撮像画像データ２１と、元のデータである投影画像データ１１との差分である。投影画像エリア１０１の状態や画像認識用撮像部２の性能等の影響を取り除く処理を行うものであり、画像データの高周波成分を取り除いたり、分解能を落としたりすることで、画像データを抽象化する。これにより、画像投影エリア１００に人物やポインタがない状態では、画像差分抽出部４で抽出される画像データの差分は小さくできるという効果を奏する。

また、さらに抽象化処理部６１及び６２による抽象化処理の抽象化の度合いを変えることにより、画像差分抽出部４で抽出される画像データの差分の閾値を変えることができるため、人物のジェスチャのような大きな差分のみ抽出するという設定や、レーザーポインタのような小さな差分も抽出するという設定ができるという効果を奏する。

さらに、図４に示す実施形態では、画像投影用プロジェクタ部１の変わりに、画像表示用装置１３を用いている。これにより、投影用画像出力部３から直接、画像データ４２を画像表示用装置１３へ送るため、画像を投影することにより発生する画像劣化等を抑えることができるという効果を奏する。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下に限られない。

（付記１）投影画像データを出力する投影用画像出力部と、前記投影画像データを投影する画像投影用プロジェクタ部と、画像が投影される画像投影エリアにおける所定の動きを撮像するための画像認識用撮影部とを有するプロジェクタシステムにおいて、前記投影用画像出力部から出力される投影画像同等データと、前記画像認識用撮影部から出力される撮像画像データとの差分を抽出する画像差分抽出部を有することを特徴とするプロジェクタシステム。

（付記２）付記１記載のプロジェクタシステムにおいて、前記投影画像同等データは、前記投影画像データを、投影画像エリアの状態や前記画像認識用撮像部の性能の条件に合うように補正したことを特徴とするプロジェクタシステム。

（付記３）付記１または付記２記載のプロジェクタシステムにおいて、前記画像差分抽出部にて、抽出された差分画像データを解析して、前記投影用画像出力部に対して操作信号を出力する解析部を有することを特徴とするプロジェクタシステム。

（付記４）付記１乃至３に記載のプロジェクタシステムにおいて、前記所定の動きとは、人物のジェスチャやポインタのポインティング光の動きであることを特徴とするプロジェクタシステム。

（付記５）投影画像データを出力する投影用画像出力部と、前記投影画像データを投影する画像投影用プロジェクタ部と、画像が投影される画像投影エリアにおける所定の動きを撮像するための画像認識用撮影部と、前記投影画像データを抽象化処理する第１の抽象化処理部と、前記画像認識用撮影部から出力される撮像画像データの視点ズレ補正を行う画像抽出視点ズレ補正処理部と、前記画像抽出視点ズレ補正処理部で視点ズレ補正を行った前記撮像画像データを抽象化処理する第２の抽象化処理部とを有するプロジェクタシステムにおいて、前記第１の抽象化処理部から出力される前記投影画像データと、前記第２の抽象化処理部から出力される撮像画像データとの差分を抽出する画像差分抽出部を有することを特徴とするプロジェクタシステム。

（付記６）付記５記載のプロジェクタシステムにおいて、前記画像差分抽出部にて、抽出された差分画像データを解析して、前記投影用画像出力部に対して操作信号を出力する解析部を有することを特徴とするプロジェクタシステム。

（付記７）付記５または付記６に記載のプロジェクタシステムにおいて、前記所定の動きとは、人物のジェスチャやポインタのポインティング光の動きであることを特徴とするプロジェクタシステム。

（付記８）付記１乃至７に記載のプロジェクタシステムにおいて、前記画像投影用プロジェクタ部の代わりに、画像表示用装置を用いることを特徴とするプロジェクタシステム。

１ 画像投影用プロジェクタ部
２ 画像認識用撮像部
３ 投影用画像出力部
４ 画像差分抽出部
５ 解析部
７ 画像抽出視点ズレ補正部
１０ プロジェクタシステム（その１）
１１ 投影画像データ
１２ 投影画像同等データ
１３ 画像表示用装置
２１ 撮像画像データ
３０ プロジェクタシステム（その２）
４０ プロジェクタシステム（その３）
４１ 差分画像データ
４２ 画像データ
５１ 操作信号
６１ 抽象化処理部
６２ 抽象化処理部
１００ 画像投影エリア
１０１ 投影画像エリア

Claims (4)

1. 投影画像データを出力する投影用画像出力部と、
   前記投影画像データに基づく投影画像を投影画像エリアに投影する画像投影用プロジェクタ部と、
   前記投影画像エリアに投影された前記投影画像を含む画像投影エリアにおける像を撮像し、撮像画像の撮像画像データを出力する画像認識用撮影部と、
   前記投影画像エリアに投影された前記投影画像データから前記投影画像を抽象化することで前記投影画像の影響を取り除く処理を行う第１の抽象化処理部と、
   前記画像認識用撮影部から出力される撮像画像データの視点ズレ補正を行う画像抽出視点ズレ補正処理部と、
   前記画像抽出視点ズレ補正処理部で視点ズレ補正を行った前記撮像画像データから前記撮像画像を抽象化することで前記投影画像の影響を取り除く処理を行う第２の抽象化処理部と、
   前記第１の抽象化処理部から出力される投影画像データと、前記第２の抽象化処理部から出力される撮像画像データとの差分を抽出する画像差分抽出部を有し、
   前記第１の抽象化処理部と前記第２の抽象化処理部による抽象化処理の抽象化の度合いを変えることにより前記画像差分抽出部にて抽出する差分の閾値を変更可能なプロジェクタシステム。
2. 請求項１記載のプロジェクタシステムにおいて、
   前記画像差分抽出部にて抽出された差分に基づく差分画像データを解析して、前記投影用画像出力部に対して操作信号を出力する解析部を有することを特徴とするプロジェクタシステム。
3. 請求項１または２に記載のプロジェクタシステムにおいて、
   前記画像投影エリアにおける像は、人物のジェスチャやポインタのポインティング光の動きであることを特徴とするプロジェクタシステム。
4. 請求項１乃至３のいずれか１項に記載のプロジェクタシステムにおいて、
   前記画像投影用プロジェクタ部の代わりに、画像表示用装置を用いることを特徴とする
   プロジェクタシステム。

Images