JP2010117917A - 動作検出装置および操作システム - Google Patents
動作検出装置および操作システム Download PDFInfo
- Publication number
- JP2010117917A JP2010117917A JP2008291119A JP2008291119A JP2010117917A JP 2010117917 A JP2010117917 A JP 2010117917A JP 2008291119 A JP2008291119 A JP 2008291119A JP 2008291119 A JP2008291119 A JP 2008291119A JP 2010117917 A JP2010117917 A JP 2010117917A
- Authority
- JP
- Japan
- Prior art keywords
- user
- screen
- image
- motion detection
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Abstract
【課題】レーザープロジェクタが投影した画面を参照しつつ操作を行う操作システムにおいて、ユーザが画面から目を離したり、身を乗り出したりすることなく遠隔操作可能な動作検出装置を提供する。
【解決手段】スクリーンと、該スクリーンにレーザー光を用いて画像を投影するレーザープロジェクタとを備える動作検出装置を用意する。ユーザはレーザー光の光路を遮るように手を動かし、スクリーンに手の影を生じさせる。動作検出部はスクリーンをカメラで撮影し、その画像から取得した手の影に基づいてユーザの動作を検出し、指示内容を認識する。
【選択図】図1
【解決手段】スクリーンと、該スクリーンにレーザー光を用いて画像を投影するレーザープロジェクタとを備える動作検出装置を用意する。ユーザはレーザー光の光路を遮るように手を動かし、スクリーンに手の影を生じさせる。動作検出部はスクリーンをカメラで撮影し、その画像から取得した手の影に基づいてユーザの動作を検出し、指示内容を認識する。
【選択図】図1
Description
本発明は、レーザー光を用いて画像を投影する投影部を備えた動作検出装置、およびそれを用いた操作システムに関する。
従来、車載のカーナビゲーション装置を操作する際には、接触型および遠隔型の2種類の操作方法がある。接触型の例としては、ダッシュボードに配置されたボタンを操作したり、タッチパネル式の画面に直接触れたりする方法がある。しかし、これらの方法で運転者が操作する場合、運転席から身を乗り出したり、手を遠くに伸ばしたりする必要があり不便である。
遠隔型の例としては、リモコンを使用して指示を与える方法がある。しかし、リモコンを見ないと操作ができないため、画面と手元のリモコンを見比べながら操作を行うことになり時間がかかる。この対策として特開2007−083834号公報(特許文献1)では、ミラーの反射を利用して操作部の像を前方に投影することで、前方を向いてタッチパネルを操作することを可能にした。しかし、この方法ではユーザが手を出す方向とユーザが見るべき画面の方向が異なるため、直観的な操作ができるとは言い難い。
一方、カーナビゲーション装置に限らず、ユーザが画面を見ながら遠隔操作を行うためのディスプレイシステムとして、特開平8−095707号公報(特許文献2)に記載の方法がある。この方法では、赤外光等を投影してユーザが持つ棒の位置を検出し、その位置情報に基づいてユーザの操作内容を認識している。しかし、この方法では光の回折現象により棒の位置を正確に特定するのが困難であった。
特開2007−083834号公報
特開平8−095707号公報
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、ユーザが画面を見ながら直観的に遠隔操作を行うことを可能とする技術を提供することである。
上記目的を達成するために本発明では、以下の構成の動作検出装置を採用する。すなわち、スクリーンと、レーザー光を用いてスクリーンに画像を投影する投影部と、スクリーンを撮影するスクリーン撮影手段を有する撮影部と、ユーザの動作を検出する動作検出部とを備え、動作検出部はレーザー光の光路が遮られた遮断領域の位置情報に基づいてユーザの動作を検出することを特徴とする動作検出装置である。
本発明は、操作内容を指示するためにユーザが行う動作を検出する方法として、スクリーンに映った遮断領域(影)の位置情報を利用するものである。すなわち、投影部がスクリーンにレーザー光で画像を投影している時に、ユーザはその光路を遮る位置に手などを置く。これにより、スクリーン上にレーザー光が遮られた影が生じる。そこでスクリーン撮影手段(カメラ等)はスクリーンを撮影し、スクリーン撮影画像を取得する。動作検出部は、スクリーン撮影画像中の影の位置情報に基づいてユーザの動作を検出する。
このように構成された本発明によれば、ユーザはスクリーンに映った影を見ながら、直観的に装置を遠隔操作することができる。またユーザは画面に直に接触する必要が無いこ
とから、身を乗り出したり手を遠くに伸ばしたりすることなく快適な操作ができる。さらに、レーザー光を用いることにより、レーザー光の直進性に基づいて回折のないくっきりした影を取得できる。
とから、身を乗り出したり手を遠くに伸ばしたりすることなく快適な操作ができる。さらに、レーザー光を用いることにより、レーザー光の直進性に基づいて回折のないくっきりした影を取得できる。
なお、動作検出部は、ある一時点での影の位置情報だけではなく、位置情報の経時的な変化に基づいて動作を検出しても良い。これにより、ユーザはより詳細に操作内容を指示することが可能となる。
本発明の実施においては、撮影部にユーザ撮影手段を設けることができる。これはレーザー光の光路を投影部の側から撮影し、ユーザ撮影画像を取得するものである。ここで、ユーザの手などの身体がレーザー光を遮っていれば、ユーザの手には画像の一部が投影されているはずである。そこで動作検出部は、ユーザ撮影画像中からユーザの手に映った画像を認識し、それに基づいてユーザの動作を検出する。
さらに本発明の実施においては、撮影部に三次元撮影手段を設けることができる。これはスクリーンの近傍を撮影して三次元撮影画像を取得するものである。動作検出部は三次元撮影画像中のユーザの手の動きを3次元的に分析し、ユーザの動作を検出する。
このように、ユーザ撮影手段または三次元撮影手段を追加して構成された本発明によれば、ユーザの手に映った画像またはユーザの手の動きに基づいてユーザの動作を検出することが可能になり、スクリーンに映った影に基づく方法と合わせることによって検出精度を向上させることができる。
本発明の実施においては、投影する画像に所定の明度を持つ領域である基準マーカを少なくとも1つ設けることができる。ここで、スクリーンに外乱光の映り込みがあった場合、スクリーン上での明度のコントラストが低くなり、影の位置情報に基づいてユーザの動作を検出できない事態が起こり得る。このとき動作検出部は、撮影部が撮影したスクリーンの画像中の基準マーカの明度と投影時の明度とを比較することにより、外乱光の影響がどの程度かを推測することができる。
このように構成された本発明によれば、動作検出部がユーザの動作を検出できない場合に、その原因が外乱光の影響かどうかを判断し、もし外乱光の影響であれば画像投影時の明度を増大させ、影を際立たせるという対応が取れるようになる。
本発明は、動作検出装置と、該動作検出装置が検出したユーザの動作に基づいて処理を実行する情報処理部とを備える操作システムとして実現することができる。さらに、該操作装置を車両に搭載して使用することができる。
本発明に係る動作検出装置または操作システムによれば、ユーザが画面を見ながら直観的に遠隔操作を行うことが可能となる。
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。以下の実施形態においては、動作検出装置とカーナビゲーション装置が搭載された車両で、ユーザである運転者が動作を行い、装置を操作する例について記述する。
<実施形態1>
本実施形態では、スクリーン上の遮断領域(影)の位置情報を利用してユーザの動作を検出する方法について説明する。すなわち、レーザープロジェクタがスクリーンにレーザ
ー光で画像を投影している時に、ユーザが手などでそのレーザー光を遮る。これによりスクリーン上に生じた影に基づいてユーザの動作を検出し、ユーザの意図した操作内容を認識する方法である。
本実施形態では、スクリーン上の遮断領域(影)の位置情報を利用してユーザの動作を検出する方法について説明する。すなわち、レーザープロジェクタがスクリーンにレーザ
ー光で画像を投影している時に、ユーザが手などでそのレーザー光を遮る。これによりスクリーン上に生じた影に基づいてユーザの動作を検出し、ユーザの意図した操作内容を認識する方法である。
(操作システムの構成)
図1に示したブロック図を参照しつつ、本実施形態の操作システムの構成を説明する。レーザープロジェクタ1は、画像作成部6が作成した画像をレーザー光により投影するものであり、本発明における投影部に当たる。スクリーン2は、レーザープロジェクタ1から投影された画像を表示する領域である。
図1に示したブロック図を参照しつつ、本実施形態の操作システムの構成を説明する。レーザープロジェクタ1は、画像作成部6が作成した画像をレーザー光により投影するものであり、本発明における投影部に当たる。スクリーン2は、レーザープロジェクタ1から投影された画像を表示する領域である。
なお、本実施形態においては、ユーザが運転席に座って操作することを前提としており、レーザープロジェクタ1は運転席の左後方に、スクリーン2は運転席の左前方のダッシュボードに、それぞれ設置されている。スクリーン2は通常、ユーザから視認できる程度の面積を持つ白色の平面領域からなるが、必ずしもこれに限定される必要はない。例えばダッシュボード自体に画像を投影しても良く、色も白色以外でも良い。
図示したように、ユーザがレーザー光を手で遮ることによって、スクリーン2の上に影(本発明における遮断領域)が生じる。スクリーン撮影用カメラ3は、スクリーン2を撮影してスクリーン撮影画像を取得するものであり、本発明におけるスクリーン撮影手段に当たる。スクリーン撮影用カメラ3を設置する位置としては、レーザープロジェクタ1から一定の角度を置き、ユーザの手がスクリーン撮影画像に映り込まないようにすることが好ましい。
動作検出部4は、スクリーン撮影画像に基づいてユーザの動作を検出するものであり、影検出部41、パターン記憶部42、パターン比較部43、及び経時解析部44を含む。影検出部41はスクリーン撮影画像中の明度のコントラストを認識し、レーザー光が遮られた影の領域を検出する。その際、レーザープロジェクタ1が投影した画像を参照して、スクリーン撮影画像中のコントラストが影によるものか、元々の投影画像にコントラストがあるためかを判別し、影検出の精度を向上させることもできる。パターン記憶部42は記憶装置であり、手の形状とユーザの動作を認識するための画像パターンのデータを保存している。データの種類としては、検出した影が手の形状であるかどうかを判断するためのものと、手の形状がどのような指示かを認識するためのものがある。
パターン比較部43は、影検出部41が検出した領域をパターン記憶部42が保存する画像パターンとマッチングすることにより、スクリーン撮影画像に含まれる手の影の形状を認識する。このときパターン比較部43は、まず影検出部41が影だと判断した領域が手の影かどうかを判断し、もし手であれば、ユーザの指示がどのような内容であるかを認識する。経時解析部44は、この手の影の形状を経時的に解析することによりユーザの動作を検出する。動作検出部4は、このユーザの動作を情報処理部5に送信する。なお、動作検出部4は専用の回路によって構成されても良く、CPUを利用して機能するプログラムとして実現することもできる。
情報処理部5は、動作検出部4が検出したユーザの動作に基づいて、ユーザの要求する操作を認識し、画像作成部6やその他の機器を制御する。画像作成部6はユーザに提示する画像を作成し、レーザープロジェクタ1に送信する。
(処理フロー)
以下、図2のフローチャートを参照しつつ、スクリーン上の地図からユーザが目的地を選択し、ナビゲーションを開始する際の処理フローについて説明する。必要に応じて図4(a)〜(c)に示したスクリーン撮影画像の遷移図を参照する。具体的には、まず、レ
ーザープロジェクタがスクリーンに向けて画像を投影し、地図を表示する。続いてユーザ(運転者)がレーザー光を手で遮ってスクリーンに影を作り、影の指先部分で目的地の建物「ABC会館」を選択する。続いて、カメラがスクリーンを撮影する。動作検出部は影の位置情報に基づいてユーザの動作を検出し、ユーザの指示内容を認識する。カーナビゲーション装置は指示内容に従って目的地を設定し、案内を開始する。
以下、図2のフローチャートを参照しつつ、スクリーン上の地図からユーザが目的地を選択し、ナビゲーションを開始する際の処理フローについて説明する。必要に応じて図4(a)〜(c)に示したスクリーン撮影画像の遷移図を参照する。具体的には、まず、レ
ーザープロジェクタがスクリーンに向けて画像を投影し、地図を表示する。続いてユーザ(運転者)がレーザー光を手で遮ってスクリーンに影を作り、影の指先部分で目的地の建物「ABC会館」を選択する。続いて、カメラがスクリーンを撮影する。動作検出部は影の位置情報に基づいてユーザの動作を検出し、ユーザの指示内容を認識する。カーナビゲーション装置は指示内容に従って目的地を設定し、案内を開始する。
なお、本実施形態においてユーザがスクリーン上のオブジェクトを選択する際は、影の指先をそのオブジェクトの上に置いて1秒間保持するものとする。オブジェクトとしては例えば、地図上の建物や、画面上のボタンなどが対象となり得る。
ステップS201では、レーザープロジェクタ1がスクリーン2に向けて地図の画像を投影し、図4(a)に示したように、ユーザに対して目的地の選択を要求するメッセージを出して入力を待つ。ユーザは地図を見て目的地である「ABC会館」を発見すると、手を動かしてレーザー光の光路を遮り、指先の影が「ABC会館」を示すようにする。この状態を図4(b)に示す。
ステップS202では、スクリーン撮影用カメラ3がスクリーン2を撮影し、スクリーン撮影画像を取得する。ステップS203では、スクリーン撮影画像に基づいて動作検出部4がユーザの動作の検出を試み、ユーザからの指示があったかどうか判断する。このステップについては後ほど詳細に述べる。
ユーザからの指示が無かった場合(ステップS204=N)、ユーザからの入力待ちを継続し、所定の間隔を置いて再度ユーザの動作を検出しようと試みる。一方、ユーザからの指示があった場合(ステップS204=Y)、ステップS205に進む。目的地として「ABC会館」を設定し、図4(c)のようにメッセージ出力する。以上で目的地の選択は終わり、ナビゲーションを開始する。
(ユーザの動作検出の処理フロー)
図3のフローチャートを参照しつつ、動作検出部が指先の影の位置情報に基づいてユーザの動作を検出する処理を説明する。
図3のフローチャートを参照しつつ、動作検出部が指先の影の位置情報に基づいてユーザの動作を検出する処理を説明する。
ステップS301では、影検出部41はスクリーン撮影画像から影と判断される領域を探す。その際には例えば、明度のコントラストに基づいて周囲より明度の低い領域を検出する方法によることができる。続いてパターン比較部43は、影の形状とパターン記憶部42が保存する画像パターンとのマッチングにより、指先の影が含まれるかを判断する。指先の影が無かった場合(ステップS301=N)、ステップS304に進み、メモリに「指示なし」をセットして処理を終了する。一方、指先の影があった場合(ステップS301=Y)、ステップS302に進み、指先が選択しているオブジェクトである「ABC会館」を特定する。
ステップS303では、経時解析部44は指先によるオブジェクト選択が1秒間持続したかどうかを判断する。持続しない場合(ステップS303=N)、ユーザによる選択動作ではなく単なる移動途中等であると判断してステップS304に進む。一方1秒間持続した場合(ステップS303=Y)、ユーザが目的地を選択したと判断してステップS305に進む。ステップS305ではメモリに「指示あり」をセットして終了する。
なお、本実施形態では地図上のオブジェクト選択方法として、オブジェクト上に指先の影を置いて1秒間保持することとしたが、実際はこれに限定されるものではない。例えばもっと短い時間で選択したとみなすこともできる。
本実施形態の動作検出装置によれば、ユーザがカーナビゲーション装置を操作する際に手の影を用いて遠隔操作することができるので、スクリーンに表示された地図を見ながら直観的に遠隔操作することが可能になる。また、ユーザは画面に直に接触しなくても良いため、身を乗り出したり手を遠くに伸ばしたりする必要が無い。また、レーザープロジェクタを使用することにより、投影部とスクリーンの距離にかかわらず回折現象が起きないので、操作システムを車内に配置する際の自由度が向上する。
<実施形態2>
本実施形態では、実施形態1で述べたスクリーン撮影画像中の指先の影に加えて、ユーザの手に投影された映像を利用してユーザの動作を検出する方法について説明する。
本実施形態では、実施形態1で述べたスクリーン撮影画像中の指先の影に加えて、ユーザの手に投影された映像を利用してユーザの動作を検出する方法について説明する。
(操作システムの構成)
以下、図5に示したブロック図を参照しつつ、本実施形態の操作システムの構成を説明する。なお、実施形態1と同じブロックには同一の番号を付し、説明を省略する。
以下、図5に示したブロック図を参照しつつ、本実施形態の操作システムの構成を説明する。なお、実施形態1と同じブロックには同一の番号を付し、説明を省略する。
ユーザ撮影用カメラ7は、ユーザがレーザー光を手で遮ってスクリーンに影を生じさせるときに、手に投影されている画像を取得するためのカメラであり、本発明におけるユーザ撮影手段に当たる。そのために、ユーザ撮影用カメラ7はスクリーン2に向かってレーザープロジェクタ1と同じ方向に設置されている。以下、ユーザ撮影用カメラ7が撮影する画像をユーザ撮影画像と記述する。
(処理フロー)
以下、図6のフローチャート、図8(a)の投影画像、及び図8(b)のスクリーン撮影画像を参照しつつ、本実施形態の処理フローを説明する。
以下、図6のフローチャート、図8(a)の投影画像、及び図8(b)のスクリーン撮影画像を参照しつつ、本実施形態の処理フローを説明する。
ここでは、投影画像を縦横2×2の4つの領域に区分し、ユーザがその中から1つを選択する際の処理について述べる。具体的には、まず、レーザープロジェクタがスクリーンに向けて画像を投影する。続いてユーザが手を伸ばして、指先の影によって4つの領域のうち1つを選択する。このときレーザー光が手で遮られることによりスクリーンに影が生じるが、同時にユーザの手には遮られた部分のレーザー光が投影されている。そこで、ユーザ撮影用カメラ7による撮影画像からユーザの手に投影された画像を取得し、元の投影画像と比較することにより指先がどの位置にあるかを認識する。これによりユーザの動作を検出し、どの領域を選択したかを判断する。
ステップS601では、画像作成部8が作成した画像をレーザープロジェクション1がスクリーン2の上に投影する。この画像は図8(a)に示すように、スクリーンを4つの領域に区切るものである。
ステップS602では、スクリーン撮影用カメラ3がスクリーン2を撮影してスクリーン撮影画像を取得する。また、ユーザ撮影用カメラ7がレーザー光の光路をレーザープロジェクション1と同じ側から撮影してユーザ撮影画像を取得する。
ステップS603では、動作検出部4がスクリーン撮影画像からユーザの動作検出を試みる。検出は実施形態1と同様に図3のフローチャートに沿って実行される。その結果、図8(b)に示したように明瞭な影があり、ユーザの動作を検出できた場合(ステップS604=Y)、ステップS607に進み、ユーザが指示した領域を選択する。一方、外乱光の影響などにより明瞭な影が検出できず、ユーザからの指示が確認できなかった場合(ステップS604=N)、ステップS605に進む。
ステップS605では、動作検出部4がユーザ撮影画像からユーザの動作検出を試み、
「指示あり」、「指示なし」のいずれかを返す。このステップについては後ほど詳細に述べる。ユーザ指示ありの場合(ステップS606=Y)、ステップS607に進み、選択処理を終了する。一方、ユーザ指示なしの場合(ステップS606=N)、ユーザの選択待機状態になり、所定の間隔をおいて再度ユーザの動作を検出する。
「指示あり」、「指示なし」のいずれかを返す。このステップについては後ほど詳細に述べる。ユーザ指示ありの場合(ステップS606=Y)、ステップS607に進み、選択処理を終了する。一方、ユーザ指示なしの場合(ステップS606=N)、ユーザの選択待機状態になり、所定の間隔をおいて再度ユーザの動作を検出する。
(ユーザ撮影画像からユーザの動作を検出する処理フロー)
図7のフローチャート、及び図8(c)に示したユーザ撮影画像を参照しつつ、動作検出部がユーザの動作を検出する処理を説明する。
図7のフローチャート、及び図8(c)に示したユーザ撮影画像を参照しつつ、動作検出部がユーザの動作を検出する処理を説明する。
まずパターン比較部43はユーザ撮影画像を解析し、パターン記憶部42が保存しているパターンとのマッチング等によって手の形状の発見を試みる。手の形状を発見できなかった場合(ステップS701=N)、ステップS705に進み、メモリに「指示なし」をセットして処理を終了する。一方、図8(c)に示したように手の形状を発見した場合(ステップS701=Y)、ステップS702に進み、手に映った画像を取得する。続いてステップS703において手に映っている画像を分析し、画像作成部6から受信した元の投影画像とも比較し、指先が選択している領域(この場合画面の左上)を特定する。
ステップS704では、ユーザ撮影画像を継続して観察し、指先による選択が1秒間持続したがどうかを判断する。持続しない場合(ステップS704=N)、ユーザによる選択ではなく単なる動作の途中だと判断し、ステップS705に進み、メモリに「指示なし」をセットして処理を終了する。一方、1秒間選択が持続した場合(ステップS704=Y)、ステップS706に進み、「指示あり」をセットして終了する。
本実施形態の動作検出装置によれば、スクリーン撮影画像において影が鮮明でない場合であっても、手に映った画像に基づいてユーザの動作を検出することが可能となり、検出の精度を向上させることができる。
なお、本実施形態ではスクリーン撮影画像で影を検出できなかった時のみユーザ撮影画像を分析しているが、実際はこれに限定されるものではない。例えば、常にユーザ撮影画像の分析を行い、スクリーン撮影画像と併用することで検出精度を向上させることもできる。
<実施形態3>
本実施形態は、ユーザの動作を検出するために、実施形態1で述べた指先の影に加えて、ユーザの手の動きをカメラで取得する構成をとる。その際、ユーザの手の形状や動きを三次元的に分析する点が特徴となる。以下、実施形態2との相違点について説明する。
本実施形態は、ユーザの動作を検出するために、実施形態1で述べた指先の影に加えて、ユーザの手の動きをカメラで取得する構成をとる。その際、ユーザの手の形状や動きを三次元的に分析する点が特徴となる。以下、実施形態2との相違点について説明する。
(操作システムの構成)
本実施形態の動作検出装置は、スクリーンの近傍領域を撮影する三次元撮影用カメラを備え、同領域でのユーザの手の動きを撮影して三次元撮影画像を取得する。このカメラは本発明における三次元撮影手段に当たる。動作検出部は三次元撮影画像に基づいてユーザの手の動きを三次元的に分析し、ユーザの動作を検出する。
本実施形態の動作検出装置は、スクリーンの近傍領域を撮影する三次元撮影用カメラを備え、同領域でのユーザの手の動きを撮影して三次元撮影画像を取得する。このカメラは本発明における三次元撮影手段に当たる。動作検出部は三次元撮影画像に基づいてユーザの手の動きを三次元的に分析し、ユーザの動作を検出する。
このような三次元撮影用カメラとして、例えば光の反射を利用して分析を行うカメラが利用できる。すなわち、カメラからスクリーン近傍領域に振動する光を出し、ユーザの手に当たって反射してくる際の位相のずれを計測する装置である。この場合ユーザの体やレーザー光に邪魔されず撮影できるように、三次元撮影カメラをスクリーン側に設置することが好ましい。また、三次元撮影用カメラとしてステレオカメラを用いて立体映像を取得することもできる。
(処理フロー)
本実施形態の処理フローはほぼ実施形態2と同様であり、実施形態2でユーザ撮影画像に基づいてユーザの動作を検出していたところを、三次元撮影画像に基づいて行う点が異なる。
本実施形態の処理フローはほぼ実施形態2と同様であり、実施形態2でユーザ撮影画像に基づいてユーザの動作を検出していたところを、三次元撮影画像に基づいて行う点が異なる。
本実施形態の動作検出装置によれば、スクリーン撮影画像における影や、ユーザ撮影画像における手に映った画像が不鮮明な場合であっても、ユーザの手の動きに基づいてユーザの動作を検出することが可能となり、検出の精度を向上させることができる。また、三次元撮影用カメラは3次元的な手の動きを取得するので、動きのある操作を認識する際に特に有効である。また、三次元撮影画像を利用するのは、スクリーン撮影画像またはユーザ撮影画像からユーザの動作を検出できなかった場合に限らない。両者と同時に利用して、検出の精度を高めることもできる。
<実施形態4>
本実施形態は、スクリーンに外乱光が入り込んで画面全体の明度が高くなり、コントラストが低下している場面に有効な方法である。
本実施形態は、スクリーンに外乱光が入り込んで画面全体の明度が高くなり、コントラストが低下している場面に有効な方法である。
このような場合スクリーン上の手の影を認識するのが困難であるため、コントラストを向上させる必要がある。そのために、まず投影画像の中に基準マーカという所定の明度を持つ領域を設置した上で投影を行う。そして元の投影画像とスクリーン撮影画像の明度を比較することにより外乱光の影響を推定する。もし外乱光の影響が大きければ、投影画像の明度を増大してコントラストを向上させ、影の検出を試みる。
(操作システムの構成)
図9に示したブロック図を参照しつつ、本実施形態の操作システムの構成を説明する。構成要素自体は実施形態1と同じである。画像作成部6は、画像の右上と左下の2か所に基準マーカ8を設ける。レーザープロジェクタ1が投影する画像にかかわらず、基準マーカ8の部分は一定の明度になるよう出力する。
図9に示したブロック図を参照しつつ、本実施形態の操作システムの構成を説明する。構成要素自体は実施形態1と同じである。画像作成部6は、画像の右上と左下の2か所に基準マーカ8を設ける。レーザープロジェクタ1が投影する画像にかかわらず、基準マーカ8の部分は一定の明度になるよう出力する。
(処理フロー)
図10のフローチャートを参照しつつ処理フローを説明する。実施形態1と同様に、ユーザが地図から目的地を選択し、カーナビゲーション装置にナビゲーションを開始させる場合を例にとって説明を行う。
図10のフローチャートを参照しつつ処理フローを説明する。実施形態1と同様に、ユーザが地図から目的地を選択し、カーナビゲーション装置にナビゲーションを開始させる場合を例にとって説明を行う。
ステップS1001では、レーザープロジェクタ1がスクリーン2に向けて地図の画像を投影し、ユーザによる目的地選択を待つ。ステップS1002では、スクリーン撮影用カメラ3がスクリーン2を撮影し、スクリーン撮影画像として動作検出部4に送信する。ステップS1003では、動作検出部が図3のフローに従って手の影からユーザの動作の検出を試みる。ユーザからの指示が検出できた場合(ステップS1004=Y)、ステップS1007に進み、目的地を設定してナビゲーションを開始する。なお、ここまでの処理は実施形態1と同じであり、ユーザの動作を検出できなかった場合(ステップS1004=N)の動作が本実施形態の特徴となる。
すなわち、まだ明度増大を行っていない場合(ステップS1005=N)、外乱光推定および次回投影時の明度決定を行う。このステップについては後ほど詳細に述べる。続いて再度ステップS1001に進み、先ほど決定した明度で画像投影する。これにより明度が高くなるため、スクリーン撮影画像中のコントラストが向上して、ステップS1003において手の影に基づくユーザの動作を検出することができる。
一方、明度増大が済んでいる場合(ステップS1005=Y)、影が検出できないのは
外乱光の影響とは無関係で、レーザー光が遮断されておらずスクリーン上に影自体が存在しないためだと考えられる。そのため動作検出部はユーザからの入力待ちを継続し、所定の間隔をおいて再度ユーザの動作検出を試みる。
外乱光の影響とは無関係で、レーザー光が遮断されておらずスクリーン上に影自体が存在しないためだと考えられる。そのため動作検出部はユーザからの入力待ちを継続し、所定の間隔をおいて再度ユーザの動作検出を試みる。
(外乱光推定と投影明度決定)
図11のフローチャートを参照しつつ、外乱光推定および次回投影時の明度決定方法を説明する。
図11のフローチャートを参照しつつ、外乱光推定および次回投影時の明度決定方法を説明する。
動作検出部4は、ステップS1101でスクリーン撮影画像中の基準マーカの明度を検知し、ステップS1102で投影時の基準マーカの明度と比較する。ここで、もしも外乱光の影響によりコントラストが低下して手の影が検出できないとすれば、スクリーン撮影画像における基準マーカの明度は投影時より高くなっているはずである。そこで、ステップS1103では、スクリーン撮影画像の基準マーカ明度が基準値以上、例えば投影時の2倍を超えているかを判断する。基準値を超えている場合(S1103=Y)、外乱光の影響が大きいと判断してステップS1004に進み、次回に投影時の明度を高くする。
一方、S1103=Nの場合、外乱光の影響はさして大きくないと判断されるため、次回投影時の明度は変更しない。
本実施形態の動作検出装置によれば、スクリーン撮影画像から手の影を検出できない時に、基準マーカの明度に基づいて外乱光の影響を推測し、次回投影時の明度を決定し、影を検出可能とすることができる。
なお、本実施形態では基準マーカを2か所としているが、画面サイズや投影距離など周囲の状況に応じて基準マーカの個数やサイズなどを適宜変更しても良い。また、明度の増大を1回だけ行うことにしているが、複数回にわたって増大しても良い。さらに、明度の増大量を決定する際に、外乱光の影響が大きければそれに応じて明度増大量を大きくすることも可能である。
<ユーザの動作が異なる変形例>
上記の各実施形態では、ユーザの動作として、スクリーン上のオブジェクトに指先の影を1秒間置くことにより対象を選択する方法を取り上げた。しかし、ユーザの動作はオブジェクトの選択に限られるものではなく、様々な場面で定義できる。以下、その例を記述する。
上記の各実施形態では、ユーザの動作として、スクリーン上のオブジェクトに指先の影を1秒間置くことにより対象を選択する方法を取り上げた。しかし、ユーザの動作はオブジェクトの選択に限られるものではなく、様々な場面で定義できる。以下、その例を記述する。
(ドラッグ&ドロップの動作)
ここでは、画面上のオブジェクトをドラッグ&ドロップするユーザの動作を検出するケースについて記述する。この動作を適用できる例として、ユーザが画面に表示された地図の縮尺を変更する場合がある。すなわち、ユーザは地図の縮尺を表すスクロールバー上でポインタをドラッグ&ドロップして所望の縮尺を選択する。
ここでは、画面上のオブジェクトをドラッグ&ドロップするユーザの動作を検出するケースについて記述する。この動作を適用できる例として、ユーザが画面に表示された地図の縮尺を変更する場合がある。すなわち、ユーザは地図の縮尺を表すスクロールバー上でポインタをドラッグ&ドロップして所望の縮尺を選択する。
図12(a)〜(c)はこの変形例でのスクリーン撮影画像の遷移を示す図である。図12(a)を例として画面構成について説明する。画面の上部は地図であり、道路や建物(XYZビル)等が表示されている。画面の下部は地図の縮尺を示しており、スクロールバー121とポインタ122が表示されている。ポインタ122がスクロールバー121上の右寄りにあれば広い範囲が表示され、左寄りにあれば狭い範囲が詳細に表示される。縮尺を変更したい場合、ユーザは、まず指先の影でポインタ122をタッチし、希望の縮尺を示す位置までスクロールバー上を移動させてから、指先の影をスクロールバー121付近から遠ざける。
図13にこの例でのフローチャートを示す。ステップS1301で、まずレーザープロジェクション1がスクリーン2に地図を表示する。続いてステップS1302では、定期的に上述した実施形態いずれかの方法による指先の影の検出を試み、ユーザによる操作を待つ。
図12(a)に示すように、ユーザが指先の影でポインタ122にタッチした場合(ステップS1302=Y)、スクロール操作が始まったと考えられる。このときユーザは図12(b)に示すように、ポインタ122をスクロールバー121上でスライドし、希望の縮尺を指定する。続いてステップS1303では、指先の影がポインタ122から離れたかどうかを定期的に判断する。指先の影がポインタから離れた場合(ステップS1303=Y)、ポインタの位置が変更されたかどうかを判断する。ポインタ位置が変更されていれば(ステップS1304=Y)、図12(c)に示すように地図の縮尺を変更して処理を終了する。一方、ポインタ位置の変更が無ければ(ステップS1304=N)、縮尺を変更せずに処理を終了する。
(手の影を画面上で動かす動作)
ここでは、手の影を画面上で動かすユーザの動作を検出するケースについて記述する。この動作を適用できる例として、ユーザが画面に表示された地図をスクロールしたい場合がある。ここでは、ユーザは画面上で手を右から左に動かす動作をすることで地図を左にスクロールさせる。
ここでは、手の影を画面上で動かすユーザの動作を検出するケースについて記述する。この動作を適用できる例として、ユーザが画面に表示された地図をスクロールしたい場合がある。ここでは、ユーザは画面上で手を右から左に動かす動作をすることで地図を左にスクロールさせる。
画面上に地図が表示されている時に、図14(a)に示すように、ユーザは指を伸ばした手でレーザー光を遮って、影が画面上に投影されるようにする。続いて、画面をスクロールしたい方向に手を払う動作をする。この例では、ユーザが手の影を左上方向に動かすことによって、図14(b)に示すように、地図も左上にスクロールされる。
(手を特定の形状にする動作)
ここでは、特定の手の形状と操作内容が対応付けられている時に、手をその形状にするユーザの動作を検出するケースについて記述する。
ここでは、特定の手の形状と操作内容が対応付けられている時に、手をその形状にするユーザの動作を検出するケースについて記述する。
図15(a)には、カーナビゲーション装置やカーオーディオの音量アップ、エアコンの温度上昇など、何らかの数値を上昇させるケースで利用できる手の形状を示す。ユーザは、図示したように手を握って親指だけを上に向け、手を振ることにより動作検出装置に操作内容を伝える。
図15(b)には、ユーザが了承を与える際の手の形状を示す。例えば図示したように「よろしいですか?」と承認を求めるダイアログが表示された時に、ユーザは親指と人差し指で輪を作って了承の意図を伝える。
(本発明の適用範囲)
以上の実施形態では車両に搭載されたカーナビゲーション装置について述べたが、実際はこれに限定されるものではない。例えばエアコンやオーディオなど、ユーザの指示に応じて機能を発揮するような各種の装置についても使用できる。
以上の実施形態では車両に搭載されたカーナビゲーション装置について述べたが、実際はこれに限定されるものではない。例えばエアコンやオーディオなど、ユーザの指示に応じて機能を発揮するような各種の装置についても使用できる。
また、動作検出装置および操作システムは車両に搭載されるとは限らず、例えば家屋に設置して家電機器などに適用することも可能である。
1 レーザープロジェクタ
2 スクリーン
3 スクリーン撮影用カメラ
4 動作検出部
6 画像作成部
7 ユーザ撮影用カメラ
8 基準マーカ
2 スクリーン
3 スクリーン撮影用カメラ
4 動作検出部
6 画像作成部
7 ユーザ撮影用カメラ
8 基準マーカ
Claims (7)
- 所定の領域を撮影し、撮影した動画像からユーザの動作を検出する動作検出装置であって、
スクリーンと、
レーザー光を用いて前記スクリーンに画像を投影する投影部と、
前記スクリーンを撮影してスクリーン撮影画像を取得するスクリーン撮影手段を有する撮影部と、
前記スクリーン撮影画像においてレーザー光が遮られた領域である遮断領域の位置情報に基づいてユーザの動作を検出する動作検出部と
を備えることを特徴とする動作検出装置。 - 前記動作検出部は、前記遮断領域の位置情報の経時的な変化に基づいてユーザの動作を検出する
ことを特徴とする請求項1に記載の動作検出装置。 - 前記撮影部は、レーザー光の光路を前記投影部の側から撮影してユーザ撮影画像を取得するユーザ撮影手段を有し、
前記動作検出部は、前記ユーザ撮影画像中にユーザの身体がレーザー光の光路を遮った部分があれば、ユーザの身体に投影された画像を検出し、その画像にも基づいてユーザの動作を検出する
ことを特徴とする請求項1または2に記載の動作検出装置。 - 前記撮影部は、前記スクリーンの近傍におけるユーザの手の動きを撮影して三次元撮影画像を取得する三次元撮影手段を有し、
前記動作検出部は、前記三次元撮影画像にも基づいてユーザの動作を検出する
ことを特徴とする請求項1〜3のいずれか1項に記載の動作検出装置。 - 前記投影部が投影する画像には、前記投影部によって、所定の明度を持つ領域である基準マーカが少なくとも1つ設けられており、
前記動作検出部が前記遮断領域の存在を認識できなかった場合、前記動作検出部は、前記スクリーン撮影画像中での基準マーカの明度を投影時の基準マーカの明度と比較し、前記スクリーン撮影画像において画像全体の明度が所定の値よりも低いと判断した場合、画像全体の明度を高くして投影を行う
ことを特徴とする請求項1〜4のいずれか1項に記載の動作検出装置。 - 請求項1〜5のいずれか1項に記載の動作検出装置と、
前記動作検出装置によって検出されたユーザの動作に応じた処理を実行する情報処理部と
を備えることを特徴とする操作システム。 - 前記操作システムは車両に搭載されており、
前記情報処理部はカーナビゲーション装置の制御を行う
ことを特徴とする請求項6に記載の操作システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008291119A JP2010117917A (ja) | 2008-11-13 | 2008-11-13 | 動作検出装置および操作システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008291119A JP2010117917A (ja) | 2008-11-13 | 2008-11-13 | 動作検出装置および操作システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010117917A true JP2010117917A (ja) | 2010-05-27 |
Family
ID=42305550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008291119A Withdrawn JP2010117917A (ja) | 2008-11-13 | 2008-11-13 | 動作検出装置および操作システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010117917A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010179700A (ja) * | 2009-02-03 | 2010-08-19 | Toyota Infotechnology Center Co Ltd | 画像表示装置、動作検出装置および操作システム |
KR101200009B1 (ko) * | 2011-01-25 | 2012-11-12 | 연세대학교 산학협력단 | 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법 |
KR101327052B1 (ko) | 2012-10-16 | 2013-11-08 | 이화여자대학교 산학협력단 | 그림자 영상 비교 방법 및 상기 방법을 수행하는 단말기 |
KR101334585B1 (ko) | 2012-05-29 | 2013-12-05 | 주식회사 브이터치 | 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법 |
KR101434173B1 (ko) * | 2012-11-02 | 2014-09-23 | (주) 코콤 | 홈네트워크 단말기의 가상 입력장치 및 입력방법 |
JP2015087159A (ja) * | 2013-10-29 | 2015-05-07 | トヨタ車体株式会社 | 車載ナビゲーションシステム |
JP2015125670A (ja) * | 2013-12-27 | 2015-07-06 | 日立マクセル株式会社 | 画像投射装置 |
WO2018207235A1 (ja) * | 2017-05-08 | 2018-11-15 | 株式会社ネットアプリ | 入出力システム、スクリーンセット、入出力方法、及び、プログラム |
-
2008
- 2008-11-13 JP JP2008291119A patent/JP2010117917A/ja not_active Withdrawn
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010179700A (ja) * | 2009-02-03 | 2010-08-19 | Toyota Infotechnology Center Co Ltd | 画像表示装置、動作検出装置および操作システム |
KR101200009B1 (ko) * | 2011-01-25 | 2012-11-12 | 연세대학교 산학협력단 | 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법 |
KR101334585B1 (ko) | 2012-05-29 | 2013-12-05 | 주식회사 브이터치 | 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법 |
KR101327052B1 (ko) | 2012-10-16 | 2013-11-08 | 이화여자대학교 산학협력단 | 그림자 영상 비교 방법 및 상기 방법을 수행하는 단말기 |
KR101434173B1 (ko) * | 2012-11-02 | 2014-09-23 | (주) 코콤 | 홈네트워크 단말기의 가상 입력장치 및 입력방법 |
JP2015087159A (ja) * | 2013-10-29 | 2015-05-07 | トヨタ車体株式会社 | 車載ナビゲーションシステム |
JP2015125670A (ja) * | 2013-12-27 | 2015-07-06 | 日立マクセル株式会社 | 画像投射装置 |
WO2018207235A1 (ja) * | 2017-05-08 | 2018-11-15 | 株式会社ネットアプリ | 入出力システム、スクリーンセット、入出力方法、及び、プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11470377B2 (en) | Display apparatus and remote operation control apparatus | |
US9400562B2 (en) | Image projection device, image projection system, and control method | |
JP4897939B2 (ja) | ジェスチャ認識装置及びジェスチャ認識方法 | |
JP2010117917A (ja) | 動作検出装置および操作システム | |
US10203594B2 (en) | Projector | |
CN105229582B (zh) | 基于近距离传感器和图像传感器的手势检测 | |
WO2009116285A1 (ja) | 車両用操作入力装置 | |
JP5638896B2 (ja) | 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法 | |
JP5732218B2 (ja) | 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法 | |
JP5077774B2 (ja) | 車両用操作入力装置 | |
JP5691802B2 (ja) | 投影システム、投影装置、投影方法、および制御プログラム | |
JP2010122879A (ja) | 端末装置、表示制御方法および表示制御プログラム | |
US9529422B2 (en) | Image display and photographing system, photographing device, display device, image display and photographing method, and computer-readable storage medium for computer program | |
JP5553546B2 (ja) | 画像投影装置、及びその制御方法 | |
JP5257779B2 (ja) | 表示方法、表示装置、及び操作入力装置 | |
KR20220062400A (ko) | 투사 방법 및 시스템 | |
JP2016038621A (ja) | 空間入力システム | |
KR20180097917A (ko) | 전자 장치 및 그의 제어 방법 | |
JP2023053972A (ja) | 表示制御装置、表示制御方法及び表示制御プログラム | |
CN107924272B (zh) | 信息处理装置、信息处理方法和程序 | |
WO2014181587A1 (ja) | 携帯端末装置 | |
JP2014170367A (ja) | 物体検出装置、物体検出方法、物体検出システム及びプログラム | |
US20150042621A1 (en) | Method and apparatus for controlling 3d object | |
JP6696357B2 (ja) | ポインタ制御システムおよびポインタ制御プログラム | |
JP2018063521A (ja) | 表示制御システムおよび表示制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120207 |