JP4627052B2 - 画像に連携した音声出力方法および装置 - Google Patents

Description

この発明は、プレイヤーの操作するオブジェクトの動きに合わせて音声を出力する技術に関する。

従来から、プレイヤーの動作をビデオカメラなどの撮像装置を用いて撮影し、プレイヤーの動画像を画面に映し出して、コマンドの入力やゲームのプレイを可能にしたものが知られている（例えば、特許文献１を参照）。このような画像処理装置では、画面上に配置されるメニュー画面やオブジェクトにプレイヤーの動画像が画面内で接触することで、コマンドを入力することができる。つまり、プレイヤーの動画像そのものが入力インタフェースとして機能している。
特開２００２−１９６８５５号公報

上述のようなプレイヤーの動画像を入力インタフェースとして利用するゲームを初めとしたアプリケーションでは、アプリケーションを操作するプレイヤーの行動を、画面上の演出や音声などによって自然なかたちで導き出すことが重要である。不自然な動きをプレイヤーに要求すると、アプリケーションに対するプレイヤーの興味が失われる恐れがある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、プレイヤーの動作を入力インタフェースとして利用する装置において、プレイヤーにとって使いやすいインタフェースを実現するための技術を提供することにある。

本発明のある態様は、カメラで撮影された画像をもとにプレイヤーの操作するオブジェクトが接触面に到達するまでに要する移動時間を計算し、移動時間を参照して、オブジェクトが接触面に接触するのと実質的に同時にプレイヤーが音声を聴取するように、音声の出力タイミングを調節することを特徴とする画像に連携した音声出力方法である。

この態様によると、オブジェクトが仮想的なまたは実在の接触面に到達する前に、オブジェクトが接触面に到達する時間を算出し、音声の遅延を考慮して音声を先出しする。これによって、アクションが認識されたことを視覚と聴覚の両方を通じてプレイヤーに知らしめることができる。また、視覚を通じたプレイヤーの認識とプレイヤーが音声を聞くタイミングとのずれが少なくなり、プレイヤーに与える違和感を軽減できる。

本発明の別の態様は、画像に連携した音声出力装置である。この装置は、カメラによって撮影されたプレイヤーの動作の画像を使用して、プレイヤーの操作するオブジェクトが接触面に向かう動作の速度ベクトルを計算する速度ベクトル算出部と、速度ベクトルと、オブジェクトと接触面との距離とを用いて、オブジェクトが接触面に到達するまでに要する移動時間を計算する移動時間算出部と、オブジェクトが接触面に接触するとき所定の音声をスピーカから出力させる音声制御部と、スピーカから発せられた音声がプレイヤーに到達するまでの遅延時間を取得する遅延時間取得部と、を備える。音声制御部は、移動時間から遅延時間を減じた時間をもとに、オブジェクトが接触面に接触するのと実質的に同時にプレイヤーに音声を聴取させる。

なお、本発明の構成要素や表現を方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、視覚および聴覚の両方を通してアクションが認識されたことをプレイヤーに知らしめることができる。

実施の形態１．
図１は、本発明の一実施形態である三次元位置特定装置１０の全体構成を示す。本実施形態の三次元位置特定装置は、プレイヤーの操作するオブジェクトを単一のカメラで撮影し、画像処理によりオブジェクトの三次元位置を特定し、特定された三次元位置に応じた画面をディスプレイに表示する。三次元位置特定装置１０を利用するアプリケーションの典型例は、画面に表示されたキャラクタ等をプレイヤーの動作で操作するアクションゲームであるが、他の形態のゲームや、簡単なビジネスアプリケーション、ディジタル写真のアルバム表示、楽曲データ再生のアプリケーションなどにも適用することができる。

三次元位置特定装置１０は、ディスプレイ４０と、ディスプレイの上側に設置されるカメラ２０と、画像処理装置３０と、反射体５０と、から構成される。

ディスプレイ４０は、好ましくはプレイヤー７２の前方に配置される。プレイヤー７２は、カメラ２０により撮影された自分の像を見ながらオブジェクトの操作をするかたちになる。

カメラ２０はプレイヤー７２により操作されるオブジェクト７０を撮影し、所定のフレームレートでフレームを画像処理装置３０に出力する。画像検出の応答性を早めるために、フレームレートはなるべく高いことが好ましい。カメラ２０は、ディスプレイ４０の上側に設置される。カメラ２０の撮影範囲２６は、少なくともプレイヤー７２の操作するオブジェクト７０を捉えるように設定される。これによって、プレイヤー７２はディスプレイ４０側に正面を向けた状態でオブジェクト７０を操作することができる。しかし、三次元位置特定装置１０により実施されるアプリケーションの特性に応じて、カメラ２０をディスプレイ４０の下方や側方に設置したり、またはプレイヤー７２がディスプレイ４０を見る向きとは異なる場所にカメラ２０を設置してもよい。

カメラ２０から出力されたフレームは、画像処理装置３０を経由してディスプレイ４０に映し出される。この場合、撮影されたフレームは画像処理装置３０によって鏡面処理を施され、ディスプレイ４０にはプレイヤー７２の鏡面画像が映し出されることが好ましい。鏡面画像を映し出すことで、プレイヤーが例えば手を挙げたときに画面内の像は鏡に映したように同じ側の手を挙げるため、プレイヤーは自らの動作を認識しやすくなる。しかしながら、画像処理装置３０によって鏡面処理を施さず、撮影したままの画面をディスプレイ４０に映し出してもよい。さらに、三次元位置特定装置１０により実施されるアプリケーションの特性に応じて、画像処理装置３０によって上下を反転させた画面をディスプレイ４０に映し出してもよい。

画像処理装置３０は、外部記憶媒体に格納されたアプリケーションソフトウェアをロードして実行する機能を有する。画像処理装置３０は、カメラ２０から出力されたフレームに対して上述の鏡面処理を施すほか、フレーム内でオブジェクトの像を検出して所定の画像をオブジェクトに重ねて表示したり、プレイヤーのアクションに応じた指示をアプリケーションに与えるなどの処理を行う。画像処理装置３０により所定の処理を施された鏡面画像は、ディスプレイ４０に出力される。画像処理装置３０は、典型的にはゲームコンソールなどの専用機であるが、画像の入出力機能を備えた汎用のパーソナルコンピュータやサーバなどであってもよい。画像処理装置３０のさらに詳細な機能および構成については後述する。

ディスプレイ４０は、スピーカ４２を備えていてもよい。スピーカ４２は、ディスプレイ４０に表示されるオブジェクトやその他の画像に合わせて画像処理装置３０から出力される音声や伴奏などを再生する。スピーカ４２は、ディスプレイ４０と一体に構成され、ディスプレイ４０の近傍に配置されていることが好ましい。しかしながら、スピーカ４２とディスプレイ４０は一体でなく、互いに離れた位置に配置されてもよい。

反射体５０は、プレイヤー７２とディスプレイ４０およびカメラ２０との間に設置され、オブジェクト７０の反射像をカメラ２０に撮影させる役割を有する。本明細書において「オブジェクト」とは、カメラ２０の撮影範囲２６内でプレイヤー７２により操作されるものの総称であり、プレイヤーの頭、腕、手、足、口などの身体の一部と、プレイヤーの身体の一部（例えば手、足、口）により操作される棒、シート、箱などの物体、およびコントローラなどの装置が含まれる。オブジェクトがプレイヤーの意思により動かされることを、オブジェクトが身体の一部である場合を含め、本明細書では「プレイヤーにより操作されるオブジェクト」のように表現する。図１では、一例として、プレイヤーの指がオブジェクト７０のとして示されている。

オブジェクト７０は、その直接像がカメラ２０により撮影されるのと同時に、反射体５０による反射像もカメラ２０により撮影される。言い換えると、カメラ２０は、ひとつのフレームの中にオブジェクト７０の直接像と反射像の両方を含むことになる。このように、直接像と反射像という二つの方向から見た像としてオブジェクト７０を捉えることで、後述するように、単一のカメラからの画像のみでオブジェクト７０の三次元位置を特定することができる。
なお、説明を簡単にするために、以下の説明ではプレイヤー７２により操作されるオブジェクト７０はひとつとするが、二つ以上のオブジェクトが存在しても同様の処理ができることはいうまでもない。

反射体５０は二つの反射面５２、５４を備えており、それぞれがオブジェクト７０を反射させ、それら反射像がカメラ２０によって撮影される。したがって、反射面５２、５４には、オブジェクト７０の反射像がカメラ２０のレンズで結ばれるように所定の角度が付けられている。また、反射体５０の設置場所は、カメラ２０から所定の距離だけ離間した位置に限られる。

図１に示すように、反射面５２、５４の上方には、それぞれがオブジェクト７０の反射像をカメラ２０に向けて投影できる領域である進入領域６２、６４が広がる。進入領域６２、６４の広がりは、反射面５２、５４の傾斜の度合いによって決まり、オブジェクト７０が進入すると想定される範囲になる。図１の例では、それぞれの進入領域６２、６４は互いに交差しないように設定されている。したがって、オブジェクト７０が進入領域６２内に存在するときは、反射面５２により反射された反射像がカメラ２０により撮影され、オブジェクト７０が進入領域６４内に存在するときは、反射面５４により反射された反射像がカメラ２０により撮影される。但し、オブジェクト７０が指や棒のように反射体５０の奥行方向にある程度の長さを有する場合、オブジェクト７０は進入領域６２と６４の両方に同時に存在する。

一般に、フレーム間の差分に基づいてオブジェクトの動作を検出しようとした場合、カメラの光軸に沿った方向（図１のｚ方向）に略平行な動作は、フレーム内でのオブジェクトの差分がわずかになるため検出するのは困難である。そこで、本実施形態では、オブジェクトの直接像とは異なる方向からの像を、反射体５０による反射を利用することで取得し、この反射像を利用してｚ方向のオブジェクトの動作を確実に検出できるようにした。以下では、カメラの光軸に沿った方向のことを単に「奥行方向」と呼ぶことにする。

図２は、カメラ２０と画像処理装置３０のハードウェア構成を簡略化して説明した図である。カメラ２０は、撮像素子としての画像センサ２２と、画像処理部２４を備える。画像センサ２２は、一般にＣＣＤセンサやＣＭＯＳセンサであり、図示しないレンズにより結ばれた像を受光素子で捉えることで画像を記録する。撮影された画像は、ＲＡＭ等の図示しないメモリに一時的に記憶される。カメラ２０の構成については周知であるため、これ以上詳細な記載は省略する。

画像処理部２４はＡＳＩＣ等の回路からなり、画像センサ２２から出力された画像データに対して、Ａ／Ｄ変換、デモザイク、ホワイトバランス処理、ノイズ除去、コントラスト強調、色差強調、ガンマ処理などのうち、必要なものを実施する。画像処理部２４により処理された画像データは、図示しない通信インタフェースを介して画像処理装置３０に転送される。以下の説明では、簡単のために、画像処理部２４から画像処理装置３０に渡される画像データは画像センサ２２からの出力信号をそのままディジタル化したＲＡＷデータであるものとするが、画像データは他の形式、例えばＪＰＥＧなどの圧縮されたデータであってもよい。後者の場合、画像処理装置３０には、処理部３２の前段に圧縮データを復号化する画像復号部が配置される。

画像処理装置３０は、処理部３２と、処理部３２から渡された画像データをディスプレイ４０に出力する画像出力部３４と、処理部３２から渡された音声データをスピーカ４２に出力する音声出力部３６と、を含む。画像処理装置３０は、このほかにも、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フラッシュメモリを初めとする任意の記録媒体に格納されたアプリケーションソフトウェアを読み出すロード部や、ソフトウェアにしたがって所定のアプリケーションを実行するアプリケーション実行部などを備える。これらの機能は、ゲームコンソールなどの専用機やパーソナルコンピュータなどには当然備えられているものであるから、これ以上詳細な説明は省略する。

図３は、反射体５０の構造を示す平面図である。反射体５０は、全体として薄板状であり、上述したように奥行方向に離間して配置された第１反射面５２と第２反射面５４とを有している。反射面５２、５４は、一例では鏡であり、鏡面加工を施した金属、プラスチック、金属を蒸着させたガラスなどでもよい。第１反射面５２と第２反射面５４とは平行に配置され、また、その長軸がカメラ２０の光軸に対して略垂直となるように配置される。第１反射面５２と第２反射面５４は、図１に示すように、反射面の上方のオブジェクトを反射して、反射像をカメラ２０のレンズに向けて投影する角度に設定される。

反射体５０の長軸方向の両端には、反射体５０の位置を画像処理装置３０に認識させるためのマーカ５６がそれぞれ配置される。このマーカ５６は、色付けされた部分であってもよいし、チェックなどの所定の模様が施されていてもよく、あるいは二次元コードなどでもよい。両端にＬＥＤなどの光源を埋め込んでおいてもよい。要するに、カメラ２０から出力されるフレーム内で、反射体５０の位置を特定するために必要な情報を付与できるものであれば、その形態は問わない。

反射体５０が奥行方向に所定の幅を有し、また奥行方向に複数の反射面を備えることで、奥行方向に複数の進入領域６２、６４を設定することができる。各反射面５２、５４は、オブジェクトが進入すると想定される相異なる進入領域の反射像をカメラ２０に向けて投影し、オブジェクトの反射像をカメラ２０に撮影させる。こうすることで、後述するように、奥行方向のオブジェクトの移動を検出できる。

図４は、処理部３２の詳細な構成を示す図である。これらの構成は、ＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックとして描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

画像取得部１０２は、カメラ２０から出力されたフレームを一枚ずつ取得し、画像反転部１０４および画像連携音声制御部１５０に送る。

画像反転部１０４は、画像取得部１０２から受け取ったフレームに対して鏡面処理（すなわち、画像の左右反転処理）を施し、鏡面画像を生成する。鏡面画像は三次元定位部１１０およびオンスクリーン表示部１４４に送られる。

三次元定位部１１０は、画像反転部１０４から受け取ったカメラ２０により撮影されたフレームを利用して、オブジェクトの三次元位置を特定する。三次元位置は、フレーム内でのオブジェクトの位置すなわち画面内の位置に相当する二次元位置、および図１の奥行方向すなわちｚ方向の位置のことをいう。本実施形態では、オブジェクトの二次元位置を特定することで画面内のオブジェクトを認識し、オブジェクトの奥行位置を特定することでプレイヤーの特定のアクションを検出する。

三次元定位部１１０は、反射面領域特定部１１２、奥行定位部１２２、フレーム内定位部１１４、参照画像記憶部１２０を含む。

反射面領域特定部１１２は、カメラ２０により撮影されたフレームから、反射体５０の第１反射面５２および第２反射面５４に対応する領域である反射面領域を特定する。反射面領域特定部１１２は、フレーム内から二カ所のマーカ５６を検出し、それらの間に挟まれた領域を反射面領域と特定する。

奥行定位部１２２は、反射面領域特定部１１２により特定された反射面領域から反射像を検出することで、オブジェクトの奥行方向の位置を特定する。具体的には、奥行定位部１２２は、複数のフレーム間で反射面領域同士を比較してその差分を検出する。あるフレームで反射面領域に反射像がなく、後続するフレームで反射面領域に反射像が映っていれば、オブジェクトがその反射面に対応する進入領域内に位置していると判定できる。

この判定を確実に実行するためには、第１反射面５２および第２反射面５４に映ったオブジェクトの反射像とそれ以外の画像とを明確に識別できる必要がある。したがって、一実施例では、三次元位置の特定処理を開始する前に、奥行定位部１２２が反射面領域のデフォルト画像を取得しておく。このデフォルト画像と任意のフレームの反射面領域との間に差分が検出されたときに、オブジェクトが進入領域内に位置すると判定するようにしてもよい。

奥行定位部１２２は、第１反射面５２、第２反射面５４に対応する反射面領域について同様の処理をすることで、第１進入領域６２、第２進入領域６４のそれぞれにオブジェクトが進入したか否かを判定する。この判定の結果は、入力制御部１３０に送られる。

フレーム内定位部１１４は、オブジェクトのフレーム内位置を特定する。フレーム内定位部１１４は、オブジェクト検出部１１６を含む。オブジェクト検出部１１６は、画像反転部１０４から受け取ったフレームに対して、オブジェクトの参照画像（テンプレート）を用いた周知のパターンマッチングを実行して、オブジェクトのフレーム内位置を特定する。マッチングを実行する対象は、画像反転部１０４から受け取ったフレームそのものであってもよいし、反射面領域特定部１１２において特定された反射面領域をフレームから除いたものであってもよい。

参照画像記憶部１２０は、オブジェクトを特定するための参照画像を格納している。フレーム内位置を特定すべきオブジェクトについて予め準備しておいた参照画像を格納してもよいが、後述するように、特定すべきオブジェクトをカメラ２０により撮影し、フレームからオブジェクトが存在するであろう領域を切り出して、それを参照画像として参照画像記憶部１２０に格納するようにしてもよい。前者の場合、例えばオブジェクトが手だとすると、数十人ないし数千人の手の画像の平均を取って作成された基準画像を格納しておいてもよいし、プレイヤーの年齢、性別、体格などに応じて分類された複数の参照画像を格納しておいてもよい。参照画像を用いたマッチング技術は、任意のものを使用できる。これらは当業者には周知であるからこれ以上詳細な説明を省略する。

フレーム内定位部１１４で特定されたオブジェクトのフレーム内位置の情報は、入力制御部１３０に与えられる。

入力制御部１３０は、ゲームを初めとするアプリケーションを実行する図示しないアプリケーション実行部に対して、カメラ２０により撮影されたフレームに対する画像処理によって得られた情報に基づく指示を与える。入力制御部１３０は、アクション特定部１３２、表示制御部１３４、画像記憶部１３６を含む。

アクション特定部１３２は、奥行定位部１２２による奥行位置の判定をもとに、第１進入領域６２と第２進入領域６４の間の奥行方向へのオブジェクト７０の移動を検出して、プレイヤーのアクションを特定する。アクション特定部１３２は、奥行方向におけるオブジェクト７０のカメラ２０へ向かう移動と、カメラ２０から離れる移動とを異なるプレイヤーのアクションとして特定してもよい。アクション特定部１３２は、特定したアクションを図示しないアプリケーション実行部と表示制御部１３４とに与える。アプリケーション実行部は、与えられたアクションを入力として受け取り、所定の機能を付与する。

表示制御部１３４は、カメラ２０により撮影されたオブジェクトの直接像に重ね合わせて、所定の目的を達成するために表示すべき画像をディスプレイに表示させる。表示制御部１３４は、オブジェクトが第１反射面５２に対応する第１進入領域６２に位置するときと、第２反射面５４に対応する第２進入領域６４に位置するときで、異なる表示態様の画像を表示してもよい。表示制御部１３４は、オブジェクトの位置に応じた画像を画像記憶部１３６から検索して、オンスクリーン表示部１４４に出力する。

画像記憶部１３６は、オブジェクトの直接像に重ねて表示される上述の画像を記憶する。この画像の例には、ゲームに用いるキャラクタ、カーソルなどのポインタ、楽器や武器などの道具、星や太陽などのマーク、手や足などの身体の一部の画像、またはキーボードや電卓などの入力デバイスの画像がある。これらの画像は、ユーザからの入力を受け付けるためにＯＳが有している入力用画像でもよいし、実行中のアプリケーションソフトウェアから読み出されたアプリケーション画像であってもよい。表示制御部１３４によってオブジェクトのフレーム内位置に応じた異なる態様の画像を表示させるために、画像記憶部１３６は、複数の態様の画像を保持していてもよいし、ある画像を変化させるために必要となるデータを保持していてもよい。

オンスクリーン表示部１４４は、画像反転部１０４から得た鏡面画像に、表示制御部１３４から出力された画像をオンスクリーン表示させ、画像出力部３４に送る。画像出力部３４によって、プレイヤーの鏡面画像に重畳された画面がディスプレイ４０に表示される。

画像連携音声制御部１５０は、三次元定位部１１０により検出されたオブジェクトの位置や、入力制御部１３０により検出されたプレイヤーのアクションに連携した音声を出力するように、音声出力部３６を制御する。画像連携音声制御部１５０の具体的な構成は、実施の形態３および４において詳細に説明する。

配置指示部１４２は、カメラ２０により撮影されたプレイヤーの画像とともに、反射体５０を設置すべき位置をプレイヤーに指示する表示をディスプレイ４０に映し出す。上述したように、反射体５０は、オブジェクト７０の反射像をカメラ２０に撮影させなくてはならないので、反射体５０を配置すべき位置はある一定の範囲に制限される。そこで、プレイヤーに反射体５０を正しい位置に設置させるために、ディスプレイ４０に例えば枠線を表示して、カメラ２０により撮影された反射体５０が枠線の内側に収まるように、反射体５０の位置を調節してもらう。

配置確認部１４０は、カメラ２０により撮影されたフレームを参照して、反射体５０が適切な位置に設置されたか否かを確認する。具体的には、反射面領域特定部１１２により反射体５０の両端にあるマーカ５６のフレーム内位置が検出され、配置確認部１４０は、マーカ５６の位置が配置指示部１４２の表示した枠線の内側にあるか否かを判定する。マーカが枠線の内側にあれば、反射体が適切に配置された旨の表示をディスプレイ４０に表示させるとともに、配置指示部１４２に対して枠線の表示をやめるように指示する。マーカが枠線の内側に入らない限り、三次元定位部１１０による定位処理を開始しないように構成してもよい。

次に、図５ないし図８を参照して、本実施形態による三次元位置特定装置を利用したアプリケーションの一例を説明する。このアプリケーションは電卓であり、画面上に表示された電卓のキーの画像をプレイヤーがプッシュすることで、数字を入力できるものである。

図５（ａ）は、プレイヤー７２の操作するオブジェクト７０、すなわちプレイヤーの指が、反射体５０の第１反射面５２の上方に広がる第１進入領域６２よりも手前側に位置する状態を示す。これは、画像処理装置３０で実行されるアプリケーションが、プレイヤーの何らかのアクションを待機している状態である。図５（ｂ）は、このときディスプレイ４０に表示され、プレイヤーにより認識される画面４４を示す。図示するように、プレイヤー７２、オブジェクト７０および反射体５０の直接像が画面４４に表示される。反射面領域特定部１１２は、フレームからマーカ５６を検出することで、反射面領域５０’を特定しておく。

カメラ２０および画像処理装置３０がスイッチオンされ待機している状態のとき、反射面領域５０’のデフォルト画像を記憶しておいてもよい。待機状態では、第１進入領域６２および第２進入領域６４の上方には背景以外何も存在しない。そこで、デフォルト画像を記憶しておくと、第１進入領域６２および第２進入領域６４にオブジェクトが進入したときの差分を容易に取ることができ、したがって反射面領域内でのオブジェクトの反射像の検出処理がロバストになる。

従来のフレーム間の動き差分によるオブジェクトの検出方法では、オブジェクトが画面内で静止してしまうと差分がなくなり、何も認識できなくなってしまう。これに対し、本実施形態のように予めデフォルト画像を記憶しておくようにすると、オブジェクトが進入領域に進入した状態のままで静止した場合であっても、静止中も継続してデフォルト画像との差分を得ることができ、したがってオブジェクトの奥行位置を認識し続けることができる。

図６（ａ）は、プレイヤー７２の操作するオブジェクト７０が第１進入領域６２に進入した状態を示す。図６（ｂ）は、このときディスプレイ４０に表示され、プレイヤーにより認識される画面４４を示す。オブジェクト７０が第１進入領域６２に進入したことにより、画面４４の第１反射面５２に対応する領域に、オブジェクト７０の反射像７０ａが映し出されている。奥行定位部１２２は、フレーム間で反射面領域の差分を取ることでこの反射像７０ａを検出する。

アクション特定部１３２は、オブジェクト７０が進入領域６２に進入したことを知ると、表示制御部１３４に指示して、電卓アプリケーションを実行するためのアプリケーション画像８０をディスプレイ４０に表示させる。アプリケーション画像８０には、数字または記号を入力するための複数のキー領域が含まれる。アプリケーション画像８０は、重畳されるプレイヤーの動作の視認が妨げられないように、線画や半透明であることが好ましいが、不透明の画像であってもよい。また、アクション特定部１３２は、図示しないアプリケーション実行部に対して、電卓アプリケーションを起動するように指示する。この後、フレーム内定位部１１４は、マッチングによりオブジェクト７０のフレーム内位置を特定することで、オブジェクト７０をトラッキングし続ける。図６（ｂ）では、オブジェクト７０は、アプリケーション画像８０のうち「５」に相当するキーの位置にある。

図７（ａ）は、第１進入領域６２内、すなわち奥行方向に垂直な面内で、プレイヤー７２がオブジェクト７０を移動させた状態を示す。図７（ｂ）は、このときディスプレイ４０に表示され、プレイヤーにより認識される画面４４を示す。図７（ｂ）に示すように、プレイヤー７２はオブジェクト７０をアプリケーション画像８０の「５」の位置から「１」の位置に移動させている。これに伴い、オブジェクトの反射像７０ａの反射面領域内での位置も変化している。しかしながら、オブジェクトが第１進入領域６２にあることには変わりないので、アクション特定部１３２による指示は発生せず、したがってアプリケーション画像８０の態様も変化しない。フレーム内定位部１１４は、アプリケーション画像８０のいずれのキーにオブジェクト７０があるかをトラッキングし続ける。

図８（ａ）は、プレイヤー７２の操作するオブジェクト７０が、第１進入領域６２を越えて第２進入領域６４に進入した状態を示す。図８（ｂ）は、このときディスプレイ４０に表示され、プレイヤーにより認識される画面４４を示す。図８（ｂ）に示すように、オブジェクト７０が第２進入領域６４にまで進入したことで、反射面領域内の第１反射面５２に相当する部分には、第１反射面５２による反射像７０ｂが、第２反射面５４に相当する部分には、第２反射面５４による反射像７０ａが、それぞれ表示されている。奥行定位部１２２は、フレーム間で反射面領域の差分を取ることで、この反射像７０ａ、７０ｂを検出する。

アクション特定部１３２は、奥行定位部１２２からの情報に基づいて、オブジェクト７０が第１進入領域６２を越えて第２進入領域６４にまで移動したことを認識し、オブジェクト７０が奥行方向のカメラに向かう側に移動するアクションがプレイヤー７２により実行されたと判定する。これにしたがい、アクション特定部１３２は、アプリケーション実行部に対して、現在オブジェクト７０の存在するフレーム内位置に対応したアプリケーション画像８０のキーが入力、すなわちプッシュされたことを伝える。これとともに、アクション特定部１３２は、表示制御部１３４に対して、現在オブジェクト７０の存在するフレーム内位置に対応したアプリケーション画像８０のキーの表示態様を変化させるように指令する。図８（ｂ）の例では、オブジェクト７０のフレーム内位置に対応するキー「１」の色が変化している（図中の８０ａを参照）。表示態様の変化は、色の変化のほか、キーの点滅や点灯、キーの押し込まれた態様などであってもよい。このようにして、プレイヤーはオブジェクトを操作することで電卓アプリケーションに数字を入力することができる。同様に、アプリケーション画像としてキーボードを表示し、ワードプロセッサの入力デバイスとして使用してもよい。

この後、プレイヤー７２がオブジェクト７０を第１進入領域６２の位置にまで引き戻すと、アクション特定部１３２はこのアクションを検出し、アプリケーション画像８０の「１」に対応するキーの選択を解除したものと判定する。アクション特定部１３２は、表示制御部１３４に対して、「１」に対応するキーの表示態様を元の状態に戻すように指令する。

プレイヤー７２がオブジェクト７０を第１進入領域６２よりさらに手前、すなわち図５（ａ）の状態に戻すと、アクション特定部１３２はこのアクションを検出し、プレイヤーが電卓アプリケーションの操作を停止したものと判定する。アクション特定部１３２は、アプリケーション実行部に対して電卓アプリケーションを停止するように伝えるとともに、表示制御部１３４に対してアプリケーション画像８０を非表示にするよう指令する。こうして、再び図５（ｂ）に示すような画面に復帰する。

図９は、本実施形態による三次元位置特定装置１０において、図５ないし図８で説明したアプリケーションを実行するフローチャートである。

反射体５０を適正な位置に設置したのち、カメラ２０によるオブジェクト７０と反射体５０の撮影がなされ、画像取得部１０２がオブジェクト７０の直接像と反射像とを含むフレームを取得する（Ｓ１０）。反射面領域特定部１１２は、画像反転部１０４から与えられたフレーム内でマーカ５６を検出することで、反射面領域を特定する（Ｓ１２）。奥行定位部１２２は、反射面領域内でフレーム間の差分を検出することで、オブジェクトの奥行方向の位置を特定する（Ｓ１４）。アクション特定部１３２は、奥行定位部１２２からの情報にしたがって、オブジェクト７０が第１進入領域６２内に進入したか否かを判定する（Ｓ１６）。オブジェクト７０が第１進入領域６２に進入しない限り（Ｓ１６のＮ）、アプリケーションは実行されない。

オブジェクト７０が第１進入領域６２に進入すると（Ｓ１６のＹ）、アクション特定部１３２はアプリケーション実行部に対してアプリケーションを開始するように指示する。また、フレーム内定位部１１４は、マッチングによりオブジェクトのフレーム内位置を特定し、表示制御部１３４は、オブジェクトのフレーム内位置に所定のアプリケーション画像を重ね合わせて表示する（Ｓ１８）。フレーム内定位部１１４は、オブジェクト７０が第１進入領域６２の内部にある限り、オブジェクトのトラッキングを続ける（Ｓ２０）。また、奥行定位部１２２も、第１反射面５２および第２反射面５４に対応する反射面領域でのフレーム間の差分を検出し、オブジェクトの奥行方向の位置を特定する（Ｓ２２）。

アクション特定部１３２は、奥行定位部１２２からの情報にしたがって、オブジェクト７０が第２進入領域６４内に進入したか否かを判定する（Ｓ２４）。オブジェクト７０が第２進入領域６４に進入しない限り（Ｓ２４のＮ）、Ｓ１８〜Ｓ２２の処理が繰り返される。オブジェクト７０が第２進入領域６４に進入すると（Ｓ２４のＹ）、アクション特定部１３２はアプリケーション画像８０のキーがプッシュされたと判断し、その情報をアプリケーション実行部および表示制御部１３４に伝える。これに応じて、オブジェクト７０のフレーム内位置に応じた処理がアプリケーションにより実行され、またアプリケーション画像８０の表示態様が変化する（Ｓ２６）。

以上説明したように、本実施形態では、予め定められた進入領域へのオブジェクトの進入を反射体による反射像を利用して検出することで、プレイヤーによるオブジェクトの押し込みや引き出しといった奥行方向のアクションを検出する。従来のようなフレーム間差分に基づいたオブジェクトの検出では、奥行方向すなわちカメラの光軸方向に沿ったオブジェクトの移動の検出は非常に困難であったが、本実施形態では、カメラの光軸と交わる方向からの反射像を利用するので、奥行方向のオブジェクトの移動を正確に検出することができる。

従来のように、オブジェクトの存在するフレーム内位置にキャラクタ等を表示させたり音声を出力するなどの何らかの機能を付与すると、プレイヤーがオブジェクトを動かしている間は常にキャラクタの表示や音声の出力が継続されてしまう。他の入力デバイスを併用しない限り、プレイヤーの意志にしたがってそれらの表示や音声をオフすることは困難であった。これに対し、本実施形態では、オブジェクト７０を第１進入領域６２と第２進入領域６４との間で移動させることによって、特定のアプリケーションの機能のオン、オフや、画像の表示、非表示などの機能の切替を、オブジェクトの操作だけで容易に実現することができる。

さらに、図５ないし図８を参照して説明したように、本実施形態ではプレイヤーのアクションに複数の意味を持たせることができる。つまり、オブジェクト７０が第１進入領域６２にある間、プレイヤー７２によるオブジェクト７０の操作は、アプリケーション画像８０における「選択（セレクト）」操作に相当する。したがって、オブジェクトを移動させることで、アプリケーション画像８０内でセレクトされるキーが移動する。そして、所望のキーをセレクトした状態で、プレイヤー７２がオブジェクト７０をさらに押し込む操作をすると、オブジェクト７０が第２進入領域６４に進入し、これにより「決定」操作を与えることができる。このように、本実施形態では、オブジェクトのストロークを検出できる点に特徴のひとつがある。

このストロークを活用することで、様々なアプリケーションが考えられる。例えば、手をカメラに向けて押し込む動きをキャッチ、手をカメラから引き出す動きをリリースに対応させると、画面上に出現するキャラクタを手でキャッチしたり、リリースしたりするゲームを実現することができる。

また、手をカメラに向けて押し込む動きを特定の機能のオンに、手をカメラから引き出す動きを特定の機能のオフに対応させてもよい。これを利用して、例えばペイントソフトにおいて、手を押し込むと画面上に表示されるカーソルの形状が変わり、その状態で手を動かすと画面上に線を書くことが可能になり、また手を引き出すと、カーソルの形状が元に戻り、手を動かしても画面に線が書けなくなる、といった応用も可能である。従来の同様のアプリケーションでは、一旦オブジェクトが認識されると、手を動かすたびに線が書かれるような事態になってしまう。これに対し、本実施形態によればプレイヤーは簡単なアクションを通して機能のオンオフを容易に使い分けることができる。

実施の形態１では、反射体５０が二つの反射面５２、５４を備えることを述べたが、反射面の数はひとつでも、または三つ以上でもよい。反射面がひとつの場合、プレイヤーによるオブジェクトの押し込みや引き出しなどのアクションは特定できないが、少なくともその反射面に対応する進入領域内にオブジェクトが位置するか否かを特定することができる。反射面が三つ以上の場合でも、それぞれに対応して進入領域が設定され、奥行定位部１２２によって各進入領域にオブジェクトが進入したか否かを判定する点は上述したのと同様である。反射面の数を多くすることで、より複雑なプレイヤーのアクションを識別することが可能になり、したがってより多様な指示をアプリケーションに与えることが可能になる。

実施の形態２．
実施の形態１では、オブジェクトのフレーム内位置に重ねて電卓のアプリケーション画像を表示することを述べたが、実施の形態２では、プレイヤーにより操作可能なキャラクタを表示する例を説明する。

図１０（ａ）は、実施の形態２における三次元位置特定装置１２の全体構成を示す。カメラ２０、画像処理装置３０、ディスプレイ４０および反射体５０の配置については、実施の形態１と同様である。図１０（ａ）では、プレイヤーの操作するオブジェクト７６はプレイヤーの手全体である。オブジェクト７６が第１進入領域６２に進入すると、上述の通り各機能ブロックによる処理がなされ、アクション特定部１３２がプレイヤーのアクションを特定する。

実施の形態２では、オブジェクト検出部１１６は、オブジェクト７６とマッチングする参照画像として、手の平を開いた状態を表す参照画像と、手の平を閉じた状態を表す参照画像の二つを使用し、いずれかの参照画像とのマッチングを実行する。こうすることで、オブジェクト検出部１１６は、オブジェクトのフレーム内位置のみならず手の開閉を検出することができる。アクション特定部１３２は、表示制御部１３４に対して、手の平が開いた状態のときは、口を開いたキャラクタ画像をオブジェクトのフレーム内位置に表示し、手が閉じた状態のときは、口を閉じたキャラクタ画像をオブジェクトのフレーム内位置に表示するように指令する。

図１０（ｂ）は、図１０（ａ）に状態に対応したキャラクタ画像８２が表示された状態の画面４４を示す。図１０（ａ）においてオブジェクト７６である手は閉じられているので、図１０（ｂ）では口を閉じたキャラクタ画像８２がオブジェクト７６に重ねて表示される。

図１１（ａ）に示すように、プレイヤー７２が第１進入領域６２内でオブジェクト７６である手を開くと、オブジェクト検出部１１６により手を開いた状態が検出される。これに応じて、図１１（ｂ）に示すように、口を閉じたキャラクタ画像８２がオブジェクト７６に重ねて表示される。

アクション特定部１３２は、音声出力部３６に対して、キャラクタの口の変化に合わせて音声を出力させてもよい。例えば、口を閉じた状態のときは音声を発せず、口を開いたときに音声を発するようにしてもよい。これによって、プレイヤーが第１進入領域６２内で手を開閉させることで、キャラクタをしゃべらせるアプリケーションを実現できる。

オブジェクト検出部１１６は、手を閉じた状態から手を開くまでの複数段階の参照画像を有しており、それらを用いたマッチングにより手の開き具合を検出するようにしてもよい。この場合、アクション特定部１３２は、手の開き具合に応じてキャラクタ画像の口の開度を変えるように表示制御部１３４に指示してもよい。また、アクション特定部１３２は、キャラクタの口の開度に応じて、音声の大きさ、音の高さ、声色を変えるよう音声出力部３６に指示してもよい。この場合、図示しない音声データ格納部に複数の音声データを準備しておき、音声出力部３６は、アクション特定部１３２からの指示に応じて適切な音声データを検索して出力する。

実施の形態２においても、第１進入領域６２と第２進入領域６４とを特定の機能のオンオフに利用してもよい。一例として、オブジェクト７６が第１進入領域６２に進入するとキャラクタ画像８２の表示が開始され、オブジェクト７６が第２進入領域６４に位置するときにのみ、手の開閉に合わせて音声が発せられるようにしてもよい。オブジェクト７６が第１進入領域６２に位置するときにプレイヤー７２がオブジェクト７６である手を開閉させても、画面内のキャラクタ画像８２の口は動作に合わせて開閉されるが音声は発せられない。

キャラクタ画像を重ね合わせるオブジェクトは、プレイヤー７２の他の身体の一部、例えば口であってもよい。図１２（ａ）、（ｂ）はその様子を示す。カメラ２０により撮影されたフレーム内で、オブジェクト検出部１１６がプレイヤーの唇７８をマッチングにより検出してフレーム内位置を特定する。また、オブジェクト検出部１１６は、複数の参照画像を用いてマッチングを実行することで、口の開度を検出する。表示制御部１３４は、プレイヤーの唇に重ね合わせて、上唇および下唇の形状をしたキャラクタ画像８４を表示する。表示制御部１３４は、開度に応じてキャラクタ画像８４の上下唇間の間隔を変更する。

アクション特定部１３２は、口の開閉タイミングに合わせて音声を出すように、音声出力部３６に指令する。これを利用して、プレイヤーの声と異なる声、例えば動物の鳴き声、著名な人物の声などを、プレイヤーの口の動きに合わせて出力するようなアプリケーションを実現できる。

プレイヤーの鏡面画像と重ならない位置に別のキャラクタ画像を表示させて、このキャラクタが口を動かす様子をまねしてプレイヤーが口を動かすようなアプリケーションとしてもよい。キャラクタの口の動きに合わせることができると、キャラクタの声が出力されるようにしてもよい。

図１２の例では、一旦プレイヤーの口がオブジェクト検出部１１６により検出されると、それ以降プレイヤーが口を動かすたびに音声が出力されてしまう。そこで、反射体５０を用いた奥行定位を利用して、プレイヤーの手や指などのオブジェクトが第１進入領域６２または第２進入領域６４に存在するときにのみ、音声が出力されるようにしてもよい。あるいは、上述したように、オブジェクトが第１進入領域６２に進入するとプレイヤーの口に重ねたキャラクタ画像の表示が開始され、オブジェクトが第２進入領域６４に進入すると、プレイヤーの口の動きに合わせた音声の出力が開始されるようにしてもよい。このように、本発明では、奥行位置の特定はマッチングによらず、フレーム間で反射面領域の差分を取ることによって行われるため、奥行定位に用いるオブジェクトと、マッチングによりフレーム内位置を特定するオブジェクトとが別々のものであってもよい。したがって、反射体を用いた奥行定位を、オブジェクトのマッチングを利用した特定の機能をオンオフするためのスイッチとしてのみ使用することができる。

実施の形態３．
実施の形態１および２では、二つの反射面を奥行方向に離間して配置した反射体５０を用いてオブジェクトの三次元位置を特定する技術を説明した。実施の形態１および２では、オブジェクトのフレーム内位置を特定するために、参照画像を用いたマッチングを実行する。このため、参照画像記憶部１２０には、予めオブジェクトの参照画像を記憶させておく必要がある。参照画像を予め記憶させておいてもよいが、プレイヤーの身体の一部をオブジェクトとして用いる場合には、認識精度を高めるために、プレイヤー毎にオブジェクトの参照画像を取得することが望ましい。

そのため、従来技術では、アプリケーションの実行前に所定の画面を表示して、プレイヤーに対しオブジェクトをカメラにより撮影させる操作を促すことで、オブジェクトの参照画像を取得することが行われている。しかしながら、これはプレイヤーに無駄な動作をさせるばかりか、ゲームなどのアプリケーションを速やかに実行できないという問題がある。

そこで、実施の形態３では、事前にオブジェクトの参照画像を保持することなく、オブジェクトの三次元定位と同一の構成を用いてオブジェクトの参照画像を取得する技術について説明する。これによって、プレイヤーはカメラ、ディスプレイ、反射体の設置後に速やかにアプリケーションの実行に移ることができる。
実施の形態１および２で用いた、奥行方向に離間して配置された二枚の反射面を備える反射体の代わりに、実施の形態３では、それぞれの面の法線がオブジェクトの存在する側で交差するように角度を付けられオブジェクトを同時に反射する第１反射面と第２反射面とを備える反射体を用いる点が異なる。

図１３は、実施の形態３に係る三次元位置特定装置１４を示す。図１４は、図１３に示す状態で、ディスプレイ４０に表示されプレイヤーから認識される画面４４を示す。図１５は、反射体１７０の奥行方向すなわちｚ方向に垂直な平面の断面図である。

図１３中、カメラ２０、画像処理装置３０およびディスプレイ４０の基本的な機能および配置については、図１で説明したのと同様である。三次元位置特定装置１４では、反射体１７０の構成が実施の形態１と異なる。反射体１７０は、第１反射面１７２と第２反射面１７４を有する。図１５に示すように、第１反射面１７２と第２反射面１７４は、それぞれの面の法線１７２ｄ、１７４ｄがオブジェクトの存在する側で交差するように角度を付けられ、オブジェクトの二つの反射像を同時にカメラ２０に向けて反射するように配置される。

図１４に示すように、第１反射面１７２と第２反射面１７４は、奥行方向に並べられた複数の短冊状の反射面１７８ａ〜１７８ｄで構成される。図１４では、ひとつの反射面が４つの短冊状反射面で構成されている。反射体１７０の長軸方向の両端には、反射体５０と同じように識別用のマーカ１７６も設けられる。

第１反射面１７２および第２反射面１７４は、反射体５０と同じく鏡や鏡面加工を施した金属、プラスチック、金属を蒸着させたガラスなどで構成されてもよいが、微小なプリズムを平面的に配置してなる平面上のマイクロプリズムミラーで構成されることが好ましい。反射面をマイクロプリズムミラーで構成することで、反射体１７０の厚みを抑えることができ、設置が容易で省スペースとなる。
なお、図１３および図１５では、反射の方向を分かりやすくするために第１反射面１７２、第２反射面１７４、および短冊状反射面１７８ａ〜１７８ｄに角度を付けて描いたが、実際にはマイクロプリズムミラーはほぼ平面でもこのような反射角を付けることができる点に注意されたい。

第１反射面１７２と第２反射面１７４とを角度を付けて配置させたために、図１４に示すように、カメラ２０から出力されるフレームには、第１反射面１７２によるオブジェクトの反射像７０ｃと、第２反射面１７４によるオブジェクトの反射像７０ｄの二つが現れることになる。つまり、オブジェクト７０が複数のカメラによりステレオ撮影されたのと同様の状態になる。したがって、周知のステレオ撮影の技術を用いて、二つの反射像７０ｃ、７０ｄからオブジェクト７０の三次元位置を特定することが可能である。

図１６は、実施の形態２における画像処理装置３０の構成を示す。画像取得部１０２、画像反転部１０４、配置確認部１４０、配置指示部１４２およびオンスクリーン表示部１４４の機能については、図４と同様であるので説明を省略する。

反射面領域特定部１１２は、画像反転部１０４から受け取ったフレーム内で、マーカ１７６の位置をもとに反射面領域を特定する。

フレーム内定位部１１４は、オブジェクト検出部１１６に加えてステレオ画像解析部１１８を含む。ステレオ画像解析部１１８は、反射面領域特定部１１２で特定された反射面領域における二つの反射像７０ｃ、７０ｄを用いて、既知の技術にしたがってオブジェクト７０のフレーム内位置を特定する。反射像７０ｃ、７０ｄが反射された位置と、反射像７０ｃ、７０ｄの大きさの違いから、オブジェクト７０のフレーム内位置を大まかに決定することができる。

参照画像記憶部１２０は、ステレオ画像解析部１１８により特定されたオブジェクト７０のフレーム内位置を中心とする所定範囲の画像をフレームから切り出し、参照画像として記憶する。図１５に示すように、オブジェクト７０は、フレーム内で、オブジェクト７０の二つの反射像がある場所から伸ばした第１反射面１７２および第２反射面１７４の法線が交わる位置付近にあるはずである。そこで、図１５の円１８０に相当するフレーム内の領域を切り出すことで、オブジェクトの参照画像を取得することができる。

反射像のステレオ画像により決定されるオブジェクトのフレーム内位置の精度はさほど高くないが、検出対象のオブジェクトより広い範囲の画像を切り出すことによって、この精度の低さをカバーすることができる。参照画像を切り出す範囲の大きさは、実験を通じて適正値を定めればよい。ステレオ画像解析部１１８は、この所定範囲の画像を参照画像として参照画像記憶部１２０に記憶する。

これら一連の処理が終わると、オブジェクト検出部１１６は、参照画像記憶部１２０内の参照画像を使用して、オブジェクト７０のフレーム内定位およびトラッキングを実行できるようになる。

奥行定位部１２２は、複数の短冊状反射面１７８ａ〜１７８ｄのうち、いずれの反射面にオブジェクト７０の反射像７０ｃ、７０ｄが反射しているかをフレーム間の差分に基づいて検出することによって、オブジェクト７０の奥行方向の位置を特定することができる。

図１７は、実施の形態３において、図５ないし図８で示したのと同様の電卓アプリケーションを実行する手順を示すフローチャートである。

反射体１７０を適正な位置に設置したのち、カメラ２０によるオブジェクト７０と反射体１７０の撮影がなされ、画像取得部１０２がオブジェクト７０の直接像と反射像とを含むフレームを取得する（Ｓ４０）。反射面領域特定部１１２は、画像反転部１０４から与えられたフレーム内でマーカ１７６を検出することで、反射面領域を特定する（Ｓ４２）。反射面領域特定部１１２は、オブジェクト７０の反射像との差分を取るためのデフォルト画像として、オブジェクト７０が進入領域１８２に進入してくる前に、反射面領域の画像を取得しておいてもよい。奥行定位部１２２は、反射面領域内でフレーム間の差分を検出することで、進入領域１８２内にオブジェクトが進入したことを検知する。これに応じて、ステレオ画像解析部１１８は、反射面領域特定部１１２で特定された反射面領域に映し出されている二つのオブジェクトの反射像７０ｃ、７０ｄに基づいて、オブジェクト７０のフレーム内での大まかな位置を特定する（Ｓ４４）。ステレオ画像解析部１１８は、特定したフレーム内位置を中心とする所定範囲１８０内の画像を、マッチングに用いるための参照画像としてフレームから切り出し、参照画像記憶部１２０に格納する（Ｓ４６）。これ以降は、図９のＳ１４以降と同様であり、フレーム内定位部１１４は、参照画像記憶部１２０に格納された参照画像を使用してオブジェクトのフレーム内位置を特定し、奥行定位部１２２は、反射面領域内でフレーム間の差分を検出することで、オブジェクトの奥行方向の位置を特定する。

ステレオ画像解析部１１８によるオブジェクトのフレーム内位置の特定が正確に行えなかった場合、参照画像の切り出しが不適切になり、オブジェクト検出部１１６のマッチングによるオブジェクトの検出ができないことになる。この場合、プレイヤーに対して再度オブジェクトの切り出しを実行することを通知してもよい。

以上説明したように、実施の形態３によれば、オブジェクトの存在する側でそれぞれの法線が交わるように角度を付けた第１反射面と第２反射面とを備える反射体を用いることで、オブジェクトの反射像のステレオ画像を取得する。反射面領域における背景のデフォルト画像とオブジェクトが進入したときの画像との差分を検出することで、参照画像を切り出すためのオブジェクトのステレオ画像を取得するタイミングを計ることができる。また、デフォルト画像を記憶しておくことで、差分検出のロバスト性も高くなる。ステレオ画像を解析することで、オブジェクトのマッチングを実行しなくてもオブジェクトのフレーム内の大まかの位置を特定できるため、その部分を参照画像として取り出すことができる。

このように、参照画像を切り出す段階で、プレイヤーによる参照画像を記憶させる動作を省略されるので、迅速なアプリケーションの開始に寄与する。言い換えると、プレイヤーに特定の動作を強制することがなく、参照画像を取得する手順をプレイヤーから見えなくしている。参照画像を切り出した後は、マッチングによりオブジェクトのフレーム内位置を高精度に検出する。このように、迅速なアプリケーションの開始と、マッチングによる位置精度の高さとを両立させた点が、実施の形態３の特徴のひとつである。

上述の反射体１７０を使用すれば、カメラで撮影されたフレーム内にオブジェクトの直接像がなくても反射像のみでオブジェクトの三次元位置を特定することができる。しかしながら、実施の形態３では、フレーム内定位の精度を高めるために、参照画像の切り出しに成功した後は、参照画像を用いたマッチングによりオブジェクトのフレーム内位置を特定している。

反射体１７０の短冊状反射面の数を増やして、奥行方向のオブジェクト移動の検出精度を高めることで、より複雑なアプリケーションを実現できる。一例として、バーチャル手術が考えられる。液晶立体ディスプレイに手術部位の三次元画像を表示させ、プレイヤーはメスなどの手術用具の代わりに棒状のオブジェクトを手で持って操作する。三次元定位部１１０によってオブジェクトの三次元位置を特定し、その位置に応じて、液晶立体ディスプレイに表示される手術部位の三次元画像を変化させる。一例として、オブジェクトをある方向に動かしたときに手術部位が切開されるといった画像を表示する。このとき、オブジェクトの複数箇所にＬＥＤを搭載しておき、オブジェクトを移動させたときのＬＥＤの軌跡をフレーム内で検出して、オブジェクトの動きベクトルを求めてもよい。こうすることで、後述する実施の形態４を利用して、オブジェクトの動きと同期させて所定の効果音をスピーカから出力させることも可能である。

反射面としてマイクロプリズムミラーを用いれば、鏡の凹凸面の曲率を制御することで、画角を調節できる。したがって、オブジェクトの進入を判定するための進入領域は、図１３で示したような反射面の垂直上方に限られず、扇状に広げることもできるし、逆に狭めることも可能である。進入領域を広げれば、位置精度は低下するものの、オブジェクトの奥行方向の移動を検出可能な範囲を広くすることができる。

実施の形態４．
実施の形態１ないし３において、反射体を用いてプレイヤーにより操作されたオブジェクトの三次元位置を特定し、これによってアクションを特定してアプリケーションの機能を働かせることを述べた。これらは、いずれも画面に表示されたアプリケーション画像の表示態様を変化させることで、アクションが認識され特定の機能が有効または無効になったことをプレイヤーに知らしめることができる。

しかしながら、ディスプレイ内のアプリケーション画像の表示態様の変化を通した視覚的通知のみならず、アクションに応じた音声をスピーカから出力すれば、プレイヤーに対し聴覚的にも知らせることができ有利である。この場合、オブジェクトの画像による認識後に音声を出力すると、視覚を通じたプレイヤーの認識とプレイヤーが音声を聞くタイミングとがずれてしまうことが起こり得、プレイヤーに対して違和感を与えてしまう恐れがある。そこで、実施の形態４では、画像処理によってオブジェクトの速度ベクトルを検出し、オブジェクトが仮想的なまたは現実の接触面に到達するまでの予想移動時間を算出し、オブジェクトが接触面に到達する前に音声の出力を実行する技術について説明する。

図１８は、実施の形態４に係る三次元位置特定装置１６の構成を示す。図中、カメラ２０、画像処理装置３０、ディスプレイ４０および反射体１７０は、図１３に示したものと同様である。ここでは、図５ないし図８を参照して説明した電卓アプリケーションを考えるものとする。

プレイヤー７２がオブジェクト７０を操作する。奥行定位部１２２は、オブジェクト７０が短冊状反射面１７８ｄに対応する進入領域に進入したことを検出し、アクション特定部１３２がオブジェクト７０のカメラ方向への移動を特定して、アプリケーション実行部および表示制御部１３４にその旨を伝える。これによって、上述したように、アプリケーション画像のセレクトされた領域の表示態様が変化し、電卓アプリケーションにセレクト領域に対応する数字が入力される。

実施の形態４では、このアプリケーション画像の表示態様の変化とともに、所定の効果音をスピーカ４２から出力させる。プレイヤー７２は、アプリケーション画像の表示態様の変化とともに音声を聞くことで、オブジェクトを介してアプリケーションを操作している感覚をより強く持つことができる。また、図１８に示す、短冊状反射面１７８ｄに対応する部分に仮想的な接触面（想定接触面）Ｗが存在していることを意識させることができる。

図１９は、実施の形態４に係る画像処理装置３０内の画像連携音声制御部１５０の構成を示す。これら機能ブロックも、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組合せにより実現できることは明らかである。以下、図１８をともに参照して、各機能ブロックについて説明する。

速度ベクトル算出部１６０は、カメラ２０により撮影されたフレームを使用して、プレイヤー７２の操作するオブジェクト７０が想定接触面Ｗに向かう動作の速度ベクトルを計算する。具体的には、複数のフレーム間での反射像の差分に基づいてオブジェクトの速度ベクトルを算出する。奥行定位部１２２により短冊状反射面１７８ａに対応する進入領域にオブジェクト７０が進入したと判定されたフレームと、短冊状反射面１７８ｂまたは１７８ｃに対応する進入領域にオブジェクトが進入したと判定されたフレーム間の時間差ｔｆを、カメラ２０のフレームレートを参照して計算する。また、短冊状反射面１７８ａと、短冊状反射面１７８ｂまたは１７８ｃの間の距離をｌｓとすると、速度ベクトル算出部１６０は、オブジェクトの７０の奥行方向すなわちｚ方向の速度ｖをｖ＝ｌｓ／ｔｆにより算出する。

移動時間算出部１５６は、速度ｖと、オブジェクトと想定接触面Ｗの距離ｌｉとを用いて、オブジェクト７０が想定接触面Ｗに到達するまでの移動時間ｔｍ＝ｌｉ／ｖを算出する。

遅延時間取得部１５４は、プレイヤーから離間して配置されたスピーカ４２から発せられた音声がプレイヤー７２に到達するまでの遅延時間ｔｄを取得する。実際には、スピーカ４２からプレイヤー７２までの正確な距離Ｌはプレイヤーによって異なるため不明であるが、反射体１７０を配置すべき位置は決められているため、実用的には距離Ｌは定数で問題ない。音速Ｖｓも定数とすれば、遅延時間ｔｄは定数で与えられる。この場合、遅延時間取得部１５４は、定数であるｔｄを取ってくればよい。別の実施例では、スピーカ４２とプレイヤー７２の間の距離Ｌをプレイヤーにより入力させるようにしてもよい。この場合、遅延時間取得部１５４は、ｔｄ＝Ｌ／Ｖｓにより遅延時間ｔｄを計算する。

音声同期部１５８は、移動時間ｔｍおよび遅延時間ｔｄを参照してプレイヤーのアクションと同期した音声をスピーカ４２から出力させる。具体的には、音声同期部１５８は、速度ｖを算出するのに用いたフレームの撮影時刻を起点として、移動時間ｔｍから遅延時間ｔｄを減じた時間の経過後に、所定の音声を出力させる。これにより、オブジェクトが想定接触面Ｗに到達するのと実質的に同時に、プレイヤーはスピーカ４２から発せられた音声を聴取することになる。

上述の例では、ディスプレイに表示されたアプリケーション画像の表示態様の変化に合わせて音声を出力することとしたが、アプリケーション画像を用いず、仮想的な接触面の存在を音声による出力だけでプレイヤーに認識させることもできる。

なお、想定接触面が実在の面である場合、出力される音声は、オブジェクトと面とが接触することで実際に発生する音とは全く異なるタイプの音声であってもよい。

以上説明したように、実施の形態４によれば、オブジェクトが仮想的なまたは実在の接触面に到達する前に、オブジェクトが接触面に到達する時間を算出し、音声の遅延を考慮して音声を先出しする。これによって、アクションが認識されたことを視覚と聴覚の両方を通じてプレイヤーに知らしめることができる。

なお、スピーカとプレイヤーの間の距離における音声の遅延は、実用的には問題にはならないので、特にオブジェクトの移動速度が比較的遅い場合には、音声同期部１５８は、遅延時間取得部１５４による遅延時間ｔｄを考慮しなくてもよい。この場合、音声同期部１５８は、アクション特定部１３２によりプレイヤーの何らかのアクション、例えば選択のアクションを特定したときに、それに対応するクリック音や効果音をスピーカ４２から出力させる。また、ゲーム性を高めるために、音声同期部１５８は、計測した移動時間よりも早いタイミングで音声を出力してもよい。

このように、プレイヤーアクションの検出にあわせて音声を出力することで、プレイヤーの体感性を高めることができる。つまり、ある進入領域へオブジェクトを出し入れするのに合わせて適当な効果音を出力することで、その進入領域へのオブジェクトの進入が検知され、他の領域とは異なる意味を有していることをプレイヤーに知らしめることができる。また、プレイヤーが自らオブジェクトによるアプリケーションの操作方法を試行錯誤するときに、適切な領域にオブジェクトが存在するときに音声を出力してやることで、自ら操作方法を学習するように導くことが可能である。

図１２に示したアプリケーションにおいて、速度ベクトル算出部１６０が複数フレーム間の口の差分情報を利用して、口の開閉速度を計算してもよい。そして、音声同期部１５８は、この開閉速度と遅延時間とを利用して、プレイヤーの口の開閉とスピーカから発せられる音声とが同期するように、音声の出力タイミングを調節してもよい。

実施の形態５．
実施の形態４では、反射体の奥行方向の幅を利用してプレイヤーの操作するオブジェクトの奥行方向の速度ベクトルを算出することを述べた。実施の形態５では、反射体を使用せず、カメラにより撮影されたフレームのみからオブジェクトの速度ベクトルを推定する技術について説明する。但し、本実施形態では、オブジェクトの奥行方向の移動成分は検出できず、フレーム内での移動成分のみが対象になる。

図２０は、実施の形態５に係る三次元位置特定装置１８の構成を示す。カメラ２０、画像処理装置３０およびディスプレイ４０の配置については、上述の実施形態と同様である。実施の形態５では反射体を使用せず、代わりに、ＬＥＤ等の発光素子の付けられたオブジェクト７４をプレイヤーが操作する。

図２１は、カメラ２０により撮影されたひとつのフレームから、オブジェクトの速度ベクトルを算出する方法の原理を説明する図である。ＣＣＤ、ＣＭＯＳ等の画像センサは、素子に蓄えられた光量にしたがって信号を出力するが、素子の全体を走査するには一定の時間が必要である。より詳細に説明すると、画像センサの各画素は、素子の一番上の列からスタートして一番下の列まで一列ずつ移って採光され、その後蓄積された光量の読み出しが始まる。読み出しも採光と同じように一番上の列からスタートして、同じ速度で一番下の底まで一列ずつ進んで順に読み取られる。したがって、採光を開始する画素列と、読み出しを開始する画素列とで時間差のある情報が、一枚のフレームの中に含まれている。

例えばＣＭＯＳセンサでは、各列で採光開始時間の差があるため、対象物の動きが速いと先に読み出した画像上部と最後に読み出した画像下部で像が歪む（動体歪み）。ＣＭＯＳは1ラインずつ順に読み出していくため、１画面を１／１５秒で読めば、読み始めと読み終わりで１／１５秒の差が出る。

したがって、オブジェクトとして光を発するものを高速で移動させると、図２１に示すように、フレーム内で光の動いた部分が軌跡７５となって現れることがある。したがって、画像センサのうち最初の画素と最後の画素を走査するまでに要する時間が分かれば、この軌跡を作り出したオブジェクトの速度を算出することが可能である。

図２２は、実施の形態５における画像連携音声制御部１５０の構成を示す。

採光時間取得部１５２は、カメラ２０に採用されている画像センサ２２の採光時間ｔｅを取得する。この情報は予め入力しておいてもよいし、カメラ２０と通信して取得してもよい。

軌跡測定部１６４は、画像反転部１０４から軌跡７５の残ったフレームを受け取り、その中に含まれている軌跡の長さｐとその方向を測定する。速度ベクトル算出部１６０は、軌跡の長さｐと採光時間ｔｅとを用いて、オブジェクトの速度ｖ＝ｐ／ｔｅを算出する。

移動時間算出部１５６は、実施の形態４と同様に、算出された速度ｖと、オブジェクト７４と想定接触面Ｗまでの距離ｌｉを用いて、オブジェクト７４の想定接触面Ｗまでの移動時間ｔｍを算出する。図２１の例では、想定接触面Ｗはフレーム内に仮想的に設定されており、オブジェクト７４と想定接触面Ｗまでの距離ｌｉは、フレームの解析により算出する。

遅延時間取得部１５４および音声同期部１５８については、実施の形態４と同様である。

図２３は、実施の形態５において、画像に連携して音声を出力させる処理のフローチャートである。まず、ＬＥＤ等の発光素子を有するオブジェクト７４を動作させる様子をカメラ２０により撮影する（Ｓ６０）。撮影されたフレームは、画像取得部１０２から画像連携音声制御部１５０内の軌跡測定部１６４に渡される。軌跡測定部１６４は、フレーム内でＬＥＤにより生じた軌跡７５を検出し、この軌跡の長さと方向を測定し、その結果を速度ベクトル算出部１６０に渡す（Ｓ６２）。速度ベクトル算出部１６０は、軌跡の長さ、方向、および画像センサの採光時間とを使用して、オブジェクトの速度ｖを計算する（Ｓ６４）。続いて、移動時間算出部１５６は、想定接触面Ｗまでの距離ｌｉと速度ｖとを用いて、オブジェクトの接触面への移動時間ｔｍを算出する（Ｓ６６）。音声同期部１５８は、速度ベクトルを算出するのに用いたフレームの撮影時刻を起点として、移動時間ｔｍから遅延時間ｔｄを減じることによって、音声の出力タイミングを算出する（Ｓ６８）。そして、出力タイミングにしたがって音声出力部３６から所定の音声を出力させる（Ｓ７０）。これにより、オブジェクトが想定接触面Ｗに到達するのと実質的に同時に、プレイヤー７２はスピーカ４２から発せられた音声を聴取することになる。

以上説明したように、実施の形態５によれば、オブジェクトに発光体を付けて移動させた状態を撮影し、カメラの画像センサにおける採光時間と、画像センサから出力されたフレーム内での発光体の軌跡の情報を利用して、オブジェクトの速度を算出することができる。実施の形態５は、複数フレーム間の差分によらず単一のフレームにおける軌跡を測定することで、オブジェクトの速度情報を得られるという特徴がある。但し、オブジェクトに付けた発光体を光らせることと、その軌跡がフレームに残ることが前提となる。

以上、実施の形態をもとに本発明を説明した。これらの実施の形態は例示であり、各構成要素またはプロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。また、実施の形態で述べた構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

実施の形態では、プレイヤーおよびオブジェクトの鏡面画像をディスプレイに映し出すアプリケーションを説明したが、カメラにより撮影された動画は、ディスプレイに映し出されなくてもよい。

上述の実施の形態で述べたようなアプリケーションを効果的に実行するために、十分に高いフレームレートで動画撮影のできるカメラ、そのような高フレームレートの処理が可能な計算能力および描画能力を有する画像処理装置、および高フレームレートで画像を表示できるディスプレイを組み合わせて用いることが望ましい。

実施の形態１に係る三次元位置特定装置の全体構成を示す図である。 カメラと画像処理装置のハードウェア構成を簡略化して説明した図である。 反射体の構造を示す平面図である。 処理部の詳細な構成を示す図である。 （ａ）はオブジェクトと進入領域との位置関係を示す図であり、（ｂ）はディスプレイに表示されプレイヤーにより認識される画面を示す図である。 （ａ）はオブジェクトと進入領域との位置関係を示す図であり、（ｂ）はディスプレイに表示されプレイヤーにより認識される画面を示す図である。 （ａ）はオブジェクトと進入領域との位置関係を示す図であり、（ｂ）はディスプレイに表示されプレイヤーにより認識される画面を示す図である。 （ａ）はオブジェクトと進入領域との位置関係を示す図であり、（ｂ）はディスプレイに表示されプレイヤーにより認識される画面を示す図である。 実施の形態１による三次元位置特定装置において、図５ないし図８で説明したアプリケーションを実行するフローチャートである。 （ａ）はオブジェクトと進入領域との位置関係を示す図であり、（ｂ）はオブジェクトである手に合わせてキャラクタ画像を表示させる様子を示す図である。 （ａ）はオブジェクトと進入領域との位置関係を示す図であり、（ｂ）はオブジェクトである手に合わせてキャラクタ画像を表示させる様子を示す図である。 （ａ）、（ｂ）は、オブジェクトである口に合わせてキャラクタ画像を表示させる応用例を示す図である。 実施の形態３に係る三次元位置特定装置の構成を示す図である。 図１３に示す状態で、ディスプレイに表示されプレイヤーから認識される画面を示す図である。 反射体の奥行方向に垂直な平面の断面図である。 実施の形態３に係る画像処理装置の構成を示す図である。 実施の形態３において、図５ないし図８で示したのと同様の電卓アプリケーションを実行する手順を示すフローチャートである。 実施の形態４に係る三次元位置特定装置の構成を示す図である。 実施の形態４に係る画像処理装置内の画像連携音声制御部の構成を示す図である。 実施の形態５に係る三次元位置特定装置の構成を示す図である。 カメラにより撮影されたひとつのフレームから、オブジェクトの速度ベクトルを算出する方法の原理を説明する図である。 実施の形態５における画像連携音声制御部の構成を示す図である。 実施の形態５において、画像に連携して音声を出力させる処理のフローチャートである。

符号の説明

１０ 三次元位置特定装置、 ２０ カメラ、 ２２ 画像センサ、 ２４ 画像処理部、 ３０ 画像処理装置、 ３４ 画像出力部、 ３６ 音声出力部、 ４０ ディスプレイ、 ４２ スピーカ、 ５０ 反射体、 ５２ 第１反射面、 ５４ 第２反射面、 ５６ マーカ、 ６２ 第１進入領域、 ６４ 第２進入領域、 ７０ オブジェクト、 ７０ａ 反射像、 ７０ｂ 反射像、 ７２ プレイヤー、 ７４ オブジェクト、 ７５ 軌跡、 ７６ オブジェクト、 ８０〜８４ アプリケーション画像、 １１０ 三次元定位部、 １１２ 反射面領域特定部、 １１４ フレーム内定位部、 １２０ 参照画像記憶部、 １２２ 奥行定位部、１３２ アクション特定部、 １３４ 表示制御部、 １５０ 画像連携音声制御部、 １５４ 遅延時間取得部、 １５６ 移動時間算出部、 １５８ 音声同期部、 １６０ 速度ベクトル算出部、 １７０ 反射体、 １７２ 第１反射面、 １７４ 第２反射面、 １７６ マーカ、 １８０ 切り出し領域、 １８２ 進入領域。

Claims (7)

1. プレイヤーの操作するオブジェクトをカメラで撮影し、
   前記カメラから出力されるフレームを受け取る処理装置が、
   前記カメラの撮像素子における開始画素と最終画素とにおける採光に要する時間差と、移動するオブジェクトの少なくとも一部が前記カメラにより撮影された一フレーム内で描く軌跡と、を用いて速度ベクトルを計算し、
   前記速度ベクトルを参照して前記オブジェクトが接触面に到達するまでに要する移動時間を計算し、
   前記移動時間を参照して、前記オブジェクトが前記接触面に接触するのと実質的に同時にプレイヤーが音声を聴取するように、前記プレイヤーから所定の距離だけ離間して配置されたスピーカから発せられる前記音声の出力タイミングを調節することを特徴とする画像に連携した音声出力方法。
2. 前記処理装置は、前記スピーカと前記プレイヤーとの間の距離の入力を受け付け、前記オブジェクトと前記接触面との接触により発せられるべき音声を前記スピーカから出力したときその音声が前記プレイヤーに到達するまでの遅延時間を前記距離に基づき計算し、該遅延時間に応じて前記音声の出力タイミングを調節することを特徴とする請求項１に記載の音声出力方法。
3. カメラによって撮影されたプレイヤーの動作の画像を使用して、プレイヤーの操作するオブジェクトが接触面に向かう動作の速度ベクトルを計算する速度ベクトル算出部と、
   前記速度ベクトルと、前記オブジェクトと前記接触面との距離とを用いて、前記オブジェクトが前記接触面に到達するまでに要する移動時間を計算する移動時間算出部と、
   前記オブジェクトが前記接触面に接触するとき所定の音声を前記プレイヤーから所定の距離だけ離間して配置されたスピーカから出力させる音声制御部と、
   前記スピーカと前記プレイヤーとの間の距離の入力を受け付け、前記スピーカから発せられた音声がプレイヤーに到達するまでの遅延時間を前記距離に基づき計算する遅延時間取得部と、を備え、
   前記速度ベクトル算出部は、前記カメラの撮像素子における開始画素と最終画素とにおける採光に要する時間差と、移動するオブジェクトの少なくとも一部が前記カメラにより撮影された一フレーム内で描く軌跡を用いて前記速度ベクトルを計算し、
   前記音声制御部は、前記移動時間から前記遅延時間を減じた時間をもとに、前記オブジェクトが前記接触面に接触するのと実質的に同時にプレイヤーに前記音声を聴取させることを特徴とする画像に連携した音声出力装置。
4. 前記カメラによって撮影されたプレイヤーの動作の画像をディスプレイに表示させる画像出力部と、
   前記画像からプレイヤーの操作するオブジェクトを検出するオブジェクト検出部と、
   検出されたオブジェクトにキャラクタの口の画像が重なるようにキャラクタの画像を前記ディスプレイに表示し、前記オブジェクトの動きにあわせてキャラクタの口を変化させる表示制御部と、をさらに備え、
   前記音声制御部は、前記キャラクタの口の変化に応じてスピーカから音声を出力させることを特徴とする請求項３に記載の音声出力装置。
5. 前記オブジェクトはプレイヤーの手であり、
   前記オブジェクト検出部は手の平の開閉を検出し、
   前記音声制御部は手の平の開閉動作に応じた音声を出力することを特徴とする請求項４に記載の音声出力装置。
6. 前記オブジェクトはプレイヤーの口であり、
   前記オブジェクト検出部はプレイヤーの口の開閉速度を計算し、
   前記音声制御部は口の開閉と前記音声とが同期するように音声の出力タイミングを調節することを特徴とする請求項４に記載の音声出力装置。
7. 前記音声制御部は、前記口の開閉速度と前記遅延時間とを参照して音声の出力タイミングを調節することを特徴とする請求項６に記載の音声出力装置。

Images