JP2019054360A - 電子機器、モーションセンサー、位置変化検出プログラムおよび位置変化検出方法 - Google Patents

Abstract

【課題】短い周期で位置変化を解析する電子機器、モーションセンサー、位置変化検出プログラムおよび位置変化検出方法を提供する。【解決手段】ローリングシャッター方式のエリアセンサー３１とエリアセンサー３１で撮像された画像のライン毎のフレーム間差分に基づいてエリアセンサー３１の位置の変化を検出する検出部３４とを備えるカメラユニット３０と、エリアセンサー３１の位置の変化に基づいてオブジェクトの位置を変化させる表示部１０と、を備える電子機器としてヘッドマウントディスプレイ１が構成される。さらに、表示部１０は、エリアセンサー３１で撮像された画像と当該画像に重畳されたオブジェクトとを表示する。【選択図】図２

Description

本発明は、電子機器、モーションセンサー、位置変化検出プログラムおよび位置変化検出方法に関する。

従来、撮像装置によって撮像された画像の位置変化を解析する技術が知られている。例えば、特許文献１においては、撮像装置で撮像された画像からテンプレートマッチングによって動きベクトルの検出対象となる矩形領域を抽出し、当該矩形領域のフレーム間の相関値に基づいて動きベクトルを算出する構成が開示されている。

特開２０１６−６６８４８号公報

特許文献１の技術のように画像内の特定の部分に関するフレーム間の比較を行う構成においては、あるフレームの矩形領域が撮像された後にフレーム間の比較が行われた後、さらに比較を行うためには次のフレームの矩形領域の撮像が完了する必要がある。従って、比較の周期は最小でもフレーム周期になる。
本発明は上記課題にかんがみてなされたもので、短い周期で位置変化を解析することを目的の１つとする。

上記目的を達成するため、電子機器においては、ローリングシャッター方式のエリアセンサーと、エリアセンサーで撮像された画像のライン毎のフレーム間差分に基づいてエリアセンサーの位置の変化を検出する検出部と、を備える。この構成によれば、ライン毎にエリアセンサーの位置の変化を検出することができ、各ラインの撮像周期でエリアセンサーの位置の変化を取得することができる。従って、短い周期で位置変化を解析可能な電子機器を提供することができる。

さらに、エリアセンサーの位置の変化に基づいてオブジェクトの位置を変化させる表示部を備える電子機器が構成されてもよい。この構成によれば、表示部に表示されたオブジェクトの位置をエリアセンサーの位置の変化に応じて変化させることができる。

さらに、表示部におけるオブジェクトの位置の変化は、エリアセンサーの位置の変化を相殺する変化である構成が採用されてもよい。この構成によれば、エリアセンサーが移動しても移動しないように見えるオブジェクトを含む画像を表示部に表示させることができる。

さらに、表示部は、エリアセンサーで撮像された画像と当該画像に重畳されたオブジェクトとを表示する構成であっても良い。この構成によれば、エリアセンサーの位置の変化に応じて位置が変化するオブジェクトを、エリアセンサーによって撮像された画像に重畳して表示部に表示させることができる。

さらに、エリアセンサーが、筐体に固定された第１エリアセンサーと、第１エリアセンサーの主走査方向と直交する方向に主走査方向が向くように筐体に固定された第２エリアセンサーとを含み、検出部は、第１エリアセンサーで撮像された画像に基づいて第１エリアセンサーの主走査方向への筐体の位置の変化を検出し、第２エリアセンサーで撮像された画像に基づいて第２エリアセンサーの主走査方向への筐体の位置の変化を検出する構成であっても良い。この構成によれば、エリアセンサーの位置の変化に基づいて筐体の位置の変化を直交する２方向について検出することができ、筐体における２次元的な位置の変化を検出することができる。

さらに、ローリングシャッター方式のエリアセンサーと、エリアセンサーで撮像された画像のライン毎のフレーム間差分を出力する出力部と、を備えるモーションセンサーが構成されても良い。この構成によれば、ライン毎のフレーム間差分に基づいてエリアセンサーの位置の変化を出力するモーションセンサーを提供することができ、短い周期で位置変化を解析することが可能なモーションセンサーを提供することができる。

ヘッドマウントディスプレイの外観を示す図である。 ヘッドマウントディスプレイの構成を示すブロック図である。 比較領域のパターンの移動量を特定する処理を説明する説明図である。 比較領域のパターンの移動量を特定する処理を説明する説明図である。 比較領域を示す図である。 比較領域を示す図である。 オブジェクトの重畳表示を示す図である。 オブジェクトの重畳表示を示す図である。 オブジェクトの重畳表示を示す図である。 オブジェクトの重畳表示を示す図である。 撮像処理のフローチャートである。 表示処理のフローチャートである。

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）ヘッドマウントディスプレイの構成：
（１−１）カメラユニットの構成：
（１−２）表示部の構成：
（２）撮像処理：
（３）表示処理：
（４）他の実施形態：

（１）ヘッドマウントディスプレイの構成：
図１は、本発明にかかるヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）１としてのスマートグラスの外観構成を示す説明図である。図２は、ヘッドマウントディスプレイ１の構成を機能的に示すブロック図である。本実施形態にかかるヘッドマウントディスプレイ１は、ヘッドマウントディスプレイ１は眼鏡形状を有しており、眼鏡のレンズに相当する部分には、表示部１０およびカメラユニット３０が組み込まれている。表示部１０には第１表示パネル１７ａ，第２表示パネル１７ｂが備えられており、ユーザーがヘッドマウントディスプレイ１を装着した状態において、ユーザーの右左の目の視野を遮る位置に１個ずつ第１表示パネル１７ａ，第２表示パネル１７ｂが配置されている。眼鏡のレンズに相当する部分にはユーザーの耳に掛けられる保持部４０が連結され、保持部４０には制御部２０が取り付けられている。

（１−１）カメラユニットの構成：
カメラユニット３０は、エリアセンサー３１、タイミング制御部３２、画像処理部３３、検出部３４を備えている。エリアセンサー３１は、光学系、ＣＭＯＳセンサーを含む第１エリアセンサー３０ａ、第２エリアセンサー３０ｂを備えている。光学系はヘッドマウントディスプレイ１を装着したユーザーの視野方向に存在する物体からの光をＣＭＯＳセンサーに結像させることができる。ＣＭＯＳセンサーは、カラーフィルターと、光量に応じた電荷を光電変換によって画素ごとに蓄積する複数のフォトダイオードとを備えており、視野内の像を示すカラーの画像データを出力することができる。

第１エリアセンサー３０ａは右目、第２エリアセンサー３０ｂは左目の視野内の画像データを出力するセンサーであり、図１においては、ヘッドマウントディスプレイ１の筐体において右左の端に固定されているが、むろん、左右の各目で視認される画像が撮像できる限りにおいて固定位置は任意である。第１エリアセンサー３０ａ，第２エリアセンサー３０ｂにおいて、画素の位置は直交座標系における座標で規定され、一方の座標軸に平行な方向に並ぶ複数の画素によってラインが構成され、複数のラインが他方の座標軸に平行な方向に並ぶように構成されている。本明細書では、ラインに平行な方向を主走査方向、ラインに垂直な方向を副走査方向と呼ぶ。なお、本実施形態において、第１エリアセンサー３０ａ、第２エリアセンサー３０ｂの主走査方向および副走査方向は平行であり、副走査方向は上下方向（図１に示すＹ方向）、主走査方向は左右方向（図１に示すＸ方向）に向いている。

本実施形態においてエリアセンサー３１の第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂは、タイミング制御部３２が出力する各種信号に同期した動作を行う。すなわち、タイミング制御部３２は、基準のクロック信号に基づいて各種信号を生成することが可能である。本実施形態において、各種信号には、１フレーム（各エリアセンサーの全画素によって構成される１画面）分のフォトダイオードの検出結果を読み出すための期間を規定する垂直同期信号（SV_sync）、１ライン分のフォトダイオードの検出結果を読み出すための期間を規定する水平同期信号（SH_sync）、各画素の画像データの読み出しタイミング等を規定するデータクロック信号（SDotclock）が含まれる。エリアセンサー３１は、垂直同期信号SV_syncに応じて１フレーム分の出力データの出力を開始し、水平同期信号SH_syncにて規定される期間内にデータクロック信号SDotclockに応じたタイミングで第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂの１ライン内の画素に対応するフォトダイオードの検出結果を示す出力データを逐次読み出す。

本実施形態における第１エリアセンサー３０ａにおいて、水平同期信号SH_sync1の位相はライン毎に少しずつずれている。第２エリアセンサー３０ｂにおいても同様に、水平同期信号SH_sync2の位相がライン毎に少しずつずれている。すなわち、本実施形態において、同一ラインは同一のタイミングで露光されるが、副走査方向に隣接するライン同士では異なるタイミングで露光される。また、副走査開始ラインから副走査終了ラインまでに並ぶ各ラインにおいて、ライン番号が増加するたびに露光開始タイミングが遅れ、各ラインで異なるタイミングで順次露光が開始されるように構成されている。すなわち、本実施形態における第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂは、ローリングシャッター方式のＣＭＯＳセンサーである。なお、以下において、第１エリアセンサー３１ａ、第２エリアセンサー３１ｂ用の信号や第１表示パネル１７ａ、第２表示パネル１７ｂ用の信号を区別する際には、信号を示す符号に１，２等の符号を付して示す。

画像処理部３３は、図示しないバッファメモリを利用し、第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂからライン順次に出力される撮像データに既定の画像処理を行う。本実施形態における画像処理は、第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂが撮像した画像を右左の第１表示パネル１７ａ，第２表示パネル１７ｂのそれぞれに対して表示させるための画像を生成するための処理であり、例えば、色再現処理、フィルター処理、ガンマ補正、リサイズ処理等によって構成される。むろん、画像処理は種々の処理であって良く、表示のための処理に限らず、エリアセンサーの位置の変化を検出するための処理等であっても良い。

なお、リサイズ処理は、第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂの有効撮像領域の画素数と第１表示パネル１７ａおよび第２表示パネル１７ｂの有効表示領域の画素数との差を吸収し、撮像画像を第１表示パネル１７ａおよび第２表示パネル１７ｂに表示可能な大きさにするための処理である。従って、画像処理部３３から出力される撮像画像は、第１表示パネル１７ａ、第２表示パネル１７ｂで表示できるように変換された画像である。

画像処理部３３における処理は第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂのそれぞれについてライン順次に実行され、処理後のデータは表示部１０が備えるＶＲＡＭ１１に出力される（図２に示すＶＲＡＭ１１内の撮像画像）。ＶＲＡＭ１１には、少なくとも１フレーム前の１フレーム分の撮像画像と現フレームの撮像中の画像とが保存されていく。一方、本実施形態において、画像処理部３３による処理後のデータは検出部３４にも出力される。

検出部３４は、エリアセンサー３１で撮像された画像のライン毎のフレーム間差分に基づいてエリアセンサー３１の位置の変化を検出する機能を有している。本実施形態において、第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂの双方ともがヘッドマウントディスプレイ１の筐体に固定されているため、第１エリアセンサー３０ａの位置の変化と第２エリアセンサー３０ｂの位置の変化はほぼ同一と見なすことができる。そこで、本実施形態においては、第１エリアセンサー３０ａの出力に対して画像処理部３３で処理されたデータが検出部３４に出力される構成を想定して説明を行う。

本実施形態において、検出部３４は、ライン毎に定義される比較領域内のパターンの移動量を特定することにより、第１エリアセンサー３０ａの位置の変化を検出する。すなわち、本実施形態においては、第１エリアセンサー３０ａで撮像される被写体が静止している（またはほぼ静止している）状態を想定し、比較領域内の像のフレーム間での移動はヘッドマウントディスプレイ１の移動（すなわち第１エリアセンサー３０ａの移動）であると見なしている。

図３〜図６は、比較領域のパターンの移動量を特定する処理を説明する説明図である。図３および図４は連続する２個のフレームの撮像画像を模式的に示している。これらの図は、第１エリアセンサー３０ａの視野に長方形の物体が存在する場合の例であり、図３は第１エリアセンサー３０ａが静止した状態、図４は第１エリアセンサー３０ａがＸ軸正方向に移動している状態（ヘッドマウントディスプレイ１を装着したユーザーが首を首の回転軸で回転させている状態）で撮像された画像を模式的に示している。

第１エリアセンサー３０ａが移動している状態においては、ローリングシャッター方式によって各ラインの露光開始タイミングがずれることにより、移動による位置変化が反映された状態で画像が撮像される。図４においては、露光開始タイミングが早いラインの撮像段階で第１エリアセンサー３０ａが静止しており、途中で第１エリアセンサー３０ａの移動が開始されたことを反映し、矩形の物体がＸ軸負方向に歪んだ状態で撮像されている。

ここでは、図３に示すフレームを前フレーム、図４に示すフレームを現フレームと呼ぶ。また、ここでは、第１エリアセンサー３０ａのＫライン目に着目しており、Ｋライン目の１ラインを破線で示している。比較領域はＫライン目以前に撮像された撮像画像から抽出される領域であり、本実施形態においてはＫライン目より既定ライン数だけ前のＬｙ個のラインの画像の中央に存在するＰｘ個の画素の領域が比較領域である。図３および図４においては一点鎖線によって比較領域Ｚｃを示している。また、図５および図６のそれぞれは図３および図４から比較領域Ｚｃを抜き出して示す図である。

検出部３４は、図示しないバッファメモリを備えており、画像処理部３３からＫライン目の撮像画像の出力が完了すると、バッファメモリを参照して現フレームのＫライン目における比較領域Ｚｃの撮像画像を取得する。また、検出部３４は、ＶＲＡＭ１１を参照し、前フレームのＫライン目における比較領域Ｚｃの撮像画像を取得する。図５，図６に示す例であれば、現フレームのＫライン目における比較領域Ｚｃの撮像画像が図６、前フレームのＫライン目における比較領域Ｚｃの撮像画像が図５である。なお、図６においては、参考のために、前フレームの撮像画像のパターンを破線によって示している。

検出部３４は、前フレームのＫライン目における比較領域Ｚｃの撮像画像をＸ軸方向、Ｙ軸方向に移動させ、移動後の画像の階調値と、現フレームのＫライン目における比較領域Ｚｃの撮像画像の階調値との差分を取得する。そして、差分が最小になる場合のＸ軸方向への移動量ΔＸ、Ｙ軸方向への移動量ΔＹを取得する。図３〜図６においては、第１エリアセンサー３０ａがＸ軸正方向に移動している状態が想定されており、この場合において検出部３４は、図６に示すようにＸ軸方向への移動量ΔＸを有限の値として取得し、Ｙ軸方向への移動量ΔＹを０として取得する。むろん、第１エリアセンサー３０ａがＹ軸方向に移動している場合、Ｙ軸方向への移動量ΔＹも有限の値となる。

なお、これらの移動量は画素単位で表現されているが、当該移動量は比較領域内の像のフレーム間での移動量を示しているため、ヘッドマウントディスプレイ１の移動量（第１エリアセンサー３０ａの移動量）と逆方向であり、単位も異なり得るが、被写体が静止しているのであれば両者は本質的に等価である。また、フレーム間差分を評価するための処理は、上述のような階調値の差分に限定されず、各種の処理を行ってよい。例えば、比較前に各比較領域内の撮像画像に対してエッジ検出処理や２値化等の処理を行い、処理後の各画像の差分を評価する構成等が採用されてもよい。

検出部３４は、以上の処理を複数のラインによって実施可能であり、本実施形態においては、第１エリアセンサー３０ａの全ラインに関してＸ軸方向への移動量ΔＸ、Ｙ軸方向への移動量ΔＹを取得する。検出部３４がライン毎の第１エリアセンサー３０ａのＸ軸方向への移動量ΔＸ、Ｙ軸方向への移動量ΔＹを取得すると、検出部３４は、ライン番号と対応づけて移動量ΔＸ，ΔＹを表示部１０のＲＡＭ１２に記録する。

この結果、表示部１０においては、ライン番号に基づいて移動量ΔＸ，ΔＹを参照することもできるし、最新の移動量ΔＸ，ΔＹを参照することも可能になる。なお、比較領域は、Ｋライン目のフレーム間差分を取得するために参照される領域であれば良く、比較領域の大きさ（Ｌｙ，Ｐｘの数）や位置等は限定されない。例えば、Ｌｙが１になればライン単位でのフレーム間差分を解析する構成となるし、比較領域にＫライン目の撮像画像が含まれる構成や、Ｋライン目における比較領域をＫライン目の撮像画像とするような構成（すなわち、Ｌｙ＝１）等も想定可能である。

（１−２）表示部の構成：
表示部１０は、ＶＲＡＭ１１、ＲＡＭ１２、画像合成部１３、タイミング制御部１４、出力コントローラー１５、第１パネルドライバー１６ａ、第２パネルドライバー１６ｂ、第１表示パネル１７ａ、第２表示パネル１７ｂを備えている。ＶＲＡＭ１１は、第１表示パネル１７ａ，第２表示パネル１７ｂに表示される画像を記録するためのメモリである。本実施形態においては、画像処理部３３が出力する撮像画像（表示用に変換済の画像）、撮像画像に重畳されてＡＲ（Augmented Reality）表示を行うためのオブジェクト画像、撮像画像に重畳されて各種の情報をユーザーに伝達するためのＯＳＤ画像、これらの画像が合成された合成画像がＶＲＡＭ１１に記録され得る。

なお、オブジェクト画像のデータおよびＯＳＤ画像のデータは予め作成され、制御部２０の制御により表示対象のオブジェクト画像のデータおよびＯＳＤ画像のデータがＶＲＡＭ１１に記録される。制御部２０は、表示部１０やカメラユニット３０、図示しない入力部の入力に応じた出力の制御など、各種の処理を実行可能である。合成に関して制御部２０は、オブジェクト画像やＯＳＤ画像の選択および位置の決定を行う。本実施形態において、オブジェクト画像はＡＲ表示されるため、制御部２０は、撮像画像に基づいてオブジェクト画像の表示位置（第１エリアセンサー３０ａが静止している場合の表示位置）を特定する。そして、制御部２０は、オブジェクト画像に表示位置を対応づけてＶＲＡＭ１１に記録する。ＯＳＤ画像が表示されない場合、ＯＳＤ画像のデータは記録されなくて良い。

ＲＡＭ１２には検出部３４が出力する移動量ΔＸ，ΔＹが記録される。画像合成部１３は、第１エリアセンサー３０ａの位置の変化に基づいて位置が変化するオブジェクトを、第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂの撮像画像のそれぞれに合成する処理を行う。本実施形態においては、第１エリアセンサー３０ａの位置の変化が０である場合のオブジェクトの表示位置が制御部２０によって決められる。第１エリアセンサー３０ａの位置の変化が０ではない場合、画像合成部１３は、第１エリアセンサー３０ａの位置の変化を相殺するように、オブジェクトの位置を表示位置に対して変化させる。すなわち、第１エリアセンサー３０ａの位置の変化が０である場合のオブジェクトの表示位置が（ＤＸ，ＤＹ）である場合において、検出部３４によって移動量ΔＸ，ΔＹが検出されると、画像合成部１３は、オブジェクトの表示位置を（ＤＸ＋ΔＸ，ＤＹ＋ΔＹ）とする。

第１エリアセンサー３０ａの位置の変化を反映してオブジェクトの表示位置が補正されると、画像合成部１３は、撮像画像に対してオブジェクト画像を合成する。合成する際には、補正後のオブジェクトの表示位置を反映していれば良く、種々の手法で合成が行われてよい。例えば、スプライト機能等によって実現されて良い。スプライト機能が利用されるのであれば、画像合成部１３は、ＶＲＡＭ１１に記録されたオブジェクト画像の表示位置が補正後の表示位置であると見なし、撮像画像に対してオブジェクト画像を重畳表示するための合成画像のデータを生成する。

なお、本実施形態においては、第１エリアセンサー３０ａの撮像画像が第１表示パネル１７ａに表示され、第２エリアセンサー３０ｂの撮像画像が第２表示パネル１７ｂに表示される。このため、第１エリアセンサー３０ａの撮像画像と第２エリアセンサー３０ｂの撮像画像とのそれぞれがＶＲＡＭ１１に記録されており、画像合成部１３は、各撮像画像に対して補正後のオブジェクトの表示位置にオブジェクト画像を合成する。本実施形態において、以上の処理はライン順次に実行される。なお、ＯＳＤ表示の必要がある場合、画像合成部１３はＯＳＤ画像を既定の位置に重畳する処理も行う。

本実施形態において、第１表示パネル１７ａ、第２表示パネル１７ｂは、ＯＬＥＤ（Organic Light Emitting Diode）パネルであり、白色の発光体のそれぞれに対してＲＧＢ（赤、緑、青）のカラーフィルターが設けられることで構成された画素が複数個形成されている。従って、各発光体の発光強度が変化することで各画素において多色の表示を行うことができる。第１表示パネル１７ａ、第２表示パネル１７ｂにおいても画素の位置は直交座標系における座標で規定される。また、一方の座標軸（本例ではＸ軸）に平行な方向に並ぶ複数の画素によってラインが構成され、複数のラインが他方の座標軸（本例ではＹ軸）に平行な方向に並ぶように構成されている。本明細書では、ラインに平行な方向を主走査方向、ラインに垂直な方向を副走査方向と呼び、各パネルの全画素によって構成される１画面を１フレームと呼ぶ。

第１パネルドライバー１６ａ、第２パネルドライバー１６ｂは、各画素を合成画像のデータに応じた発光強度で発光させるための信号を第１表示パネル１７ａ、第２表示パネル１７ｂに対して出力する。第１表示パネル１７ａ、第２表示パネル１７ｂは、図示しない主走査方向ドライバーおよび副走査方向ドライバーを備えており、第１パネルドライバー１６ａ、第２パネルドライバー１６ｂから出力される信号に応じて主走査方向ドライバーが各ラインの各画素における表示タイミングを制御し、副走査方向ドライバーが表示タイミングとされているラインの各画素の発光体を駆動することによって表示を行う。

すなわち、第１パネルドライバー１６ａ、第２パネルドライバー１６ｂは、第１表示パネル１７ａ、第２表示パネル１７ｂにおける表示を行うための各種信号、例えば、１フレーム分の表示を行うための期間を規定する垂直同期信号（DV_sync）、１ライン分の表示を行うための期間を規定する水平同期信号（DH_sync）、各ライン内での合成画像のデータの取り込み期間を規定するデータアクティブ信号（DD_active）、各画素のデータの取り込みタイミング等を規定するデータクロック信号（DDotclock）、各画素のデータ（Data）を出力するように構成されている。

第１表示パネル１７ａは、第１エリアセンサー３０ａで撮像され、画像処理部３３によって生成された撮像画像の表示を垂直同期信号DV_sync1に応じて開始し、水平同期信号DH_sync1にて規定される期間内にデータクロック信号DDotclock1に応じたタイミングで第１表示パネル１７ａの各ライン上の表示対象画素を駆動して表示を行う。第２表示パネル１７ｂは、第２エリアセンサー３０ｂで撮像され、画像処理部３３によって生成された撮像画像の表示を垂直同期信号DV_sync2に応じて開始し、水平同期信号DH_sync2にて規定される期間内にデータクロック信号DDotclock2に応じたタイミングで第２表示パネル１７ｂの各ライン上の表示対象画素を駆動して表示を行う。

なお、表示部１０は、タイミング制御部１４を備えており、タイミング制御部１４とタイミング制御部３２とは接続されている。すなわち、カメラユニット３０における撮像と表示部１０における表示とを同期させる必要がある場合には、タイミング制御部１４とタイミング制御部３２との少なくとも一方で生成されたクロック信号を他方で使用することにより、同期を行うことが可能である。むろん、同期が不要であれば互いに独立したクロック信号で駆動されても良い。

以上のように、第１表示パネル１７ａおよび第２表示パネル１７ｂにおいては、ライン順次に表示を行うことができる。そして、本実施形態において、第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂはローリングシャッター方式のセンサーであるため、各ラインの撮像画像を表示するための撮像画像は少しずつずれたタイミングで生成される。本実施形態においては、１フレーム分の撮像画像の生成が完了するのを待つことなく、表示の準備が完了したラインから順に表示を行えるように構成されている。

すなわち、Ｋライン目の撮像画像に基づいて第１エリアセンサー３０ａの位置の変化が特定され、オブジェクトの表示位置が特定され、Ｋライン目における撮像画像とオブジェクト画像との合成が完了すると、Ｋライン目の表示が可能になる。そこで、タイミング制御部１４は、当該Ｋライン目の合成が完了するタイミングを指示する信号を出力コントローラー１５に指示する。

出力コントローラー１５が当該指示を受け付けると、出力コントローラー１５は、画像合成部１３に指示を行い、画像合成部１３はＫライン目の合成画像のデータをＶＲＡＭ１１から取得し、出力コントローラー１５に出力する。出力コントローラー１５は、第１エリアセンサー３０ａの撮像画像に基づいて生成されたＫライン目のデータに基づいて第１パネルドライバー１６ａを駆動し、第２エリアセンサー３０ｂの撮像画像に基づいて生成されたＫライン目のデータに基づいて第２パネルドライバー１６ｂを駆動する。この結果、第１表示パネル１７ａおよび第２表示パネル１７ｂは、撮像画像にオブジェクト画像が重畳されたＫライン目の画像を表示する。

なお、Ｋライン目の合成が完了するタイミングを指示する信号は、各種の態様であって良く、第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂにおいてＫライン目の撮像が開始されてから、一定期間後のタイミングであってもよいし、画像合成部１３でＫライン目の合成が完了したことが特定されたタイミングであっても良い。前者の一定期間は、例えば、画像処理部３３や画像合成部１３の処理に要する期間以上の固定期間等によって定義可能である。後者は、画像合成部１３で各ラインの合成が終了した場合に画像合成部１３等からパルス信号がタイミング制御部１４や出力コントローラー１５に出力される構成等によって実現可能である。

以上のように、本実施形態においては、ライン毎に第１エリアセンサー３０ａの位置の変化が検出され、当該ライン毎の位置の変化が反映した状態でオブジェクトの合成および表示が行われる。従って、図４に示す例のように、第１エリアセンサー３０ａの移動に起因する歪みが発生した状態で撮像されていたとしても、オブジェクト画像を当該歪みに追従させて表示することができる。

図７、図８は、矩形の物体Ｒに楕円形のオブジェクトＯが重畳された表示画像の例を示している。図７は、第１エリアセンサー３０ａが静止している状態を示しており、ここでは、図７に示すように物体Ｒの画像にオブジェクトＯの画像が重畳されるＡＲ表示が想定されている。このようなＡＲ表示において、制御部２０は、ＶＲＡＭ１１に記録された第１エリアセンサー３０ａの撮像画像に基づいて撮像画像内での物体の位置を、例えば、パターンマッチング等によって検出し、当該物体の位置に基づいて、例えば、物体の位置の重心位置等がオブジェクトの表示位置であるとみなす処理等を実行する。

第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂによって物体Ｒが撮像され、画像処理部３３によって撮像画像が変換されると、撮像画像を示すデータはＶＲＡＭ１１に記録される。第１エリアセンサー３０ａが静止している状態においては、物体Ｒと第１エリアセンサー３０ａとの相対位置関係が変化しないため、各ラインで撮像される物体Ｒの位置に変化はない。

従って、表示用に変換された撮像画像において、図７に示すように物体Ｒの形状は歪まない。この場合、各ラインにおけるフレーム間差分が０であり、検出部３４は、第１エリアセンサー３０ａの位置の変化を検出しない。従って、画像合成部１３は制御部２０が特定したオブジェクトの表示位置を補正しない。この結果、図７に示すように静止した物体Ｒに静止したオブジェクトＯが重畳された画像が生成され、第１表示パネル１７ａおよび第２表示パネル１７ｂに表示される。

一方、第１エリアセンサー３０ａがＸ軸方向に移動している状態においては、物体Ｒと第１エリアセンサー３０ａとの相対位置関係が変化するため、各ラインで撮像される物体Ｒの位置に変化が生じる。従って、表示用に変換された撮像画像において、図８に示すように物体Ｒの形状は歪む。この場合、フレーム間差分が有限（非０）であるラインが存在し、検出部３４は、第１エリアセンサー３０ａの位置の変化を検出する。従って、画像合成部１３は制御部２０が特定したオブジェクトの表示位置を補正する。この結果、図７に示すように歪んだ物体Ｒに対して、ライン毎に異なる表示位置にオブジェクトＯを重畳した画像が生成され、第１表示パネル１７ａおよび第２表示パネル１７ｂに表示される。

なお、図８においては、ライン毎に異なる移動量でオブジェクトＯが表示される様子を、オブジェクトＯがＹ軸方向にある程度の幅を有したエリアを単位にして模式的に示しているが、本実施形態においてはライン毎に異なる表示位置にオブジェクトＯを表示し得るため、実際にはよりなめらかに歪んだオブジェクトＯとなり得る。

図９、図１０は正方形の物体Ｒに円形のオブジェクトＯが重畳された表示画像の例を示しており、図９は、第１エリアセンサー３０ａが静止している状態の例、図１０は、第１エリアセンサー３０ａがＹ軸方向に移動している状態の例である。第１エリアセンサー３０ａが静止している場合、第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂがローリングシャッター方式で撮像した場合であっても、物体Ｒ、オブジェクトＯの像は図９に示すように歪まない。

一方、第１エリアセンサー３０ａがＹ軸正方向に移動している場合、第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂの各ラインにおける露光開始タイミングが順次送れていくため、図１０に示すようにＹ軸方向に物体Ｒの像が歪む。この場合、検出部３４は、Ｙ軸方向への移動量ΔＹを有限の値（非０）として取得する。従って、画像合成部１３は制御部２０が特定したオブジェクトの表示位置を補正する。この結果、図１０に示すように歪んだ物体Ｒに対して、ライン毎に異なる表示位置にオブジェクトＯを重畳した画像が生成され、第１表示パネル１７ａおよび第２表示パネル１７ｂに表示される。

なお、図１０においては、ライン毎に異なる移動量でオブジェクトＯが表示される様子を、オブジェクトＯがＹ軸方向にある程度の幅を有したエリアを単位にして模式的に示しているが、本実施形態においてはライン毎に異なる表示位置にオブジェクトＯを表示し得るため、実際にはよりなめらかに歪んだオブジェクトＯとなり得る。

以上の構成によれば、ライン毎に第１エリアセンサー３０ａの位置の変化を検出することができ、各ラインの撮像周期で第１エリアセンサー３０ａの位置の変化を取得することができる。従って、短い周期で位置変化を解析可能なヘッドマウントディスプレイ１を提供することができる。

第１エリアセンサー３０ａは、当該第１エリアセンサー３０ａが搭載されたヘッドマウントディスプレイ１の位置の変化を検出するモーションセンサーとして機能する。モーションセンサーとしては、他にもジャイロセンサー等が存在するが、ジャイロセンサーにおいては、例えば、数十ｍ周期で角速度の検出を行う。一方、本実施形態においては、ライン周期で位置の検出を行うことができる。従って、例えば、横１２８０ドット、縦７２０ラインのセンサー（実際には約７５０ライン程度）を６０ｆｐｓで駆動する場合であれば、１／６０×１／７５０＝２２．２μＳ程度の周期で位置の検出が行われる。このため、既存のモーションセンサーと比較して遥かに高精度に位置の検出を行うことができる。

また、短い周期で検出した第１エリアセンサー３０ａの位置の変化を反映した状態で、表示部１０に表示されたオブジェクトの位置を第１エリアセンサー３０ａの位置の変化に応じて変化させることができる。また、この構成によれば、第１エリアセンサー３０ａが移動しても移動しないように見えるオブジェクトを含む画像を表示部１０に表示させることができる。さらに、オブジェクトがヘッドマウントディスプレイ１の移動に対して遅延して反応するという印象を与えないように表示を行うことができる。

（２）撮像処理：
次に、カメラユニット３０で実行される撮像処理を図１１に示すフローチャートに沿って説明する。制御部２０の指示等によってカメラユニット３０で撮像が開始されると、タイミング制御部３２は、クロック信号に基づいて上述の垂直同期信号SV_sync1，SV_sync2や、水平同期信号SH_sync1，SH_sync2などの各種信号を生成し、既定のタイミングで各種信号を第１エリアセンサー３１ａ、第２エリアセンサー３１ｂに出力する。タイミング制御部３２から各種信号が既定のタイミングで出力されると、エリアセンサー３１の第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂは、各種信号が示すタイミングで撮像を行う。

すなわち、垂直同期信号SV_sync1，SV_sync2が規定するフレーム周期の各フレームにおいて、水平同期信号SH_sync1，SH_sync2が規定する周期で各ラインの撮像を行う。この結果、第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂから撮像画像がライン順次に出力される。このように、第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂから垂直同期信号SV_sync1，SV_sync2や、水平同期信号SH_sync1，SH_sync2等に応じた出力が順次行われている過程において、画像処理部３３は、最初に、ライン番号Ｋを１に初期化する（ステップＳ１００）。すなわち、垂直同期信号SV_sync1，SV_sync2の最初のパルスに応じて画像処理部３３はＫを１に初期化する。

次に、画像処理部３３は、Ｋライン目の画像処理を実行する（ステップＳ１０５）。すなわち、第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂから１ライン分の出力が行われると、画像処理部３３は、それぞれのラインの出力に対して色再現処理、フィルター処理、ガンマ補正、リサイズ処理等を実施する。ステップＳ１０５が実行されると、撮像画像は表示用の画像に変換された状態になり、ＶＲＡＭ１１に記録される。ＶＲＡＭ１１においては、少なくとも前フレームの撮像画像は保持する。ＶＲＡＭ１１にＫライン目の変換後の撮像画像のデータが蓄積される際、２フレーム以前の撮像画像が存在するならば当該２フレーム以前のＫライン目のデータは破棄される。むろん、データを破棄するタイミングはＶＲＡＭ１１の容量に応じて変化して良く、ＶＲＡＭ１１の容量が多い場合に３フレーム以前の撮像画像が存在する際に破棄される構成等であっても良い。

次に、検出部３４は、第１エリアセンサー３０ａの撮像画像に基づいて、Ｋライン目における比較領域の画像を取得する（ステップＳ１１０）。すなわち、検出部３４は、ＶＲＡＭ１１を参照し、前フレームのＫライン目より既定ライン数だけ前のＬｙ個のラインの画像の中央に存在するＰｘ個の画素の領域の画像データを取得する（例えば、図５）。また、検出部３４は、検出部３４が備えるバッファメモリを参照して現フレームのＫライン目より既定ライン数だけ前のＬｙ個のラインの画像の中央に存在するＰｘ個の画素の領域の画像データを取得する（例えば、図６）。

次に、検出部３４は、パターンマッチングにより移動量（ΔＸ，ΔＹ）を取得し、出力する（ステップＳ１１５）。すなわち、検出部３４は、ステップＳ１１０で取得した、前フレームの比較領域の画像を移動させ、移動後の画像の階調値と現フレームの比較領域の画像の階調値との差分を取得する。この移動は、既定ステップずつ複数回実行され、予め決められた上下左右方向の移動範囲を網羅するように実施される。上下左右方向の移動範囲の全てについて階調値の差分が得られると、検出部３４は、差分が最小になる移動量（ΔＸ，ΔＹ）を出力し、Ｋライン目に対応づけてＲＡＭ１２に記録する。

なお、Ｋの値が小さく（第１エリアセンサー３０ａの上部のラインである場合）、既定の形状の比較領域を確保できない場合、比較領域の大きさおよび形状を変形させても良いし、差分を算出するために比較領域が移動される移動範囲が狭くなっても良い。さらに、ステップＳ１０５において画像処理が行われた撮像画像が最初のフレームであり、それ以前のフレームのデータが存在しない場合、ステップＳ１１０，Ｓ１１５はスキップされる。

次に、画像処理部３３は、ライン番号Ｋが最終ラインの番号であるか否かを判定し（ステップＳ１２０）、最終ラインでなければ、Ｋをインクリメントして（ステップＳ１２５）、ステップＳ１０５以降を繰り返す。すなわち、次のラインに関する画像処理部３３の処理と検出部３４の処理を繰り返す。ステップＳ１２０で最終ラインであると判定された場合、画像処理部３３はステップＳ１００以降を繰り返す。すなわち、次のフレームに関する画像処理部３３の処理と検出部３４の処理を繰り返す。

（３）表示処理：
次に、表示部１０で実行される表示処理を図１２に示すフローチャートに沿って説明する。カメラユニット３０における撮像が開始されると、タイミング制御部１４は、タイミング制御部３２の出力信号と同期させて上述の垂直同期信号DV_sync1，DV_sync2や、水平同期信号DH_sync1，DH_sync2などの各種信号を生成し、既定のタイミングで各種信号の出力を行う。タイミング制御部１４から各種信号が既定のタイミングで出力されると、第１パネルドライバー１６ａおよび第２パネルドライバー１６ｂは、各種信号が示すタイミングで第１表示パネル１７ａおよび第２表示パネル１７ｂに画像を表示する。

すなわち、垂直同期信号DV_sync1，DV_sync2が規定するフレーム周期の各フレームにおいて、水平同期信号DH_sync1，DH_sync2が規定する周期で各ラインの表示を行う。この結果、第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂで撮像された画像のそれぞれにオブジェクトが重畳された画像が、第１表示パネル１７ａおよび第２表示パネル１７ｂのそれぞれにライン順次で表示される。

このように、第１表示パネル１７ａおよび第２表示パネル１７ｂに対して垂直同期信号DV_sync1，DV_sync2や、水平同期信号DH_sync1，DH_sync2等に応じたタイミングで表示を行うため、画像合成部１３は、最初に、ライン番号Ｋを１に初期化する（ステップＳ２００）。すなわち、垂直同期信号DV_sync1，DV_sync2の最初のパルスに応じて画像合成部１３はＫを１に初期化する。

次に、画像合成部１３は、移動量（ΔＸ，ΔＹ）に基づいてオブジェクトの表示位置を決定する（ステップＳ２０５）。すなわち、画像合成部１３は、第１エリアセンサー３０ａが静止している場合のオブジェクト画像の表示位置（ＤＸ，ＤＹ）に基づいて、Ｋライン目のオブジェクトの表示位置を（ＤＸ＋ΔＸ，ＤＹ＋ΔＹ）と決定する。

次に、画像合成部１３は、Ｋライン目の画像を合成する（ステップＳ２１０）。すなわち、画像合成部１３は、ＶＲＡＭ１１を参照して第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂのそれぞれで撮像された現フレームの撮像画像のＫライン目のデータを抽出する。また、画像合成部１３は、表示位置が移動された後のオブジェクト画像のＫライン目のデータを抽出する。そして、第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂで撮像された現フレームの撮像画像におけるＫライン目のデータのそれぞれに、オブジェクトが視認されるようにオブジェクト画像のＫライン目のデータを重畳する。重畳された合成画像はＶＲＡＭ１１に記録される。

次に、第１表示パネル１７ａおよび第２表示パネル１７ｂはＫライン目の画像を表示する（ステップＳ２１５）。すなわち、タイミング制御部１４がＫライン目の表示を行うための水平同期信号DH_sync1，DH_sync2等を出力すると、出力コントローラー１５は画像合成部１３を介してＫライン目の合成画像を取得し、第１エリアセンサー３０ａの撮像画像に基づいて生成された合成画像を第１パネルドライバー１６ａに出力する。また、第２エリアセンサー３０ｂの撮像画像に基づいて生成された合成画像を第２パネルドライバー１６ｂに出力する。

この結果、第１エリアセンサー３０ａで撮像された画像にオブジェクト画像が重畳され、第１エリアセンサー３０ａの位置の変化に応じてオブジェクト画像が移動する画像が第１表示パネル１７ａに表示される。また、第２エリアセンサー３０ｂで撮像された画像にオブジェクト画像が重畳され、第２エリアセンサー３０ｂの位置の変化に応じてオブジェクト画像が移動する画像が第２表示パネル１７ｂに表示される。

次に、画像合成部１３は、ライン番号Ｋが最終ラインの番号であるか否かを判定し（ステップＳ２２０）、最終ラインでなければ、Ｋをインクリメントして（ステップＳ２２５）、ステップＳ２０５以降を繰り返す。すなわち、次のラインに関する画像合成部１３の処理を繰り返す。ステップＳ２２０で最終ラインであると判定された場合、画像合成部１３はステップＳ２００以降を繰り返す。すなわち、次のフレームに関する画像合成部１３の処理を繰り返す。

（４）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、ローリングシャッター方式のエリアセンサーのライン毎の露光開始時間ずれを利用して、エリアセンサーの位置の変化をライン毎に検出する限りにおいて、他にも種々の実施形態を採用可能である。

例えば、第１表示パネル１７ａおよび第２表示パネル１７ｂはＯＬＥＤに限定されず、液晶ディスプレイであっても良いし、投影によって画像を表示するディスプレイであっても良い。後者としては、スクリーン投影であってもよいし、透過型のスクリーンに画像を投影するシースルー型のディスプレイであっても良い。当該構成は、例えば、図１に示す構成において、レンズに相当する部分が透過型のスクリーンであり、ユーザーの耳にかけられる保持部に投影部が組み込まれており、導光板を介して投影画像がスクリーンに投影される構成であっても良い。透過型のスクリーンの場合、第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂで撮像された画像の表示は省略され、スクリーンを通して視認される風景にオブジェクトが重畳されても良い。

さらに、検出部３４は画像処理部３３によるリサイズ後の撮像画像、すなわち、第１表示パネル１７ａ、第２表示パネル１７ｂに表示可能な画素数に変換された撮像画像に基づいて第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂの位置の変化を検出しているが、リサイズ前に位置の変化を検出しても良い。この場合、リサイズ前後の画素の対応関係は予め明らかにされており、当該対応関係に基づいてリサイズ前の画像に基づいて検出された位置の変化がリサイズ後の位置の変化に変換され、リサイズ後の画像にオブジェクトが合成される。

エリアセンサーは、ローリングシャッター方式のエリアセンサーであれば良い。すなわち、ライン毎に露光タイミングが異なるエリアセンサーであり、ライン毎の画像に基づいてフレーム間差分を取得することで、ライン毎に異なるタイミングでエリアセンサーの位置の変化の解析を実行可能なセンサーであれば良い。

検出部は、エリアセンサーで撮像された画像のライン毎のフレーム間差分に基づいてエリアセンサーの位置の変化を検出することができればよい。すなわち、検出部は、エリアセンサーを構成する複数のラインについてフレーム間差分を取得し、当該フレーム間差分からエリアセンサーの位置の変化を検出することができればよい。

なお、エリアセンサーの位置の変化は、電子機器やエリアセンサーが存在する実空間内での位置の変化であり、少なくとも１方向への変化の有無が検出できれば良く、上述の実施形態のように２方向への位置の変化量が検出される構成でなくても良い。

フレーム間差分は少なくともライン毎に取得されれば良く、エリアセンサーを構成する複数のラインの中のあるラインについて、異なるフレームで撮像された画像同士の差分がフレーム間差分として取得されれば良い。フレーム間差分はフレーム単位での差分であり、上述のように、あるフレームとその直前のフレームとの間での差分であることが好ましいが、直前より前のフレームとの差分が解析に利用されても良い。

また、フレーム間差分は、エリアセンサーの位置の変化を取得できるような態様で定義されれば良く、上述のように各ラインに対応した各比較領域内でのパターンの移動量によって定義されても良いし、各ラインに存在するエッジの移動距離等によって定義されても良いし、ライン毎の画像をライン方向に移動させた場合に最も一致する移動量によって定義されても良い。むろん、フレーム間差分に基づいてエリアセンサーの位置の変化が検出される場合において、種々の画像処理、例えば、２値化や鮮鋭化、スムージング等が行われてもよい。

なお、フレーム間差分は撮像された被写体の画像のフレーム間の変化を反映しているため、エリアセンサーの位置の変化は、当該被写体とエリアセンサーとの相対位置の変化である。すなわち、被写体の位置が変化している場合と、エリアセンサーの位置が変化している場合と、その双方があり得る。ただし、被写体の位置が変化しない（またはほぼ変化しない）のであれば、エリアセンサーの位置の変化と見なすことができる。

被写体（例えば背景）の位置が変化しないことが前提になる場合、位置が変化する移動体を画像内から除外してフレーム間差分の解析対象を特定する構成が採用されてもよいし、画像等に基づいてエリアセンサーの絶対位置が変化していることが特定された場合にエリアセンサーの位置の変化が検出されても良い。また、フレーム間差分が特定されるラインは、エリアセンサーが備えるラインの全てであっても良いし、一部であっても良い。例えば、エッジが検出されたラインについてフレーム間差分が特定されても良い。

エリアセンサーの位置は、エリアセンサーにおける任意の変化に応じて変化すると見なされて良く、並進方向への変化が位置の変化と見なされても良いし、回転方向への変化が位置の変化と見なされても良いし、双方が位置の変化と見なされても良い。

画像に重畳されるオブジェクトは、任意の形状、大きさ、色の画像であって良く、表示部における表示の目的に応じて種々のオブジェクトを採用可能である。オブジェクトの位置は、エリアセンサーの位置の変化に基づいて変化すればよく、上述のように、エリアセンサーの位置に依存せずにオブジェクトが静止しているかのようにオブジェクトを表示する構成の他にも種々の構成を採用可能である。例えば、オブジェクトが移動していることを表現する場合に、エリアセンサーの位置の変化を加味する（同方向の移動であればオブジェクトの位置変化速度からエリアセンサーの位置変化速度を減じる等）構成であっても良い。

表示部は電子機器に備えられていれば良く、各種の態様を想定可能である。すなわち、電子機器は、上述のようなヘッドマウントディスプレイ以外にも種々の構成であってよく、携帯端末やロボットなど、種々の電子機器であって良い。前者としては、携帯端末の筐体のある面にエリアセンサーが配置され、当該面の裏面にフラットパネルディスプレイとしての表示部が取り付けられる構成等が挙げられる。後者としては、ロボットのアームやベースに固定された部位（人間の頭部を模した部位等）にエリアセンサーが取り付けられる構成が挙げられる。この場合、表示部が省略されても良いしロボット制御装置等に表示部が取り付けられてもよい。

表示部におけるオブジェクトの位置の変化が、エリアセンサーの位置の変化を相殺する構成は、オブジェクトがエリアセンサーの移動に依存せずに静止して見えるように表示部に対してオブジェクトを表示する構成であれば良い。エリアセンサーの位置の変化を相殺する際には、エリアセンサーが移動した場合に、オブジェクトが静止しているように感じられればよく、エリアセンサーの位置の変化を厳密に相殺しても良いし、多少の誤差は許容されても良い。

なお、上述の実施形態において、第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂの主走査方向は平行であったが、互いに異なる方向に向いていても良い。例えば、図２に示す構成において、第１エリアセンサー３０ａの副走査方向を上下方向（図１に示すＹ方向）、主走査方向を左右方向（図１に示すＸ方向）に向け、第２エリアセンサー３０ｂの副走査方向を左右方向（図１に示すＸ方向）、主走査方向を上下方向（図１に示すＹ方向）に向けてもよい。

このように、第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂの主走査方向が直交するように筐体に固定された構成においては、第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂの出力を利用して各センサーやヘッドマウントディスプレイ１の位置の変化を検出しても良い。すなわち、図２に示す構成において検出部３４は、第１エリアセンサー３０ａの出力に基づいて（主走査方向の移動量，副走査方向の移動量）＝（ΔＸ１，ΔＹ１）をライン毎に取得し、第２エリアセンサー３０ｂ出力に基づいて（主走査方向の移動量，副走査方向の移動量）＝（ΔＸ２，ΔＹ２）をライン毎に取得する。なお、第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂにおいては、主走査方向が互いに直交しているため、ΔＸ１とΔＸ２は異なる方向への移動量、ΔＸ１とΔＹ２は同一方向への移動量である。

このように、第１エリアセンサー３０ａおよび第２エリアセンサー３０ｂの主走査方向が直交している場合、各センサーにおいてＸ方向、Ｙ方向への移動量を検出していることになり、画像合成部１３は、任意の値をヘッドマウントディスプレイ１の位置の変化であると見なすことができる。

ただし、各センサーにおいては移動方向毎に位置の精度に差が生じ得る。すなわち、各センサーはローリングシャッター方式で撮像が行われるため、副走査方向に物体が移動する場合、物体の副走査方向の大きさが間延びまたは縮小された状態で撮像される。一方、主走査方向に物体が移動する場合、各ラインで異なる位置で撮像され得るが、ローリングシャッター方式であることに起因して物体の主走査方向の大きさが間延びまたは縮小されることはない。

従って、フレーム間差分を算出する際に、主走査方向の位置の変化は副走査方向の位置の変化より高精度に算出される。そこで、検出部３４が、第１エリアセンサー３０ａで撮像された画像に基づいて主走査方向への筐体の位置の変化（ΔＸ１）を検出し、第２エリアセンサー３０ｂで撮像された画像に基づいて主走査方向への筐体の位置の変化（ΔＸ２）を検出すれば、高精度に２次元的な位置の変化を検出することができる。

さらに、検出部３４における処理としては、他にも種々の処理が採用可能である。例えば、検出部３４が、通常は、第１エリアセンサー３０ａまたは第２エリアセンサー３０ｂの一方の出力に基づいて筐体の位置の変化を検出し、第１エリアセンサー３０ａの出力から得られる位置変化の検出精度が低下したと推定される場合に第２エリアセンサー３０ｂの出力を援用する構成であっても良い。位置変化の検出精度が低下する場合としては、位置の変化量が基準以上である場合（ノイズと推定される場合）や第１エリアセンサー３０ａが検出した移動量と第２エリアセンサー３０ｂが検出した移動量との差分（（｜ΔＸ１−ΔＹ２｜、｜ΔＸ２−ΔＹ１｜））が閾値以上である場合等が挙げられる。第２エリアセンサー３０ｂの出力を援用する構成としては、移動量が（ΔＸ１，ΔＸ２）であると見なされる構成等が挙げられる。

なお、第１エリアセンサー３０ａやヘッドマウントディスプレイ１の位置の変化は、例えば、装着者の首の回転運動である場合などが多く、完全に２次元的な変位は少ないため、第１エリアセンサーと第２エリアセンサーの主走査方向が厳密に直交でなくても、主な２個の移動方向に対して各エリアセンサーの主走査方向が平行であれば良い。

なお、第１エリアセンサー３０ａと第２エリアセンサー３０ｂとが筐体に固定される際には、筐体に対して相対的に移動しないように固定されることにより、各エリアセンサーの位置の変化が筐体の変化と実質的に同一であると見なすことができればよい。なお、第１エリアセンサー３０ａと第２エリアセンサー３０ｂとは、同一の被写体を撮像できるように筐体に固定されることが好ましい。また、各エリアセンサーの位置の変化は、同一の被写体の画像についてのフレーム間差分に基づいて取得されても良い。むろん、エリアセンサーの数は３個以上であっても良く、３個のエリアセンサーによって３次元空間内でのエリアセンサー（筐体）の位置の変化が検出される構成であっても良い。

さらに、第１エリアセンサー３０ａの位置の変化を検出する構成は、モーションセンサーと見なすこともできる。例えば、第１エリアセンサー３０ａの撮像画像に基づいて第１エリアセンサー３０ａの移動量（ΔＸ，ΔＹ）を出力する構成（図２に示す例であれば、タイミング制御部３２と画像処理部３３とＶＲＡＭ１１と検出部３４）を出力部と見なし、当該出力部を備えたモーションセンサーを単体で流通させることも可能である。

さらに、本発明のように、ライン毎のフレーム間差分に基づいてエリアセンサーの位置の変化を検出する手法は、プログラムや方法としても適用可能である。また、以上のような装置、プログラム、方法は、単独の装置として実現される場合もあれば、複合的な機能を有する装置において共有の部品を利用して実現される場合もあり、各種の態様を含むものである。

１…ヘッドマウントディスプレイ、１０…表示部、１１…ＶＲＡＭ、１２…ＲＡＭ、１３…画像合成部、１４…タイミング制御部、１５…出力コントローラー、１６ａ…第１パネルドライバー、１６ｂ…第２パネルドライバー、１７ａ…第１表示パネル、１７ｂ…第２表示パネル、２０…制御部、３０…カメラユニット、３０ａ…第１エリアセンサー、３０ｂ…第２エリアセンサー、３１…エリアセンサー、３２…タイミング制御部、３３…画像処理部、３４…検出部、４０…保持部

Claims (8)

1. ローリングシャッター方式のエリアセンサーと、
   前記エリアセンサーで撮像された画像のライン毎のフレーム間差分に基づいて前記エリアセンサーの位置の変化を検出する検出部と、
   を備える電子機器。
2. 前記エリアセンサーの位置の変化に基づいて位置が変化するオブジェクトを表示する表示部を備える、
   請求項１に記載の電子機器。
3. 前記表示部における前記オブジェクトの位置の変化は、前記エリアセンサーの位置の変化を相殺する変化である、
   請求項２に記載の電子機器。
4. 前記表示部は、前記エリアセンサーで撮像された前記画像と前記画像に重畳された前記オブジェクトとを表示する、
   請求項２または請求項３のいずれかに記載の電子機器。
5. 前記エリアセンサーは、
   筐体に固定された第１エリアセンサーと、前記第１エリアセンサーの主走査方向と直交する方向に主走査方向が向くように前記筐体に固定された第２エリアセンサーとを含み、
   前記検出部は、
   前記第１エリアセンサーで撮像された前記画像に基づいて前記第１エリアセンサーの主走査方向への前記筐体の位置の変化を検出し、前記第２エリアセンサーで撮像された前記画像に基づいて前記第２エリアセンサーの主走査方向への前記筐体の位置の変化を検出する、
   請求項１〜請求項４のいずれかに記載の電子機器。
6. ローリングシャッター方式のエリアセンサーと、
   前記エリアセンサーで撮像された画像のライン毎のフレーム間差分を出力する出力部と、
   を備えるモーションセンサー。
7. ローリングシャッター方式のエリアセンサーを制御するコンピューターを、
   前記エリアセンサーで撮像された画像のライン毎のフレーム間差分に基づいて前記エリアセンサーの位置の変化を検出する検出部、
   として機能させる位置変化検出プログラム。
8. ローリングシャッター方式のエリアセンサーで撮像された画像のライン毎のフレーム間差分に基づいて前記エリアセンサーの位置の変化を検出する、
   位置変化検出方法。

Images