JP2012221250A - 画像処理装置、表示制御方法及びプログラム - Google Patents

Abstract

【課題】仮想オブジェクトの表示の乱れによってユーザに混乱を与えることを回避すること。
【解決手段】画像に映る物体の位置又は姿勢を認識する認識部と、前記認識部による認識の安定度に応じて、前記物体に関連する仮想オブジェクトの表示を変化させる表示制御部と、を備える画像処理装置を提供する。前記表示制御部は、前記物体の位置又は姿勢に前記仮想オブジェクトが追従するように前記仮想オブジェクトを表示装置に表示させてもよい。また、前記表示制御部は、前記安定度に応じて、前記仮想オブジェクトの前記物体への追従のペースを変化させてもよい。
【選択図】図５

Description

本発明は、画像処理装置、表示制御方法及びプログラムに関する。

近年、実世界に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、アノテーションとも呼ばれ、テキスト、アイコン又はアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。一般的なＡＲアプリケーションでは、仮想オブジェクトは、画像内で認識される実世界の物体の位置に合わせて配置される。また、位置のみならず物体の姿勢に合わせて仮想オブジェクトをＡＲ空間内に配置することのできるアプリケーションも存在する。例えば、下記特許文献１は、仮想オブジェクトの位置合わせの精度の低下を抑制することを目的とした技術を提案している。

特開２０１０−１３４６４９号公報

しかしながら、画像に映る実世界の物体の位置又は姿勢の認識を常に高い精度で行うことは困難である。即ち、実世界の物体に仮想オブジェクトの位置又は姿勢を合わせようとする場合、認識の精度の一時的な低下を原因として仮想オブジェクトの表示が乱れる可能性は残されている。従って、特に認識が不安定となる場合に仮想オブジェクトの表示を適切に制御し、仮想オブジェクトの表示の乱れによってユーザに混乱を与えないことが望ましい。

本開示によれば、画像に映る物体の位置又は姿勢を認識する認識部と、前記認識部による認識の安定度に応じて、前記物体に関連する仮想オブジェクトの表示を変化させる表示制御部と、を備える画像処理装置が提供される。

また、本開示によれば、画像に映る物体の位置又は姿勢を認識するステップと、前記認識の安定度に応じて、前記物体に関連する仮想オブジェクトの表示を変化させるステップと、を含む表示制御方法が提供される。

また、本開示によれば、画像処理装置を制御するコンピュータを、画像に映る物体の位置又は姿勢を認識する認識部と、前記認識部による認識の安定度に応じて、前記物体に関連する仮想オブジェクトの表示を変化させる表示制御部と、として機能させるためのプログラムが提供される。

以上説明したように、本開示によれば、仮想オブジェクトの表示の乱れによってユーザに混乱を与えることを回避することができる。

一実施形態に係る画像処理装置の概要について説明するための説明図である。 仮想オブジェクトの配置について説明するための説明図である。 仮想オブジェクトの配置に関連する問題点について説明するための説明図である。 一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 一実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。 一実施形態において認識される物体の状態量について説明するための説明図である。 認識の安定度を判定するための判定手法の第１の例について説明するための説明図である。 認識の安定度を判定するための判定手法の第２の例について説明するための説明図である。 認識の安定度を判定するための判定手法の第３の例について説明するための説明図である。 認識の安定度を判定するための判定手法の第４の例について説明するための説明図である。 認識の安定度を判定するための判定手法の第５の例について説明するための説明図である。 仮想オブジェクトの物体への追従のペースの制御の一例について説明するための説明図である。 仮想オブジェクトの鮮明度の制御について説明するための説明図である。 仮想オブジェクトの透明度の制御について説明するための説明図である。 安定度を高めるための行動をユーザに促す表示の一例を示す説明図である。 一実施形態に係る表示制御処理の流れの一例を示すフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．概要
２．一実施形態に係る画像処理装置のハードウェア構成例
３．一実施形態に係る画像処理装置の機能構成例
３−１．画像取得部
３−２．画像認識部
３−３．検出部
３−４．判定部
３−５．データ取得部
３−６．表示制御部
４．一実施形態に係る表示制御処理の流れ
５．まとめ

＜１．概要＞
図１は、本明細書で開示する技術の一実施形態の概要について説明するための説明図である。図１を参照すると、実空間１内でユーザにより携帯されている画像処理装置１００が示されている。

画像処理装置１００は、ＡＲアプリケーションをユーザに提供する装置である。画像処理装置１００は、例えば、スマートフォン、ＰＤＡ（Personal Digital Assistant）、ゲーム端末又は携帯用音楽プレーヤなどの端末装置であってもよく、ＰＣ（Personal Computer）又はワークステーションなどの情報処理装置であってよい。

実空間１は、ＡＲアプリケーションが利用され得る空間の一例である。実空間１内には、物体１２ａ、１２ｂ、１２ｃ、１２ｄ及び１２ｅが存在する。物体１２ａは、自動車である。物体１２ｂは、案内板である。物体１２ｃは、広告用の看板である。物体１２ｄ及び１２ｅは、建物である。画像処理装置１００は、このような様々な物体が存在し得る実空間を撮像した画像を入力画像として取得する。そして、画像処理装置１００は、入力画像に映る物体の認識結果に基づいて、ＡＲのための仮想オブジェクトを入力画像に重畳する。仮想オブジェクトを通じてユーザに呈示される情報は、ナビゲーション情報、広告情報、店舗情報、ニュース又は天気予報など、任意の情報であってよい。本実施形態において、画像処理装置１００により提供されるＡＲアプリケーションは、実空間内の物体の位置又は姿勢に合わせて、当該物体に関連する仮想オブジェクトを画像内に配置する。

図２は、仮想オブジェクトの配置について説明するための説明図である。図２の左に示す画像Ｉｍ０１は、画像処理装置１００により取得される入力画像の一例である。入力画像Ｉｍ０１には、物体１２ａ及び１２ｂが映っている。図２の右には、入力画像Ｉｍ０１に仮想オブジェクトを重畳することにより生成される出力画像Ｉｍ０２が示されている。出力画像Ｉｍ０２では、物体１２ａに仮想オブジェクト１３ａが、物体１２ｂに仮想オブジェクト１３ｂ及び１４ｂがそれぞれ重畳されている。仮想オブジェクト１３ａ及び１３ｂは、画像処理装置１００による物体認識の結果を表現する標識（indicator）としての役割を有する仮想オブジェクトである。一方。仮想オブジェクト１４ｂは、物体１２ｂに関連する情報（図２の例では、製品の広告情報）を表現する情報コンテンツとしての役割を有する仮想オブジェクトである。本明細書において、仮想オブジェクトとは、これら標識及び情報コンテンツの双方を含むものとする。

図２の例において、仮想オブジェクト１３ａは、物体１２ａの状態に合わせて配置されている。また、仮想オブジェクト１３ｂ及び１４ｂは、物体１２ｂの状態に合わせて配置されている。このような仮想オブジェクトの配置の正確さは、画像に映る物体の状態の認識の精度に依存する。

図３は、仮想オブジェクトの配置に関連する問題点について説明するための説明図である。図３を参照すると、時刻ｔ＝ｎ、ｎ＋１、ｎ＋２の各時点において既存の手法により表示され得るＡＲアプリケーションの出力画像Ｉｍ０２−１、Ｉｍ０２−２、Ｉｍ０２−３がそれぞれ示されている。時刻ｔ＝ｎの出力画像Ｉｍ０２−１では、仮想オブジェクト１３ａの配置は、物体１２ａの状態に合っている。同様に、仮想オブジェクト１３ｂ及び１４ｂの配置は、物体１２ｂの状態に合っている。これに対し、時刻ｔ＝ｎ＋１の出力画像Ｉｍ０２−２では、仮想オブジェクト１３ａの配置が、物体１２ａの状態からずれている。また、時刻ｔ＝ｎ＋２の出力画像Ｉｍ０２−３では、仮想オブジェクト１３ｂ及び１４ｂの配置が、物体１２ｂの状態からずれている。このようなずれは、物体の状態の認識精度の低下によって引き起こされる。認識精度の低下は、例えば、入力画像内での物体の部分的な欠損、画像のブレ、外観の類似する複数の物体の存在、又は照明条件のばらつきなど、様々な事象を原因として突発的に起こり得る。そして、特別に用意される環境を除けば、認識精度の低下を生じさせる原因を完全に排除することは困難である。

図３に例示したような仮想オブジェクトの配置の突発的なズレは、ユーザに不快感を与えるだけでなく、例えば仮想オブジェクトにより表現される情報の視認性の低下や広告の対象製品の印象の悪化など、望ましくない結果をもたらし得る。例えばローパスフィルタ又は移動平均フィルタを適用することで仮想オブジェクトの位置又は姿勢の急激な変化を抑制する手法も存在するが、これらフィルタを一律的に適用すれば、認識された物体への仮想オブジェクトの追従が常に遅れてしまう。そこで、本実施形態に係る画像処理装置１００は、次節より詳しく説明するように、認識の精度がどの程度安定しているかを判定し、その判定結果に応じて仮想オブジェクトの表示を制御する。

＜２．一実施形態に係る画像処理装置のハードウェア構成例＞
［２−１．ハードウェア構成］
図４は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。図４を参照すると、画像処理装置１００は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１２、通信部１１４、バス１１８及び制御部１２０を備える。

（撮像部）
撮像部１０２は、画像を撮像するカメラモジュールである。撮像部１０２は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて実空間を撮像し、撮像画像を生成する。撮像部１０２により生成される撮像画像は、映像入力の各フレームを構成する。

（センサ部）
センサ部１０４は、撮像部１０２の動きを計測する動きセンサ群を含む。動きセンサは、例えば、撮像部１０２の加速度を測定する加速度センサ、傾き角を測定するジャイロセンサ、又は撮像部１０２の向けられた方位を測定する地磁気センサなどであってよい。また、センサ部１０４は、ＧＰＳ（Global Positioning System）信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。

（入力部）
入力部１０６は、ユーザが画像処理装置１００を操作し又は画像処理装置１００へ情報を入力するために使用される入力デバイスである。入力部１０６は、典型的には、表示部１１２の画面上へのユーザによるタッチを検出するタッチセンサを含む。その代わりに（又はそれに加えて）、入力部１０６は、マウス若しくはタッチパッドなどのポインティングデバイス、画像に映るユーザのジェスチャを認識するジェスチャ認識モジュール、又はＨＭＤ（Head Mounted Display）を装着したユーザの視線方向を検出する視線検出モジュールを含んでもよい。さらに、入力部１０６は、キーボード、キーパッド、ボタン又はスイッチなどのその他の種類の入力デバイスを含んでもよい。

（記憶部）
記憶部１０８は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、画像処理装置１００による処理のためのプログラム及びデータを記憶する。記憶部１０８により記憶されるデータには、例えば、撮像部１０２により生成される画像データ及びセンサ部１０４により生成されるセンサデータが含まれ得る。また、記憶部１０８により記憶されるデータには、例えば、画像処理装置１００による物体認識の際に用いられるモデルデータ及び仮想オブジェクトを定義するオブジェクトデータなども含まれ得る。

（表示部）
表示部１１２は、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic light-Emitting Diode）又はＣＲＴ（Cathode Ray Tube）などにより構成される表示モジュールである。表示部１１２は、例えば、撮像部１０２により撮像される画像、又は制御部１２０により実現されるＡＲアプリケーションの画像を画面上に表示する。表示部１１２は、ユーザにより把持される画像処理装置１００の画面であってもよく、又はユーザにより装着されるシースルー型若しくは非シースルー型のＨＭＤであってもよい。

（通信部）
通信部１１４は、画像処理装置１００による他の装置との間の通信を仲介する通信インタフェースである。通信部１１４は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。

（バス）
バス１１８は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１２、通信部１１４及び制御部１２０を相互に接続する。

（制御部）
制御部１２０は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサに相当する。制御部１２０は、記憶部１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する画像処理装置１００の様々な機能を動作させる。

＜３．一実施形態に係る画像処理装置の機能構成例＞
図５は、図４に示した画像処理装置１００の記憶部１０８及び制御部１２０により実現される論理的機能の構成の一例を示すブロック図である。図５を参照すると、画像処理装置１００は、画像取得部１３０、モデルデータベース（ＤＢ）１３８、画像認識部１４０検出部１５０、判定部１６０、データ取得部１７０、オブジェクトＤＢ１７２及び表示制御部１９０を含む。

［３−１．画像取得部］
画像取得部１３０は、実空間を映した画像を入力画像として取得する。画像取得部１３０は、例えば、撮像部１０２からの映像入力の各フレームを入力画像として順次取得してもよい。また、画像取得部１３０は、記憶部１０８により記憶されている過去に撮像された映像入力の各フレームを入力画像として取得してもよい。画像取得部１３０は、取得した入力画像を画像認識部１４０へ出力する。

［３−２．画像認識部］
画像認識部１４０は、モデルＤＢ１３８により記憶されているデータを用いて物体認識を行う。モデルＤＢ１３８は、画像処理装置１００が認識の対象とする物体の形状又は外観に関するモデルデータを予め蓄積しているデータベースである。本実施形態において、画像処理装置１００による認識の対象は、図１に例示した物体１２ａ〜１２ｅなど、実空間に存在する任意の物体であってよい。モデルデータは、各物体の形状を定義するデータ、各物体に付される所定のシンボルマーク又はテキストラベルなどの画像データ、又は各物体についての既知の画像から抽出された特徴量セットのデータなどを含み得る。

画像認識部１４０は、画像取得部１３０から入力される入力画像にどの物体が映っているか、及び入力画像に映っている物体の状態を認識する。画像認識部１４０により認識される物体の状態は、物体の位置及び姿勢の少なくとも一方を含む。本実施形態では、画像認識部１４０は、画像内での物体の位置、姿勢及び大きさを認識するものとする。画像認識部１４０は、例えば、入力画像から抽出される特徴点のセットをモデルデータにより定義され得る物体の形状と照合してもよい。また、画像認識部１４０は、モデルデータにより定義され得るシンボルマーク又はテキストラベルなどの画像データを入力画像と照合してもよい。また、画像認識部１４０は、モデルデータにより定義され得る既知の物体の画像の特徴量を入力画像から抽出される特徴量と照合してもよい。いずれの場合にも、画像認識部１４０は、所定の閾値よりも良好な照合スコアを示す物体が、当該照合スコアに対応する位置、姿勢及び大きさで入力画像に映っていると認識することができる。

図６は、本実施形態において画像認識部１４０により認識される物体の状態量について説明するための説明図である。図６を参照すると、入力画像を撮像した撮像装置の光軸方向と直交する平面上のｘ軸及びｙ軸、並びに当該光軸方向に沿ったｚ軸により形成されるグローバル座標系が示されている。画像認識部１４０により認識される物体１２の位置Ｐは、このようなグローバル座標系での当該物体の基準点の位置座標として与えられる。また、物体１２の姿勢Ｗは、各軸周りの回転角として与えられる。また、物体１２の大きさＳｃは、各軸方向への倍率として与えられる。なお、本明細書では、説明の簡明さのために、各物体の位置Ｐ、姿勢Ｗ及び大きさＳｃを別個の変量（状態量）として説明する。しかしながら、各物体の位置Ｐ、姿勢Ｗ及び大きさＳｃは、グローバル座標系と各物体のモデル座標系との間の変換を表す４行４列の１つの同次変換行列によって統合的に表現されてもよい。その場合には、各状態量（即ち、位置Ｐ、姿勢Ｗ及び大きさＳｃの各々）は、１つの同次変換行列から必要に応じて抽出され、用いられる。なお、グローバル座標系は、撮像装置の位置を原点とする相対的な座標を表す座標系であってもよい。その代わりに、グローバル座標系は、実空間内で固定的に定義される絶対的な座標を表す座標系であってもよい。画像認識部１４０は、このような入力画像に映る各物体の識別子、位置Ｐ、姿勢Ｗ及び大きさＳｃを、判定部１６０、データ取得部１７０及び表示制御部１９０へ出力する。

［３−３．検出部］
検出部１５０は、ユーザ入力を検出し、ユーザ入力情報を表示制御部１９０へ出力する。検出部１５０により検出されるユーザ入力は、例えば、入力部１０６のタッチセンサへのタッチ入力、ボタンの押下、センサ部１０４のセンサ群により測定される装置の動き（例えば、傾き若しくは揺れなど）、ユーザのジェスチャ又はユーザの音声などであってよい。

［３−４．判定部］
判定部１６０は、入力画像に映る物体の状態の画像認識部１４０による認識の安定度を判定する。判定部１６０により判定される安定度は、連続値又は離散値（例えば、３段階以上の段階的な値若しくは「高」／「低」の２値）で表現され得る。以下、図７〜図１１を用いて、判定部１６０による安定度の判定手法の５つの例について説明する。

（１）第１の例
例えば、画像認識部１４０による認識が不安定である場合には、物体の状態量の変化は激しくなる傾向にある。そこで、判定部１６０は、画像認識部１４０により認識される物体の状態量の時間的変化に基づいて、上記安定度を判定してもよい。物体の状態量の時間的変化は、例えば、物体の状態量の周波数特性、状態量の微分（若しくは二次微分）又は所定の期間内の状態量の履歴と状態量の現在値との比較などを通じて把握され得る。

図７は、物体の状態量の時間的変化の一例を示している。図７の横軸は時間ｔ、縦軸は状態量Ｘ及びその一次微分（ｄＸ／ｄｔ）である。状態量Ｘは、ある物体についての位置Ｐ、姿勢Ｗ及び大きさＳｃのうちいずれか１つ又は２つ以上の組合せであってよい。

図７の例では、時刻Ｔ０からＴ１までの期間において、状態量Ｘは緩やかに変化している。この場合、例えばフーリエ変換によって状態量Ｘの周波数成分を抽出すると、状態量Ｘの高周波成分は小さくなる。また、状態量Ｘの一次微分の絶対値は、ある所定のレベル（撮像装置に対して物体が相対的に動く現実的な限界に相当するレベル）を超えることがない。状態量Ｘの二次微分についても同様である。また、状態量Ｘの変化が緩やかであることから、状態量Ｘの過去ｍサンプルの履歴に対して状態量Ｘの現在値が大きく異なることもない。状態量Ｘの履歴とは、過去ｍサンプルの単純な平均値であってもよく、又は過去ｍサンプルの重み付け平均値（より直近のサンプルの重みがより大きく設定され得る）であってもよい。

これに対し、時刻Ｔ１からＴ２までの期間において、状態量Ｘは激しく変化している。この場合、状態量Ｘの周波数成分を抽出すると、状態量Ｘの高周波成分はより大きくなる。また、状態量Ｘの一次微分はゼロの周りで振動している。一次微分の絶対値は、上述した所定のレベルを上回る。また、状態量Ｘの過去ｍサンプルの履歴に対して、状態量Ｘの現在値が大きく変化し得る。

従って、判定部１６０は、第１の判定手法において、物体の状態量の高周波成分の大きさ、状態量の一次微分（若しくは二次微分）の絶対値（若しくはその積算値）又は状態量の履歴と状態量の現在値との比較を通じて当該状態量の時間的変化を評価する。そして、判定部１６０は、評価した時間的変化がより激しいほど認識の安定度はより低いと判定する。図７の例では、期間Ｔ０〜Ｔ１の安定度は「高」、期間Ｔ１〜Ｔ２の安定度は「低」、期間Ｔ２〜Ｔ３の安定度は「中」、期間Ｔ３〜Ｔ４の安定度は「低」と判定されている。

（２）第２の例
画像認識部１４０による認識が不安定である場合には、現実的な状況では生じる可能性の低い物体の状態の変化が認識結果において示される可能性がある。例えば、実空間内で静止している物体を撮像した場合に、画角の変化に依存して画像内の物体の位置又は大きさが変化することが考えられるが、その際に同時に物体が大きく回転することは稀である。そこで、第２の判定手法において、判定部１６０は、画像認識部１４０により認識される物体の複数の状態量の間の整合性に基づいて、上記安定度を判定する。

図８を参照すると、時刻Ｔ１から時刻Ｔ２にかけて、画像認識部１４０による認識結果において、物体１２が移動すると共に物体１２の姿勢が回転している様子が示されている。時刻Ｔ１から時刻Ｔ２にかけての物体１２の移動量は位置Ｐの差分ｄＰ、回転量は姿勢Ｗの差分ｄＷにより表現され得る。従って、判定部１６０は、例えば、移動量ｄＰが第１の閾値を上回り、かつ回転量ｄＷが第２の閾値を上回る場合には、物体の状態の変化が不自然であるため、画像認識部１４０による認識の安定度が低下していると判定することができる。

（３）第３の例
第３の判定手法においては、判定部１６０は、物体の状態量の変化と動きセンサにより計測される撮像部１０２の動きとの間の整合性に基づいて、上記安定度を判定する。

図９を参照すると、時刻Ｔ１から時刻Ｔ２にかけて、ユーザは、撮像部１０２の画角が変化するように画像処理装置１００を動かしている。その結果、入力画像Ｉｍ１１−１の右下に映っていた物体１２ｂは、入力画像Ｉｍ１１−２では画像の左上に移動している。撮像部１０２の画角の変化は、センサ部１０４の動きセンサ（例えば、加速度センサ、ジャイロセンサ又は地磁気センサ）からのセンサデータに基づいて認識され得る。このような場合に、物体１２ｂの移動量ｄＰ又は回転量ｄＷがセンサデータに基づいて認識される画像処理装置１００の動きと整合していなければ、判定部１６０は、画像認識部１４０による認識の安定度が低下していると判定することができる。

（４）第４の例
第４の判定手法においては、判定部１６０は、画像認識部１４０により認識される物体の状態量の変化と複数の入力画像に現れる実空間の動きの方向との間の整合性に基づいて、上記安定度を判定する。複数の入力画像に現れる実空間の動きの方向は、例えば、複数の入力画像から求められるオプティカルフローを通じて認識されてよい。

図１０を参照すると、時刻Ｔ１において撮像された入力画像Ｉｍ１２−１から時刻Ｔ２において撮像された入力画像Ｉｍ１２−２にかけてのオプティカルフローＦが示されている。オプティカルフローＦは、画像内で左上に向かう物体の動きを示している。これに対し、画像認識部１４０による認識結果において、物体１２ｂは上方向へ移動しながら回転している。このように、物体１２ｂの移動量ｄＰ又は回転量ｄＷが複数の入力画像にわたるオプティカルフローと整合していなければ、判定部１６０は、画像認識部１４０による認識の安定度が低下していると判定することができる。なお、物体１２ｂの周囲のオプティカルフローから予測される物体の動きベクトルと物体認識の結果として認識された物体の動きベクトルとの相関（例えば内積）に基づいて、連続値としての物体の安定度が計算されてもよい（例えば、上記内積がより大きいほど認識はより安定的である）。

（５）第５の例
例えば、物体の一部が入力画像に映らない場合には、認識の精度が低下する蓋然性が高まる。そこで、第５の判定手法において、判定部１６０は、認識された物体が入力画像に映らない部分を含む場合には、当該物体の全体が入力画像に映る場合よりも認識の安定度が低いと判定する。認識された物体が入力画像に映らない部分を含む場合とは、例えば、物体の一部が画角の外に位置する場合、及び物体の一部が他の物体に隠されている場合（所謂オクルージョンの場合）を含み得る。

図１１を参照すると、入力画像Ｉｍ１３に物体１２ａ及び物体１２ｂが映っている。物体１２ａの一部は、物体１２ｂにより隠されている。物体１２ｂの一部は、画角外にはみ出している。図１１に示した多数の三角形の記号は、画像認識部１４０による物体１２ａの認識の際に用いられ得る特徴点の位置を表す。判定部１６０は、例えば、物体１２ａについて、画像認識部１４０により認識された特徴点の数の特徴点の総数に対する割合を算出し、算出した割合が所定の閾値を下回る場合には、物体１２の一部が入力画像に映っていないと判定することができる。また、判定部１６０は、例えば、物体の重心が画像の安定検出領域の外側にある場合に、物体の一部が入力画像に映っていない可能性が高いと簡易に判定することもできる。図１１の例では、物体１２ａの重心Ｐａは安定検出領域Ｒの内側に位置する一方で、物体１２ｂの重心Ｐｂは安定検出領域Ｒの外側に位置する。安定検出領域Ｒは、その境界が入力画像の縁部との間に所定のオフセットを有するように、入力画像の中央に設定され得る。

判定部１６０は、これらのような手法に従って画像認識部１４０による認識の安定度を判定し、各物体についての安定度を表示制御部１９０へ出力する。なお、画像処理装置１００は、上述した手法のうち２つ以上を判定部１６０において選択可能とし、判定部１６０が使用する手法を条件に応じて適応的に切り替えてもよい。例えば、動的な物体についての安定度を判定する場合には第１の手法が選択され、静的な物体についての安定度を判定する場合には第２〜第４のいずれかの手法が選択されてもよい。また、少ない処理コストが求められる場面では、第５の手法が選択されてもよい。

［３−５．データ取得部］
データ取得部１７０は、表示制御部１９０により入力画像に重畳される仮想オブジェクトに関するデータを取得する。データ取得部１７０により取得されるデータは、仮想オブジェクトを定義するオブジェクトデータを含む。オブジェクトデータは、例えば、仮想オブジェクトの種類、関連付けられる物体の識別子、当該物体からの相対的な表示位置、及び情報コンテンツの内容などを定義するデータであってよい。データ取得部１７０は、オブジェクトＤＢ１７２により予め記憶されるオブジェクトデータを取得してもよい。その代わりに、データ取得部１７０は、実空間内に設置されるデータサーバから通信部１１４を介して最新のオブジェクトデータを取得してもよい。データサーバから提供されるオブジェクトデータは、例えば、センサ部１０４により測定される画像処理装置１００の位置に応じて異なるデータであってもよい。データ取得部１７０は、このようなオブジェクトデータを表示制御部１９０へ出力する。

［３−６．表示制御部］
表示制御部１９０は、画像処理装置１００が提供するＡＲアプリケーションによる仮想オブジェクトの表示を制御する。より具体的には、例えば、表示制御部１９０には、画像認識部１４０により入力画像に映っていると認識された物体と関連付けられている仮想オブジェクトのオブジェクトデータが、データ取得部１７０から入力される。表示制御部１９０は、かかるオブジェクトデータに基づいて、仮想オブジェクトのオブジェクト画像を生成する。表示制御部１９０により生成されるオブジェクト画像は、典型的には、３次元の実空間内に仮想的に配置される仮想オブジェクトを画像処理装置１００の撮像面に投影した画像である。そして、表示制御部１９０は、生成した出力画像を表示部１１２へ出力する。その結果、ＡＲアプリケーションの画像がユーザに呈示される。

仮想オブジェクトの配置は、関連付けられる物体の状態に合わせて決定される。即ち、表示制御部１９０は、各物体の位置、姿勢及び大きさに仮想オブジェクトが追従するように、仮想オブジェクトを表示装置に表示させる。

また、本実施形態において、表示制御部１９０は、画像認識部１４０による認識の安定度に応じて、認識された各物体に関連する仮想オブジェクトの表示を変化させる。例えば、表示制御部１９０は、上記安定度に応じて、仮想オブジェクトの各物体への追従のペースを変化させる。典型的には、表示制御部１９０は、上記安定度がより高ければ、仮想オブジェクトの各物体への追従のペースをより速くし、上記安定度がより低ければ、仮想オブジェクトの各物体への追従のペースをより緩やかとする。追従のペースは、例えば、次の式（１）における補間係数ｋによって表現され得る。

式（１）において、Ｚ_ｎ，Ｚ_ｎ＋１はそれぞれ時刻ｔ＝ｎ，ｎ＋１における仮想オブジェクトの状態を表し、Ｘ_ｎ＋１は時刻ｔ＝ｎ＋１において認識された物体の状態を表す。補間係数ｋの値は、０＜ｋ≦１の範囲において表示制御部１９０により制御される。例えば、ｋ＝１であれば、Ｚ_ｎ＋１＝Ｘ_ｎ＋１となり、時刻ｎ＋１において仮想オブジェクトの状態は認識された物体の状態をそのまま反映する。一方、ｋ＝０．１であれば、Ｚ_ｎ＋１＝０．１Ｘ_ｎ＋１＋０．９Ｘ_ｎとなり、時刻ｎ＋１において仮想オブジェクトの状態は認識された物体の状態を部分的にのみ反映する。

図１２は、上述した仮想オブジェクトの物体への追従のペースの制御の一例について説明するための説明図である。図１２の上段には、時刻ｔ＝ｎ，ｎ＋１，ｎ＋２の３つの時点での、追従のペースが一定である（補間係数ｋが一定である）場合の仮想オブジェクト１３ａの状態が示されている。仮想オブジェクト１３ａは、物体１２ａに関連する仮想オブジェクトである。時刻ｔ＝ｎ＋１及びｎ＋２の時点では、認識の安定度が低下したことを原因として、仮想オブジェクト１３ａの状態が物体１２ａの状態から大きくずれている。

一方、図１２の下段には、時刻ｔ＝ｎ，ｎ＋１，ｎ＋２の３つの時点での、追従のペースが動的に制御される場合の仮想オブジェクト１３ａの状態が示されている。この場合、時刻ｔ＝ｎの時点では安定度が高いことから追従のペースは速く、物体１２ａの状態に仮想オブジェクト１３ａの状態がほぼ一致している。その後、時刻ｔ＝ｎ＋１及びｎ＋２の時点において安定度が低下すると、補間係数ｋの値が下げられることにより、仮想オブジェクト１３ａの状態は物体１２ａの状態に緩やかに追従する。その結果、仮想オブジェクト１３ａの状態の物体１２ａの状態からのずれは、見た目上小さく抑えられている。

表示制御部１９０は、上述したように仮想オブジェクトの各物体への追従のペースを安定度に応じて変化させる代わりに（又はそれに加えて）、仮想オブジェクトの表示属性を安定度に応じて変化させてもよい。仮想オブジェクトの表示属性は、仮想オブジェクトの静的な表示態様に関する属性と動的な表示態様に関する属性とを含み得る。仮想オブジェクトの静的な表示態様に関する属性とは、例えば、仮想オブジェクトの透明度、鮮明度、色、大きさ、形状、数又は残像のパターンなどであってよい。一方、仮想オブジェクトの動的な表示態様に関する属性とは、仮想オブジェクトの点滅のパターン、点滅の周期又はアニメーションの種類などであってよい。これら仮想オブジェクトの表示属性を変化させることにより、物体認識の安定度が低下していることをユーザに直感的に理解させることが可能となる。

一例として、図１３を参照すると、仮想オブジェクト１３ｂの鮮明度が、物体認識の安定度が高いと判定された入力画像Ｉｍ２２−２ａにおいては高く設定されている。それにより、入力画像Ｉｍ２２−２ａの仮想オブジェクト１３ｂの輪郭は明瞭に表示されている。一方、物体認識の安定度が低いと判定された入力画像Ｉｍ２２−２ｂにおいて、仮想オブジェクト１３ｂの鮮明度は低く設定されている。それにより、入力画像Ｉｍ２２−２ｂの仮想オブジェクト１３ｂの輪郭はぼやけて表示されている。

他の例として、図１４を参照すると、仮想オブジェクト１３ｂの透明度が、物体認識の安定度が高いと判定された入力画像Ｉｍ２３−２ａにおいては低く設定されている。それにより、入力画像Ｉｍ２２−３ａの仮想オブジェクト１３ｂの輪郭は透過していない。一方、物体認識の安定度が低いと判定された入力画像Ｉｍ２３−２ｂにおいて、仮想オブジェクト１３ｂの透明度は高く設定されている。それにより、入力画像Ｉｍ２３−２ｂの仮想オブジェクト１３ｂの輪郭は透過している。

図１４の例では、物体認識の結果を表現する標識である仮想オブジェクト１３ｂの透明度は認識の安定度に応じて変化する一方で、情報コンテンツである仮想オブジェクト１４ｂの透明度は一定に保たれている。このように、表示制御部１９０は、標識及び情報コンテンツのうち一方の表示のみを変化させてもよい。標識のみの表示を変化させる場合には、物体認識の安定度が低下した際、情報コンテンツの視認性を下げることなく安定度の低下をユーザに理解させることができる。それに対し、情報コンテンツのみの表示を変化させる場合には、物体認識の安定度が低下した際、物体がどのように認識されたかをユーザに知らせつつも、情報コンテンツについての印象の悪化を防止することができる。

表示制御部１９０は、さらに、画像認識部１４０による認識の安定度が低い場合に、安定度を高めるための行動をユーザに促す情報を表示装置に表示させてもよい。この場合に表示される情報は、例えば、画角外にはみだした物体が画角内に入るように装置を動かすことを促すメッセージなどであってよい（図１５の画像Ｉｍ３０のメッセージ１５参照）。かかる情報を参照したユーザが安定度を高めるための行動をとることで、仮想オブジェクトの表示の乱れが回避され得る。

また、表示制御部１９０は、検出部１５０により所定のユーザ入力が検出された場合には、判定部１６０により判定される認識の安定度に関わらず、安定度が高いと仮定した場合の仮想オブジェクトの表示を表示装置に行わせてもよい。所定のユーザ入力とは、タッチセンサへの入力、モーションセンサにより感知される入力、画像処理装置１００に設けられるボタンの押下、ユーザのジェスチャ又は音声などの任意のユーザ入力であってよい。それにより、ユーザが仮想オブジェクトの表示の乱れを許容する場合に、安定度に応じた表示の制御を一時的に停止することが可能となる。

＜４．一実施形態に係る表示制御処理の流れ＞
図１６は、本実施形態に係る画像処理装置１００による表示制御処理の流れの一例を示すフローチャートである。

図１６を参照すると、まず、画像取得部１３０は、実空間を映した画像を入力画像として取得する（ステップＳ１０２）。次に、画像認識部１４０は、画像取得部１３０から入力される入力画像にどの物体が映っているか、及び入力画像に映っている各物体の状態を認識する（ステップＳ１０４）。ここで認識される物体の状態とは、例えば、当該物体の位置、姿勢及び大きさを含み得る。次に、判定部１６０は、入力画像に映っていると画像認識部１４０により認識された物体が存在するか否かを判定する（ステップＳ１０６）。ここで、認識された物体が存在しない場合には、処理はステップＳ１０２へ戻る。一方、認識された物体が存在する場合には、処理はステップＳ１０８へ進む。

ステップＳ１０８において、判定部１６０は、入力画像に映る物体の状態の画像認識部１４０による認識の安定度を判定する（ステップＳ１０８）。次に、データ取得部１７０は、画像認識部１４０により認識された各物体に関連する仮想オブジェクトのオブジェクトデータを取得する（ステップＳ１１０）。また、表示制御部１９０は、判定部１６０により判定された認識の安定度に応じて、認識された各物体に関連する仮想オブジェクトの表示属性を決定する（ステップＳ１１２）。ここでの表示属性とは、上述した補間係数ｋであってもよく、又は仮想オブジェクトの透明度、鮮明度、点滅のパターン、点滅の周期若しくは残像の大きさなどであってもよい。次に、表示制御部１９０は、決定した表示属性に従って、各物体に関連する仮想オブジェクトの画像を生成する（ステップＳ１１４）。そして、表示制御部１９０は、生成した仮想オブジェクトの画像を入力画像に重畳する（ステップＳ１１６）。

＜５．まとめ＞
ここまで、図１〜図１６を用いて、一実施形態に係る画像処理装置１００について詳細に説明した。本実施形態によれば、画像に映る物体の状態の認識の安定度に応じて、当該物体に関連する仮想オブジェクトの表示が動的に変化する。それにより、認識の精度の低下に伴う仮想オブジェクトの表示の乱れによってユーザに混乱を与えることを回避することが可能となる。

また、本実施形態によれば、物体の位置又は姿勢に仮想オブジェクトが追従するようなアプリケーションにおいて、上記安定度に応じて仮想オブジェクトの物体への追従のペースが制御される。それにより、認識の精度が高い間には追従の遅れを小さく維持しつつ、認識の精度が低下した場合の仮想オブジェクトの配置の突発的なズレを効果的に軽減することができる。

また、本実施形態によれば、仮想オブジェクトの透明度、鮮明度、点滅のパターン、点滅の周期又は残像の大きさなどといった仮想オブジェクトの表示属性もまた、上記安定度に応じて制御され得る。それにより、物体認識の安定度が低下していることをユーザが直感的に理解できるため、仮想オブジェクトの表示が乱れたとしてもユーザに混乱を与えることが回避され得る。

また、上記安定度は、物体の状態量の時間的変化に基づいて判定され得る。この場合には、モーションセンサなどの補助的な入力を要することなく、また対象の物体が動的な物体及び静的な物体のいずれであるかを問わず、安定度を的確に判定することができる。また、上記安定度は、認識される状態量間の整合性、又は状態量と装置の動き若しくは入力画像に現れる実空間の動きの方向との間の整合性に基づいて判定されてもよい。この場合には、物体の状態量の周波数の解析又は微分などの複雑な演算を要することなく安定度を判定することができる。また、物体が入力画像に映らない部分を含むか否かに応じて上記安定度を簡易に判定することも可能である。

本明細書において説明した画像処理装置１００による処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。

なお、本実施形態では、主に画像処理装置１００の表示部１１２の画面上に画像が表示される例について説明した。しかしながら、他の実施形態として、ユーザにより携帯される端末装置から入力画像を受信する画像処理装置において、入力画像に映る物体の位置又は姿勢が認識され、その認識の安定度に応じて当該物体に関連する仮想オブジェクトの表示が制御されてもよい。その場合には、仮想オブジェクトを表示するための画像が当該画像処理装置から端末装置へ送信され、端末装置の画面上に表示され得る。

また、本明細書では、認識の精度の低下を識別するための指標を「安定度」との用語で説明したが、実質的に同等の技術的意義を有する指標が「不安定度」などの他の用語で表現されてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
画像に映る物体の位置又は姿勢を認識する認識部と、
前記認識部による認識の安定度に応じて、前記物体に関連する仮想オブジェクトの表示を変化させる表示制御部と、
を備える画像処理装置。
（２）
前記表示制御部は、前記物体の位置又は姿勢に前記仮想オブジェクトが追従するように前記仮想オブジェクトを表示装置に表示させる、前記（１）に記載の画像処理装置。
（３）
前記表示制御部は、前記安定度に応じて、前記仮想オブジェクトの前記物体への追従のペースを変化させる、前記（２）に記載の画像処理装置。
（４）
前記表示制御部は、前記安定度がより高い場合に、前記仮想オブジェクトの前記物体への追従のペースをより速くする、前記（３）に記載の画像処理装置。
（５）
前記表示制御部は、前記安定度に応じて、前記仮想オブジェクトの静的な表示態様に関する属性及び動的な表示態様に関する属性のいずれか一方又は双方を変化させる、前記（１）〜（４）のいずれか１項に記載の画像処理装置。
（６）
前記画像処理装置は、前記安定度を判定する判定部、をさらに備える、前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記判定部は、前記認識部により認識される前記物体の状態量の時間的変化に基づいて前記安定度を判定し、
前記物体の前記状態量は、前記物体の位置、姿勢及び大きさのうちの少なくとも１つに関連する、
前記（６）に記載の画像処理装置。
（８）
前記判定部は、前記認識部により認識される前記物体の第１の状態量と第２の状態量との間の整合性に基づいて前記安定度を判定し、
前記物体の前記第１の状態量及び前記第２の状態量は、それぞれ、前記物体の位置、姿勢及び大きさのうち少なくとも１つに関連する、
前記（６）に記載の画像処理装置。
（９）
前記判定部は、前記認識部により認識される前記物体が前記画像に映らない部分を含む場合には、前記物体の全体が前記画像に映る場合よりも前記安定度が低いと判定する、前記（６）に記載の画像処理装置。
（１０）
前記画像処理装置は、
前記画像を撮像する撮像部と、
前記撮像部の動きを計測する動きセンサと、
をさらに備え、
前記判定部は、前記認識部により認識される前記物体の状態量の変化と前記動きセンサにより計測される前記撮像部の動きとの間の整合性に基づいて前記安定度を判定し、
前記物体の前記状態量は、前記物体の位置、姿勢及び大きさのうち少なくとも１つに関連する、
前記（６）に記載の画像処理装置。
（１１）
前記判定部は、前記認識部により認識される前記物体の状態量の変化と複数の入力画像に現れる実空間の動きの方向との間の整合性に基づいて前記安定度を判定し、
前記物体の前記状態量は、前記物体の位置、姿勢及び大きさのうち少なくとも１つに関連する、
前記（６）に記載の画像処理装置。
（１２）
前記表示制御部は、前記安定度が低い場合に、前記安定度を高めるための行動をユーザに促す情報を表示する、前記（１）〜（１１）のいずれか１項に記載の画像処理装置。
（１３）
前記表示制御部は、所定のユーザ入力が検出された場合には、前記認識部による認識の前記安定度に関わらず、前記安定度が高いと仮定した場合の前記仮想オブジェクトの表示を表示装置に行わせる、前記（１）〜（１２）のいずれか１項に記載の画像処理装置。
（１４）
前記仮想オブジェクトは、物体が認識されたことを示す標識である、前記（１）〜（１３）のいずれか１項に記載の画像処理装置。
（１５）
前記仮想オブジェクトは、認識された物体に関連する情報コンテンツである、前記（１）〜（１３）のいずれか１項に記載の画像処理装置。
（１６）
前記表示制御部は、物体が認識されたことを示す標識と認識された物体に関連する情報コンテンツとを前記仮想オブジェクトとして表示装置に表示させ、前記安定度に応じて前記標識又は前記情報コンテンツの一方の表示を変化させる、
前記（１）〜（１３）のいずれか１項に記載の画像処理装置。
（１７）
画像に映る物体の位置又は姿勢を認識するステップと、
前記認識の安定度に応じて、前記物体に関連する仮想オブジェクトの表示を変化させるステップと、
を含む表示制御方法。
（１８）
画像処理装置を制御するコンピュータを、
画像に映る物体の位置又は姿勢を認識する認識部と、
前記認識部による認識の安定度に応じて、前記物体に関連する仮想オブジェクトの表示を変化させる表示制御部と、
として機能させるためのプログラム。

１００ 画像処理装置
１０２ 撮像部
１０４ センサ部
１４０ 画像認識部
１６０ 判定部
１９０ 表示制御部

Claims (18)

1. 画像に映る物体の位置又は姿勢を認識する認識部と、
   前記認識部による認識の安定度に応じて、前記物体に関連する仮想オブジェクトの表示を変化させる表示制御部と、
   を備える画像処理装置。
2. 前記表示制御部は、前記物体の位置又は姿勢に前記仮想オブジェクトが追従するように前記仮想オブジェクトを表示装置に表示させる、請求項１に記載の画像処理装置。
3. 前記表示制御部は、前記安定度に応じて、前記仮想オブジェクトの前記物体への追従のペースを変化させる、請求項２に記載の画像処理装置。
4. 前記表示制御部は、前記安定度がより高い場合に、前記仮想オブジェクトの前記物体への追従のペースをより速くする、請求項３に記載の画像処理装置。
5. 前記表示制御部は、前記安定度に応じて、前記仮想オブジェクトの静的な表示態様に関する属性及び動的な表示態様に関する属性のいずれか一方又は双方を変化させる、請求項１に記載の画像処理装置。
6. 前記画像処理装置は、前記安定度を判定する判定部、をさらに備える、請求項１に記載の画像処理装置。
7. 前記判定部は、前記認識部により認識される前記物体の状態量の時間的変化に基づいて前記安定度を判定し、
   前記物体の前記状態量は、前記物体の位置、姿勢及び大きさのうちの少なくとも１つに関連する、
   請求項６に記載の画像処理装置。
8. 前記判定部は、前記認識部により認識される前記物体の第１の状態量と第２の状態量との間の整合性に基づいて前記安定度を判定し、
   前記物体の前記第１の状態量及び前記第２の状態量は、それぞれ、前記物体の位置、姿勢及び大きさのうち少なくとも１つに関連する、
   請求項６に記載の画像処理装置。
9. 前記判定部は、前記認識部により認識される前記物体が前記画像に映らない部分を含む場合には、前記物体の全体が前記画像に映る場合よりも前記安定度が低いと判定する、請求項６に記載の画像処理装置。
10. 前記画像処理装置は、
    前記画像を撮像する撮像部と、
    前記撮像部の動きを計測する動きセンサと、
    をさらに備え、
    前記判定部は、前記認識部により認識される前記物体の状態量の変化と前記動きセンサにより計測される前記撮像部の動きとの間の整合性に基づいて前記安定度を判定し、
    前記物体の前記状態量は、前記物体の位置、姿勢及び大きさのうち少なくとも１つに関連する、
    請求項６に記載の画像処理装置。
11. 前記判定部は、前記認識部により認識される前記物体の状態量の変化と複数の入力画像に現れる実空間の動きの方向との間の整合性に基づいて前記安定度を判定し、
    前記物体の前記状態量は、前記物体の位置、姿勢及び大きさのうち少なくとも１つに関連する、
    請求項６に記載の画像処理装置。
12. 前記表示制御部は、前記安定度が低い場合に、前記安定度を高めるための行動をユーザに促す情報を表示する、請求項１に記載の画像処理装置。
13. 前記表示制御部は、所定のユーザ入力が検出された場合には、前記認識部による認識の前記安定度に関わらず、前記安定度が高いと仮定した場合の前記仮想オブジェクトの表示を表示装置に行わせる、請求項１に記載の画像処理装置。
14. 前記仮想オブジェクトは、物体が認識されたことを示す標識である、請求項１に記載の画像処理装置。
15. 前記仮想オブジェクトは、認識された物体に関連する情報コンテンツである、請求項１に記載の画像処理装置。
16. 前記表示制御部は、物体が認識されたことを示す標識と認識された物体に関連する情報コンテンツとを前記仮想オブジェクトとして表示装置に表示させ、前記安定度に応じて前記標識又は前記情報コンテンツの一方の表示を変化させる、
    請求項１に記載の画像処理装置。
17. 画像に映る物体の位置又は姿勢を認識するステップと、
    前記認識の安定度に応じて、前記物体に関連する仮想オブジェクトの表示を変化させるステップと、
    を含む表示制御方法。
18. 画像処理装置を制御するコンピュータを、
    画像に映る物体の位置又は姿勢を認識する認識部と、
    前記認識部による認識の安定度に応じて、前記物体に関連する仮想オブジェクトの表示を変化させる表示制御部と、
    として機能させるためのプログラム。
    

Images