JP5045827B2 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Description

本発明は、被写体の三次元モデルを作成する画像処理装置、画像処理方法、及び、プログラムに関する。

同一被写体を異なる方向から撮像した複数の画像から三次元モデルを作成することが行われている。

例えば、特許文献１には、モニタ画面の両側に設置された視覚センサが撮像した画像データに基づいてモニタ画面の前に位置する利用者の三次元モデルを作成する。そして、利用者を任意の方向から見た画像を三次元モデルから作成し、鏡のようにリアルタイムにモニタ画面に表示することを特徴とするデジタルミラー装置について記載されている。

特開２００２−２９０９６４号公報

三次元モデルを作成するには、各画像内から複数の特徴点候補を検出して、各特徴点についてステレオマッチングを実行してポリゴン化する等の処理を実行する必要がある。従って、三次元モデルを作成するまでには比較的多くの時間を要する。特許文献１のように、モニタ画面を鏡として利用し利用者の画像をリアルタイムに表示したい場合、三次元モデルの作成に時間がかかるため、利用者の画像の表示に遅延が発生し、リアルタイム性の悪い表示となりがちであった。

本発明は、上記実情に鑑みてなされたものであり、短時間で三次元モデルを作成することができる画像処理装置、画像処理方法、及び、プログラムを提供することを目的とする。

上記目的を達成するため本発明に係る画像処理装置は、
被写体を異なる位置から撮像した画像の組を連続的に取得する画像取得手段と、
前記画像取得手段が連続的に取得した画像の組のうち選択した一組の画像から前記被写体の三次元モデルを作成する三次元モデル作成手段と、
前記一組の画像から特徴点を検出する特徴点検出手段と、
前記画像取得手段が取得した最新画像における、前記特徴点検出手段が検出した特徴点の位置の変化を取得する位置変化取得手段と、
前記位置変化取得手段が取得した特徴点の位置の変化に基づいて、前記三次元モデル作成手段が作成した三次元モデルを、前記最新画像に対応した三次元モデルに変換するための変換パラメータを算出する変換パラメータ算出手段と、
前記変換パラメータ算出手段が算出した変換パラメータに基づいて、前記三次元モデル作成手段が作成した三次元モデルを再構成する再構成手段と、
前記再構成手段が再構成した三次元モデルに前記最新画像における前記被写体の画像をテクスチャとして貼り付けた三次元モデルを作成するレンダリング手段と、
前記レンダリング手段が作成した三次元モデルを表示装置に表示させる表示制御手段と、
を備えることを特徴とする。

本発明によれば、事前に作成した三次元モデルを再構成することにより、最新画像に対応した三次元モデルを作成する。従って、短時間で三次元モデルを作成することが可能となる。

表示システムの構成を示す図である。 画像処理装置の構成を示すブロック図である。 モデリング処理を説明するためのフローチャートである。 特徴点検出処理を説明するためのフローチャートである。 方向変更処理を説明するためのフローチャートである。 表示制御処理を説明するためのフローチャートである。 画像処理装置で実施される処理内容やデータの時間変化を示す図である。 １画面に複数態様の被写体を表示させた画面の例を示す図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、本発明は下記の実施形態及び図面によって限定されるものではない。また、本発明の要旨を変更しない範囲で下記の実施形態及び図面に変更を加えることが出来る。また、図中同一または相当部分には同一符号を付す。

本発明の実施形態に係る表示システム１について説明する。表示システム１は、図１に示すように、表示装置１０と、該表示装置１０の左右に配置されたカメラ２０Ｌ、２０Ｒと、画像処理装置３０とを備える。画像処理装置３０は、ＬＡＮ（Local Area Network）等を介して、カメラ２０Ｌ、２０Ｒおよび表示装置１０と接続される。

表示装置１０は、例えば、ＬＣＤ（Liquid Crystal Display）等であり、表示面が被写体となるユーザと正体するように配置される。表示装置１０は、左右のカメラ２０Ｌ、２０Ｒが撮像し画像処理装置３０が処理したユーザの画像をリアルタイムに表示する。ユーザは、自身の前に位置する表示装置１０に自身の画像がリアルタイムに表示されるため、表示装置１０を鏡として利用することができる。なお、表示装置１０は、三次元表示機能を有するディスプレイ等であってもよい。

カメラ２０Ｌ、２０Ｒは、レンズ、絞り機構、シャッタ機構、ＣＣＤ（Charge Coupled Device）等を備え、それぞれ、表示装置１０の左右に配置される。各カメラ２０Ｌ、２０Ｒは、それぞれ異なる方向から表示装置１０の前に位置するユーザを所定のフレーム周期（例えば１／３０秒）毎に連続的に撮像し、撮像した画像データを画像処理装置３０に随時送信する。なお、カメラ２０Ｌとカメラ２０Ｒとは互いに同期がとれており、同じタイミングで被写体となるユーザを撮像するものとする。

なお、カメラ２０Ｌ、２０Ｒのそれぞれを区別しない場合は、以下、単にカメラ２０と呼称する。また、必要に応じて、カメラ２０Ｌ、２０Ｒが撮像した画像をそれぞれ、画像Ｌ、画像Ｒとして説明する。

画像処理装置３０は、ＰＣ（Personal Computer）やサーバ等の一般的なコンピュータである。画像処理装置３０は、カメラ２０が撮像した画像からユーザの三次元モデルを作成し、作成した三次元モデルからユーザを任意の方向から見た画像を作成し、表示装置１０に出力する。画像処理装置３０は、物理的には、ＣＰＵ（Central Processing Unit）、動作プログラムを記憶するＲＯＭ（Read Only Memory）、ワーク領域となるＲＡＭ（Random Access Memory）、記憶領域となるハードディスクドライブ、および、外部インターフェース等を備えて構成される。

画像処理装置３０は、機能的には、図２に示すように、画像取得部３０１と、フレーム画像記憶部３０２と、キーフレーム記憶部３０３と、三次元モデリング部３０４と、三次元モデル記憶部３０５と、特徴点検出部３０６と、特徴点記憶部３０７と、位置変化推定部３０８と、方向変更部３０９と、変更量記憶部３１０と、再構成部３１１と、レンダリング部３１２と、画像反転部３１３と、画像出力部３１４とを備える。

画像取得部３０１は、各カメラ２０がフレーム周期毎に連続撮像した画像データのペア（ペア画像）を受信し、受信したペア画像をフレーム画像記憶部３０２に順次格納する。なお、フレーム画像記憶部３０２に格納されるペア画像のそれぞれには、撮像順に、撮像したフレーム周期を特定するフレーム番号が付与される。

また、画像取得部３０１は、所定数のフレーム周期毎（例えば、８フレーム周期毎）に、カメラ２０から受信したペア画像をキーフレーム記憶部３０３に格納（上書き保存）し、三次元モデリング部３０４と特徴点検出部３０６とに更新信号を送信する。

三次元モデリング部３０４は、画像取得部３０１からの更新信号の受信により動作し、キーフレーム記憶部３０３に記憶されているペア画像から、ユーザの三次元モデルを作成し、三次元モデル記憶部３０５に格納（上書き保存）する。なお、三次元モデリング部３０４は、各カメラ２０の属性情報（画角、基線長等）を保持しているものとする。

特徴点検出部３０６は、画像取得部３０１からの更新信号の受信により動作し、キーフレーム記憶部３０３に記憶されているペア画像の１つ（例えば画像Ｌ）から複数の特徴点を検出する。そして、特徴点検出部３０６は、検出した各特徴点に関する情報（特徴点の画像内での位置、特徴点の周囲の相関値等）を、次の更新信号の受信時に特徴点記憶部３０７に格納する。

位置変化推定部３０８は、フレーム周期毎に、特徴点検出部３０６が検出した各特徴点がフレーム画像記憶部３０２に記憶されている最新の画像（即ち、直近にカメラ２０から受信した画像）内でどのような位置に変化したかを求める。そして、位置変化推定部３０８は、求めた変化に基づいて、三次元モデル記憶部３０５に記憶されている三次元モデルを最新の画像に対応した三次元モデルに変換するための変換パラメータを求める。

方向変更部３０９は、所定時間毎に、ユーザから指示された三次元モデルの向きを変更する量を取得し変更量記憶部３１０に保存する方向変更処理を実行する。方向変更処理の詳細については後述する。

再構成部３１１は、位置変化推定部３０８が求めた変換パラメータ、および、変更量記憶部３１０に記憶されている回転補正量に基づいて、三次元モデル記憶部３０５に記憶されている三次元モデルを再構成する。具体的には、再構成部３１１は、三次元モデル記憶部３０５に記憶されている三次元モデルの回転や平行移動を行う。

レンダリング部３１２は、フレーム画像記憶部３０２に記憶されているペア画像のうち最新画像の画像データをテクスチャとして用い、再構成部３１１が再構成した三次元モデルに貼り付ける３Ｄレンダリングを行い、最終的なユーザの三次元モデルを作成する。

画像反転部３１３は、レンダリング部３１２が作成した三次元モデルを鏡像反転する。

画像出力部３１４は、画像反転部３１３が反転した三次元モデルを表示装置１０に出力して表示させる。

続いて、画像処理装置３０の動作について説明する。始めに、画像取得部３０１からの更新信号を受信する毎に実施される処理について説明する。

所定数のフレーム周期毎（例えば、８フレーム周期毎）に、画像取得部３０１は、各カメラ２０Ｌ、２０Ｒから受信したペア画像をキーフレーム記憶部３０３に保存するとともに、更新信号を三次元モデリング部３０４と特徴点検出部３０６とに送信する。三次元モデリング部３０４と特徴点検出部３０６とは、更新信号の受信に応答して、モデリング処理と特徴点検出処理とを同タイミングで実施する。

ここで、モデリング処理について、図３のフローチャートを参照して詳細に説明する。モデリング処理は、キーフレーム記憶部３０３に記憶されているペア画像（画像Ｌと画像Ｒ）からユーザ（被写体）の三次元モデルを作成する処理である。つまり、モデリング処理は、一つの視線から見た三次元モデルを作成する処理と考えることができる。

三次元モデリング部３０４は、画像取得部３０１から更新信号を受信すると（ステップＳ１０１；Ｙｅｓ）、前回の更新信号の受信の際に作成した三次元モデルを三次元モデル記憶部３０５に上書保存する（ステップＳ１０２）。

続いて、三次元モデリング部３０４は、キーフレーム記憶部３０３に記憶されているペア画像の一方（画像Ｌとする）から特徴点の候補を抽出する（ステップＳ１０３）。
例えば、三次元モデリング部３０４は、キーフレーム記憶部３０３に記憶されている画像Ｌに対してコーナー検出を行う。コーナー検出においては、ハリスなどのコーナー特徴量が、所定閾値以上かつ所定半径内で最大になる点がコーナー点として選択される。従って、被写体の先端など、他の点に対して特徴のある点が特徴点として抽出される。

続いて、三次元モデリング部３０４は、ステレオマッチングを実行し、画像Ｌの特徴点に対応する点（対応点）を画像Ｒから探す（ステップＳ１０４）。具体的には、三次元モデリング部３０４は、テンプレートマッチングにより類似度が所定閾値以上かつ最大のもの（相違度が所定閾値以下かつ最小のもの）を対応点とする。テンプレートマッチングには、例えば、残差絶対値和（ＳＡＤ）、残差平方和（ＳＳＤ）、正規化相関（ＮＣＣやＺＮＣＣ）、方向符号相関など、様々な既知の技法が利用可能である。

続いて、三次元モデリング部３０４は、ステップＳ１０４で検出された対応点の視差情報と、各カメラ２０Ｌ、２０Ｒの画角、基線長等を示す情報と、に基づいて、各特徴点に対応する撮影距離を計算し、各特徴点の位置情報（ｘ，ｙ，ｚ）を取得する（ステップＳ１０５）。

そして、三次元モデリング部３０４は、取得した各特徴点の位置情報に基づいて、ドロネー三角形分割を実行し、ポリゴン化処理を実行し、三次元モデル（ポリゴン情報）を作成する（ステップＳ１０６）。なお、ここで作成される三次元モデルは、未だテクスチャが貼られていないポリゴンのみのモデルである。また、ここで作成した三次元モデルは、次の更新信号受信時のタイミング（ステップＳ１０１；Ｙｅｓ）で、三次元モデル記憶部３０５に保存される（ステップＳ１０２）。

このように、モデリング処理により、キーフレーム記憶部３０３にペア画像が格納されて更新信号を受信する度に、キーフレーム記憶部３０３に記憶されているペア画像からユーザの三次元モデルが作成される。なお、通常、上述したモデリング処理（ステップＳ１０１〜ステップＳ１０６）は、数フレーム周期分の時間がかかる処理であり、モデリング処理をカメラ２０が撮像するフレーム周期毎に実施することは困難である。

続いて、図４に示すフローチャートを参照して、特徴点検出処理について詳細に説明する。特徴点検出処理は、前述したモデリング処理と同じタイミングで実施され、キーフレーム記憶部３０３に記憶されているペア画像のうちの一方の画像（ここでは、画像Ｌとする）から、追跡しやすい特徴点を検出して記憶する処理である。

特徴点検出部３０６は、画像取得部３０１から更新信号を受信すると（ステップＳ２０１；Ｙｅｓ）、前回の更新信号の受信の際に検出した各特徴点に関する情報（特徴点の画像内での位置、特徴点の周囲の相関値等）を特徴点記憶部３０７に保存する（ステップＳ２０２）。

続いて、特徴点検出部３０６は、キーフレーム記憶部３０３に記憶されている画像Ｌから複数の特徴点を検出する（ステップＳ２０３）。なお、特徴点検出部３０６は、連続撮像される各画像間で追跡しやすいエッジやコーナー等の点を特徴点として検出するのが望ましい。なお、ここで検出した特徴点は、次の更新信号受信のタイミング（ステップＳ２０１；Ｙｅｓ）で、その特徴点に関する情報が特徴点記憶部３０７に保存される。

このように、特徴点検出処理により、キーフレーム記憶部３０３にペア画像が格納されて更新信号を受信する度に、キーフレーム記憶部３０３に記憶されている画像から特徴点が検出され記憶される。なお、通常、上述した特徴点検出処理（ステップＳ２０１〜ステップＳ２０３）は、数フレーム周期分の時間がかかる処理であり、特徴点検出処理をカメラ２０が撮像するフレーム周期毎に実施することは困難である。

続いて、方向変更処理について図５を参照して詳細に説明する。方向変更処理は、所定時間毎に（例えば、１秒毎に）、ユーザからの指示により、表示装置１０に表示されているユーザの向きを変更（回転）する量（以下、回転補正量とする）を設定する処理である。

方向変更処理が開始されると、まず、方向変更部３０９は、フレーム画像記憶部３０２に記憶されている画像のうち直近に撮像された画像Ｌを解析して、当該画像Ｌ内からユーザの顔領域を検出する（ステップＳ３０１）。
例えば、方向変更部３０９は、画像Ｌにソーベルフィルタを施してエッジを抽出し、顔の輪郭のテンプレートとの相関が所定値以上のエッジ領域を顔領域として検出すればよい。

顔領域が検出できなかった場合（ステップＳ３０２；Ｎｏ）、回転補正量を更新する処理は行わないで方向変更処理は終了する。

顔領域が検出できた場合（ステップＳ３０２；Ｙｅｓ）、方向変更部３０９は、当該顔領域から目の画像を検出する（ステップＳ３０３）。
例えば、方向変更部３０９は、人間の平均的な目の位置を示す情報に基づいて、検出した顔領域のうちから目の周辺の領域を特定し、特定した領域の画像から、目に適した所定の長さおよび曲率のエッジラインを検出して、それを目として検出すればよい。また、ここでは、左右ある目のうち、一方の目だけを検出するようにしてもよい。

続いて、方向変更部３０９は、検出した目の画像から、目の状態（目の開閉状態、および、眼球の位置）を検出し、当該状態を示す情報を現在日時情報と対応付けて、ＲＡＭに蓄積記憶する（ステップＳ３０４）。
例えば、方向変更部３０９は、検出した目の画像を二値化して、眼球に相当する所定サイズの黒点が検出されるか否かを判別する。そして、方向変更部３０９は、黒点が検出される場合は目が開状態、検出されない場合は閉状態と判別する。また、方向変更部３０９は、目が開状態と判別した場合は、検出した黒点を眼球として、と目（瞼）に相当するエッジラインの中心との位置を比較することにより、眼球の位置（視線の方向）を検出すればよい。

続いて、ステップＳ３０４で検出した目の開閉状態が開状態で有る場合（ステップＳ３０５；開状態）、回転補正量を更新する処理は行わないで方向変更処理は終了する。

また、ステップＳ３０４で検出した目の開閉状態が閉状態で有る場合（ステップＳ３０５；閉状態）、方向変更部３０９は、ＲＡＭに記憶されている目の状態の履歴に基づいて、当該閉状態が所定時間（例えば５秒）以上継続しているか否かを判別する（ステップＳ３０６）。

閉状態が所定時間以上継続している場合（ステップＳ３０６；Ｙｅｓ）、方向変更部３０９は、変更量記憶部３１０に記憶されている回転補正量を、ユーザの向きを元に戻す（表示装置１０に表示されるユーザの向きを変更せずにそのまま表示する）ことを示す初期値（ゼロ）に更新し（ステップＳ３０７）、方向変更処理は終了する。

閉状態が所定時間以上継続していない場合（ステップＳ３０６；Ｎｏ）、方向変更部３０９は、ＲＡＭに記憶されている目の状態の履歴に基づいて、直近の所定時間内に眼球がどのように動いたかを判別する（ステップＳ３０８）。

直近の所定時間内に眼球が目内を左方向に移動したと判別された場合（ステップＳ３０８；左移動）、方向変更部３０９は、変更量記憶部３１０に記憶されている回転補正量を、ユーザの顔の向きを左に所定角度（例えば、３０度）回転することを示す量に更新し（ステップＳ３０９）、方向変更処理は終了する。

また、直近の所定時間内に眼球が目内において右方向に移動したと判別された場合（ステップＳ３０８；右移動）、方向変更部３０９は、変更量記憶部３１０に記憶されている回転補正量を、ユーザの顔の向きを右に所定角度（例えば、３０度）回転することを示す量に更新し（ステップＳ３１０）、方向変更処理は終了する。

また、直近の所定時間内に眼球の位置が変化しなかったと判別された場合（ステップＳ３０８；変化無）、回転補正量を更新する処理は行わないで方向変更処理は終了する。

このように、方向変更処理により、ユーザは、自身の目の状態（開閉、眼球位置）を変化させるだけで、三次元モデルの向きを変更（回転）する量を容易に設定することが可能となる。なお、上述した例では、まとめると、以下の条件で回転補正量が設定されることとなる。
（１）所定時間以上目を閉じた場合：回転補正量を初期化
（２）目を閉じ、且つ、閉じる前の直近の目線が左に移動した場合：回転補正量を左回転する量に更新
（３）目を閉じ、且つ、閉じる前の直近の目線が右に移動した場合：回転補正量を右回転する量に更新

なお、回転補正量を設定する条件は任意である。例えば、目を閉じている時間を検出し、目を閉じている時間に応じてユーザの向きを右（又は左）に回転させる角度を決定し、当該角度を示す量に回転補正量を設定してもよい。

続いて、表示制御処理について図６を参照して詳細に説明する。表示制御処理は、フレーム周期毎に実施され、表示装置１０にユーザの画像を表示させる処理である。

フレーム周期毎に表示処理が開始されると、まず、位置変化推定部３０８は、特徴点記憶部３０７に記憶されている各特徴点がフレーム画像記憶部３０２に記憶されている最新画像内においてどのような位置に変化（移動）しているかを求める（ステップＳ４０１）。

例えば、位置変化推定部３０８は、フレーム画像記憶部３０２に記憶されている最新の画像Ｌを読み出し、該画像Ｌから特徴点記憶部３０７に記憶されている各特徴点に対応する点をテンプレートマッチングの手法により抽出する。そして、特徴点と対応点との位置関係から、特徴点の変化を求めればよい。

続いて、位置変化推定部３０８は、求めた各特徴点の変化に基づいて、三次元モデル記憶部３０５に記憶されている三次元モデルを、フレーム画像記憶部３０２に記憶されている最新画像に対応した三次元モデルに変換するための変換パラメータを求める（ステップＳ４０２）。

具体的には、この処理は、式（１）を満たす回転行列Ｒと移動ベクトルｔとを求める処理である。なお、Ｘ’は三次元モデル記憶部３０５に記憶されている三次元モデルの座標を示し、Ｘは、フレーム画像記憶部３０２に記憶されている最新画像に対応する三次元モデルの座標を示す。
Ｘ＝ＲＸ’＋ｔ （１）

ここで、変換パラメータを求めるには、例えば、エピポーラ幾何の手法を用いて算出すればよい。例えば、まず、ステップＳ４０１で求めた各特徴点の位置関係（特徴点とそれに対応する最新画像の対応点との位置関係）から基礎行列Ｆと求める。続いて、基礎行列Ｆとカメラ２０Ｌの内部パラメータとから基本行列Ｅを求める。そして、基本行列Ｅを歪対象行列と直交行列との積に分解することにより、式（１）の回転行列とＲと移動ベクトルｔとを求めればよい。

続いて、再構成部３１１は、求めた変換パラメータを用いて座標変換することにより、三次元モデルに記憶されている三次元モデルを再構成する（ステップＳ４０３）。この処理により、最新画像に対応した三次元モデルが作成される。

続いて、再構成部３１１は、変更量記憶部３１０に回転補正量が記憶されているか否かを判別する（ステップＳ４０４）。

回転補正量が記憶されていない場合（ステップＳ４０４；Ｎｏ）、再構成部３１１は、ステップＳ４０６に処理を移す。

回転補正量が記憶されている場合（ステップＳ４０４；Ｙｅｓ）、再構成部３１１は、当該回転補正量に基づいて、再構成した三次元モデルの向きを回転する（ステップＳ４０５）。この処理により、ユーザから指示された向きに対応した三次元モデルが作成される。なお、この処理を行った後、再構成部３１１は、変更量記憶部３１０に記憶されている回転補正量を示す情報を消去する。

続いて、ステップＳ４０６において、レンダリング部３１２は、再構成又は再構成して回転させた三次元モデルに、フレーム画像記憶部３０２に記憶されている最新の画像Ｌをテクスチャとして貼り付けた三次元モデルを作成する（ステップＳ４０６）。

そして、画像反転部３１３は、公知の手法により、作成した三次元モデルを鏡像反転（左右反転）させる（ステップＳ４０７）。この処理は、表示装置１０にユーザの画像を鏡のように表示させるために必要な処理である。また、この処理は必ずしも行う必要はない。

そして、画像出力部３１４は、作成した三次元モデルを２次元に投影した画像データを表示装置１０に出力して、表示装置１０に当該画像を表示させる（ステップＳ４０８）。以上で表示制御処理は終了する。

このように、表示制御処理により、フレーム周期毎に、最新画像に対応したユーザの三次元モデルが再構成されて表示される。

続いて、画像処理装置３０で実施される処理について、図７を参照して説明する。図７は、画像処理装置３０で実施される処理内容やデータの時間変化を示す図である。

図７（Ａ）は、フレーム画像記憶部３０２に記憶されている最新のペア画像の時間変化を示す。図７（Ａ）における各桝の横幅の長さがフレーム周期に相当する。また、各桝内の数字は、フレーム画像記憶部３０２に記憶されている最新画像のフレーム番号を示す。
図７（Ｂ）は、キーフレーム記憶部３０３に記憶されているペア画像の時間変化を示す。図７（Ｂ）における数字は、キーフレーム記憶部３０３に記憶されているペア画像のフレーム番号を示す。
図７（Ｃ）は、更新信号が発生するタイミングを示す。
図７（Ｄ）は、三次元モデリング部３０４が実行する処理内容の時間変化を示す。
図７（Ｅ）は、三次元モデル記憶部３０５に記憶される三次元モデルの時間変化を示す。
図７（Ｆ）は、特徴点検出部３０６が実行する処理内容の時間変化を示す。
図７（Ｇ）は、特徴点記憶部３０７に記憶される特徴点の時間変化を示す。
図７（Ｈ）は、位置変化推定部３０８が実行する特徴点の変化を検出して変換パラメータを算出する処理の対象となるフレーム画像の変化を示す図である。
図７（Ｉ）は、再構成される三次元モデルが、どのフレーム画像に対応した三次元モデルであるか、その変化を示す図である。

画像取得部３０１は、カメラ２０Ｌ、２０Ｒから同じタイミングでフレーム周期毎に撮像されたペア画像をフレーム画像記憶部３０２に順次格納する。従って、フレーム画像記憶部３０２に記憶されている最新のペア画像は図７（Ａ）に示すようにフレーム周期毎に更新される。

さらに、画像取得部３０１は、上述した処理とは別に、所定数のフレーム周期毎に、撮像されたペア画像をキーフレーム記憶部３０３に上書き保存する。ここでは、８フレーム周期毎に、ペア画像がキーフレーム記憶部３０３に上書き保存されることとする。即ち、キーフレーム記憶部３０３に記憶されているペア画像は図７（Ｂ）に示すようなタイミングで定期的に更新される。また、図７（Ｃ）に示すように、画像取得部３０１は、キーフレーム記憶部３０３に保存されるペア画像が更新されるタイミングで、更新信号を特徴点検出部３０６と三次元モデリング部３０４とに送信する。

この更新信号の受信に応答して、図７（Ｄ）（Ｅ）に示すように、三次元モデリング部３０４は、前述したモデリング処理を実行し、キーフレーム記憶部３０３に記憶されているペア画像から三次元モデルを作成する。なお、一般的に、三次元モデルの作成には、数フレーム周期分の時間がかかる。そして、三次元モデリング部３０４は、次の更新信号の受信時に、作成した三次元モデルを三次元モデル記憶部３０５に保存する。

具体的には、更新信号を受信した時刻Ｔ_Ａにおいて、三次元モデリング部３０４は、キーフレーム記憶部３０３に記憶されている２１フレームのペア画像から三次元モデルを作成する。そして、三次元モデリング部３０４は、次の更新信号を受信する時刻Ｔ_Ｂに、作成した三次元モデルを三次元モデル記憶部３０５に上書保存する。以下同様に、更新信号を受信する時刻Ｔ _Ｂ で、三次元モデリング部３０４は、キーフレーム記憶部３０３に記憶されている２９フレームのペア画像から三次元モデルを作成し、次の更新信号を受信する時刻Ｔ_Ｃに、三次元モデル記憶部３０５に保存する。従って、三次元モデル記憶部３０５には、キーフレーム記憶部３０３に記憶されているペア画像から作成した三次元モデルが、８フレーム周期毎に上書保存されることとなる。

また、モデリング処理とは別に、更新信号の受信に応答して、図７（Ｆ）（Ｇ）に示すように、三次元モデリング部３０４は、前述した特徴点検出処理を実行し、キーフレーム記憶部３０３に記憶されている画像Ｌから特徴点を検出する。なお、一般的に、特徴点の検出には、数フレーム周期分の時間がかかる。そして、三次元モデリング部３０４は、次の更新信号の受信時に、検出した特徴点に関する情報を特徴点記憶部３０７に保存する。

具体的には、更新信号を受信した時刻Ｔ_Ａにおいて、特徴点検出部３０６は、キーフレーム記憶部３０３に記憶されている２１フレームの画像Ｌから特徴点を検出する。そして、特徴点検出部３０６は、次の更新信号を受信する時刻Ｔ_Ｂに、検出した特徴点に関する情報を特徴点記憶部３０７に上書保存する。以下同様に、更新信号を受信する時刻Ｔ_Ｂに、特徴点検出部３０６は、キーフレーム記憶部３０３に記憶されている２９フレームの画像Ｌから特徴点を検出し、次の更新信号を受信する時刻Ｔ_Ｃに、検出した特徴点に関する情報を特徴点記憶部３０７に上書保存する。従って、特徴点記憶部３０７には、キーフレーム記憶部３０３に記憶されている画像から検出した特徴点が、８フレーム周期毎に上書保存されることとなる。

また、これらの処理と平行して、フレーム周期毎に、上述した表示制御処理が実行される。図７（Ｈ）に示すように、表示制御処理により、フレーム周期毎に、キーフレーム記憶部３０３に記憶されている画像から検出した特徴点がフレーム画像記憶部３０２に記憶されている最新の画像に対してどの位置に変化しているかが算出される。そして、算出された特徴点の位置の変化から三次元モデルを再構成するための変換パラメータが求められる。そして、図７（Ｉ）に示すように、フレーム周期毎に、変換パラメータに基づいて、最新画像に対応した三次元モデルが再構成される。

このように、本発明の実施形態に係る画像処理装置３０によれば、フレーム周期よりも長い周期毎に作成された三次元モデルを再構成することにより、最新画像に対応した三次元モデルを作成する。従って、短時間で三次元モデルを作成することができる。

また、この作成された三次元モデルは、最新画像よりも若干古い画像ペアから作成されたものであるが、最新画像がテクスチャとして貼り付けられている。従って、被写体の動きを違和感なくリアルタイムに追随して表示するため、鏡のような表示を行うことが可能である。

また、本発明の実施形態に係る画像処理装置３０によれば、ユーザの顔の変化（目の開閉、目線）を読み取り、表示方向を変更させることも可能となるため、化粧などを行うための鏡として有効に利用することが可能である。

なお、本発明は、上記各実施形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。

例えば、上記実施形態では、方向変更処理において、検出した目の状態に基づいて、回転補正量を更新した。しかし、例えば、画像を解析して画像内のユーザの所定動作（ジェスチャー）を検出し、検出結果に基づいて、回転補正量を更新してもよい。具体的には、フレーム画像記憶部３０２に記憶されている画像を解析して、ユーザの手の動きを検出し、検出した手の動きに応じて、回転補正量を設定してもよい。

また、画像処理装置３０に指示を与える図示せぬリモートコントロール装置（リモコン）や、画像処理装置３０に接続されている図示せぬキーボードなどの入力装置から所定の操作を行い、該操作に応答して、回転補正量を決定し、更新してもよい。また、表示装置１０の画面をタッチパネル式の画面とし、該画面の所定領域に、回転補正量設定用のアイコン（例えば、右回転アイコン、左回転アイコンなど）を表示し、該アイコンをユーザがタッチすることで、回転補正量を設定してもよい。

また、表示制御処理において、ユーザの画像を異なる方向から見た画像や一部を拡大した画像を三次元モデルから作成し、それらを１画面に合成した画像を表示装置１０に送信して表示させてもよい。このようにすることで、様々な角度や縮尺で自身の顔が表示されるため、化粧などをする際に便利な表示をすることが可能となる。
具体的には、表示制御処理において、三次元モデルを再構成することで、ユーザの正面画像、ユーザを右方向からみた右向画像、および、ユーザを左方向からみた左向画像をそれぞれ作成し、これらの画像を図８（Ａ）に示すように１画面に合成して表示装置１０に表示させてもよい。
また、図８（Ｂ）に示すように、ユーザの正面画像と、ユーザの目周辺の画像を拡大した画像とを１画面に合成して表示させてもよい。

また、カメラ２０の数は２に限定するものではなく、それ以上の任意の数のカメラ２０の撮像画像から三次元モデルを作成するシステムにも、本発明は適用可能である。

また、例えば、本発明に係る画像処理装置３０の動作を規定する動作プログラムを既存のパーソナルコンピュータや情報端末機器等に適用することで、当該パーソナルコンピュータ等を本発明に係る画像処理装置３０として機能させることも可能である。

また、このようなプログラムの配布方法は任意であり、例えば、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical Disk）、メモリカードなどのコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネットなどの通信ネットワークを介して配布してもよい。

これまで、本発明のいくつかの実施形態を説明したが、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
同一被写体を異なる方向から撮像した２以上の画像の組を所定のフレーム周期毎に連続的に取得する画像取得手段と、
前記画像取得手段が連続的に取得した各画像の組のうち間欠的に選択した一の画像の組から前記被写体の三次元モデルを作成する三次元モデル作成手段と、
前記一の画像内から特徴点を検出する特徴点検出手段と、
前記特徴点検出手段が検出した特徴点が、前記画像取得手段が直近に取得した最新画像内においてどの位置に変化したのかを検出する位置変化検出手段と、
前記位置変化検出手段が検出した特徴点の位置の変化に基づいて、前記三次元モデル作成手段が作成した三次元モデルを、前記最新画像に対応した三次元モデルに変換するための変換パラメータを算出する変換パラメータ算出手段と、
前記変換パラメータ算出手段が算出した変換パラメータに基づいて、前記三次元モデル作成手段が作成した三次元モデルを再構成する再構成手段と、
前記再構成手段が再構成した三次元モデルに前記最新画像をテクスチャとして貼り付けた三次元モデルを作成するレンダリング手段と、
前記レンダリング手段が作成した三次元モデルを表示装置に表示させる表示手段と、
を備えることを特徴とする画像処理装置。

（付記２）
前記三次元モデルの表示方向を変更する量を示す回転補正量を取得する表示方向取得手段をさらに備え、
前記再構成手段は、前記変換パラメータ算出手段が算出した変換パラメータと、前記表示方向取得手段が取得した回転補正量とに基づいて、前記三次元モデル作成手段が作成した三次元モデルを再構成する、
ことを特徴とする付記１に記載の画像処理装置。

（付記３）
前記表示方向取得手段は、前記画像取得手段が取得した画像に表示されている被写体の状態の変化を検出し、検出した被写体の状態の変化に基づいて前記回転補正量を取得する、
ことを特徴とする付記２に記載の画像処理装置。

（付記４）
前記表示方向取得手段は、前記画像取得手段が取得した画像に表示されている被写体の目の開閉状態および眼球の動きを示す情報を検出し、検出した情報に基づいて前記回転補正量を取得する、
ことを特徴とする付記３に記載の画像処理装置。

（付記５）
前記表示手段は、前記レンダリング手段が作成した三次元モデルの左右を反転させた三次元モデルを前記表示装置に表示させる、
ことを特徴とする付記１乃至４の何れか１つに記載の画像処理装置。

（付記６）
三次元モデルを表示装置に表示させる画像処理装置の画像処理方法において、
同一被写体を異なる方向から撮像した２以上の画像の組を所定のフレーム周期毎に連続的に取得する画像取得ステップと、
前記画像取得ステップで連続的に取得した各画像の組のうち間欠的に選択した一の画像の組から前記被写体の三次元モデルを作成する三次元モデル作成ステップと、
前記一の画像内から特徴点を検出する特徴点検出ステップと、
前記特徴点検出ステップで検出した特徴点が、前記画像取得ステップで直近に取得した最新画像内においてどの位置に変化したのかを検出する位置変化検出ステップと、
前記位置変化検出ステップで検出した特徴点の位置の変化に基づいて、前記三次元モデル作成ステップで作成した三次元モデルを、前記最新画像に対応した三次元モデルに変換するための変換パラメータを算出する変換パラメータ算出ステップと、
前記変換パラメータ算出ステップで算出した変換パラメータに基づいて、前記三次元モデル作成ステップで作成した三次元モデルを再構成する再構成ステップと、
前記再構成ステップで再構成した三次元モデルに前記最新画像をテクスチャとして貼り付けた三次元モデルを作成するレンダリングステップと、
前記レンダリングステップで作成した三次元モデルを前記表示装置に表示させる表示ステップと、
を備えることを特徴とする画像処理方法。

（付記７）
三次元モデルを表示装置に表示させる画像処理装置を制御するコンピュータを、
同一被写体を異なる方向から撮像した２以上の画像の組を所定のフレーム周期毎に連続的に取得する画像取得手段、
前記画像取得手段が連続的に取得した各画像の組のうち間欠的に選択した一の画像の組から前記被写体の三次元モデルを作成する三次元モデル作成手段、
前記一の画像内から特徴点を検出する特徴点検出手段、
前記特徴点検出手段が検出した特徴点が、前記画像取得手段が直近に取得した最新画像内においてどの位置に変化したのかを検出する位置変化検出手段、
前記位置変化検出手段が検出した特徴点の位置の変化に基づいて、前記三次元モデル作成手段が作成した三次元モデルを、前記最新画像に対応した三次元モデルに変換するための変換パラメータを算出する変換パラメータ算出手段、
前記変換パラメータ算出手段が算出した変換パラメータに基づいて、前記三次元モデル作成手段が作成した三次元モデルを再構成する再構成手段、
前記再構成手段が再構成した三次元モデルに前記最新画像をテクスチャとして貼り付けた三次元モデルを作成するレンダリング手段、
前記レンダリング手段が作成した三次元モデルを前記表示装置に表示させる表示手段、
として機能させることを特徴とするプログラム。

１…表示システム、１０…表示装置、２０（２０Ｌ、２０Ｒ）…カメラ、３０…画像処理装置、３０１…画像取得部、３０２…フレーム画像記憶部、３０３…キーフレーム記憶部、３０４…三次元モデリング部、３０５…三次元モデル記憶部、３０６…特徴点検出部、３０７…特徴点記憶部、３０８…位置変化推定部、３０９…方向変更部、３１０…変更量記憶部、３１１…再構成部、３１２…レンダリング部、３１３…画像反転部、３１４…画像出力部

Claims (8)

1. 被写体を異なる位置から撮像した画像の組を連続的に取得する画像取得手段と、
   前記画像取得手段が連続的に取得した画像の組のうち選択した一組の画像から前記被写体の三次元モデルを作成する三次元モデル作成手段と、
   前記一組の画像から特徴点を検出する特徴点検出手段と、
   前記画像取得手段が取得した最新画像における、前記特徴点検出手段が検出した特徴点の位置の変化を取得する位置変化取得手段と、
   前記位置変化取得手段が取得した特徴点の位置の変化に基づいて、前記三次元モデル作成手段が作成した三次元モデルを、前記最新画像に対応した三次元モデルに変換するための変換パラメータを算出する変換パラメータ算出手段と、
   前記変換パラメータ算出手段が算出した変換パラメータに基づいて、前記三次元モデル作成手段が作成した三次元モデルを再構成する再構成手段と、
   前記再構成手段が再構成した三次元モデルに前記最新画像における前記被写体の画像をテクスチャとして貼り付けた三次元モデルを作成するレンダリング手段と、
   前記レンダリング手段が作成した三次元モデルを表示装置に表示させる表示制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記画像取得手段は、被写体を異なる位置から撮像した画像の組を所定の周期で連続的に取得をし、
   前記三次元モデル作成手段は、前記画像取得手段が連続的に取得した画像の組のうち間欠的に選択した一組の画像から前記被写体の三次元モデルを作成する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記三次元モデルの表示方向を変更する量を示す回転補正量を取得する表示方向取得手段をさらに備え、
   前記再構成手段は、前記変換パラメータ算出手段が算出した変換パラメータと、前記表示方向取得手段が取得した回転補正量とに基づいて、前記三次元モデル作成手段が作成した三次元モデルを再構成する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記表示方向取得手段は、前記画像取得手段が取得した画像に表示されている被写体の状態の変化を検出し、検出した被写体の状態の変化に基づいて前記回転補正量を取得する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記表示方向取得手段は、前記画像取得手段が取得した画像に表示されている被写体の目の開閉状態および眼球の動きを示す情報を検出し、検出した情報に基づいて前記回転補正量を取得する、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記表示制御手段は、前記レンダリング手段が作成した三次元モデルの左右を反転させた三次元モデルを前記表示装置に表示させる、
   ことを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 三次元モデルを表示装置に表示させる画像処理装置の画像処理方法において、
   被写体を異なる位置から撮像した画像の組を連続的に取得する画像取得ステップと、
   前記画像取得ステップで連続的に取得した画像の組のうち選択した一組の画像から前記被写体の三次元モデルを作成する三次元モデル作成ステップと、
   前記一組の画像から特徴点を検出する特徴点検出ステップと、
   前記画像取得ステップで取得した最新画像における、前記特徴点検出ステップで検出した特徴点の位置の変化を取得する位置変化取得ステップと、
   前記位置変化取得ステップで取得した特徴点の位置の変化に基づいて、前記三次元モデル作成ステップで作成した三次元モデルを、前記最新画像に対応した三次元モデルに変換するための変換パラメータを算出する変換パラメータ算出ステップと、
   前記変換パラメータ算出ステップで算出した変換パラメータに基づいて、前記三次元モデル作成ステップで作成した三次元モデルを再構成する再構成ステップと、
   前記再構成ステップで再構成した三次元モデルに前記最新画像における前記被写体の画像をテクスチャとして貼り付けた三次元モデルを作成するレンダリングステップと、
   前記レンダリングステップで作成した三次元モデルを前記表示装置に表示させる表示制御ステップと、
   を備えることを特徴とする画像処理方法。
8. 三次元モデルを表示装置に表示させる画像処理装置を制御するコンピュータを、
   被写体を異なる位置から撮像した画像の組を連続的に取得する画像取得手段、
   前記画像取得手段が連続的に取得した画像の組のうち選択した一組の画像から前記被写体の三次元モデルを作成する三次元モデル作成手段、
   前記一組の画像から特徴点を検出する特徴点検出手段、
   前記画像取得手段が取得した最新画像における、前記特徴点検出手段が検出した特徴点の位置の変化を取得する位置変化取得手段、
   前記位置変化取得手段が取得した特徴点の位置の変化に基づいて、前記三次元モデル作成手段が作成した三次元モデルを、前記最新画像に対応した三次元モデルに変換するための変換パラメータを算出する変換パラメータ算出手段、
   前記変換パラメータ算出手段が算出した変換パラメータに基づいて、前記三次元モデル作成手段が作成した三次元モデルを再構成する再構成手段、
   前記再構成手段が再構成した三次元モデルに前記最新画像における前記被写体の画像をテクスチャとして貼り付けた三次元モデルを作成するレンダリング手段、
   前記レンダリング手段が作成した三次元モデルを表示装置に表示させる表示制御手段、
   として機能させることを特徴とするプログラム。

Images