JP6217225B2 - 画像照合装置、画像照合方法及びプログラム - Google Patents

Description

本発明は、画像照合装置、画像照合方法及びプログラムに関する。

従来、画像どうしを照合する際に、特徴点の特徴量どうしを比較する手法が提案されている（例えば、特許文献１参照）。具体的には、例えば、カメラで撮像した画像とデータベースに登録済みの画像とを照合する場合、局所特徴量を使って特徴点どうしのマッチングを行い、類似度合を算出する。

特開２０１０−２５０５２９号公報

ところで、照合対象となる画像が相対的に単純なテクスチャで構成されていると、当該画像内に類似するテクスチャが複数存するため、特徴点どうしの誤対応が生じて画像どうしの照合を適正に行うことができないといった問題がある。

本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、画像どうしの照合を精度良く適正に行うことができる画像照合装置、画像照合方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る画像照合装置は、
予め少なくとも一の画像が登録されている登録手段と、特定の被写体が撮像された撮像画像を取得する取得手段と、前記登録手段に登録されている登録画像の画素情報及び前記取得手段により取得された撮像画像の画素情報に基づいて、当該撮像画像内で前記登録画像と対応する対応領域を特定する特定手段と、前記特定手段により特定された前記対応領域内で照合対象領域を設定する設定手段と、前記設定手段により設定された前記照合対象領域の特徴情報と、前記登録画像における当該照合対象領域に対応する領域の特徴情報とを対応付け、当該対応付けの結果に基づいて前記照合対象領域と前記登録画像とを照合する照合手段と、前記撮像画像の重心及び共分散行列の固有値を取得する被写体情報取得手段と、を備え、前記登録手段は、前記登録画像の重心及び共分散行列の固有値を各登録画像と対応付けて登録し、前記特定手段は、前記被写体情報取得手段により取得された前記撮像画像の重心及び共分散行列の固有値と、前記登録手段に登録されている登録画像の重心及び共分散行列の固有値とをそれぞれ比較することで、前記対応領域を特定することを特徴としている。

また、本発明に係る画像照合方法は、
画像照合装置を用いた画像照合方法であって、予め少なくとも一の画像が登録されている登録処理と、特定の被写体が撮像された撮像画像を取得する処理と、登録されている登録画像の画素情報及び取得された撮像画像の画素情報に基づいて、当該撮像画像内で前記登録画像と対応する対応領域を特定する処理と、特定された前記対応領域内で照合対象領域を設定する処理と、設定された前記照合対象領域の特徴情報と、前記登録画像における当該照合対象領域に対応する領域の特徴情報とを対応付け、当該対応付けの結果に基づいて前記照合対象領域と前記登録画像とを照合する処理と、前記撮像画像の重心及び共分散行列の固有値を取得する処理と、を含み、前記登録処理は、前記登録画像の重心及び共分散行列の固有値を各登録画像と対応付けて登録し、前記特定する処理は、取得された前記撮像画像の重心及び共分散行列の固有値と、登録されている登録画像の重心及び共分散行列の固有値とをそれぞれ比較することで、前記対応領域を特定することを特徴としている。

また、本発明に係るプログラムは、
画像照合装置のコンピュータを、予め少なくとも一の画像が登録されている登録手段、特定の被写体が撮像された撮像画像を取得する取得手段、前記登録手段に登録されている登録画像の画素情報及び前記取得手段により取得された撮像画像の画素情報に基づいて、当該撮像画像内で前記登録画像と対応する対応領域を特定する特定手段、前記特定手段により特定された前記対応領域内で照合対象領域を設定する設定手段、前記設定手段により設定された前記照合対象領域の特徴情報と、前記登録画像における当該照合対象領域に対応する領域の特徴情報とを対応付け、当該対応付けの結果に基づいて前記照合対象領域と前記登録画像とを照合する照合手段、前記撮像画像の重心及び共分散行列の固有値を取得する被写体情報取得手段、として機能させ、前記登録手段は、前記登録画像の重心及び共分散行列の固有値を各登録画像と対応付けて登録し、前記特定手段は、前記被写体情報取得手段により取得された前記撮像画像の重心及び共分散行列の固有値と、前記登録手段に登録されている登録画像の重心及び共分散行列の固有値とをそれぞれ比較することで、前記対応領域を特定としている。

本発明によれば、画像どうしの照合を精度良く適正に行うことができる。

本発明を適用した実施形態１の携帯端末の概略構成を示すブロック図である。 図１の携帯端末による画像登録処理に係る動作の一例を示すフローチャートである。 図２の画像登録処理に係る画像の一例を模式的に示す図である。 図１の携帯端末による画像照合処理に係る動作の一例を示すフローチャートである。 図４の画像照合処理に係る画像の一例を模式的に示す図である。 図４の画像照合処理に係る画像の一例を模式的に示す図である。 本発明を適用した実施形態２の携帯端末の概略構成を示すブロック図である。 図７の携帯端末による画像登録処理に係る動作の一例を示すフローチャートである。 図８の画像登録処理に係る画像の一例を模式的に示す図である。 図７の携帯端末による画像照合処理に係る動作の一例を示すフローチャートである。 図１０の画像照合処理に係る画像の一例を模式的に示す図である。 図１０の画像照合処理に係る画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

［実施形態１］
図１は、本発明を適用した実施形態１の携帯端末１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の携帯端末１００は、中央制御部１と、メモリ２と、撮像部３と、撮像制御部４と、画像データ生成部５と、画像登録部６と、画像処理部７と、表示部８と、表示制御部９と、送受話部１０と、通信制御部１１と、操作入力部１２等を備えている。
また、中央制御部１、メモリ２、撮像部３、撮像制御部４、画像データ生成部５、画像登録部６、画像処理部７、表示制御部９、送受話部１０及び通信制御部１１は、バスライン１３を介して接続されている。

なお、携帯端末１００は、例えば、撮像装置、携帯電話やＰＨＳ（Personal Handy-phone System）などの移動体通信網で用いられる移動局、ＰＤＡ（Personal Data Assistants）等から構成されている。

中央制御部１は、携帯端末１００の各部を制御するものである。具体的には、中央制御部１は、携帯端末１００の各部を制御するＣＰＵ（Central Processing Unit；図示略）を具備し、携帯端末１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成されている。また、メモリ２は、中央制御部１や画像処理部７等によって処理されるデータ等を一時的に記憶するバッファメモリや、中央制御部１などのワーキングメモリ、当該携帯端末１００の機能に係る各種プログラムやデータが格納されたプログラムメモリ等（何れも図示略）を備えている。

撮像部３は、レンズ部３ａと、電子撮像部３ｂとを備えている。
レンズ部３ａは、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部３ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部３ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部３は、レンズ部３ａを通過する光の量を調整する絞りを備えていても良い。

また、撮像部３は、記録媒体に押印された***の印影Ｓ（図５（ａ）参照）を特定の被写体として撮像する。
ここで、印影Ｓは、当該印影Ｓを形成するための印画像（例えば、電車を模式的に表す画像等）に、所定の情報を画素集合の規則的な配列に符号化したコード情報が含まれていても良い。
なお、コード情報は、元の所定の情報（例えば、ＵＲＬ等）を所定の符号化形式（例えば、リードソロモン符号、ゴレイ符号等）に従って符号化したものである。例えば、コード情報は、画素値「１」の白画素の集合と画素値「０」の黒画素の集合が所定の次元数で規則的に配列されている。

撮像制御部４は、撮像部３による被写体の撮像を制御する。即ち、撮像制御部４は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部４は、タイミング発生器、ドライバにより電子撮像部３ｂを走査駆動して、所定周期毎に光学像を電子撮像部３ｂにより二次元の画像信号に変換させ、当該電子撮像部３ｂの撮像領域から１画面分ずつフレーム画像を読み出して画像データ生成部５に出力させる。
また、撮像制御部４は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体の撮像条件の調整制御を行う。

画像データ生成部５は、電子撮像部３ｂから転送されたフレーム画像のアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。

そして、画像データ生成部５は、生成された各フレーム画像のＹＵＶデータをメモリ２に順次出力し、当該メモリ２に格納させる。

画像登録部６は、少なくとも一の登録画像Ｉａ（図３参照）を登録するデータベース６ａを具備している。
データベース（登録手段）６ａは、特徴情報を対応付けて各登録画像Ｉａを記録する。即ち、データベース６ａは、特徴抽出処理（後述）により抽出された各登録画像Ｉａの特徴情報としての特徴点の座標位置及び特徴量（例えば、ＳＩＦＴ（Scale-Invariant Features Transform）特徴量等）を各登録画像Ｉａ毎に記録する。ここで、各登録画像Ｉａの特徴点の座標位置及び特徴量（特徴情報）は、画像分割部７ｅにより分割された複数の小領域Ａ１、…毎にテーブル化して記録されていても良い。
また、データベース６ａは、登録画像Ｉａの各々について、登録画像Ｉａ内に存する所定の被写体の位置及び当該登録画像Ｉａの大きさを表す被写体情報を対応付けて記録しても良い。ここで、被写体情報は、例えば、被写体情報算出処理（後述）により算出された登録画像Ｉａを構成する各画素の座標位置の平均値（重心）及び当該登録画像Ｉａの共分散行列の固有値がそれぞれ被写体の位置及び登録画像Ｉａの大きさとして表されている。

なお、登録画像Ｉａとしては、例えば、***の印面に所定の印を形成するための印影モデル画像や、記録媒体に押印された印影Ｓを撮像した印影撮像画像等が挙げられるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、登録画像Ｉａには、所定の情報を画素集合の規則的な配列に符号化したコード情報が含まれていても良い。

画像処理部７は、画像取得部７ａと、被写体情報算出部７ｂと、特徴抽出部７ｃと、対応領域特定部７ｄと、画像分割部７ｅと、照合対象領域設定部７ｆと、画像照合部７ｇとを具備している。
なお、画像処理部７の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

画像取得部７ａは、撮像画像Ｉｂ（図５（ａ）参照）を取得する。
即ち、画像取得部（取得手段）７ａは、特定の被写体（例えば、記録媒体に押印された印影Ｓ等）が撮像された撮像画像Ｉｂを取得する。具体的には、画像取得部７ａは、撮像部３により印影Ｓが撮像されて画像データ生成部５により生成された撮像画像Ｉｂの所定の解像度の画像データ（例えば、輝度データ）の複製をメモリ２から取得する。

被写体情報算出部７ｂは、撮像画像Ｉｂや登録画像Ｉａに対して被写体情報算出処理を行う。
即ち、被写体情報算出部（算出手段）７ｂは、画像取得部７ａにより取得された撮像画像Ｉｂにおける特定の被写体の位置及び大きさを表す被写体情報を算出する。具体的には、例えば、被写体情報算出部７ｂは、撮像画像Ｉｂの画像データに対して被写体情報算出処理を施して、当該撮像画像Ｉｂを構成する各画素の座標位置の平均値（重心）及び当該撮像画像Ｉｂの共分散行列の固有値をそれぞれ特定の被写体（例えば、印影Ｓ等）の位置及び撮像画像Ｉｂの大きさを表す被写体情報として算出する。
また、被写体情報算出部７ｂは、画像登録部６のデータベース６ａに登録される登録画像Ｉａの画像データに対して被写体情報算出処理を施して、当該登録画像Ｉａ内の所定の被写体の位置及び登録画像Ｉａの大きさを表す被写体情報（例えば、登録画像Ｉａの重心及び共分散行列の固有値等）を算出する。ここで、被写体情報算出処理は、既にデータベース６ａに登録されている画像（登録済み画像）に対して行われても良いし、登録の対象となる画像（登録対象画像）に対して行われても良い。
そして、被写体情報算出部７ｂは、算出された被写体情報をメモリ２に出力し、当該メモリ２に一時的に格納させる。

特徴抽出部７ｃは、撮像画像Ｉｂや登録画像Ｉａに対して特徴抽出処理を行う。
具体的には、特徴抽出部７ｃは、例えば、画像取得部７ａにより取得された撮像画像Ｉｂの画像データに対して所定の特徴抽出処理を施して特徴点を複数抽出し、有効な特徴点における特徴量（例えば、ＳＩＦＴ特徴量等）を算出する。
また、特徴抽出部７ｃは、例えば、画像登録部６のデータベース６ａに登録される登録画像Ｉａの画像データに対して所定の特徴抽出処理を施して特徴点を複数抽出し、有効な特徴点における特徴量を算出する。ここで、特徴抽出処理は、既にデータベース６ａに登録されている画像（登録済み画像）に対して行われても良いし、登録の対象となる画像（登録対象画像）に対して行われても良い。
そして、特徴抽出部７ｃは、算出された特徴点の座標位置及び特徴量（特徴情報）をメモリ２に出力し、当該メモリ２に一時的に格納させる。
なお、特徴情報としては、例えば、ＳＵＲＦ（Speeded Up Robust Features）特徴量を用いて表しても良いし、特徴点の輝度レベルを８ｂｉｔ（２５６段階）で表現した輝度値（０〜２５５）を用いて良いし、ＲＧＢの各色成分を８ｂｉｔ（２５６段階）で表現したＲＧＢ値（０〜２５５）を用いても良い。

対応領域特定部７ｄは、撮像画像Ｉｂ内で対応領域Ｂ（図５（ａ）参照）を特定する。
即ち、対応領域特定部（特定手段）７ｄは、画像登録部６に登録されている登録画像Ｉａの画素情報及び画像取得部７ａにより取得された撮像画像Ｉｂの画素情報に基づいて、当該撮像画像Ｉｂ内で登録画像Ｉａと対応する対応領域Ｂを特定する。具体的には、対応領域特定部７ｄは、被写体情報算出部７ｂにより算出された撮像画像Ｉｂ及び登録画像Ｉａの各々の被写体情報に基づいて、撮像画像Ｉｂ内で対応領域Ｂを特定する。
例えば、対応領域特定部（被写体情報取得手段）７ｄは、被写体情報算出部７ｂにより算出された撮像画像Ｉｂの重心及び共分散行列の固有値を取得する。また、対応領域特定部７ｄは、画像登録部６に登録されている登録画像Ｉａの中で照合対象となる登録画像Ｉａの重心及び共分散行列の固有値を取得する。そして、対応領域特定部７ｄは、撮像画像Ｉｂの重心及び共分散行列の固有値と照合対象の登録画像Ｉａの重心及び共分散行列の固有値とをそれぞれ比較し、撮像画像Ｉｂ内で照合対象の登録画像Ｉａと対応する対応領域Ｂを特定する。
これにより、撮像画像Ｉｂ内で、登録画像Ｉａとの照合対象となる領域（対応領域Ｂ）の大まかな位置及び大きさが特定される。つまり、登録画像Ｉａの外形（例えば、正方形等）と略相似の外形の対応領域Ｂが特定され、当該対応領域Ｂ内の特定の被写体（例えば、印影Ｓ等）の相対的な位置及び大きさは、登録画像Ｉａ内の所定の被写体の相対的な位置及び大きさと略等しくなる。

なお、例えば、対応領域特定部７ｄは、撮像画像Ｉｂの被写体情報の内容から特定の被写体が構図全体に存すると判断した場合、当該撮像画像Ｉｂ全体を対応領域Ｂとして特定しても良い。即ち、対応領域特定部７ｄは、被写体情報算出部７ｂにより算出された撮像画像Ｉｂの被写体情報に基づいて、撮像画像Ｉｂ内で対応領域Ｂを特定しても良い。

画像分割部７ｅは、撮像画像Ｉｂの対応領域Ｂを複数の小領域Ｂ１、…に分割する。
即ち、画像分割部（分割手段）７ｅは、対応領域特定部７ｄにより特定された対応領域Ｂを複数の小領域Ｂ１、…に分割する。
具体的には、画像分割部７ｅは、画像登録部６のデータベース６ａに登録される登録画像Ｉａの分割態様（例えば、二等分や四等分等）に応じて対応領域Ｂを複数の小領域Ｂ１、…に分割する。つまり、画像分割部７ｅは、予め、画像登録部６のデータベース６ａに登録される登録画像Ｉａを所定の分割態様（例えば、四等分）で複数の矩形状の小領域（二点鎖線で囲まれた領域；図３参照）Ａ１、…に分割する。ここで、登録画像Ｉａの分割は、既にデータベース６ａに登録されている画像（登録済み画像）に対して行われても良いし、登録の対象となる画像（登録対象画像）に対して行われても良い。
そして、画像分割部７ｅは、登録画像Ｉａを小領域Ａ１に分割した数（例えば、四つ等）と同じ分割数となるように対応領域Ｂを略等しい形状及び寸法の小領域（一点鎖線で囲まれた領域；図５（ｂ）参照）Ｂ１に分割する。
このとき、画像分割部７ｅは、互いに隣合う小領域Ｂ１の端部どうしを重複させるように対応領域Ｂを複数の小領域Ｂ１、…に分割しても良い。例えば、図５（ｂ）に示す対応領域Ｂの左上小領域Ｂ１の場合、画像分割部７ｅは、当該左上小領域Ｂ１の右側端部を右上小領域Ａ１の左側端部と重複させ、且つ、左上小領域Ｂ１の下側端部を左下小領域Ｂ１の上側端部と重複させ、且つ、左上小領域Ｂ１の右下側端部を右下小領域Ｂ１の左上側端部と重複させるように分割する。その他の小領域Ｂ１についても、略同様であり、その詳細な説明は省略する。
なお、上記した小領域Ａ１、Ｂ１の分割数や分割態様は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、小領域Ａ１、Ｂ１の外形を互いに異ならせても良いし、隣合う小領域Ｂ１と端部どうしを重複させる領域の大きさを互いに異ならせても良い。

照合対象領域設定部７ｆは、撮像画像Ｉｂ内で照合対象領域Ｃ（図６（ａ）参照）を設定する。
即ち、照合対象領域設定部（設定手段）７ｆは、対応領域特定部７ｄにより特定された対応領域Ｂ内で照合対象領域Ｃを設定する。具体的には、照合対象領域設定部７ｆは、画像分割部７ｅにより対応領域Ｂが分割された複数の小領域Ｂ１、…のうち、所定数の小領域Ｂ１を照合対象領域Ｃとして設定する。つまり、照合対象領域設定部７ｆは、対応領域Ｂ内で、当該対応領域Ｂよりも小さい照合対象領域Ｃを設定する。
ここで、照合対象領域設定部７ｆは、照合対象領域Ｃとして設定される小領域Ｂ１の位置や数を、例えば、特徴抽出処理により抽出された特徴点の位置を考慮して変更しても良い。即ち、対応領域Ｂの略全域から特徴点が抽出されている場合、照合対象領域設定部７ｆは、対応領域Ｂが分割された複数の小領域Ｂ１、…の全てを照合対象領域Ｃとして個別に設定しても良い。また、対応領域Ｂの一部の領域から特徴点が抽出されている場合、照合対象領域設定部７ｆは、複数の小領域Ｂ１、…の中で、特徴点が抽出された領域が含まれる所定数の小領域Ｂ１を照合対象領域Ｃとして設定しても良い。
なお、図６（ａ）にあっては、対応領域Ｂのうち、照合対象領域Ｃ（左上小領域Ｂ１）以外の領域にはドットを付して模式的に表している。

画像照合部７ｇは、撮像画像Ｉｂの照合対象領域Ｃと登録画像Ｉａとを照合する。
即ち、画像照合部（照合手段）７ｇは、照合対象領域設定部７ｆにより設定された照合対象領域Ｃの特徴情報と、登録画像Ｉａにおける当該照合対象領域Ｃに対応する領域（照合用の小領域Ｄ）の特徴情報とを対応付け、当該対応付けの結果に基づいて照合対象領域Ｃと登録画像Ｉａとを照合する。

具体的には、画像照合部７ｇは、特徴抽出処理にて抽出された照合対象領域Ｃ（例えば、左上小領域Ａ１等）内の特徴点の座標位置及び特徴量（特徴情報）をメモリ２から取得する。また、画像照合部７ｇは、登録画像Ｉａにおける当該照合対象領域Ｃに対応する照合用の小領域Ｄ（図６（ａ）参照）を特定し、特定された照合用の小領域Ｄ内の特徴点の座標位置及び特徴量（特徴情報）を画像登録部６のデータベース６ａから取得する。なお、図６（ａ）にあっては、登録画像Ｉａのうち、照合用の小領域Ｄ以外の領域にはドットを付して模式的に表している。
そして、画像照合部７ｇは、取得された照合対象領域Ｃ内の特徴点と照合用の小領域Ｄ内の特徴点との対応付け（マッチング）を行う。このとき、照合対象領域Ｃが複数設定されている場合には、画像照合部７ｇは、各照合対象領域Ｃ毎に、対応する照合用の小領域Ｄを特定して特徴点どうしの対応付けを行う。
また、画像照合部７ｇは、照合対象領域Ｃ内の特徴点と照合用の小領域Ｄ内の特徴点との対応付けの結果に基づいて、照合対象領域Ｃ内の特定の被写体の形状を登録画像Ｉａ内の被写体の形状と略等しい形状に変形するための座標変換行列（ホモグラフィ行例）を算出する。そして、画像照合部７ｇは、算出された座標変換式に従って、照合対象領域Ｃに対して座標変換処理を施して、座標変換済み画像Ｉｃ（図６（ｂ）参照）を生成する。
また、画像照合部７ｇは、生成された座標変換済み画像Ｉｃの画素値と登録画像Ｉａの画素値とに基づいて所定の演算を行って、照合対象領域Ｃと登録画像Ｉａとの類似度を算出する（類似度算出処理）。なお、類似度算出処理としては、例えば、adaboost（アダブースト）出力計算、SSD(Sum of Squared Differences)等を利用することができるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
なお、上記した射影変換処理や類似度算出処理は、公知の技術であるので、ここでは詳細な説明を省略する。

表示部８は、例えば、液晶表示パネルから構成され、表示制御部９からのビデオ信号に基づいて撮像部３により撮像された画像（例えば、ライブビュー画像等）を表示画面に表示する。

表示制御部９は、メモリ２に一時的に記憶されている表示用の画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部９は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１の制御下にてメモリ２から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから所定の再生フレームレート（例えば、３０ｆｐｓ）で読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。
例えば、表示制御部９は、撮像部３及び撮像制御部４により撮像され画像データ生成部５により生成された複数のフレーム画像、…を所定の表示フレームレートで逐次更新しながら表示部８にライブビュー表示させる。

送受話部１０は、通信ネットワークＮを介して接続された外部機器の外部ユーザとの通話を行う。
具体的には、送受話部１０は、マイク１０ａ、スピーカ１０ｂ、データ変換部１０ｃ等を備えている。そして、送受話部１０は、マイク１０ａから入力されるユーザの送話音声をデータ変換部１０ｃによりＡ／Ｄ変換処理して送話音声データを中央制御部１に出力するとともに、中央制御部１の制御下にて、通信制御部１１から出力されて入力される受話音声データ等の音声データをデータ変換部１０ｃによりＤ／Ａ変換処理してスピーカ１０ｂから出力する。

通信制御部１１は、通信ネットワークＮ及び通信アンテナ１１ａを介してデータの送受信を行う。
即ち、通信アンテナ１１ａは、当該携帯端末１００が無線基地局（図示略）との通信で採用している所定の通信方式（例えば、Ｗ−ＣＤＭＡ（Wideband Code Division Multiple Access）方式、ＧＳＭ（Global System for Mobile Communications；登録商標）方式等）に対応したデータの送受信が可能なアンテナである。そして、通信制御部１１は、所定の通信方式に対応する通信プロトコルに従って、この通信方式で設定される通信チャネルにより無線基地局との間で通信アンテナ１１ａを介してデータの送受信を行う。つまり、通信制御部１１は、中央制御部１から出力されて入力される指示信号に基づいて、通信相手の外部機器に対して、当該外部機器の外部ユーザとの通話中の音声の送受信や、電子メールのデータの送受信を行う。
なお、通信制御部１１の構成は一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、図示は省略するが、無線ＬＡＮモジュールを搭載し、アクセスポイント（Access Point）を介して通信ネットワークＮにアクセス可能な構成としても良い。

通信ネットワークＮは、例えば、携帯端末１００を無線基地局やゲートウェイサーバ（図示略）等を介して外部機器と接続する通信ネットワークである。
また、通信ネットワークＮは、例えば、専用線や既存の一般公衆回線を利用して構築された通信ネットワークであり、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の様々な回線形態を適用することが可能である。また、通信ネットワークＮには、例えば、電話回線網、ＩＳＤＮ回線網、専用線、移動体通信網、通信衛星回線、ＣＡＴＶ回線網等の各種通信ネットワーク網と、ＩＰネットワーク、ＶｏＩＰ（Voice over Internet Protocol）ゲートウェイ、インターネットサービスプロバイダ等が含まれる。

操作入力部１２は、端末本体に対して各種指示を入力するためのものである。
具体的には、操作入力部１２は、被写体の撮影指示に係るシャッタボタン、モードや機能等の選択指示に係る上下左右のカーソルボタンや決定ボタン、電話の発着信や電子メールの送受信等の実行指示に係る通信関連ボタン、テキストの入力指示に係る数字ボタンや記号ボタン等の各種ボタン（何れも図示略）を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部１２は、操作されたボタンに応じた操作指示を中央制御部１に出力する。中央制御部１は、操作入力部１２から出力され入力された操作指示に従って所定の動作（例えば、被写体の撮像、電話の発着信、電子メールの送受信等）を各部に実行させる。

なお、操作入力部１２は、表示部８と一体となって設けられたタッチパネルを有していても良く、ユーザによるタッチパネルの所定操作に基づいて、当該所定操作に応じた操作指示を中央制御部１に出力しても良い。

＜画像登録処理＞
次に、携帯端末１００による画像登録処理について、図２及び図３を参照して説明する。
図２は、画像登録処理に係る動作の一例を示すフローチャートである。

図２に示すように、画像処理部７の画像取得部７ａは、画像登録部６のデータベース６ａに登録される登録対象となる画像（登録対象画像）の画像データ（ＹＵＶデータ）を取得する（ステップＳ１；図３参照）。例えば、画像取得部７ａは、***の印面に所定の印を形成するための印影モデル画像を登録対象画像として、図示しない外部機器や記録媒体等から取得する。

次に、被写体情報算出部７ｂは、登録対象画像の画像データに対して被写体情報算出処理を施して、当該登録対象画像を構成する各画素の座標位置の平均値（重心）及び当該登録対象画像の共分散行列の固有値を被写体情報として算出する（ステップＳ２）。続けて、特徴抽出部７ｃは、登録対象画像の画像データに対して所定の特徴抽出処理を施して特徴点を複数抽出し、有効な特徴点における特徴量（例えば、ＳＩＦＴ特徴量等）を算出する（ステップＳ３）。

そして、画像分割部７ｅは、登録対象画像を所定の分割態様（例えば、四等分）で複数の小領域Ａ１、…に分割する（ステップＳ４）。
その後、画像登録部６は、登録対象画像の複数の小領域Ａ１、…毎に、各特徴点の座標位置及び特徴量を対応付けるとともに、当該登録対象画像の重心及び共分散行列の固有値（被写体情報）を対応付けてデータベース６ａに記録する（ステップＳ５）。

そして、中央制御部１のＣＰＵは、登録対象となる画像が他にあるか否かを判定する（ステップＳ６）。ここで、登録対象となる画像が他にあると判定されると（ステップＳ６；ＹＥＳ）、中央制御部１のＣＰＵは、処理をステップＳ１に戻し、他の登録対象画像を処理対象として、画像処理部７や画像登録部６にそれ以降の各処理を実行させる。

一方、ステップＳ６にて、登録対象となる画像が他にないと判定されると（ステップＳ６；ＮＯ）、中央制御部１のＣＰＵは、当該画像登録処理を終了させる。

＜画像照合処理＞
次に、携帯端末１００による画像照合処理について、図４〜図６を参照して説明する。
図４は、画像照合処理に係る動作の一例を示すフローチャートである。
なお、以下の画像照合処理にて撮像される印影Ｓは、例えば、葉書等の記録媒体の所定位置に押印されているものとする。

図４に示すように、先ず、ユーザによる操作入力部１２の所定操作に基づいて撮像指示が入力されると、撮像制御部４は、撮像部３に印影Ｓを撮像させ、画像データ生成部５は、電子撮像部３ｂから転送された撮像画像Ｉｂの画像データを生成する（ステップＳ１１）。このとき、印影Ｓは、例えば、当該印影Ｓに対して撮像部３のレンズ部３ａが所定の角度を有するように斜めに配置された状態で撮像されるものとする。
そして、画像データ生成部５は、生成された撮像画像ＩｂのＹＵＶデータをメモリ２に出力し、当該メモリ２に格納させる。

なお、印影Ｓを撮像し易くするために、表示制御部９は、印影Ｓの外形に対応するガイド表示を表示部８に表示させても良い。

そして、画像処理部７の画像取得部７ａは、メモリ２から画像データ生成部５により生成された撮像画像Ｉｂの所定の解像度の画像データ（例えば、輝度データ）を取得する（ステップＳ１２）。
次に、被写体情報算出部７ｂは、撮像画像Ｉｂの画像データに対して被写体情報算出処理を施して、当該撮像画像Ｉｂを構成する各画素の座標位置の平均値（重心）及び当該撮像画像Ｉｂの共分散行列の固有値を被写体情報として算出する（ステップＳ１３）。続けて、特徴抽出部７ｃは、撮像画像Ｉｂの画像データに対して所定の特徴抽出処理を施して特徴点を複数抽出し、有効な特徴点における特徴量（例えば、ＳＩＦＴ特徴量等）を算出する（ステップＳ１４）。

その後、対応領域特定部７ｄは、画像登録部６のデータベース６ａから照合対象となる何れか一の登録画像Ｉａの画像データ及び当該登録画像Ｉａの重心及び共分散行列の固有値を読み出して取得する（ステップＳ１５）。続けて、対応領域特定部７ｄは、被写体情報算出部７ｂにより算出された撮像画像Ｉｂの重心及び共分散行列の固有値を取得して、撮像画像Ｉｂの重心及び共分散行列の固有値と照合対象の登録画像Ｉａの重心及び共分散行列の固有値とをそれぞれ比較し、撮像画像Ｉｂ内で照合対象の登録画像Ｉａと対応する対応領域Ｂを特定する（ステップＳ１６；図５（ａ）参照）。

次に、画像分割部７ｅは、対応領域Ｂを登録画像Ｉａの分割態様（例えば、四等分等）に応じて複数（例えば、四つ）の小領域Ｂ１に分割する（ステップＳ１７；図５（ｂ）参照）。具体的には、画像分割部７ｅは、複数の小領域Ｂ１、…の中で互いに隣合う小領域Ｂ１の端部どうしを重複させるように対応領域Ｂを分割する。
そして、照合対象領域設定部７ｆは、対応領域Ｂの複数の小領域Ｂ１、…の中で、所定数の小領域Ｂ１（例えば、左上小領域Ｂ１等）を照合対象領域Ｃとして設定する（ステップＳ１８）。

次に、画像照合部７ｇは、照合対象領域Ｃ内の特徴点の座標位置及び特徴量（特徴情報）をメモリ２から取得するとともに、登録画像Ｉａにおける当該照合対象領域Ｃに対応する照合用の小領域Ｄ内の特徴点の座標位置及び特徴量（特徴情報）をデータベース６ａから取得して、照合対象領域Ｃ内の特徴点と照合用の小領域Ｄ内の特徴点との対応付け（マッチング）を行う（ステップＳ１９；図６（ａ）参照）。続けて、画像照合部７ｇは、照合対象領域Ｃ内の特徴点と照合用の小領域Ｄ内の特徴点との対応付けの結果に基づいて座標変換行列（ホモグラフィ行例）を算出して、算出された座標変換式に従って照合対象領域Ｃに対して座標変換処理を施して、座標変換済み画像Ｉｃを生成する（ステップＳ２０；図６（ｂ）参照）。
そして、画像照合部７ｇは、生成された座標変換済み画像Ｉｃの画素値と登録画像Ｉａの画素値とに基づいて所定の演算を行って、照合対象領域Ｃと登録画像Ｉａとの類似度を算出する（ステップＳ２１）。画像照合部７ｇは、算出された類似度をメモリ２に出力し、当該類似度は登録画像Ｉａの識別情報と対応付けて一時的に格納される。
なお、照合対象領域Ｃに対する座標変換処理は、必ずしも行う必要はなく、当該処理をスキップしても良い。

その後、中央制御部１のＣＰＵは、照合対象となる登録画像Ｉａが他にあるか否かを判定する（ステップＳ２２）。ここで、照合対象となる画像が他にあると判定されると（ステップＳ２２；ＹＥＳ）、中央制御部１のＣＰＵは、処理をステップＳ１５に戻し、データベース６ａの他の登録画像Ｉａを照合対象として、画像処理部７にそれ以降の各処理を実行させる。
一方、ステップＳ２２にて、照合対象となる登録画像Ｉａが他にないと判定されると（ステップＳ２２；ＮＯ）、画像処理部７は、メモリ２から各登録画像Ｉａに対応する類似度を取得して、最も類似度が高い登録画像Ｉａを選択して（ステップＳ２３）、当該画像登録処理を終了する。

その後、画像処理部７の情報読取部（図示略）は、例えば、選択された登録画像Ｉａの二値化画像を生成し、画素値「１」の白画素の集合及び画素値「０」の黒画素の集合の配列に対して、コード情報の符号化方式に応じた復号処理を施して、コード情報によって表される元の所定の情報（例えば、ＵＲＬ等）を読み取る。
中央制御部１のＣＰＵは、情報読取部により読み取られた所定の情報（例えば、ＵＲＬ等）に従って当該携帯端末１００の各部を制御して、所定の動作（例えば、インターネットにアクセスして、特定の音声や画像の再生等）を実行させる。
なお、上記した所定の情報の読取処理や対応する所定の動作の実行処理は、必ずしも行う必要はない。

以上のように、実施形態１の携帯端末１００によれば、画像登録部６に登録されている登録画像Ｉａの画素情報及び撮像画像（例えば、記録媒体に押印された印影Ｓを撮像した画像等）Ｉｂの画素情報に基づいて、当該撮像画像Ｉｂ内で登録画像Ｉａと対応する対応領域Ｂを特定し、対応領域Ｂ内で照合対象領域Ｃを設定して、設定された照合対象領域Ｃの特徴情報（例えば、特徴点の位置及び特徴量等）と、登録画像Ｉａにおける当該照合対象領域Ｃに対応する領域（例えば、照合用の小領域Ｄ）の特徴情報とを対応付け、当該対応付けの結果に基づいて照合対象領域Ｃと登録画像Ｉａとを照合することができる。このとき、予め大まかな位置合わせとして撮像画像Ｉｂ内で登録画像Ｉａと対応する対応領域Ｂを特定し、対応領域Ｂ内で当該対応領域Ｂよりも小さい照合対象領域Ｃを設定して利用することで、相対的に単純なテクスチャで構成され、類似するテクスチャ（例えば、電車の画像では、パンタグラフや窓や車輪等）が複数存する画像であっても、当該照合対象領域Ｃ内に類似するテクスチャが複数存し難くなり、照合対象領域Ｃ内の特徴情報と登録画像Ｉａの特徴情報との対応付けにおいて誤対応を生じさせ難くすることができる。
即ち、例えば、図６（ａ）に示す対応領域Ｂでは、照合対象領域Ｃ内に電車の左側のパンタグラフに相当する部分が存在し、照合対象領域Ｃ以外の領域（ドットを付した領域）に右側のパンタグラフに相当する部分が存在している。一方、登録画像Ｉａの照合用の小領域Ｄには、左側のパンタグラフに相当する部分のみが存在している。従って、例えば、撮像画像Ｉｂの左側のパンタグラフに相当する部分の特徴情報と登録画像Ｉａの右側のパンタグラフに相当する部分の特徴情報とが誤って対応付けられることを抑制することができる。
これにより、撮像画像Ｉｂの照合対象領域Ｃと登録画像Ｉａとの比較照合を適正に行うことができることとなって、画像どうしの照合を精度良く適正に行うことができる。

また、対応領域Ｂを分割した複数の小領域Ｂ１、…のうち、所定数の小領域Ｂ１を照合対象領域Ｃとして設定するので、撮像画像Ｉｂ内で対応領域Ｂよりも小さい照合対象領域Ｃの設定を簡便なものとすることができる。特に、互いに隣合う小領域Ｂ１の端部どうしを重複させるように対応領域Ｂを複数の小領域Ｂ１、…に分割することで、隣合う小領域Ｂ１どうしの境界の特徴情報についても適正に対応付けを行うことができ、照合対象領域Ｃ内の特徴情報と登録画像Ｉａの特徴情報との対応付けにおいて誤対応をより生じさせ難くすることができる。
また、登録画像Ｉａを複数の小領域Ａ１、…に分割して、当該登録画像Ｉａの分割態様に応じて対応領域Ｂを複数の小領域Ｂ１、…に分割するので、登録画像Ｉａにおける照合対象領域Ｃに対応する領域の特定を適正に行うことができ、照合対象領域Ｃ内の特徴情報と登録画像Ｉａにおける照合対象領域Ｃに対応する領域の特徴情報との対応付けをより適正に行うことができる。

また、撮像画像Ｉｂにおける特定の被写体の位置及び当該撮像画像Ｉｂの大きさを表す被写体情報に基づいて、撮像画像Ｉｂ内で対応領域Ｂを特定するので、撮像画像Ｉｂにおける特定の被写体の位置や当該撮像画像Ｉｂの大きさ等を考慮して当該撮像画像Ｉｂ内で対応領域Ｂを適正に特定することができる。特に、撮像画像Ｉｂの被写体情報に加えて登録画像Ｉａの被写体情報に基づいて、撮像画像Ｉｂ内で対応領域Ｂを特定することで、撮像画像Ｉｂにおける特定の被写体の位置や当該撮像画像Ｉｂの大きさだけでなく登録画像Ｉａにおける所定の被写体の位置や当該登録画像Ｉａの大きさ等も考慮して撮像画像Ｉｂ内で対応領域Ｂをより適正に特定することができる。

［実施形態２］
以下に、実施形態２の携帯端末２００について、図７〜図１２を参照して説明する。
実施形態２の携帯端末２００は、以下に詳細に説明する以外の点で上記実施形態１の携帯端末１００と略同様の構成をなし、詳細な説明は省略する。

図７は、本発明を適用した実施形態２の携帯端末２００の概略構成を示すブロック図である。
図７に示すように、実施形態２の携帯端末２００の画像処理部２０７は、画像取得部７ａと、顔検出部７ｈと、特徴抽出部７ｃと、対応領域特定部７ｄと、画像分割部７ｅと、照合対象領域設定部７ｆと、画像照合部７ｇとを具備している。
なお、画像処理部２０７を構成する各部は、以下に説明する以外の点で上記実施形態１の携帯端末１００に備わるものと略同様の構成及び機能をなし、その詳細な説明は省略する。

顔検出部７ｈは、撮像画像Ｉｂや登録画像Ｉａに対して顔検出処理を行う。
即ち、顔検出部７ｈは、画像取得部７ａにより取得された撮像画像Ｉｂの画像データに対して所定の顔検出処理を行って、当該撮像画像Ｉｂ内の特定の被写体である人物（ヒト）の顔Ｆが含まれる顔領域Ｅｂを検出する。このとき、顔検出部７ｈは、例えば、顔Ｆを構成する目、鼻、口等の各構成要素を検出しても良い。
また、顔検出部７ｈは、画像登録部６のデータベース６ａに登録される登録画像Ｉａ（図９（ａ）等参照）の画像データに対して所定の顔検出処理を行って、当該登録画像Ｉａ内の顔領域Ｅａを検出する。ここで、顔検出処理は、既にデータベース６ａに登録されている画像（登録済み画像）に対して行われても良いし、登録の対象となる画像（登録対象画像）に対して行われても良い。
また、上記した顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。

対応領域特定部７ｄは、撮像画像Ｉｂ内で顔検出部７ｈにより検出された顔領域Ｅｂを対応領域Ｂ（図１１（ａ）参照）として特定する。
即ち、対応領域特定部７ｄは、撮像画像Ｉｂ内で顔検出部７ｈにより検出された顔領域Ｅｂを、画像登録部６に登録されている登録画像Ｉａの顔領域Ｅａと対応する対応領域Ｂとして特定する。

画像分割部７ｅは、撮像画像Ｉｂの対応領域Ｂとして特定された顔領域Ｅｂを複数の小領域Ｂ１、…に分割する。
具体的には、画像分割部７ｅは、画像登録部６のデータベース６ａに登録される登録画像Ｉａの分割態様に応じて撮像画像Ｉｂの顔領域Ｅｂを複数の小領域Ｂ１、…に分割する。つまり、画像分割部７ｅは、予め、画像登録部６のデータベース６ａに登録される登録画像Ｉａを、顔検出部７ｈにより検出された顔領域Ｅａ（特に、顔領域Ｅａ内の目、鼻、口等の位置）を基準とする所定の分割態様で複数の矩形状の小領域（二点鎖線で囲まれた領域）Ａ１、…に分割する。例えば、画像分割部７ｅは、顔領域Ｅａを左右に二等分する態様（図９（ａ）参照）、顔領域Ｅａの上側のみを二等分する態様（図９（ｂ）参照）、顔領域Ｅａを上下左右に等分する態様（図９（ｃ）参照）等で複数の小領域Ａ１、…に分割する。ここで、登録画像Ｉａの分割は、既にデータベース６ａに登録されている画像（登録済み画像）に対して行われても良いし、登録の対象となる画像（登録対象画像）に対して行われても良い。
そして、画像分割部７ｅは、登録画像Ｉａを小領域Ａ１に分割した数（例えば、二つ等）と同じ分割数となるように顔領域Ｅｂ（対応領域Ｂ）を略等しい形状及び寸法の小領域（一点鎖線で囲まれた領域；図１１（ｂ）参照）Ｂ１に分割する。
このとき、画像分割部７ｅは、互いに隣合う小領域Ｂ１の端部どうしを重複させるように顔領域Ｅｂを複数の小領域Ｂ１、…に分割しても良い。例えば、画像分割部７ｅは、顔領域Ｅｂの左小領域Ｂ１の右側端部を右小領域Ｂ１の左側端部と重複させ、且つ、右小領域Ｂ１の左側端部を左小領域Ｂ１の右側端部と重複させるように分割する。
なお、上記した小領域Ａ１、Ｂ１の分割数や分割態様は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、隣合う小領域Ｂ１と端部どうしを重複させる領域の大きさを互いに異ならせても良い。

＜画像登録処理＞
次に、携帯端末２００による画像登録処理について、図８及び図９を参照して説明する。
図８は、画像登録処理に係る動作の一例を示すフローチャートである。

図２に示すように、画像処理部２０７の画像取得部７ａは、画像登録部６のデータベース６ａに登録される登録対象となる画像（登録対象画像）の画像データ（ＹＵＶデータ）を取得する（ステップＳ３１；図９（ａ）等参照）。例えば、画像取得部７ａは、予め特定の被写体を撮像した画像を登録対象画像として、図示しない外部機器や記録媒体等から取得する。

次に、顔検出部７ｈは、登録対象画像の画像データに対して所定の顔検出処理を行って、当該登録画像Ｉａ内の顔領域Ｅａを検出する（ステップＳ３２）。略全域が顔領域の画像を登録画像Ｉａとする場合、なお、顔検出部７ｈは、当該登録画像Ｉａに対して必ずしも顔検出処理を行う必要はない。
続けて、上記実施形態１の画像登録処理と略同様に、特徴抽出部７ｃは、登録対象画像の画像データに対して所定の特徴抽出処理を施して特徴点を複数抽出し、有効な特徴点における特徴量（例えば、ＳＩＦＴ特徴量等）を算出する（ステップＳ３）。

そして、画像分割部７ｅは、登録対象画像を、顔検出部７ｈにより検出された顔領域Ｅａを基準とする所定の分割態様（例えば、顔領域Ｅａを左右に二等分する態様）で複数の小領域Ａ１、…に分割する（ステップＳ３４）。
その後、画像登録部６は、登録対象画像の複数の小領域Ａ１、…毎に、各特徴点の座標位置及び特徴量を対応付けてデータベース６ａに記録する（ステップＳ３５）。

そして、上記実施形態１の画像登録処理と略同様に、中央制御部１のＣＰＵは、登録対象となる画像が他にあるか否かを判定する（ステップＳ６）。ここで、登録対象となる画像が他にあると判定されると（ステップＳ６；ＹＥＳ）、中央制御部１のＣＰＵは、処理をステップＳ１に戻し、他の登録対象画像を処理対象として、画像処理部２０７や画像登録部６にそれ以降の各処理を実行させる。

一方、ステップＳ６にて、登録対象となる画像が他にないと判定されると（ステップＳ６；ＮＯ）、中央制御部１のＣＰＵは、当該画像登録処理を終了させる。

＜画像照合処理＞
次に、携帯端末２００による画像照合処理について、図１０〜図１２を参照して説明する。
図１０は、画像照合処理に係る動作の一例を示すフローチャートである。

図１０に示すように、先ず、ユーザによる操作入力部１２の所定操作に基づいて撮像指示が入力されると、撮像制御部４は、撮像部３に人物の顔Ｆを被写体として撮像させ、画像データ生成部５は、電子撮像部３ｂから転送された撮像画像Ｉｂの画像データを生成する（ステップＳ４１）。このとき、人物の顔Ｆは、例えば、撮像部３のレンズ部３ａに対して斜めに配置されたり、光軸を中心として所定の角度回転した状態で撮像されるものとする。
そして、画像データ生成部５は、生成された撮像画像ＩｂのＹＵＶデータをメモリ２に出力し、当該メモリ２に格納させる。

そして、上記実施形態１の画像照合処理と略同様に、画像処理部２０７の画像取得部７ａは、メモリ２から画像データ生成部５により生成された撮像画像Ｉｂの所定の解像度の画像データ（例えば、輝度データ）を取得する（ステップＳ１２）。
次に、顔検出部７ｈは、撮像画像Ｉｂの画像データに対して所定の顔検出処理を行って、当該撮像画像Ｉｂ内の顔領域Ｅｂを検出する（ステップＳ４３）。続けて、上記実施形態１の画像照合処理と略同様に、特徴抽出部７ｃは、撮像画像Ｉｂの画像データに対して所定の特徴抽出処理を施して特徴点を複数抽出し、有効な特徴点における特徴量（例えば、ＳＩＦＴ特徴量等）を算出する（ステップＳ１４）。

その後、対応領域特定部７ｄは、画像登録部６のデータベース６ａから照合対象となる何れか一の登録画像Ｉａの画像データを読み出して取得する（ステップＳ４５）。続けて、対応領域特定部７ｄは、撮像画像Ｉｂ内で顔検出部７ｈにより検出された顔領域Ｅｂを、照合対象の登録画像Ｉａの顔領域Ｅａと対応する対応領域Ｂとして特定する（ステップＳ４６；図１１（ａ）参照）。

次に、画像分割部７ｅは、撮像画像Ｉｂの顔領域Ｅｂを登録画像Ｉａの分割態様（例えば、顔領域Ｅａを左右に二等分する態様等）に応じて複数（例えば、二つ）の小領域Ｂ１、…に分割する（ステップＳ４７；図１１（ｂ）参照）。
そして、照合対象領域設定部７ｆは、顔領域Ｅｂの複数の小領域Ｂ１、…の中で、所定数の小領域Ｂ１を照合対象領域Ｃ（例えば、左小領域Ｂ１等）として設定する（ステップＳ４８）。

次に、上記実施形態１の画像照合処理と略同様に、画像照合部７ｇは、照合対象領域Ｃ内の特徴点の座標位置及び特徴量（特徴情報）をメモリ２から取得するとともに、登録画像Ｉａにおける当該照合対象領域Ｃに対応する照合用の小領域Ｄ内の特徴点の座標位置及び特徴量（特徴情報）をデータベース６ａから取得して、照合対象領域Ｃ内の特徴点と照合用の小領域Ｄ内の特徴点との対応付け（マッチング）を行う（ステップＳ１９；図１２（ａ）参照）。続けて、画像照合部７ｇは、照合対象領域Ｃ内の特徴点と照合用の小領域Ｄ内の特徴点との対応付けの結果に基づいて座標変換行列（ホモグラフィ行例）を算出して、算出された座標変換式に従って照合対象領域Ｃに対して座標変換処理を施して、座標変換済み画像Ｉｃを生成する（ステップＳ２０；図１２（ｂ）参照）。
そして、画像照合部７ｇは、生成された座標変換済み画像Ｉｃの画素値と登録画像Ｉａの画素値とに基づいて所定の演算を行って、照合対象領域Ｃと登録画像Ｉａとの類似度を算出する（ステップＳ２１）。画像照合部７ｇは、算出された類似度をメモリ２に出力し、当該類似度は登録画像Ｉａの識別情報と対応付けて一時的に格納される。

その後、上記実施形態１の画像照合処理と略同様に、中央制御部１のＣＰＵは、照合対象となる登録画像Ｉａが他にあるか否かを判定する（ステップＳ２２）。ここで、照合対象となる画像が他にあると判定されると（ステップＳ２２；ＹＥＳ）、中央制御部１のＣＰＵは、処理をステップＳ４５に戻し、他の登録画像Ｉａを照合対象として、画像処理部２０７にそれ以降の各処理を実行させる。
一方、ステップＳ２２にて、照合対象となる登録画像Ｉａが他にないと判定されると（ステップＳ２２；ＮＯ）、画像処理部２０７は、メモリ２から各登録画像Ｉａに対応する類似度を取得して、最も類似度が高い登録画像Ｉａを選択して（ステップＳ２３）、当該画像登録処理を終了する。

以上のように、実施形態２の携帯端末２００によれば、上記実施形態１と同様に、撮像画像Ｉｂの照合対象領域Ｃと登録画像Ｉａとの比較照合を適正に行うことができることとなって、画像どうしの照合を精度良く適正に行うことができる。さらに、撮像画像Ｉｂ内で、特定の被写体である人物の顔Ｆが含まれる顔領域Ｅｂを対応領域Ｂとして特定することで、撮像画像Ｉｂ内での対応領域Ｂの特定をより簡便なものとすることができる。即ち、上記実施形態１のように、撮像画像Ｉｂや登録画像Ｉａの被写体情報を算出する必要がなくなり、人物の撮像処理にて一般的に行われる顔検出処理の結果を利用して対応領域Ｂの特定をより適正に、且つ、より簡便に行うことができる。

なお、本発明は、上記実施形態１、２に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態１、２では、撮像部３により撮像された撮像画像Ｉｂを取得するようにしたが、必ずしも画像を撮像する必要はなく、撮像部３を具備するか否かは適宜任意に変更可能である。例えば、外部機器にて撮像された撮像画像を取得するようにしても良い。

また、上記実施形態１、２では、照合対象領域Ｃを対応領域Ｂが分割された複数の小領域Ｂ１、…の中から選択するようにしたが、一例であってこれに限られるものではなく、必ずしも対応領域Ｂを分割する必要はなく、画像分割部７ｅを具備するか否かは適宜任意に変更可能である。例えば、照合対象領域設定部７ｆは、特徴抽出処理により抽出された特徴点の位置を考慮し、対応領域Ｂ内で特徴点が抽出された領域が含まれるように照合対象領域Ｃを設定しても良い。

さらに、上記実施形態１、２では、画像照合装置として、携帯端末１００、２００を例示したが、一例であってこれに限られるものではなく、画像照合処理の実行を制御可能なものであれば適宜任意に変更可能である。

加えて、上記実施形態１、２にあっては、登録手段、取得手段、特定手段、設定手段、照合手段としての機能を、携帯端末１００の中央制御部１の制御下にて、画像登録部６、画像取得部７ａ、対応領域特定部７ｄ、照合対象領域設定部７ｆ、画像照合部７ｇが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリに、登録処理ルーチン、取得処理ルーチン、特定処理ルーチン、設定処理ルーチン、照合処理ルーチンを含むプログラムを記憶しておく。そして、登録処理ルーチンにより中央制御部１のＣＰＵを、予め少なくとも一の画像を登録する手段として機能させるようにしても良い。また、取得処理ルーチンにより中央制御部１のＣＰＵを、特定の被写体が撮像された撮像画像Ｉｂを取得する手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部１のＣＰＵを、予め登録されている登録画像Ｉａの画素情報及び取得された撮像画像Ｉｂの画素情報に基づいて、当該撮像画像Ｉｂ内で登録画像Ｉａと対応する対応領域Ｂを特定する手段として機能させるようにしても良い。また、設定処理ルーチンにより中央制御部１のＣＰＵを、特定された対応領域Ｂ内で照合対象領域Ｃを設定する手段として機能させるようにしても良い。また、照合処理ルーチンにより中央制御部１のＣＰＵを、設定された照合対象領域Ｃの特徴情報と、登録画像Ｉａにおける当該照合対象領域Ｃに対応する領域の特徴情報とを対応付け、当該対応付けの結果に基づいて照合対象領域Ｃと登録画像Ｉａとを照合する手段として機能させるようにしても良い。

同様に、被写体情報取得手段、分割手段、算出手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

〔付記〕
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
＜請求項１＞
予め少なくとも一の画像を登録する登録手段と、
特定の被写体が撮像された撮像画像を取得する取得手段と、
前記登録手段に登録されている登録画像の画素情報及び前記取得手段により取得された撮像画像の画素情報に基づいて、当該撮像画像内で前記登録画像と対応する対応領域を特定する特定手段と、
前記特定手段により特定された前記対応領域内で照合対象領域を設定する設定手段と、
前記設定手段により設定された前記照合対象領域の特徴情報と、前記登録画像における当該照合対象領域に対応する領域の特徴情報とを対応付け、当該対応付けの結果に基づいて前記照合対象領域と前記登録画像とを照合する照合手段と、
を備えたことを特徴とする画像照合装置。
＜請求項２＞
前記登録手段は、前記登録画像の重心及び共分散行列の固有値を各登録画像と対応付けて登録し、
前記撮像画像の重心及び共分散行列の固有値を取得する被写体情報取得手段を更に備え、
前記特定手段は、前記被写体情報取得手段により取得された前記撮像画像の重心及び共分散行列の固有値と、前記登録手段に登録されている登録画像の重心及び共分散行列の固有値とをそれぞれ比較することで、前記対応領域を特定することを特徴とする請求項１に記載の画像照合装置。
＜請求項３＞
前記特定手段により特定された前記対応領域を複数の領域に分割する分割手段を更に備え、
前記設定手段は、前記分割手段により分割された複数の領域のうち、所定数の領域を前記照合対象領域として設定することを特徴とする請求項１又は２に記載の画像照合装置。
＜請求項４＞
前記分割手段は、更に、前記登録手段に登録される画像を複数の領域に分割し、
前記登録手段は、
前記分割手段により分割された複数の領域毎に、前記特徴情報を対応付けて画像を登録することを特徴とする請求項３に記載の画像照合装置。
＜請求項５＞
前記分割手段は、更に、前記登録手段に登録される画像の分割態様に応じて前記対応領域を前記複数の領域に分割することを特徴とする請求項４に記載の画像照合装置。
＜請求項６＞
前記分割手段は、更に、互いに隣合う領域の端部どうしを重複させるように前記対応領域を前記複数の小領域に分割することを特徴とする請求項３〜５の何れか一項に記載の画像照合装置。
＜請求項７＞
前記取得手段により取得された撮像画像における前記特定の被写体の位置及び当該撮像画像の大きさを表す被写体情報を算出する算出手段を更に備え、
前記特定手段は、
前記算出手段により算出された被写体情報に基づいて、前記撮像画像内で前記対応領域を特定することを特徴とする請求項１〜６の何れか一項に記載の画像照合装置。
＜請求項８＞
前記算出手段は、更に、前記登録手段に登録される登録画像内の所定の被写体の位置及び当該登録画像の大きさを表す被写体情報を算出し、
前記特定手段は、
前記算出手段により算出された前記撮像画像及び前記登録画像の各々の被写体情報に基づいて、前記撮像画像内で前記対応領域を特定することを特徴とする請求項７に記載の画像照合装置。
＜請求項９＞
前記特定手段は、前記特定の被写体である印影が含まれる画像領域を前記対応領域として特定することを特徴とする請求項１〜８の何れか一項に記載の画像照合装置。
＜請求項１１＞
前記特定手段は、前記特定の被写体である人物の顔が含まれる顔領域を前記対応領域として特定することを特徴とする請求項１〜８の何れか一項に記載の画像照合装置。
＜請求項１２＞
画像照合装置を用いた画像照合方法であって、
予め少なくとも一の画像を登録する処理と、
特定の被写体が撮像された撮像画像を取得する処理と、
登録されている登録画像の画素情報及び取得された撮像画像の画素情報に基づいて、当該撮像画像内で前記登録画像と対応する対応領域を特定する処理と、
特定された前記対応領域内で照合対象領域を設定する処理と、
設定された前記照合対象領域の特徴情報と、前記登録画像における当該照合対象領域に対応する領域の特徴情報とを対応付け、当該対応付けの結果に基づいて前記照合対象領域と前記登録画像とを照合する処理と、
を含むことを特徴とする画像照合方法。
＜請求項１３＞
画像照合装置のコンピュータを、
予め少なくとも一の画像を登録する登録手段、
特定の被写体が撮像された撮像画像を取得する取得手段、
前記登録手段に登録されている登録画像の画素情報及び前記取得手段により取得された撮像画像の画素情報に基づいて、当該撮像画像内で前記登録画像と対応する対応領域を特定する特定手段、
前記特定手段により特定された前記対応領域内で照合対象領域を設定する設定手段、
前記設定手段により設定された前記照合対象領域の特徴情報と、前記登録画像における当該照合対象領域に対応する領域の特徴情報とを対応付け、当該対応付けの結果に基づいて前記照合対象領域と前記登録画像とを照合する照合手段、
として機能させることを特徴とするプログラム。

１００、２００ 携帯端末
１ 中央制御部
６ 画像登録部
６ａ データベース
７、２０７ 画像処理部
７ａ 画像取得部
７ｂ 被写体情報算出部
７ｄ 対応領域特定部
７ｅ 画像分割部
７ｆ 照合対象領域設定部
７ｇ 画像照合部
７ｈ 顔検出部

Claims (11)

1. 予め少なくとも一の画像が登録されている登録手段と、
   特定の被写体が撮像された撮像画像を取得する取得手段と、
   前記登録手段に登録されている登録画像の画素情報及び前記取得手段により取得された撮像画像の画素情報に基づいて、当該撮像画像内で前記登録画像と対応する対応領域を特定する特定手段と、
   前記特定手段により特定された前記対応領域内で照合対象領域を設定する設定手段と、
   前記設定手段により設定された前記照合対象領域の特徴情報と、前記登録画像における当該照合対象領域に対応する領域の特徴情報とを対応付け、当該対応付けの結果に基づいて前記照合対象領域と前記登録画像とを照合する照合手段と、
   前記撮像画像の重心及び共分散行列の固有値を取得する被写体情報取得手段と、を備え、
   前記登録手段は、前記登録画像の重心及び共分散行列の固有値を各登録画像と対応付けて登録し、
   前記特定手段は、前記被写体情報取得手段により取得された前記撮像画像の重心及び共分散行列の固有値と、前記登録手段に登録されている登録画像の重心及び共分散行列の固有値とをそれぞれ比較することで、前記対応領域を特定することを特徴とする画像照合装置。
2. 前記特定手段により特定された前記対応領域を複数の領域に分割する分割手段を更に備え、
   前記設定手段は、前記分割手段により分割された複数の領域のうち、所定数の領域を前記照合対象領域として設定することを特徴とする請求項１に記載の画像照合装置。
3. 前記分割手段は、更に、前記登録手段に登録される画像を複数の領域に分割し、
   前記登録手段は、
   前記分割手段により分割された複数の領域毎に、前記特徴情報を対応付けて画像を登録することを特徴とする請求項２に記載の画像照合装置。
4. 前記分割手段は、更に、前記登録手段に登録される画像の分割態様に応じて前記対応領域を前記複数の領域に分割することを特徴とする請求項３に記載の画像照合装置。
5. 前記分割手段は、更に、互いに隣合う領域の端部どうしを重複させるように前記対応領域を前記複数の小領域に分割することを特徴とする請求項２〜４の何れか一項に記載の画像照合装置。
6. 前記取得手段により取得された撮像画像における前記特定の被写体の位置及び当該撮像画像の大きさを表す被写体情報を算出する算出手段を更に備え、
   前記特定手段は、
   前記算出手段により算出された被写体情報に基づいて、前記撮像画像内で前記対応領域を特定することを特徴とする請求項１〜５の何れか一項に記載の画像照合装置。
7. 前記算出手段は、更に、前記登録手段に登録される登録画像内の所定の被写体の位置及び当該登録画像の大きさを表す被写体情報を算出し、
   前記特定手段は、
   前記算出手段により算出された前記撮像画像及び前記登録画像の各々の被写体情報に基づいて、前記撮像画像内で前記対応領域を特定することを特徴とする請求項６に記載の画像照合装置。
8. 前記特定手段は、前記特定の被写体である印影が含まれる画像領域を前記対応領域として特定することを特徴とする請求項１〜７の何れか一項に記載の画像照合装置。
9. 前記特定手段は、前記特定の被写体である人物の顔が含まれる顔領域を前記対応領域として特定することを特徴とする請求項１〜７の何れか一項に記載の画像照合装置。
10. 画像照合装置を用いた画像照合方法であって、
    予め少なくとも一の画像が登録されている登録処理と、
    特定の被写体が撮像された撮像画像を取得する処理と、
    登録されている登録画像の画素情報及び取得された撮像画像の画素情報に基づいて、当該撮像画像内で前記登録画像と対応する対応領域を特定する処理と、
    特定された前記対応領域内で照合対象領域を設定する処理と、
    設定された前記照合対象領域の特徴情報と、前記登録画像における当該照合対象領域に対応する領域の特徴情報とを対応付け、当該対応付けの結果に基づいて前記照合対象領域と前記登録画像とを照合する処理と、
    前記撮像画像の重心及び共分散行列の固有値を取得する処理と、を含み、
    前記登録理は、前記登録画像の重心及び共分散行列の固有値を各登録画像と対応付けて登録し、
    前記特定する処理は、取得された前記撮像画像の重心及び共分散行列の固有値と、登録されている登録画像の重心及び共分散行列の固有値とをそれぞれ比較することで、前記対応領域を特定することを特徴とする画像照合方法。
11. 画像照合装置のコンピュータを、
    予め少なくとも一の画像が登録されている登録手段、
    特定の被写体が撮像された撮像画像を取得する取得手段、
    前記登録手段に登録されている登録画像の画素情報及び前記取得手段により取得された撮像画像の画素情報に基づいて、当該撮像画像内で前記登録画像と対応する対応領域を特定する特定手段、
    前記特定手段により特定された前記対応領域内で照合対象領域を設定する設定手段、
    前記設定手段により設定された前記照合対象領域の特徴情報と、前記登録画像における当該照合対象領域に対応する領域の特徴情報とを対応付け、当該対応付けの結果に基づいて前記照合対象領域と前記登録画像とを照合する照合手段、
    前記撮像画像の重心及び共分散行列の固有値を取得する被写体情報取得手段、として機能させ、
    前記登録手段は、前記登録画像の重心及び共分散行列の固有値を各登録画像と対応付けて登録し、
    前記特定手段は、前記被写体情報取得手段により取得された前記撮像画像の重心及び共分散行列の固有値と、前記登録手段に登録されている登録画像の重心及び共分散行列の固有値とをそれぞれ比較することで、前記対応領域を特定することを特徴とするプログラム。

Images