JP2008065378A - 画像認識プログラム、画像認識方法及び画像認識装置 - Google Patents

Abstract

【課題】メモリのデータ量を削減し、かつ認識が困難な環境下で撮像された画像であっても高精度で認識する。
【解決手段】登録画像記憶部２０１は、認識対象物を撮像して認識可能と判断された撮像画像を登録画像として予め記憶し、撮像画像取得部１０２は、認識対象物を撮像した撮像画像を取得し、画像認識部１０３は、撮像画像を認識し、特徴点抽出部１１２は、撮像画像の認識が失敗したと判断された場合、撮像画像内の認識対象物を表す領域に含まれる第１の特徴点を抽出するとともに、登録画像内の認識対象物を表す領域において第１の特徴点と同じ位置にある第２の特徴点を抽出し、写像関数算出部１１３は、第１の特徴点の画素値と第２の特徴点の画素値との関係を表す写像関数を算出し、補正部１１４は、写像関数を用いて撮像画像の各画素値を逆写像変換し、撮像画像を補正する。
【選択図】図２

Description

本発明は、画像を認識するための画像認識プログラム、画像認識方法及び画像認識装置に関するものである。

従来のパターン認識方法では、認識対象物を撮影して得られた撮影画像を基準画像として予め記憶しておき、認識対象物を撮影して得られた撮影画像と基準画像とを比較し、撮影画像に一致又は類似する基準画像を検索し、認識対象物が特定される。

かかるパターン認識方法では、認識対象物に対する照明の当たり具合などにより、認識対象物の表面の色が変化するため、基準画像を取得した環境と同じ環境下で撮影画像を取得しなければ、認識対象物を正確に認識することができないという問題があった。

そこで、このような問題を解決すべく、照明条件の異なる複数の登録パターンを予め格納しておき、この複数の登録パターンを用いて中間の照明条件に対応する補間パターンを作成し、これら登録パターンと補間パターンとを用いて、撮像された認識対象物の内容を特定するパターン認識処理装置が提案されている（例えば、特許文献１参照）。
特開２００２−２２２４２１号公報

しかしながら、特許文献１の技術では、照明条件の異なる複数の登録パターンから補間パターンを作成し、登録パターンと補間パターンとを用いて画像を認識しているので、認識対象となる１つの画像に対して複数の登録パターンが必要となり、認識対象が増えるにつれて記憶するデータ量が膨大なものとなってしまう。

本発明は、上記の問題を解決するためになされたもので、メモリのデータ量を削減することができ、かつ認識が困難な環境下で撮像された画像であっても高精度で認識することができる画像認識プログラム、画像認識方法及び画像認識装置を提供することを目的とするものである。

本発明に係る画像認識プログラムは、認識対象物を撮像して認識可能と判断された撮像画像を登録画像として予め記憶する登録画像記憶手段と、前記認識対象物を撮像した撮像画像を取得する撮像画像取得手段と、前記撮像画像取得手段によって取得された撮像画像を認識する認識手段と、前記認識手段による前記撮像画像の認識が成功したか否かを判断する判断手段と、前記判断手段によって前記撮像画像の認識が失敗したと判断された場合、前記撮像画像取得手段によって取得された前記撮像画像内の前記認識対象物を表す領域に含まれる第１の特徴点を抽出するとともに、前記登録画像記憶手段に記憶されている前記登録画像内の前記認識対象物を表す領域において前記第１の特徴点と同じ位置にある第２の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段によって抽出された前記第１の特徴点の画素値と、前記第２の特徴点の画素値との関係を表す写像関数を算出する写像関数算出手段と、前記写像関数算出手段によって算出された前記写像関数を用いて、前記撮像画像取得手段によって取得された前記撮像画像の各画素値を逆写像変換し、前記撮像画像を補正する補正手段としてコンピュータを機能させる。

本発明に係る画像認識方法は、撮像画像取得手段が、認識対象物を撮像した撮像画像を取得する撮像画像取得ステップと、認識手段が、前記撮像画像取得ステップにおいて取得された撮像画像を認識する認識ステップと、判断手段が、前記認識ステップにおける前記撮像画像の認識が成功したか否かを判断する判断ステップと、特徴点抽出手段が、前記判断ステップにおいて前記撮像画像の認識が失敗したと判断された場合、前記撮像画像取得ステップにおいて取得された前記撮像画像内の前記認識対象物を表す領域に含まれる第１の特徴点を抽出するとともに、前記認識対象物を撮像して認識可能と判断された撮像画像を登録画像として予め記憶する登録画像記憶手段に記憶されている前記登録画像内の前記認識対象物を表す領域において前記第１の特徴点と同じ位置にある第２の特徴点を抽出する特徴点抽出ステップと、写像関数算出手段が、前記特徴点抽出ステップにおいて抽出された前記第１の特徴点の画素値と、前記第２の特徴点の画素値との関係を表す写像関数を算出する写像関数算出ステップと、補正手段が、前記写像関数算出ステップにおいて算出された前記写像関数を用いて、前記撮像画像取得ステップにおいて取得された前記撮像画像の各画素値を逆写像変換し、前記撮像画像を補正する補正ステップとを含む。

本発明に係る画像認識装置は、認識対象物を撮像して認識可能と判断された撮像画像を登録画像として予め記憶する登録画像記憶手段と、前記認識対象物を撮像した撮像画像を取得する撮像画像取得手段と、前記撮像画像取得手段によって取得された撮像画像を認識する認識手段と、前記認識手段による前記撮像画像の認識が成功したか否かを判断する判断手段と、前記判断手段によって前記撮像画像の認識が失敗したと判断された場合、前記撮像画像取得手段によって取得された前記撮像画像内の前記認識対象物を表す領域に含まれる第１の特徴点を抽出するとともに、前記登録画像記憶手段に記憶されている前記登録画像内の前記認識対象物を表す領域において前記第１の特徴点と同じ位置にある第２の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段によって抽出された前記第１の特徴点の画素値と、前記第２の特徴点の画素値との関係を表す写像関数を算出する写像関数算出手段と、前記写像関数算出手段によって算出された前記写像関数を用いて、前記撮像画像取得手段によって取得された前記撮像画像の各画素値を逆写像変換し、前記撮像画像を補正する補正手段とを備える。

これらの構成によれば、認識対象物を撮像して認識可能と判断された撮像画像が登録画像として予め記憶される。そして、認識対象物を撮像した撮像画像が取得され、取得された撮像画像が認識され、撮像画像の認識が成功したか否かが判断される。撮像画像の認識が失敗したと判断された場合、撮像画像内の認識対象物を表す領域に含まれる第１の特徴点が抽出されるとともに、登録画像内の認識対象物を表す領域において第１の特徴点と同じ位置にある第２の特徴点が抽出される。その後、第１の特徴点の画素値と、第２の特徴点の画素値との関係を表す写像関数が算出され、算出された写像関数を用いて、撮像画像の各画素値が逆写像変換され、撮像画像が補正される。

したがって、予め認識可能であると判断された画像を用いて補正されるので、認識が困難な環境下で撮像された画像であっても高精度で認識することができる。また、認識対象となる１つの画像に対して予め複数の画像を登録しておく必要がないので、メモリのデータ量を削減することができる。

また、上記の画像認識プログラムにおいて、前記認識対象物は、人間の顔であることが好ましい。この構成によれば、人間の顔を認識することができ、例えば仮想的に顔に化粧を施す化粧シミュレーションなどに認識した顔画像を用いることができる。

また、上記の画像認識プログラムにおいて、前記認識手段は、前記補正手段によって補正された前記撮像画像を再度認識し、前記判断手段は、前記認識手段による前記撮像画像の認識が成功したか否かを判断し、前記特徴点抽出手段は、前記判断手段によって前記撮像画像の認識が失敗したと判断された場合、前記撮像画像取得手段によって取得された前記撮像画像内の前記認識対象物を表す領域に含まれる第１の特徴点を抽出するとともに、前記登録画像記憶手段に記憶されている別の前記登録画像内の前記認識対象物を表す領域において前記第１の特徴点と同じ位置にある第２の特徴点を抽出することが好ましい。

この構成によれば、補正された撮像画像が再度認識され、補正された撮像画像の認識が成功したか否かが判断される。補正された撮像画像の認識が失敗したと判断された場合、撮像画像内の認識対象物を表す領域に含まれる第１の特徴点が抽出されるとともに、別の登録画像内の認識対象物を表す領域において第１の特徴点と同じ位置にある第２の特徴点が抽出される。したがって、補正後の撮像画像を再度認識した結果、再度認識が失敗した場合であっても、別の登録画像を用いて補正することができる。

また、上記の画像認識プログラムにおいて、前記認識手段は、前記撮像画像取得手段によって取得された前記撮像画像内の前記認識対象物を表す領域に含まれる特徴点を抽出し、前記判断手段は、前記認識手段によって前記特徴点が正常に抽出された場合に認識が成功したと判断し、前記特徴点が正常に抽出されなかった場合に認識が失敗したと判断することが好ましい。

この構成によれば、撮像画像内の認識対象物を表す領域に含まれる特徴点が抽出され、特徴点が正常に抽出された場合に認識が成功したと判断され、特徴点が正常に抽出されなかった場合に認識が失敗したと判断される。したがって、特徴点が正常に抽出されたか否かを判断することにより、画像の認識の成否を判断することができる。

また、上記の画像認識プログラムにおいて、前記特徴点抽出手段は、前記判断手段によって前記撮像画像の認識が失敗したと判断された場合、前記撮像画像取得手段によって取得された前記撮像画像内の肌色領域を抽出し、抽出した前記肌色領域に基づいて特定される第１の特徴点を抽出するとともに、前記登録画像記憶手段に記憶されている前記登録画像内の肌色領域を抽出し、抽出した前記肌色領域において前記第１の特徴点と同じ位置にある第２の特徴点を抽出することが好ましい。

この構成によれば、撮像画像の認識が失敗したと判断された場合、撮像画像内の肌色領域が抽出され、抽出された肌色領域に基づいて特定される第１の特徴点が抽出されるとともに、登録画像において第１の特徴点と同じ位置にある第２の特徴点が抽出される。

したがって、撮像画像内の肌色領域、すなわち人間の顔を表す領域が抽出され、抽出された肌色領域に基づいて第１の特徴点が特定されるので、撮像画像から直接第１の特徴点を抽出することが困難な場合であっても、確実に第１の特徴点を抽出することができる。

また、上記の画像認識プログラムにおいて、前記認識対象物の撮像時において、前記認識対象物を撮像した撮像画像を表示するように表示装置を制御する表示制御手段としてコンピュータをさらに機能させ、前記表示制御手段は、前記撮像画像上における前記認識対象物の位置を決めるためのマーカを画面上に表示するように前記表示装置を制御し、前記特徴点抽出手段は、前記判断手段によって前記撮像画像の認識が失敗したと判断された場合、前記撮像画像取得手段によって取得された前記撮像画像内の所定の領域を肌色領域として抽出し、抽出した前記肌色領域に基づいて特定される第１の特徴点を抽出するとともに、前記登録画像記憶手段に記憶されている前記登録画像において前記第１の特徴点と同じ位置にある第２の特徴点を抽出することが好ましい。

この構成によれば、認識対象物の撮像時において、認識対象物を撮像した撮像画像を表示するように表示装置が制御され、撮像画像上における認識対象物の位置を決めるためのマーカが画面上に表示されるように表示装置が制御される。そして、撮像画像の認識が失敗したと判断された場合、撮像画像内の所定の領域が肌色領域として抽出され、抽出された肌色領域に基づいて特定される第１の特徴点が抽出されるとともに、登録画像において第１の特徴点と同じ位置にある第２の特徴点が抽出される。

したがって、撮像画像内の肌色領域を抽出することが困難な場合であっても、撮像画像上における認識対象物の位置を決めるためのマーカを画面上に表示し、撮像画像内の予め決められた領域を肌色領域として抽出することにより、確実に肌色領域を抽出することができる。

本発明によれば、予め認識可能であると判断された画像を用いて補正されるので、認識が困難な環境下で撮像された画像であっても高精度で認識することができる。また、認識対象となる１つの画像に対して予め複数の画像を登録しておく必要がないので、メモリのデータ量を削減することができる。

以下、本発明に係る実施形態を図面に基づいて説明する。図１は、本発明の一実施形態による画像認識装置のハードウエア構成を示す図である。

図１に示す画像認識装置は、通常のコンピュータから構成され、入力装置１、ＲＯＭ（リードオンリメモリ）２、ＣＰＵ（中央演算処理装置）３、ＲＡＭ（ランダムアクセスメモリ）４、外部記憶装置５、表示装置６、記録媒体駆動装置７及びＩ／Ｆ（入出力インターフェイス）９を備えて構成される。各ブロックは内部のバスに接続され、このバスを介して種々のデータ等が入出力され、ＣＰＵ３の制御の下、種々の処理が実行される。

入力装置１は、キーボード及びマウス等から構成され、操作者が種々のデータ及び操作指令等を入力するために使用される。ＲＯＭ２には、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等のシステムプログラム等が記憶されている。外部記憶装置５は、ハードディスクドライブ等から構成され、所定のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）及び後述する画像認識プログラム等が記憶されている。ＲＡＭ４は、ＣＰＵ３の作業領域等として用いられる。

記録媒体駆動装置７は、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ又はフレキシブルディスクドライブ等から構成される。なお、画像認識プログラムを、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ又はフレキシブルディスク等のコンピュータ読み取り可能な記録媒体８に記録し、記録媒体駆動装置７により記録媒体８から画像認識プログラムを読み出して外部記憶装置５にインストールして実行するようにしてもよい。また、画像認識装置が通信装置等を備え、画像認識プログラムが通信ネットワークを介して接続された他のコンピュータに記憶されている場合、当該コンピュータからネットワークを介して画像認識プログラムをダウンロードして実行するようにしてもよい。

カメラ１０は、Ｉ／Ｆ９を介してバスラインに接続され、ＣＣＤエリアセンサにより、人間の顔を含む画像（顔画像）を所定のフレームレート（例えば１／３０ｓｅｃ）で取得する。表示装置６は、液晶表示装置又はＣＲＴ（陰極線管）等から構成され、ＣＰＵ３の制御の基、カメラ１０が撮影した人間の顔画像を表示する。

図２は、画像認識装置の機能を説明するためのブロック図である。図２に示すように、画像認識装置は、プログラム実行部１００及び記憶部２００を備えて構成される。プログラム実行部１００は、ＣＰＵ３が画像認識プログラムを実行することにより実現され、ユーザＩＤ取得部１０１、撮像画像取得部１０２、画像認識部１０３、判断部１０４、画像補正処理部１０５及び表示制御部１０６を備えて構成される。記憶部２００は、ＲＡＭ４等から構成され、ＣＰＵ３が画像認識プログラムを実行することにより実現され、登録画像記憶部２０１及び撮像画像記憶部２０２を備えて構成される。

入力装置１は、ユーザを識別するためのユーザＩＤの入力を受け付ける。ユーザＩＤ取得部１０１は、入力装置１によって入力されたユーザＩＤを取得する。撮像画像取得部１０２は、認識対象物である人間（ユーザ）の顔を撮像した２次元の撮像画像をカメラ１０から取得する。なお、撮像画像取得部１０２は、入力装置１を用いてユーザにより指定された１フレーム分の静止画像をカメラ１０から取得する。

画像認識部１０３は、撮像画像取得部１０２によって取得された撮像画像を認識する。判断部１０４は、画像認識部１０３による撮像画像の認識が成功したか否かを判断する。登録画像記憶部２０１は、人間の顔を撮像して認識可能と判断された撮像画像を登録画像として予め記憶する。また、登録画像記憶部２０１は、ユーザＩＤに対応付けて登録画像を記憶する。

画像補正処理部１０５は、判断部１０４によって撮像画像の認識が失敗したと判断された場合、撮像画像取得部１０２によって取得された撮像画像を補正する。画像補正処理部１０５は、登録画像取得部１１１、特徴点抽出部１１２、写像関数算出部１１３及び補正部１１４を備えて構成される。

登録画像取得部１１１は、ユーザＩＤ取得部１０１によって取得されたユーザＩＤに対応付けられている登録画像を登録画像記憶部２０１から取得する。特徴点抽出部１１２は、判断部１０４によって撮像画像の認識が失敗したと判断された場合、撮像画像取得部１０２によって取得された撮像画像内の顔領域に含まれる第１の特徴点を抽出するとともに、登録画像記憶部２０１に記憶されている登録画像内の顔領域において第１の特徴点と同じ位置にある第２の特徴点を抽出する。

写像関数算出部１１３は、特徴点抽出部１１２によって抽出された第１の特徴点の画素値と、第２の特徴点の画素値との関係を表す写像関数を算出する。補正部１１４は、写像関数算出部１１３によって算出された写像関数を用いて、撮像画像取得部１０２によって取得された撮像画像の各画素値を逆写像変換し、撮像画像を補正する。ここで、撮像画像は、所定行×所定列でマトリックス状に配列された画素から構成され、各画素の画素値は、Ｒ，Ｇ，Ｂの３つの色成分を有し、Ｒ，Ｇ，Ｂの色成分は、各々、例えば０〜２５５の数値で表される。

なお、本実施の形態において、各画素の画素値は、ＲＧＢ表色系で表される色成分を有しているが、本発明は特にこれに限定されず、ＨＳＶ（Ｈ：色相、Ｓ：彩度、Ｖ：明度）表色系を用いてもよく、ＨＳＶ表色系以外の表色系、例えばマンセル表色系、Ｌ＊ａ＊ｂ＊表色系、ＸＹＺ表色系又はＣＩＥ表色系等を用いてもよい。

撮像画像記憶部２０２は、補正部１１４によって補正された撮像画像を記憶する。なお、撮像画像記憶部２０２に記憶される撮像画像は、人間の顔に対して仮想的に化粧を施す化粧シミュレーションなどに用いられる。

表示制御部１０６は、人間の顔の撮像時において、顔を撮像した撮像画像を表示装置６に表示するように制御する。表示制御部１０６は、撮像画像上における顔の位置を決めるためのマーカを表示装置６の画面上に表示するように制御する。

なお、本実施の形態において、登録画像記憶部２０１が登録画像記憶手段の一例に相当し、撮像画像取得部１０２が撮像画像取得手段の一例に相当し、画像認識部１０３が認識手段の一例に相当し、判断部１０４が判断手段の一例に相当し、特徴点抽出部１１２が特徴点抽出手段の一例に相当し、写像関数算出部１１３が写像関数算出手段の一例に相当し、補正部１１４が補正手段の一例に相当し、表示制御部１０６が表示制御手段の一例に相当する。

ここで、登録画像記憶部２０１に画像を登録する登録処理について説明する。撮像画像を認識する画像認識処理の前段階として以下の登録処理が行われる。図３は、図２に示す画像認識装置による登録処理の一例を示すフローチャートである。

まず、ステップＳ１において、ユーザＩＤ取得部１０１は、入力装置１によって入力されたユーザＩＤを取得する。このとき、表示制御部１０６は、ユーザによるユーザＩＤの入力を受け付けるためのユーザＩＤ入力画面を表示するように表示装置６を制御する。ユーザは、入力装置１を用いてユーザＩＤを入力する。

次に、ステップＳ２において、撮像画像取得部１０２は、ユーザの顔を撮像した撮像画像をカメラ１０から取得する。次に、ステップＳ３において、画像認識部１０３は、撮像画像取得部１０２によって取得された撮像画像を認識する。具体的に、画像認識部１０３は、撮像画像取得部１０２によって取得された撮像画像内の顔を表す顔領域に含まれる特徴点を抽出する。この特徴点とは、顔領域における眉、目、鼻、唇、頬及び顎などの特徴的な部位を表す点である。なお、特徴点の抽出については、従来から種々の技術が提案されており、本実施の形態ではこれらの従来技術を用いることが可能である。

ここで、特徴点の抽出について説明する。図４は、撮像画像内の顔領域から抽出される特徴点の一例を示す図である。図４に示すように、複数の特徴点が、撮像画像２０の顔領域２１から抽出される。画像認識部１０３は、右目の瞳部分の特徴点Ｐ１、右目の目頭部分の特徴点Ｐ２、右目の目尻部分の特徴点Ｐ３、右目の上端部分の特徴点Ｐ４及び右目の下端部分の特徴点Ｐ５を抽出する。画像認識部１０３は、同様にして左目の特徴点Ｐ６〜Ｐ１０を抽出する。また、画像認識部１０３は、右眉の右端部分の特徴点Ｐ１１、右眉の左端部分の特徴点Ｐ１２、左眉の右端部分の特徴点Ｐ１３、左眉の左端部分の特徴点Ｐ１４を抽出する。さらに、画像認識部１０３は、唇の右口角部分の特徴点Ｐ１５及び左口角部分の特徴点Ｐ１６を抽出する。さらにまた、画像認識部１０３は、鼻頭部分の特徴点Ｐ１７、右頬の中心部分の特徴点Ｐ１８及び左頬の中心部分の特徴点Ｐ１９を抽出する。

例えば、目の位置に相当する特徴点Ｐ１〜Ｐ１０を抽出する場合、撮像画像に対してエッジ検出が行われ、ハフ変換が行われることにより、左右の目の領域が検出される。そして、画像認識部１０３は、右目領域の瞳部分の中心画素を特徴点Ｐ１として抽出し、右目領域の右端の画素を特徴点Ｐ２として抽出し、右目領域の左端の画素を特徴点Ｐ３として抽出し、右目領域の上端の画素を特徴点Ｐ４として抽出し、右目領域の下端の画素を特徴点Ｐ５として抽出する。同様に、画像認識部１０３は、左目領域の瞳部分の中心画素を特徴点Ｐ６として抽出し、左目領域の左端の画素を特徴点Ｐ７として抽出し、左目領域の右端の画素を特徴点Ｐ８として抽出し、左目領域の上端の画素を特徴点Ｐ９として抽出し、左目領域の下端の画素を特徴点Ｐ１０として抽出する。

また、例えば、眉の位置に相当する特徴点Ｐ１１〜Ｐ１４を抽出する場合、撮像画像の各画素が走査され、各画素の色成分値が黒色を示す領域が抽出され、抽出した黒色の領域の横幅が縦幅よりも２倍以上となる領域が抽出され、左右の眉の領域の位置が検出される。そして、画像認識部１０３は、右眉領域の右端の画素を特徴点Ｐ１１として抽出し、右眉領域の左端の画素を特徴点Ｐ１２として抽出し、左眉領域の左端の画素を特徴点Ｐ１３として抽出し、左眉領域の右端の画素を特徴点Ｐ１４として抽出する。

また、例えば、唇の位置に相当する特徴点Ｐ１５，Ｐ１６を抽出する場合、撮像画像の各画素が走査され、各画素の色成分値が赤色を示す領域が抽出され、唇領域の位置が検出される。画像認識部１０３は、唇領域の左端の画素を特徴点Ｐ１５として抽出し、唇領域の右端の画素を特徴点Ｐ１６として抽出する。

さらに、例えば、鼻頭の位置に相当する特徴点Ｐ１７を抽出する場合、撮像画像の各画素が走査され、各画素の色成分値が黒色を示す２つの鼻孔領域が抽出される。そして、画像認識部１０３は、各鼻孔領域の中心点を結ぶ直線を底辺とする所定の２等辺三角形の頂点の画素を特徴点Ｐ１７として抽出する。

さらにまた、例えば、左右の頬の位置に相当する特徴点Ｐ１８，Ｐ１９を抽出する場合、画像認識部１０３は、鼻頭の特徴点Ｐ１７から所定の距離だけ左方向に離れた位置の画素を特徴点Ｐ１８として抽出し、鼻頭の特徴点Ｐ１７から所定の距離だけ右方向に離れた位置の画素を特徴点Ｐ１９として抽出する。

なお、特徴点Ｐ１〜Ｐ１９は一例であって、特徴点Ｐ１〜Ｐ１９のうちのいずれかの特徴点を省略してもよいし、新たに特徴点を追加してもよく、図４に示す点に限定されない。また、上記の特徴点Ｐ１〜Ｐ１９の抽出方法は一例であって、他の方法で特徴点Ｐ１〜Ｐ１９を抽出してもよい。本実施の形態における特徴点は、画像上における１つの画素であるが、本発明は特にこれに限定されず、複数の画素の集合であってもよい。

図３に戻って、次にステップＳ４において、判断部１０４は、画像認識部１０３による撮像画像の認識が成功したか否かを判断する。具体的に、判断部１０４は、画像認識部１０３によって特徴点が正常に抽出された場合に認識が成功したと判断し、特徴点が正常に抽出されなかった場合に認識が失敗したと判断する。

図５は、特徴点を抽出することができない撮像画像の一例を示す図である。図５に示す撮像画像２２は、照明の当たり具合により、顔全体の明度が低く、顔全体が暗くなっている。上記のように、特徴点の抽出には、エッジ検出や色成分値の検出が行われる。そのため、認識対象物に対する照明の当たり具合や、照明の色など、認識対象物が撮像される環境によっては、特徴点が抽出できない場合がある。すなわち、顔全体が暗かったり、顔全体が明るかったり、顔の色が異なったりした場合、特徴点が抽出できない場合がある。

図５の例では、顔全体が暗くなっているため、左目領域や右目領域を検出することができず、左目領域や右目領域の特徴点Ｐ１〜Ｐ１０を抽出することができない。本実施の形態では、判断部１０４は、予め定められた複数の特徴点が全て抽出された場合や、抽出された各特徴点の位置関係が適切である場合、画像認識部１０３によって特徴点が正常に抽出されたと判断し、複数の特徴点のうち１つでも抽出できない点が存在する場合や、抽出された各特徴点の位置関係が不適切である場合、画像認識部１０３によって特徴点が正常に抽出されなかったと判断する。人間の目、鼻及び唇の位置関係は予め決まっている。そのため、各特徴点の距離が所定の範囲内である場合、各特徴点の位置関係が適切であると判断することができ、各特徴点の距離が所定の範囲外である場合、各特徴点の位置関係が不適切であると判断することができる。

撮像画像の認識が成功しなかったと判断された場合、すなわち、撮像画像の認識が失敗したと判断された場合（ステップＳ４でＮＯ）、ステップＳ２の処理へ戻り、撮像画像取得部１０２は、ユーザの顔を撮像した撮像画像をカメラ１０から再度取得する。そして、撮像画像の認識が成功するまで、ステップＳ２〜Ｓ４までの処理が繰り返し実行される。

一方、撮像画像の認識が成功したと判断された場合（ステップＳ４でＹＥＳ）、ステップＳ５において、判断部１０４は、ユーザの顔を撮像して認識可能と判断された撮像画像を登録画像として登録画像記憶部２０１に記憶する。このとき、判断部１０４は、ユーザＩＤ取得部１０１によって取得されたユーザＩＤを登録画像に対応付けて登録画像記憶部２０１に記憶する。

なお、本実施の形態では、所定の特徴点が全て抽出された場合及び／又は抽出された所定の特徴点同士の距離が所定の範囲内である場合に、認識可能と判断しているが、本発明は特にこれに限定されず、例えば、複数の顔パターンを予め記憶しておき、撮像画像がこの複数の顔パターンのうちの１つに略一致する場合に認識可能と判断してもよく、所定の認識条件を満たす場合に認識可能と判断してもよい。

このようにして、認識対象物を撮像して認識可能と判断された撮像画像を登録画像として登録画像記憶部２０１に予め記憶することができる。そして、画像認識処理時において、撮像画像の認識が失敗した場合、この登録画像を用いて撮像画像の補正が行われる。

続いて、カメラ１０によって撮像された撮像画像を認識する画像認識処理について説明する。図６は、図２に示す画像認識装置による画像認識処理の一例を示すフローチャートである。なお、図６において、ステップＳ１１〜Ｓ１４の処理は、図３におけるステップＳ１〜Ｓ４の処理と同じであるので説明を省略する。撮像画像の認識が成功したと判断された場合（ステップＳ１４でＹＥＳ）、撮像画像の認識が正常に行われたため、画像認識処理を終了する。

一方、撮像画像の認識が成功しなかったと判断された場合、すなわち、撮像画像の認識が失敗したと判断された場合（ステップＳ１４でＮＯ）、ステップＳ１５において、画像補正処理部１０５は、撮像画像取得部１０２によって取得された撮像画像を補正する画像補正処理を実行する。そして、画像補正処理部１０５による画像補正処理が実行された後、画像認識処理を終了する。

ここで、図６のステップＳ１５における画像補正処理について説明する。図７は、図６のステップＳ１５における画像補正処理の一例を示すフローチャートである。

まず、ステップＳ２１において、登録画像取得部１１１は、ユーザＩＤ取得部１０１によって取得されたユーザＩＤに対応付けられている登録画像を登録画像記憶部２０１から取得する。

次に、ステップＳ２２において、特徴点抽出部１１２は、撮像画像取得部１０２によって取得された撮像画像内の肌色領域を抽出する。一般的に、日本人の顔は肌色であるので、肌色領域を抽出することによって、登録画像内における顔の位置を特定することが可能となる。特徴点抽出部１１２は、撮像画像の各画素を走査し、各画素の色成分を検出する。そして、特徴点抽出部１１２は、検出した色成分が肌色を示す画素の集合を肌色領域として抽出する。

なお、本実施の形態では、撮像画像から必ずしも肌色領域を抽出することができるとは限らない。例えば、照明の当たり具合によっては顔に影ができたり、照明の色によっては顔の肌の色が予め定めた肌色の色成分の範囲内に収まらない場合がある。このような場合、肌色領域を正確に抽出することは困難である。そこで、撮像画像から抽出する顔領域の範囲を予め決めておき、表示制御部１０６は、撮像画像上における顔の位置を決めるためのマーカを表示装置６の画面上に表示するように制御する。

図８は、表示装置の画面上に表示されるマーカの一例を示す図である。表示制御部１０６は、表示装置６の画面２３上にユーザの顎及び頬の位置を決めるためのマーカ２４を表示する。ユーザは、顔をこのマーカ２４に合わせる。そして、特徴点抽出部１１２は、予め決められている領域を撮像画像から抽出することにより、撮像画像における顔領域の大まかな位置を特定することが可能となる。なお、マーカ２４の位置は、上記に限定されず、顔領域の位置を特定することが可能な他の位置に表示してもよい。

図７に戻って、次に、ステップＳ２３において、特徴点抽出部１１２は、撮像画像から抽出した肌色領域に基づいて特定される第１の特徴点を抽出するとともに、登録画像において第１の特徴点と同じ位置にある第２の特徴点を抽出する。ここで、第１の特徴点及び第２の特徴点は、少なくとも３つの特徴点を含む。本実施の形態では、鼻の頭部分に相当する特徴点と左右の頬の中央部分に相当する特徴点とが抽出される。これらの特徴点は、髪により特徴点が隠れていまい特徴点を抽出することができなくなるという不具合が生じにくい。また、これらの特徴点は、化粧などの影響による色変化が小さいため、容易に抽出することが可能である。特徴点抽出部１１２は、各四辺が撮像画像の各四辺に平行であり、撮像画像の肌色領域に外接する四角形の中心点を鼻の頭部分に相当する第１の特徴点として抽出する。また、特徴点抽出部１１２は、鼻頭の特徴点から所定の距離だけ左方向に離れた位置の画素を右の頬の中央部分に相当する第１の特徴点として抽出し、鼻頭の特徴点から所定の距離だけ右方向に離れた位置の画素を左の頬の中央部分に相当する第１の特徴点として抽出する。そして、特徴点抽出部１１２は、撮像画像における第１の特徴点の座標に対応する登録画像における座標を第２の特徴点として抽出する。

次に、ステップＳ２４において、写像関数算出部１１３は、特徴点抽出部１１２によって抽出された第１の特徴点の画素値と、第２の特徴点の画素値との関係を表す写像関数を算出する。ここで、登録画像における第２の特徴点の画素値をＰ（ｉ）とし、撮像画像における第１の特徴点の画素値をＱ（ｉ）とし、写像関数をＳとすると、下記の（１）式の関係が成り立つ。

ただし、上記の（１）式において、ｉは特徴点の数を表し、ｉ≧３であり、Ｐ（ｉ），Ｑ（ｉ）∈Ｎ^３である。Ｎ^３は、自然数からなる３次元空間（色空間）を表している。そして、上記の（１）式を写像関数Ｓについて求めると、下記の（２）式が得られる。

上記の（２）式に示すように、写像関数算出部１１３は、特徴点抽出部１１２によって抽出された第１の特徴点の画素値Ｐ（ｉ）の疑似逆行列と、第２の特徴点の画素値Ｑ（ｉ）とを乗算することにより写像関数Ｓを算出する。なお、本実施の形態において、特徴点が複数の画素の集合である場合、複数の画素の画素値の平均値を特徴点の画素値とする。

次に、ステップＳ２５において、補正部１１４は、写像関数算出部１１３によって算出された写像関数を用いて、撮像画像取得部１０２によって取得された撮像画像の各画素値を逆写像変換し、撮像画像を補正する。ここで、撮像画像の画素値をＱ（ｉ）とし、補正後の撮像画像の画素値をＲ（ｉ）とすると、下記の（３）式が成り立つ。

Ｒ（ｉ）＝Ｓ^−１Ｑ（ｉ）・・・・（３）
ただし、上記の（３）式において、ｉは撮像画像の画素数を表し、Ｑ（ｉ），Ｒ（ｉ）∈Ｎ^３である。Ｎ^３は、自然数からなる３次元空間（色空間）を表している。上記の（３）式に示すように、補正部１１４は、写像関数Ｓの逆写像関数Ｓ^−１と、撮像画像の画素値Ｑ（ｉ）とを乗算することにより、補正後の撮像画像の画素値Ｒ（ｉ）を算出する。補正部１１４は、算出した画素値Ｒ（ｉ）に撮像画像の画素値Ｑ（ｉ）を変換する。そして、補正部１１４は、補正後の撮像画像を撮像画像記憶部２０２に記憶する。

図９は、撮像画像の補正について説明するための図である。図９の左図に示すように、撮像画像２５は、顔全体が暗くなっている。補正部１１４は、撮像画像２５の画素値Ｑ（ｉ）に逆写像関数Ｓ^−１を乗算することにより、補正後の撮像画像２６の画素値Ｒ（ｉ）を算出する。これにより、撮像画像２５の画素値Ｑ（ｉ）は、画素値Ｒ（ｉ）に補正され、図９の右図に示すように、顔全体を明るくすることができる。

このように、顔を撮像して認識可能と判断された撮像画像が登録画像として予め記憶される。そして、顔を撮像した撮像画像が取得され、取得された撮像画像が認識され、撮像画像の認識が成功したか否かが判断される。撮像画像の認識が失敗したと判断された場合、撮像画像内の顔を表す領域に含まれる第１の特徴点が抽出されるとともに、登録画像内の顔を表す領域において第１の特徴点と同じ位置にある第２の特徴点が抽出される。その後、第１の特徴点の画素値と、第２の特徴点の画素値との関係を表す写像関数が算出され、算出された写像関数を用いて、撮像画像の各画素値が逆写像変換され、撮像画像が補正される。

したがって、予め認識可能であると判断された画像を用いて補正されるので、認識が困難な環境下で撮像された画像であっても高精度で認識することができる。また、認識対象となる１つの画像に対して予め複数の画像を登録しておく必要がないので、メモリのデータ量を削減することができる。

また、撮像画像内の顔を表す領域に含まれる特徴点が抽出され、特徴点が正常に抽出された場合に認識が成功したと判断され、特徴点が正常に抽出されなかった場合に認識が失敗したと判断される。したがって、特徴点が正常に抽出されたか否かを判断することにより、画像の認識の成否を判断することができる。

さらに、撮像画像の認識が失敗したと判断された場合、撮像画像内の肌色領域が抽出され、抽出された肌色領域に基づいて特定される第１の特徴点が抽出されるとともに、登録画像において第１の特徴点と同じ位置にある第２の特徴点が抽出される。

したがって、撮像画像内の肌色領域、すなわち人間の顔を表す領域が抽出され、抽出された肌色領域に基づいて第１の特徴点が特定されるので、撮像画像から直接第１の特徴点を抽出することが困難な場合であっても、確実に第１の特徴点を抽出することができる。

さらにまた、顔の撮像時において、顔を撮像した撮像画像を表示するように表示装置６が制御され、撮像画像上における顔の位置を決めるためのマーカが画面上に表示されるように表示装置６が制御される。そして、撮像画像の認識が失敗したと判断された場合、撮像画像内の所定の領域が肌色領域として抽出され、抽出された肌色領域に基づいて特定される第１の特徴点が抽出されるとともに、登録画像において第１の特徴点と同じ位置にある第２の特徴点が抽出される。

したがって、撮像画像内の肌色領域を抽出することが困難な場合であっても、撮像画像上における認識対象物の位置を決めるためのマーカを画面上に表示し、撮像画像内の予め決められた領域を肌色領域として抽出することにより、確実に肌色領域を抽出することができる。

なお、本実施の形態では、撮像画像から肌色領域を抽出し、抽出した肌色領域に基づいて撮像画像及び登録画像から第１及び第２の特徴点を抽出しているが、本発明は特にこれに限定されず、撮像画像から肌色領域を抽出するとともに、登録画像から肌色領域を抽出し、抽出した肌色領域に基づいて撮像画像及び登録画像から第１及び第２の特徴点を抽出してもよい。登録画像の肌色領域は、撮像画像から肌色領域を抽出する上記の手法と同様に抽出することが可能である。また、登録画像における第２の特徴点も、撮像画像から第１の特徴点を抽出する上記の手法と同様に抽出することが可能である。

また、本実施の形態では、撮像画像から肌色領域を抽出し、抽出した肌色領域に基づいて撮像画像から第１の特徴点を抽出しているが、本発明は特にこれに限定されない。予め認識可能と判断された登録画像からは、特徴点を確実に抽出することができるので、先に登録画像から第２の特徴点を抽出し、抽出した第２の特徴点の座標に対応する撮像画像における座標を第１の特徴点として抽出してもよい。

さらに、本実施の形態では、撮像画像の全ての画素を補正しているが、本発明は特にこれに限定されず、髪を表す領域及び背景を表す領域以外の顔領域、すなわち撮像画像内の肌色の領域のみの画素を補正してもよい。この場合、補正する領域が少なくて済むため、処理時間を短縮することができる。

さらにまた、本実施の形態では、撮像画像が補正された後、画像認識処理を終了しているが、本発明は特にこれに限定されず、補正後の撮像画像を再度認識してもよい。図１０は、補正後の撮像画像を再度認識する場合における画像認識処理の一例を示すフローチャートである。

図１０に示すステップＳ３１〜Ｓ３５までの処理は、図６に示すステップＳ１１〜Ｓ１５までの処理と同じである。ステップＳ３５において画像補正処理部１０５による画像補正処理が実行された後、ステップＳ３３の処理へ戻り、補正後の撮像画像が再度認識される。

図１１は、図１０のステップＳ３５における画像補正処理の一例を示すフローチャートである。まず、ステップＳ４１において、登録画像取得部１１１は、撮像画像が既に補正済みであるか否かを判断する。なお、この判断は、撮像画像が補正されたか否かを表す補正情報を確認することで行われる。ここで、撮像画像が既に補正済みであると判断された場合（ステップＳ４１でＹＥＳ）、ステップＳ４３において、登録画像取得部１１１は、前回取得した登録画像とは異なる登録画像を登録画像記憶部２０１から取得する。このとき、登録画像取得部１１１は、登録画像を登録画像記憶部２０１からランダムに取得してもよいし、ユーザＩＤに対応付けられている登録画像が複数記憶されている場合、ユーザＩＤに対応付けられている他の登録画像を登録画像記憶部２０１から取得してもよい。そして、前回取得した登録画像とは異なる登録画像が取得された後、ステップＳ４４の処理へ移行する。

一方、撮像画像が既に補正済みでないと判断された場合、すなわち、撮像画像が補正されていないと判断された場合（ステップＳ４１でＹＥＳ）、ステップＳ４２の処理へ移行する。なお、ステップＳ４２〜Ｓ４７までの処理は、図７のステップＳ２１〜Ｓ２５までの処理と同じであるので説明を省略する。

このように、補正された撮像画像が再度認識され、補正された撮像画像の認識が成功したか否かが判断される。補正された撮像画像の認識が失敗したと判断された場合、撮像画像内の認識対象物を表す領域に含まれる第１の特徴点が抽出されるとともに、別の登録画像内の認識対象物を表す領域において第１の特徴点と同じ位置にある第２の特徴点が抽出される。したがって、補正後の撮像画像を再度認識した結果、再度認識が失敗した場合であっても、別の登録画像を用いて補正することができる。

なお、本実施の形態では、認識対象物を人間の顔とし、顔を認識する画像認識について説明しているが、本発明は特にこれに限定されず、人間の体の部位を認識する画像認識にも適用可能であり、さらに人間以外の動物や物品を認識する画像認識にも適用可能である。

本発明の一実施形態による画像認識装置のハードウエア構成を示す図である。 画像認識装置の機能を説明するためのブロック図である。 図２に示す画像認識装置による登録処理の一例を示すフローチャートである。 撮像画像内の顔領域から抽出される特徴点の一例を示す図である。 特徴点を抽出することができない撮像画像の一例を示す図である。 図２に示す画像認識装置による画像認識処理の一例を示すフローチャートである。 図６のステップＳ１５における画像補正処理の一例を示すフローチャートである。 表示装置の画面上に表示されるマーカの一例を示す図である。 撮像画像の補正について説明するための図である。 補正後の撮像画像を再度認識する場合における画像認識処理の一例を示すフローチャートである。 図１０のステップＳ３５における画像補正処理の一例を示すフローチャートである。

符号の説明

１ 入力装置
２ ＲＯＭ
３ ＣＰＵ
４ ＲＡＭ
５ 外部記憶装置
６ 表示装置
７ 記録媒体駆動装置
８ 記録媒体
９ Ｉ／Ｆ
１０ カメラ
１００ プログラム実行部
１０１ ユーザＩＤ取得部
１０２ 撮像画像取得部
１０３ 画像認識部
１０４ 判断部
１０５ 画像補正処理部
１０６ 表示制御部
１１１ 登録画像取得部
１１２ 特徴点抽出部
１１３ 写像関数算出部
１１４ 補正部
２００ 記憶部
２０１ 登録画像記憶部
２０２ 撮像画像記憶部

Claims (8)

1. 認識対象物を撮像して認識可能と判断された撮像画像を登録画像として予め記憶する登録画像記憶手段と、
   前記認識対象物を撮像した撮像画像を取得する撮像画像取得手段と、
   前記撮像画像取得手段によって取得された撮像画像を認識する認識手段と、
   前記認識手段による前記撮像画像の認識が成功したか否かを判断する判断手段と、
   前記判断手段によって前記撮像画像の認識が失敗したと判断された場合、前記撮像画像取得手段によって取得された前記撮像画像内の前記認識対象物を表す領域に含まれる第１の特徴点を抽出するとともに、前記登録画像記憶手段に記憶されている前記登録画像内の前記認識対象物を表す領域において前記第１の特徴点と同じ位置にある第２の特徴点を抽出する特徴点抽出手段と、
   前記特徴点抽出手段によって抽出された前記第１の特徴点の画素値と、前記第２の特徴点の画素値との関係を表す写像関数を算出する写像関数算出手段と、
   前記写像関数算出手段によって算出された前記写像関数を用いて、前記撮像画像取得手段によって取得された前記撮像画像の各画素値を逆写像変換し、前記撮像画像を補正する補正手段としてコンピュータを機能させることを特徴とする画像認識プログラム。
2. 前記認識対象物は、人間の顔であることを特徴とする請求項１記載の画像認識プログラム。
3. 前記認識手段は、前記補正手段によって補正された前記撮像画像を再度認識し、
   前記判断手段は、前記認識手段による前記撮像画像の認識が成功したか否かを判断し、
   前記特徴点抽出手段は、前記判断手段によって前記撮像画像の認識が失敗したと判断された場合、前記撮像画像取得手段によって取得された前記撮像画像内の前記認識対象物を表す領域に含まれる第１の特徴点を抽出するとともに、前記登録画像記憶手段に記憶されている別の前記登録画像内の前記認識対象物を表す領域において前記第１の特徴点と同じ位置にある第２の特徴点を抽出することを特徴とする請求項１又は２記載の画像認識プログラム。
4. 前記認識手段は、前記撮像画像取得手段によって取得された前記撮像画像内の前記認識対象物を表す領域に含まれる特徴点を抽出し、
   前記判断手段は、前記認識手段によって前記特徴点が正常に抽出された場合に認識が成功したと判断し、前記特徴点が正常に抽出されなかった場合に認識が失敗したと判断することを特徴とする請求項１〜３のいずれかに記載の画像認識プログラム。
5. 前記特徴点抽出手段は、前記判断手段によって前記撮像画像の認識が失敗したと判断された場合、前記撮像画像取得手段によって取得された前記撮像画像内の肌色領域を抽出し、抽出した前記肌色領域に基づいて特定される第１の特徴点を抽出するとともに、前記登録画像記憶手段に記憶されている前記登録画像において前記第１の特徴点と同じ位置にある第２の特徴点を抽出することを特徴とする請求項２記載の画像認識プログラム。
6. 前記認識対象物の撮像時において、前記認識対象物を撮像した撮像画像を表示するように表示装置を制御する表示制御手段としてコンピュータをさらに機能させ、
   前記表示制御手段は、前記撮像画像上における前記認識対象物の位置を決めるためのマーカを画面上に表示するように前記表示装置を制御し、
   前記特徴点抽出手段は、前記判断手段によって前記撮像画像の認識が失敗したと判断された場合、前記撮像画像取得手段によって取得された前記撮像画像内の所定の領域を肌色領域として抽出し、抽出した前記肌色領域に基づいて特定される第１の特徴点を抽出するとともに、前記登録画像記憶手段に記憶されている前記登録画像において前記第１の特徴点と同じ位置にある第２の特徴点を抽出することを特徴とする請求項５記載の画像認識プログラム。
7. 撮像画像取得手段が、認識対象物を撮像した撮像画像を取得する撮像画像取得ステップと、
   認識手段が、前記撮像画像取得ステップにおいて取得された撮像画像を認識する認識ステップと、
   判断手段が、前記認識ステップにおける前記撮像画像の認識が成功したか否かを判断する判断ステップと、
   特徴点抽出手段が、前記判断ステップにおいて前記撮像画像の認識が失敗したと判断された場合、前記撮像画像取得ステップにおいて取得された前記撮像画像内の前記認識対象物を表す領域に含まれる第１の特徴点を抽出するとともに、前記認識対象物を撮像して認識可能と判断された撮像画像を登録画像として予め記憶する登録画像記憶手段に記憶されている前記登録画像内の前記認識対象物を表す領域において前記第１の特徴点と同じ位置にある第２の特徴点を抽出する特徴点抽出ステップと、
   写像関数算出手段が、前記特徴点抽出ステップにおいて抽出された前記第１の特徴点の画素値と、前記第２の特徴点の画素値との関係を表す写像関数を算出する写像関数算出ステップと、
   補正手段が、前記写像関数算出ステップにおいて算出された前記写像関数を用いて、前記撮像画像取得ステップにおいて取得された前記撮像画像の各画素値を逆写像変換し、前記撮像画像を補正する補正ステップとを含むことを特徴とする画像認識方法。
8. 認識対象物を撮像して認識可能と判断された撮像画像を登録画像として予め記憶する登録画像記憶手段と、
   前記認識対象物を撮像した撮像画像を取得する撮像画像取得手段と、
   前記撮像画像取得手段によって取得された撮像画像を認識する認識手段と、
   前記認識手段による前記撮像画像の認識が成功したか否かを判断する判断手段と、
   前記判断手段によって前記撮像画像の認識が失敗したと判断された場合、前記撮像画像取得手段によって取得された前記撮像画像内の前記認識対象物を表す領域に含まれる第１の特徴点を抽出するとともに、前記登録画像記憶手段に記憶されている前記登録画像内の前記認識対象物を表す領域において前記第１の特徴点と同じ位置にある第２の特徴点を抽出する特徴点抽出手段と、
   前記特徴点抽出手段によって抽出された前記第１の特徴点の画素値と、前記第２の特徴点の画素値との関係を表す写像関数を算出する写像関数算出手段と、
   前記写像関数算出手段によって算出された前記写像関数を用いて、前記撮像画像取得手段によって取得された前記撮像画像の各画素値を逆写像変換し、前記撮像画像を補正する補正手段とを備えることを特徴とする画像認識装置。

Images