JP6121768B2 - 画像検出装置及び制御プログラム並びに画像検出方法 - Google Patents

画像検出装置及び制御プログラム並びに画像検出方法 Download PDF

Info

Publication number
JP6121768B2
JP6121768B2 JP2013063363A JP2013063363A JP6121768B2 JP 6121768 B2 JP6121768 B2 JP 6121768B2 JP 2013063363 A JP2013063363 A JP 2013063363A JP 2013063363 A JP2013063363 A JP 2013063363A JP 6121768 B2 JP6121768 B2 JP 6121768B2
Authority
JP
Japan
Prior art keywords
map
region
detection
image
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013063363A
Other languages
English (en)
Other versions
JP2014191369A (ja
Inventor
健太 西行
健太 西行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Original Assignee
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp filed Critical MegaChips Corp
Priority to JP2013063363A priority Critical patent/JP6121768B2/ja
Publication of JP2014191369A publication Critical patent/JP2014191369A/ja
Application granted granted Critical
Publication of JP6121768B2 publication Critical patent/JP6121768B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Description

本発明は、処理対象画像から検出対象画像を検出する技術に関する。
特許文献１〜３には、処理対象画像から検出対象画像を検出する技術が開示されている。
特開２００８−２７０５８号公報 特開２００９−１７５８２１号公報 特開２０１１−２２１７９１号公報
さて、処理対象画像から検出対象画像を検出する際には、その検出精度の向上が望まれている。
そこで、本発明は上述の点に鑑みて成されたものであり、検出対象画像についての検出精度を向上させることが可能な技術を提供することを目的とする。
上記課題を解決するため、本発明に係る画像検出装置の一態様は、処理対象画像から検出対象画像を検出する画像検出装置であって、前記検出対象画像としての確からしさを示す確度値についての前記処理対象画像での分布を示すマップを生成するマップ生成部と、しきい値を用いて前記マップを２値化して２値化マップを生成する２値化処理部と、前記マップにおける、前記確度値が前記しきい値以上あるいは当該しきい値よりも大きい領域に対応する、当該しきい値が用いられて生成された前記２値化マップでの第１領域から円形領域を抽出する抽出部と、前記抽出部で前記２値化マップの前記第１領域から抽出された円形領域と当該第１領域との重なり面積を示す第１評価値と、当該円形領域と前記抽出部で当該第１領域から抽出された他の円形領域との重なり面積を示す第２評価値とに基づいて、前記しきい値を調整するしきい値調整部と、前記しきい値調整部で調整された前記しきい値が用いられて生成された前記２値化マップの前記第１領域に基づいて、前記処理対象画像において前記検出対象画像を特定する特定部とを備える。
ここで、円形領域とは、正円形領域だけではなく楕円形領域等も含む概念である。
また、本発明に係る画像検出装置の一態様では、前記しきい値調整部は、前記抽出部で前記２値化マップの前記第１領域から抽出された円形領域と当該第１領域との重なり面積を示す第１評価値と、当該円形領域と前記抽出部で当該第１領域から抽出された他の円形領域との重なり面積を示す第２評価値と、当該円形領域と、前記マップにおける、前記確度値が当該２値化マップの生成で用いられた前記しきい値未満あるいは当該しきい値以下の領域に対応する、当該２値化マップでの第２領域との重なり面積を示す第３評価値とに基づいて、前記しきい値を調整する。
また、本発明に係る画像検出装置の一態様では、前記抽出部は、前記２値化マップのエッジを検出し、当該エッジの座標を用いたハフ変換により当該２値化マップの前記第１領域での円形領域を特定する。
また、本発明に係る制御プログラムの一態様は、処理対象画像から検出対象画像を検出する画像検出装置を制御するための制御プログラムであって、前記画像検出装置に、（ａ）前記検出対象画像としての確からしさを示す確度値についての前記処理対象画像での分布を示すマップを生成する工程と、（ｂ）しきい値を用いて前記マップを２値化して２値化マップを生成する工程と、（ｃ）前記マップにおける、前記確度値が前記しきい値以上あるいは当該しきい値よりも大きい領域に対応する、当該しきい値が用いられて生成された前記２値化マップでの部分領域から円形領域を抽出する工程と、（ｄ）前記工程（ｃ）で前記２値化マップの前記部分領域から抽出された円形領域と当該部分領域との重なり面積を示す第１評価値と、当該円形領域と前記工程（ｃ）で当該部分領域から抽出された他の円形領域との重なり面積を示す第２評価値とに基づいて、前記しきい値を調整する工程と、（ｅ）前記工程（ｄ）で調整された前記しきい値が用いられて生成された前記２値化マップの前記部分領域に基づいて、前記処理対象画像において前記検出対象画像を特定する工程とを実行させるためのものである。
また、本発明に係る画像検出方法の一態様は、処理対象画像から検出対象画像を検出する画像検出方法であって、（ａ）前記検出対象画像としての確からしさを示す確度値についての前記処理対象画像での分布を示すマップを生成する工程と、（ｂ）しきい値を用いて前記マップを２値化して２値化マップを生成する工程と、（ｃ）前記マップにおける、前記確度値が前記しきい値以上あるいは当該しきい値よりも大きい領域に対応する、当該しきい値が用いられて生成された前記２値化マップでの部分領域から円形領域を抽出する工程と、（ｄ）前記工程（ｃ）で前記２値化マップの前記部分領域から抽出された円形領域と当該部分領域との重なり面積を示す第１評価値と、当該円形領域と前記工程（ｃ）で当該部分領域から抽出された他の円形領域との重なり面積を示す第２評価値とに基づいて、前記しきい値を調整する工程と、（ｅ）前記工程（ｄ）で調整された前記しきい値が用いられて生成された前記２値化マップの前記部分領域に基づいて、前記処理対象画像において前記検出対象画像を特定する工程とを備える。
本発明によれば、検出対象画像についての検出精度を向上させることができる。
画像検出装置の構成を示す図である。 画像検出装置が備える複数の機能ブロックの構成を示す図である。 検出部の構成を示す図である。 検出部の動作を説明するための図である。 検出部の動作を説明するための図である。 検出部の動作を説明するための図である。 検出部の動作を説明するための図である。 検出部の動作を説明するための図である。 検出部の動作を説明するための図である。 検出結果枠を処理対象画像に重ねて示す図である。 出力値マップの生成方法を説明するための図である。 出力値マップの生成方法を説明するための図である。 出力値マップの一例を示す図である。 処理対象画像の一例を模式的に示す図である。 出力値マップの一例を示す図である。 ２値化マップの一例を示す図である。 ２値化マップの高確度領域に設定された外接矩形を示す図である。 ２値化マップでの外接矩形を処理対象画像に設定した様子を示す図である。 ２値化マップの一例を示す図である。 ２値化マップの高確度領域に設定された外接矩形を示す図である。 ２値化マップでの外接矩形を処理対象画像に設定した様子を示す図である。 ２値化マップの一例を示す図である。 ２値化マップの高確度領域に設定された外接矩形を示す図である。 ２値化マップでの外接矩形を処理対象画像に設定した様子を示す図である。 画像検出装置の動作を示すフローチャートである。 エッジマップの一例を示す図である。 ２値化マップから抽出した円形領域を当該２値化マップに設定した様子を示す図である。 ２値化マップから抽出した円形領域を当該２値化マップに設定した様子を示す図である。
図１は実施の形態に係る画像検出装置１の構成を示す図である。本実施の形態に係る画像検出装置１は、入力される画像データが示す画像から検出対象画像を検出する。画像検出装置１は、例えば、監視カメラシステム、デジタルカメラシステム等で使用される。本実施の形態では、検出対象画像は、例えば人の顔画像である。以後、単に「顔画像」と言えば、人の顔画像を意味するものとする。また、検出対象画像の検出処理を行う対象の画像を「処理対象画像」と呼ぶ。
画像検出装置１は、一種のコンピュータであって、図１に示されるように、ＣＰＵ（Central Processing Unit）１０及び記憶部１１を備えている。記憶部１１は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の、画像検出装置１（ＣＰＵ１０）が読み取り可能な非一時的な記録媒体で構成されている。記憶部１１には、画像検出装置１の動作を制御するための制御プログラム１２等が記憶されている。記憶部１１は、ＲＯＭ及びＲＡＭ以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えていても良い。記憶部１１は、例えば、ハードディスクドライブ、ＳＳＤ（Solid State Drive）、ＵＳＢ（Universal Serial Bus）メモリ等を備えていても良い。画像検出装置１の各種機能は、ＣＰＵ１０が記憶部１１内の制御プログラム１２を実行することによって実現される。画像検出装置１では、制御プログラム１２が実行されることによって、図２に示されるような複数の機能ブロックが形成される。
図２に示されるように、画像検出装置１は、機能ブロックとして、画像入力部２と、検出部３と、マップ生成部４と、２値化処理部５と、検出対象画像特定部６と、しきい値調整部７と、円形領域抽出部８とを備えている。画像検出装置１が備える各種機能は、機能ブロックではなくハードウェア回路で実現しても良い。
画像入力部２には、監視カメラシステム等が備える撮像部（カメラ）で順次撮像された複数枚の画像をそれぞれ示す複数の画像データが順次入力される。画像入力部２は、処理対象画像を示す画像データを出力する。画像入力部２は、撮像部で得られる各画像を処理対象画像としても良いし、撮像部で得られる画像のうち、数秒毎に得られる画像を処理対象画像としても良い。撮像部では、例えば、１秒間にＬ枚（Ｌ≧２）の画像が撮像される。つまり、撮像部での撮像フレームレートは、Ｌｆｐｓ(frame per second）である。また、撮像部で撮像される画像では、行方向にＭ個（Ｍ≧２）のピクセルが並び、列方向にＮ個（Ｎ≧２）のピクセルが並んでいる。撮像部で撮像される画像の解像度は、例えばＶＧＡ（Video Graphics Array）であって、Ｍ＝６４０、Ｎ＝４８０となっている。
なお以後、撮像部で撮像される画像において、行方向にｍ個（ｍ≧１）のピクセルが並び、列方向にｎ個（ｎ≧１）のピクセルが並ぶ領域の大きさをｍｐ×ｎｐで表す（ｐはピクセルの意味）。また、行列状に配置された複数の値において、左上を基準にして第ｍ行目であって第ｎ列目に位置する値をｍ×ｎ番目の値と呼ぶことがある。
検出部３は、画像入力部２から出力される画像データを使用して、処理対象画像に対して顔画像の検出を行う。マップ生成部４は、検出部３での検出結果に基づいて、顔画像としての確からしさを示す検出確度値についての処理対象画像での分布を示す出力値マップを生成する。
２値化処理部５は、マップ生成部４で生成された出力値マップをしきい値を用いて２値化して２値化マップを生成する。円形領域抽出部８は、出力値マップにおける、検出確度値がしきい値以上の領域あるいは当該しきい値よりも大きい領域に対応する、当該しきい値が用いられて生成された２値化マップでの領域から円形領域を抽出する。
ここで、円形とは、正円（真円）形だけではなく楕円形等も含む概念である。また、円形領域とは、正円形領域だけではなく楕円形領域等も含む概念である。
また、出力値マップにおける、検出確度値がしきい値以上の領域あるいは当該しきい値よりも大きい領域に対応する、当該しきい値が用いられて生成された２値化マップでの領域を「高確度領域」と呼ぶ。円形領域抽出部８は２値化マップの高確度領域から円形領域を抽出する。また、出力値マップにおける、検出確度値がしきい値未満の領域あるいは当該しきい値以下の領域に対応する、当該しきい値が用いられて生成された２値化マップでの領域を「低確度領域」と呼ぶ。高確度領域が、出力値マップにおける、検出確度値がしきい値以上の領域に対応する場合には、低確度領域は、出力値マップにおける、検出確度値がしきい値未満の領域に対応する。一方で、高確度領域が、出力値マップにおける、検出確度値がしきい値よりも大きい領域に対応する場合には、低確度領域は、出力値マップにおける、検出確度値がしきい値以下の領域に対応する。
しきい値調整部７は、２値化処理部５で生成された２値化マップと、円形領域抽出部８において当該２値化マップの高確度領域から抽出された円形領域とに基づいて、２値化処理部５での２値化で使用されるしきい値を調整する。検出対象画像特定部６は、しきい値調整部７で調整されたしきい値が用いられて２値化処理部５で生成された２値化マップに基づいて、処理対象画像において検出対象画像を特定する。これにより、画像検出装置１では、処理対象画像から顔画像が検出される。
次に、画像検出装置１の各ブロックの動作について詳細に説明する。
＜検出処理＞
図３は検出部３の構成を示す図である。図３に示されるように、検出部３は、特徴量抽出部３０及び識別器３１を備えている。検出部３は、検出枠を用いて、処理対象画像において当該検出枠と同じサイズの顔画像である可能性が高い領域を検出結果領域として検出する検出処理を行う。以後、単に「検出処理」と言えば、検出部３でのこの検出処理を意味する。検出部３は、処理対象画像における様々な大きさの顔画像を検出するために、サイズの異なる複数種類の検出枠を使用する。検出部３では、例えば３０種類の検出枠が使用される。各検出枠は例えば正方形である。
本実施の形態では、後述するように、特徴量抽出部３０は、画像から特徴量を抽出する。そして、特徴量抽出部３０においては、特徴量を抽出する対象の画像については、基準サイズ（正規化サイズ）の画像を使用する必要がある。
一方で、本実施の形態では、互いにサイズが異なる複数種類の検出枠には、基準サイズと同じサイズの検出枠と、基準サイズとは異なるサイズの検出枠とが含まれている。以後、基準サイズと同じサイズの検出枠を「基準検出枠」と呼び、基準サイズとは異なるサイズの検出枠を「非基準検出枠」と呼ぶ。本実施の形態では、複数種類の検出枠のうちのサイズが最小の検出枠が基準検出枠となっている。したがって、非基準検出枠のサイズは基準サイズよりも大きくなっている。基準検出枠のサイズは、例えば１６ｐ×１６ｐである。また、複数種類の検出枠には、例えば、大きさが１８ｐ×１８ｐの非基準検出枠及び大きさが２０ｐ×２０ｐの非基準検出枠などが含まれている。
本実施の形態では、検出部３は、処理対象画像について基準検出枠を使用して検出処理を行う際には、処理対象画像に対して基準検出枠を移動させながら、当該基準検出枠内の画像に対して顔画像の検出を行って、当該画像が顔画像である可能性が高いかを判定する。そして、検出部３は、処理対象画像において、顔画像である可能性が高いと判定した領域（基準検出枠内の画像）を検出結果領域とする。
一方で、検出部３は、処理対象画像について非基準検出枠を使用して検出処理を行う際には、基準サイズとサイズが一致するように非基準検出枠をサイズ変更する。そして、検出部３は、非基準検出枠のサイズ変更に応じて処理対象画像のサイズ変更を行う。検出部３は、サイズ変更を行った処理対象画像に対して、サイズ変更を行った非基準検出枠を移動させながら、当該非基準検出枠内の画像に対して顔画像の検出を行って、当該画像が顔画像である可能性が高いかを判定する。そして、検出部３は、サイズ変更を行った処理対象画像において、顔画像である可能性が高いと判定した領域（サイズ変更後の非基準検出枠内の画像）に基づいて、サイズ変更が行われていない、本来のサイズの処理対象画像において顔画像である可能性が高い領域を特定し、当該領域を検出結果領域とする。
以後、処理対象画像に対して非基準検出枠が使用されて検出処理が行われる際のサイズ変更後の当該処理対象画像を「サイズ変更画像」と呼ぶ。また、処理対象画像に対して非基準検出枠が使用されて検出処理が行われる際のサイズ変更後の当該非基準検出枠を「サイズ変更検出枠」と呼ぶ。
このように、本実施の形態では、検出部３が処理対象画像に対して基準検出枠を使用して検出処理を行う際の当該検出部３の動作と、検出部３が処理対象画像に対して非基準検出枠を使用して検出処理を行う際の当該検出部３の動作とが異なっている。以下に検出部３の動作について詳細に説明する。
検出部３では、検出処理に基準検出枠が使用される際には、特徴量抽出部３０が、処理対象画像に対して基準検出枠を設定し、当該処理対象画像における当該基準検出枠内の画像から複数の特徴量を抽出する。一方で、検出処理に非基準検出枠が使用される際には、特徴量抽出部３０は、処理対象画像をサイズ変更して得られるサイズ変更画像に対して、非基準検出枠をサイズ変更して得られるサイズ変更検出枠を設定し、当該サイズ変更画像における当該サイズ変更検出枠内の画像から複数の特徴量を抽出する。以後、特徴量が抽出される、基準検出枠内の画像及びサイズ変更検出枠内の画像を総称して「枠内画像」と呼ぶことがある。
ここで、基準検出枠のサイズは基準サイズと一致することから、処理対象画像における基準検出枠内の画像のサイズは基準サイズとなる。また、サイズ変更検出枠のサイズは基準サイズと一致することから、サイズ変更画像におけるサイズ変更検出枠内の画像のサイズは基準サイズとなる。よって、特徴量抽出部３０は、常に基準サイズの画像から特徴量を抽出することができる。特徴量抽出部３０は、枠内画像から、例えばＨａａｒ−ｌｉｋｅ特徴量やＬＢＰ （Local Binary Pattern）特徴量などの特徴量を抽出する。
識別器３１は、特徴量抽出部３０が枠内画像から抽出した複数の特徴量から成る特徴ベクトルと、学習サンプル（学習用のサンプル画像）に基づいて生成された複数の重み係数から成る重みベクトルとに基づいて、当該枠内画像が顔画像である確からしさを示す検出確度値を算出する。具体的には、特徴量抽出部３０は、枠内画像についての特徴ベクトルと、重みベクトルとの内積を求め、当該内積に所定のバイアス値を加算して得られる実数値を、当該枠内画像が顔画像である確からしさを示す検出確度値とする。識別器３１で算出される検出確度値は、基準検出枠内の画像あるいはサイズ変更検出枠内の画像についての顔画像らしさ（顔らしさ）を示している。識別器３１には、例えば、ＳＶＭ（Support Vector Machine）あるいはＡｄａｂｏｏｓｔが使用される。
識別器３１は、算出した検出確度値がしきい値以上であれば、枠内画像が顔画像である可能性が高いと判定する。つまり、基準検出枠が使用される際には、識別器３１は、処理対象画像における基準検出枠内の画像が、基準検出枠と同じサイズの顔画像である可能性が高い領域であると判定する。また、非基準検出枠が使用される際には、識別器３１は、サイズ変更画像におけるサイズ変更検出枠内の画像が、サイズ変更検出枠と同じサイズの顔画像である可能性が高い領域であると判定する。
一方で、識別器３１は、算出した検出確度値がしきい未満であれば、枠内画像が顔画像でない可能性が高いと判定する。つまり、基準検出枠が使用される際には、識別器３１は、処理対象画像における基準検出枠内の画像が、基準検出枠と同じサイズの顔画像である可能性が高い領域ではないと判定する。また、非基準検出枠が使用される際には、識別器３１は、サイズ変更画像におけるサイズ変更検出枠内の画像が、サイズ変更検出枠と同じサイズの顔画像である可能性が高い領域ではないと判定する。
識別器３１は、処理対象画像における基準検出枠内の画像が、基準検出枠と同じサイズの顔画像である可能性が高い領域であると判定すると、当該画像を検出結果領域とし、当該基準検出枠を検出結果枠とする。
また識別器３１は、サイズ変更画像におけるサイズ変更検出枠内の画像が、サイズ変更検出枠と同じサイズの顔画像である可能性が高い領域であると判定すると、当該領域の外形枠を仮検出結果枠とする。そして、識別器３１は、仮検出結果枠に基づいて、サイズ変更画像の元の画像である処理対象画像において、非基準検出枠と同じサイズの顔画像である可能性が高い領域を特定し、当該領域を検出結果領域とするとともに、当該検出結果領域の外形枠を最終的な検出結果枠とする。
＜基準検出枠を用いた検出処理＞
次に、検出部３が処理対象画像に対して基準検出枠を移動させながら、当該基準検出枠内の画像が顔画像である可能性が高いかを判定する際の当該検出部３の一連の動作について説明する。図４〜７は、検出部３の当該動作を説明するための図である。検出部３は、基準検出枠をラスタスキャンさせながら、当該基準検出枠内の画像に対して顔画像の検出を行う。
図４に示されるように、特徴量抽出部３０は、処理対象画像２０の左上にまず基準検出枠１００を設定して、当該基準検出枠１００内の画像から複数の特徴量を抽出する。識別器３１は、特徴量抽出部３０が抽出した複数の特徴量から成る特徴ベクトルと、複数の重み係数から成る重みベクトルとに基づいて、基準検出枠１００内の画像についての検出確度値を求める。そして、識別器３１は、算出した検出確度値がしきい値以上である場合には、処理対象画像２０での左上の基準検出枠１００内の領域が顔画像である可能性が高いと判定し、当該領域を検出結果領域とし、当該領域の外形枠である当該基準検出枠１００を検出結果枠とする。
次に特徴量抽出部３０は、処理対象画像２０において基準検出枠１００を少し右に移動させる。特徴量抽出部３０は、例えば、１画素分あるいは数画素分だけ右に基準検出枠１００を移動させる。そして、特徴量抽出部３０は、処理対象画像２０における移動後の基準検出枠１００内の画像から複数の特徴量を抽出する。
その後、識別器３１は、特徴量抽出部３０で抽出された複数の特徴量から成る特徴ベクトルと、複数の重み係数から成る重みベクトルとに基づいて、移動後の基準検出枠１００内の画像についての検出確度値を求める。そして、識別器３１は、算出した検出確度値がしきい値以上である場合には、移動後の基準検出枠１００内の画像が顔画像である可能性が高いと判定して、当該画像を検出結果領域とするとともに、当該画像の外形枠である移動後の基準検出枠１００を検出結果枠とする。
その後、検出部３は同様に動作して、図５に示されるように、基準検出枠１００が処理対象画像２０の右端まで移動すると、検出部３は、右端の基準検出枠１００内の画像についての検出確度値を求める。そして、検出部３は、求めた検出確度値がしきい値以上であれば、右端の基準検出枠１００内の画像を検出結果領域とするとともに、当該右端の基準検出枠１００を検出結果枠とする。
次に、特徴量抽出部３０は、図６に示されるように、基準検出枠１００を少し下げつつ処理対象画像２０の左端に移動させた後、当該基準検出枠１００内の画像から複数の特徴量を抽出する。特徴量抽出部３０は、上下方向（列方向）において例えば１画素分あるいは数画素分だけ下に基準検出枠１００を移動させる。その後、識別器３１は、特徴量抽出部３０から抽出された複数の特徴量から成る特徴ベクトルと、複数の重み係数から成る重みベクトルとに基づいて、現在の基準検出枠１００内の画像についての検出確度値を求めて出力する。そして、識別器３１は、算出した検出確度値がしきい値以上である場合には、現在の基準検出枠１００内の画像が顔画像である可能性が高いと判定して、当該画像を検出結果領域とするとともに、当該基準検出枠１００を検出結果枠とする。
その後、検出部３は同様に動作して、図７に示されるように、基準検出枠１００が処理対象画像２０の右下まで移動すると、検出部３は、右下の当該基準検出枠１００内の画像についての検出確度値を求める。そして、検出部３は、求めた検出確度値がしきい値以上であれば、右下の基準検出枠１００内の画像を検出結果領域とするとともに、当該右下の基準検出枠を検出結果枠とする。
以上のようにして、検出部３は、基準検出枠を使用して、処理対象画像において、当該基準検出枠と同じサイズの顔画像である可能性が高い領域を検出結果領域として検出する。言い換えれば、検出部３は、基準検出枠を使用して、処理対象画像において、当該基準検出枠と同じサイズの顔画像を特定する。
＜非基準検出枠を用いた検出処理＞
検出部３が非基準検出枠を使用して検出処理を行う際には、特徴量抽出部３０は、非基準検出枠の大きさが基準サイズ（基準検出枠のサイズ）と一致するように、当該非基準検出枠をサイズ変更する。そして、特徴量抽出部３０は、非基準検出枠についてのサイズ変更比率と同じだけ処理対象画像をサイズ変更する。
本実施の形態では、基準サイズは１６ｐ×１６ｐであることから、例えば、大きさがＲｐ×Ｒｐ（Ｒ＞１６）の非基準検出枠が使用される場合、特徴量抽出部３０は、当該非基準検出枠の縦幅（上下方向の幅）及び横幅（左右方向の幅）をそれぞれ（１６／Ｒ）倍して当該非基準検出枠を縮小し、サイズ変更検出枠を生成する。そして、特徴量抽出部３０は、処理対象画像の縦幅（画素数）及び横幅（画素数）をそれぞれ（１６／Ｒ）倍して当該処理対象画像を縮小し、サイズ変更画像を生成する。その後、検出部３は、上述の図４〜７を用いて説明した処理と同様に、サイズ変更画像に対してサイズ変更検出枠を移動させながら、当該サイズ変更検出枠内の画像から特徴量を抽出し、当該特徴量に基づいて、当該サイズ変更検出枠内の画像が、当該サイズ変更検出枠と同じサイズの顔画像である可能性が高いか判定する。つまり、検出部３は、サイズ変更検出枠を用いて、サイズ変更画像において当該サイズ変更検出枠と同じサイズの顔画像である可能性が高い領域を検出する処理を行う。以後、この処理を「サイズ変更版検出処理」と呼ぶ。
検出部３は、サイズ変更版検出処理において、サイズ変更画像に対してサイズ変更検出枠を設定し、当該サイズ変更検出枠内の画像が、当該サイズ変更検出枠と同じサイズの顔画像である可能性が高いと判定すると、当該画像の外形枠である当該サイズ変更検出枠を仮検出結果枠とする。
検出部３では、サイズ変更画像について少なくとも一つの仮検出結果枠が得られると、識別器３１が、当該少なくとも一つの仮検出結果枠を、当該サイズ変更画像の元になる処理対象画像に応じた検出結果枠に変換する。
具体的には、識別器３１は、まず、サイズ変更画像に対して、得られた少なくとも一つの仮検出結果枠を設定する。図８は、サイズ変更画像１２０に対して仮検出結果枠１３０が設定されている様子を示す図である。図８の例では、サイズ変更画像１２０に対して複数の仮検出結果枠１３０が設定されている。
次に識別器３１は、図９に示されるように、仮検出結果枠１３０が設定されたサイズ変更画像１２０を拡大（サイズ変更）して元のサイズに戻すことによって、サイズ変更画像１２０を処理対象画像２０に変換する。これにより、サイズ変更画像１２０に設定された仮検出結果枠１３０も拡大されて、仮検出結果枠１３０は、図９に示されるように、処理対象画像２０に応じた検出結果枠１５０に変換される。処理対象画像２０における検出結果枠１５０内の領域が、処理対象画像２０において非基準検出枠と同じサイズの顔画像である可能性が高い検出結果領域となる。これにより、検出部３では、サイズ変更版検出処理によって得られた仮検出結果枠１３０に基づいて、処理対象画像において非基準検出枠と同じサイズの顔画像である可能性が高い検出結果領域が特定される。
このように、検出部３は、非基準検出枠を使用して処理対象画像についての検出処理を行う際には、サイズが基準サイズと一致するようにサイズ変更した非基準検出枠と、当該非基準検出枠のサイズ変更に応じてサイズ変更した処理対象画像とを使用してサイズ変更版検出処理を行う。これにより、基準サイズとは異なるサイズの検出枠が使用される場合であっても、特徴量抽出部３０は、基準サイズの画像から特徴量を抽出できる。そして、検出部３は、サイズ変更版検出処理の結果に基づいて、処理対象画像において非基準検出枠と同じサイズの顔画像である可能性が高い検出結果領域を特定する。これにより、検出部３では非基準検出枠が用いられた検出処理が行われる。
検出部３は、以上のような検出処理を、複数種類の検出枠のそれぞれを用いて行う。これにより、処理対象画像に顔画像が含まれている場合には、検出結果領域（顔画像である可能性が高い領域）及び検出結果枠（顔画像である可能性が高い領域の外形枠）が得られるとともに、検出結果枠に対応した検出確度値が得られる。処理対象画像について得られた検出結果枠に対応した検出確度値とは、当該処理対象画像における当該検出結果枠内の画像が顔画像である確からしさを示している。
図１０は、処理対象画像２０について得られた検出結果枠１５０が当該処理対象画像２０に重ねて配置された様子を示す図である。図１０に示されるように、互いにサイズの異なる複数種類の検出枠が使用されて検出処理が行われることによって、様々な大きさの検出結果枠１５０が得られる。これは、処理対象画像２０に含まれる様々な大きさの顔画像が検出されていることを意味している。
＜出力値マップ生成処理＞
マップ生成部４は、検出部３での検出結果に基づいて、顔画像としての確からしさ（顔画像らしさ）を示す検出確度値についての処理対象画像での分布を示す出力値マップを生成する。
具体的には、マップ生成部４は、処理対象画像と同様に、行方向にＭ個の値が並び、列方向にＮ個の値が並ぶ、合計（Ｍ×Ｎ）個の値から成るマップ２００を考える。そして、マップ生成部４は、処理対象画像についての一つの検出結果枠を対象検出結果枠とし、対象検出結果枠と同じ位置に、対象検出結果枠と同じ大きさの枠２１０をマップ２００に対して設定する。図１１は、マップ２００に対して枠２１０を設定した様子を示す図である。
次にマップ生成部４は、マップ２００における、枠２１０外の各値については“０”とし、枠２１０内の各値については、対象検出結果枠に対応する検出確度値（対象検出結果枠となった検出枠内の画像に対して顔画像の検出を行った結果得られた検出確度値）を用いて決定する。対象検出結果枠の大きさが、例えば１６ｐ×１６ｐであるとすると、枠２１０内には、行方向に１６個、列方向に１６個、合計２５６個の値が存在する。また、対象検出結果枠の大きさが、例えば２０ｐ×２０ｐであるとすると、枠２１０内には、行方向に２０個、列方向に２０個、合計４００個の値が存在する。図１２は、枠２１０内の各値を決定する方法を説明するための図である。
マップ生成部４は、枠２１０内の中心２１１の値を、検出部３で求められた、対象検出結果枠に対応する検出確度値とする。そして、マップ生成部４は、枠２１０内のそれ以外の複数の値を、枠２１０の中心２１１の値を最大値とした正規分布曲線に従って枠２１０内の中心２１１から外側に向けて値が徐々に小さくなるようにする。これにより、マップ２００を構成する複数の値のそれぞれが決定されて、対象検出結果枠に対応するマップ２００が完成する。
以上のようにして、マップ生成部４は、処理対象画像についての複数の検出結果枠にそれぞれ対応する複数のマップ２００を生成する。そして、マップ生成部４は、生成した複数のマップ２００を合成して出力値マップを生成する。
具体的には、マップ生成部４は、生成した複数のマップ２００のｍ×ｎ番目の値を加算し、それによって得られた加算値を出力値マップのｍ×ｎ番目の検出確度値とする。マップ生成部４は、このようにして、出力値マップを構成する各検出確度値を求める。これにより、処理対象画像での検出確度値の分布を示す出力値マップが完成する。出力値マップでは、処理対象画像と同様に、行方向にＭ個の検出確度値が並び、列方向にＮ個の検出確度値が並んでいる。出力値マップは（Ｍ×Ｎ）個の検出確度値で構成される。出力値マップを参照すれば、処理対象画像において顔画像らしさが高い領域を特定することができる。つまり、出力値マップを参照することによって、処理対象画像おける顔画像を特定することができる。
図１３は、処理対象画像２０についての出力値マップを当該処理対象画像２０に重ねて示す図である。図１３では、理解し易いように、検出確度値の大きさを例えば第１段階から第５段階の５段階に分けて出力値マップを示している。図１３及び後述の図１５に示される出力値マップにおいては、検出確度値が、最も大きい第５段階に属する領域については縦線のハッチングが示されており、２番目に大きい第４段階に属する領域については砂地のハッチングが示されている。また、図１３及び図１５に示される出力値マップにおいては、検出確度値が、３番目に大きい第３段階に属する領域については右上がりのハッチングが示されており、４番目に大きい第２段階に属する領域については左上がりのハッチングが示されている。そして、図１３及び図１５に示される出力値マップにおいては、検出確度値が、最も小さい第１段階に属する領域についてはハッチングが示されていない。
図１３に示される出力値マップにおいては、処理対象画像２０での顔画像に対応する領域（顔画像と同じ位置にある領域）での検出確度値が高くなっている。これは、処理対象画像２０に含まれる顔画像が適切に検出されていることを意味する。また、出力値マップにおける、処理対象画像２０での顔画像に対応する領域では、顔画像の中心付近と同じ位置での検出確度値が最も大きくなっており、外側に向かうほど検出確度値が小さくなっている。
＜２値化処理＞
２値化処理部５は、マップ生成部４で生成された出力値マップをしきい値を用いて２値化して２値化マップを生成する。具体的に、２値化処理部５は、出力値マップにおいて、検出確度値がしきい値以上あるいは当該しきい値よりも大きい領域の各値を例えば“１”に変更し、検出確度値が当該しきい値未満あるいは当該しきい値以下の領域の各値を例えば“０”に変更する。これにより、出力値マップにおける、検出確度値がしきい値以上あるいは当該しきい値よりも大きい領域に対応する、各値が“１”である高確度領域と、出力値マップにおける、検出確度値がしきい値未満あるいは当該しきい値以下の領域に対応する、各値が“０”である低確度領域とで構成された２値化マップが生成される。
図１４は処理対象画像２０の一例を模式的に示す図である。図１５は、図１４に示される処理対象画像２０についての出力値マップ４０を示す図である。図１６は、図１５に示される出力値マップ４０を所定のしきい値を用いて２値化して生成された２値化マップ５０を示す図である。
図１５に示されるように、出力値マップ４０では、処理対象画像２０に含まれる顔画像２０ａに対応する領域４０ａでの検出確度値や、処理対象画像２０に含まれる顔画像２０ｂに対応する領域４０ｂでの検出確度値は大きくなっている。一方で、出力値マップ４０では、処理対象画像２０に含まれる顔画像２０ｃに対応する領域４０ｃでの検出確度値は小さくなっている。
図１５に示される出力値マップ４０を、例えば、検出確度値についての第２段階（左上がりのハッチング）と第３段階（右上がりのハッチング）の境界の値をしきい値として２値化すると、図１６に示される２値化マップ５０が得られる。図１６では、高確度領域５１には斜線のハッチングが示されており、低確度領域５２にはハッチングが示されていない。出力値マップ４０では、顔画像２０ｃに対応する領域４０ｃでの検出確度値は、全体的に、顔画像２０ａ，２０ｂに対応する領域４０ａ，４０ｂでの検出確度値よりもが小さくなっていることから、２値化マップ５０の高確度領域５１では、顔画像２０ｃに対応する領域５１ｃは、顔画像２０ａ，２０ｂにそれぞれ対応する領域５１ａ，５１ｂよりも小さくなっている。
２値化マップ５０の生成で用いられるしきい値を適切に調整すると、図１６に示されるように、２値化マップ５０の高確度領域５１には、処理対象画像２０に含まれる複数の顔画像２０ａ〜２０ｃにそれぞれ対応する互いに独立した（分離した）複数の領域５１ａ〜５１ｃが含まれるようになる。よって、当該複数の領域５１ａ〜５１ｃから、処理対象画像２０に含まれる複数の顔画像２０ａ〜２０ｃのそれぞれを個別に特定することが可能となる。２値化マップ５０の生成で用いられるしきい値については、後述するように、しきい値調整部７で適切に調整される。
＜検出対象画像特定処理＞
検出対象画像特定部６は、しきい値調整部７で調整されたしきい値が用いられて２値化処理部５で生成された２値化マップの高確度領域に基づいて、処理対象画像において顔画像を特定する。以後、しきい値調整部７で調整されたしきい値が用いられて生成された２値化マップを特に「特定用２値化マップ」と呼ぶ。
本実施の形態では、検出対象画像特定部６は、特定用２値化マップの高確度領域に含まれる各独立領域（島領域）を特定する。図１６の例では、領域５１ａ〜５１ｃのそれぞれが独立領域として特定される。そして、検出対象画像特定部６は、特定した各独立領域について、当該独立領域に外接する外接矩形を求める。特定用２値化マップの高確度領域に含まれる各独立領域については、当該特定用２値化マップに対して４連結等を用いたラベリングを行うことによって特定することができる。
図１７は、検出対象画像特定部６が、例えば図１６に示される２値化マップ５０を特定用２値化マップとして使用し、当該２値化マップ５０の高確度領域５１に含まれる独立領域５１ａ〜５１ｃについての外接矩形を求めた際の当該外接矩形を示す図である。図１７に示される外接矩形３００ａ〜３００ｃは、それぞれ、図１６に示される２値化マップ５０の高確度領域５１に含まれる独立領域５１ａ〜５１ｃの外接矩形である。
検出対象画像特定部６は、特定用２値化マップの高確度領域の各独立領域についての外接矩形を求めると、当該外接矩形を処理対象画像に設定する。図１８は、図１７に示される外接矩形３００ａ〜３００ｃを図１４に示される処理対象画像２０に設定した様子を示す図である。検出対象画像特定部６は、処理対象画像に設定された各外接矩形について、当該外接矩形内の画像が一つの顔画像であると判断する。これにより、処理対象画像２０において顔画像が特定される。
画像検出装置１は、処理対象画像を表示装置に表示する際には、図１８に示されるように、検出対象画像特定部６で求められた外接矩形を処理対象画像に重ねて表示する。
また、画像検出装置１は、予め登録された顔画像と、処理対象画像において特定した顔画像（外接矩形内の画像）とを比較し、両者が一致するか否かを判定しても良い。そして、画像検出装置１は、予め登録された顔画像と、処理対象画像において特定した顔画像とが一致しない場合には、処理対象画像での当該顔画像に対してモザイク処理を行った上で、当該処理対象画像を表示装置に表示しても良い。これにより、本実施の形態に係る画像検出装置１を監視カメラシステムに使用した場合において、監視カメラによって隣家の人の顔画像が撮影された場合であっても、当該顔画像を認識できないようにすることができる。つまり、プライバシーマスクを実現することができる。
＜しきい値調整処理＞
２値化処理部５が出力値マップを２値化する際に使用するしきい値が適切に設定されないと、画像検出装置１は処理対象画像から顔画像を正しく検出できない可能性がある。以下にこの点について説明する。
図１９は、図１５に示される出力値マップ４０を、図１６に示される２値化マップ５０の生成で使用されたしきい値よりも小さいしきい値で２値化して得られる２値化マップ５０を示す図である。
出力値マップ４０が２値化される際のしきい値が小さい場合には、出力値マップ４０において検出確度値があまり大きくない領域についても高確度領域５１となる。したがって、図１９に示されるように、高確度領域５１では、距離が近い顔画像２０ａ，２０ｂに対応する領域５１ａ，５１ｂが連結して一つの独立領域となることがある。この場合には、図１９に示される２値化マップ５０の高確度領域５１に含まれる各独立領域についての外接矩形が求められると、図２０に示されるように、領域５１ａ，５１ｂから成る独立領域に外接する外接矩形３００ｄと、領域５１ｃに外接する外接矩形３００ｃとが生成される。
外接矩形３００ｃ，３００ｄが処理対象画像２０に設定されると、図２１に示されるように、二つの顔画像２０ａ，２０ｂに対して一つの外接矩形３００ｄが設定され、顔画像２０ｃに対して一つの外接矩形３００ｃが設定される。検出対象画像特定部６は、処理対象画像での一つの外接矩形内の画像を一つの顔画像とすることから、処理対象画像２０から顔画像２０ｃについては適切に検出することができるものの、顔画像２０ａ，２０ｂについては一つの顔画像として特定され、顔画像２０ａ，２０ｂのそれぞれを個別に検出することが困難となる。
図２２は、図１５に示される出力値マップ４０を、図１６に示される２値化マップ５０の生成で使用されたしきい値よりも大きいしきい値で２値化して得られる２値化マップ５０を示す図である。
出力値マップ４０が２値化される際のしきい値が大きい場合には、出力値マップ４０において検出確度値があまり大きくない領域については高確度領域５１とならない。したがって、図２２に示されるように、出力値マップ４０での対応する領域での検出確度値が小さい顔画像２０ｃについては、当該顔画像２０ｃに対応する領域が高確度領域５１に含まれないことがある。この場合には、図２１に示される２値化マップ５０の高確度領域５１に含まれる各独立領域についての外接矩形が求められると、図２３に示されるように、領域５１ａに外接する外接矩形３００ａと、領域５１ｂに外接する外接矩形３００ｂとが生成される。
外接矩形３００ａ，３００ｂが処理対象画像２０に設定されると、図２４に示されるように、顔画像２０ａ，２０ｂに対して外接矩形３００ａ，３００ｂがそれぞれ設定されるものの、顔画像２０ｃには外接矩形が設定されない。したがって、顔画像２０ａ，２０ｂについては検出できるものの、顔画像２０ｃについては検出することが困難となる。
このように、２値化マップの生成で使用されるしきい値が小さい場合には、近い距離にある複数の顔画像を適切に検出することが困難となる。
一方で、２値化マップの生成で使用されるしきい値が大きい場合には、出力値マップでの対応する領域の検出確度値が小さい顔画像を適切に検出することが困難となる。
そこで、本実施の形態では、検出対象画像特定部６が、処理対象画像において、出力値マップでの対応する領域の検出確度値が小さい顔画像を特定することができるとともに、距離が近い複数の顔画像のそれぞれを個別に特定することができるように、しきい値調整部７が２値化マップの生成で用いられるしきい値を適切に調整する。以下にしきい値調整部７がしきい値を調整する際の画像検出装置１の動作について詳細に説明する。
図２５は画像検出装置１でのしきい値調整処理を示すフローチャートである。図２５に示されるしきい値調整処理は、マップ生成部４が処理対象画像についての出力値マップを生成すると、当該出力値マップが使用されて実行される。本実施の形態に係るしきい値調整処理では、画像検出装置１は、しきい値を複数段階変化させて、各しきい値での２値化マップを生成する。そして、画像検出装置１は、生成した複数の２値化マップに基づいて、最終的に使用する適切なしきい値を決定する。本実施の形態では、しきい値は例えば５〜１０段階変化させられる。したがって、しきい値調整処理では、使用されたしきい値が異なる５〜１０個の２値化マップが生成される。
しきい値調整処理では、図２５に示されるように、まずステップｓ１において、しきい値調整部７が２値化マップの生成で使用されるしきい値を２値化処理部５に仮設定する。ここでは、例えば、しきい値は、その変化範囲での最小値に設定される。
次にステップｓ２において、２値化処理部５は、ステップｓ１で仮設定されたしきい値を用いてマップ生成部４で生成された出力値マップを２値化し、２値化マップを生成する。
次にステップｓ３において、円形領域抽出部８は、ステップｓ２で生成された２値化マップの高確度領域から円形領域を抽出する。円形領域の抽出方法については後で詳細に説明する。
次にステップｓ４において、しきい値調整部７は、ステップｓ２で生成された２値化マップと、ステップｓ３で抽出された円形領域とに基づいて、ステップｓ１で仮設定されたしきい値についての判定用評価値を算出する。判定用評価値とは、しきい値の適切さを示す値である。判定用評価値の算出方法については後で詳細に説明する。
次にステップｓ５において、しきい値調整部７は、しきい値を所定範囲（定められた複数の段階）変化させたか判断する。ステップｓ５において、しきい値が所定範囲変化させられていないと判断されると、上述のステップｓ１が実行されて、新たなしきい値が２値化処理部５に仮設定される。ここでは、１段階だけ増加したしきい値が仮設定される。その後、ステップｓ２〜ステップｓ４が実行されて、１段階だけ増加したしきい値についての判定用評価値が算出される。以後、画像検出装置１は同様に動作する。
ステップｓ５において、しきい値が所定範囲変化させられたと判断されると、ステップｓ６において、しきい値調整部７は、しきい値調整処理で算出された、複数段階のしきい値にそれぞれ対応する複数の判定用評価値に基づいて、当該複数段階のしきい値から適切なしきい値を決定する。具体的には、しきい値調整部７は、複数段階のしきい値のうち、複数の判定用評価値の最大値に対応するしきい値を適切なしきい値に決定する。これにより、しきい値調整処理が終了する。
ステップｓ６において適切なしきい値が決定されると、２値化処理部５は、当該適切なしきい値、つまりしきい値調整部７で調整されたしきい値を用いて出力値マップを２値化して特定用２値化マップを生成する。そして、検出対象画像特定部６は、上述のようにして、２値化処理部５で生成された特定用２値化マップの高確度領域に基づいて処理対象画像において顔画像を特定する。
＜円形領域抽出処理について＞
次にステップｓ３での円形領域抽出処理について詳細に説明する。本実施の形態では、円形領域抽出部８は、ステップｓ２で生成された２値化マップのエッジ（高確度領域と低確度領域の境界）を検出し、検出したエッジの座標を用いたハフ変換により当該２値化マップの高確度領域から円形領域、例えば正円形領域を抽出する。
ステップｓ３において、円形領域抽出部８は、まず、２値化マップのエッジを検出し、当該エッジを示すエッジマップを生成する。図２６は、図１９に示される２値化マップ５０のエッジ５１０を示すエッジマップ６０を示す図である。２値化マップのエッジについては、例えばキャニー法を用いて検出できる。以後、単にエッジと言えば、２値化マップのエッジを意味する。
エッジマップでは、処理対象画像、出力値マップ及び２値化マップと同様に、行方向にＭ個の値が並び、列方向にＮ個の値が並んでいる。したがって、エッジマップは合計（Ｍ×Ｎ）個の値で構成されている。エッジマップでは、エッジを示す各値、つまり２値化マップでのエッジの位置と同じ位置での各値は例えば“１”となっており、それ以外の各値は例えば“０”となっている。
円形領域抽出部８は、エッジマップを生成すると、当該エッジマップにおける、エッジを示す各値の座標を求める。エッジマップにおける、エッジを示す各値の座標は、２値化マップにおける、エッジを構成する各値の座標であることから、円形領域抽出部８は、エッジマップに基づいて、２値化マップにおける、エッジを構成する各値の座標を求めることになる。
本実施の形態では、エッジマップ及び２値化マップの左上の角を原点とし、行方向をｘ軸方向とし、列方向をｙ軸方向とするｘｙ平面がエッジマップ及び２値化マップに定められている。そして、円形領域抽出部８は、エッジマップにおける、エッジを示す各値について、ｘｙ平面上でのｘｙ座標を求める。これにより、２値化マップにおける、エッジを構成する各値について、ｘｙ平面上でのｘｙ座標が求められる。以後、当該ｘｙ座標を「エッジ座標」と呼ぶ。
次に円形領域抽出部８は、エッジについて求めた複数のエッジ座標を用いたハフ変換により２値化マップの高確度領域での円形領域、例えば正円形領域を特定する。以下にハフ変換を用いた正円形領域の特定方法について説明する。説明の対象となるエッジ座標を対象エッジ座標と呼ぶ。
正円形領域は、中心のｘ座標Ｃｘ、中心のｙ座標Ｃｙ及び半径ｒの３つのパラメータで表現することができる。ハフ変換では、この３つのパラメータをそれぞれ示す３次元の軸で表現されるハフ空間が使用される。以後、正円形領域を表現する３つのパラメータをまとめて「円表現パラメータ群」と呼ぶことがある。
円形領域抽出部８は、求めた複数のエッジ座標のそれぞれについて投票処理を行う。対象エッジ座標についての投票処理では、円形領域抽出部８は、まず、２値化マップに定められたｘｙ平面において、対象エッジ座標の値が円周上に位置するような、互いに異なる複数種類の正円形領域を考える。そして、円形領域抽出部８は、複数種類の正円形領域のそれぞれについて、当該正円形領域を表現する３つのパラメータ（円表現パラメータ群）を示す、ハフ空間内での３次元座標に対して投票を行う。
円形領域抽出部８は、２値化マップに定められたｘｙ平面における、対象エッジ座標の値が円周上に位置するような、互いに異なる複数種類の正円形領域のそれぞれについて、以下の式（１）を用いて、当該正円形領域を表現する円表現パラメータ群を求める。
ｒ２＝（ｘ−Ｃｘ）２＋（ｙ−Ｃｙ）２ ・・・（１）
ここで式（１）中のｘ及びｙは、対象エッジ座標のｘ座標及びｙ座標をそれぞれ示している。円形領域抽出部８は、式（１）中のＣｘ及びＣｙのそれぞれを複数通りに変化させて、ＣｘとＣｙの各組に対応するｒを求める。これにより、ＣｘとＣｙとｒの組が複数組得られる。１組のＣｘとＣｙとｒは、対象エッジ座標の値が円周上に位置するような一つの正円形領域を表現する円表現パラメータ群であることから、ＣｘとＣｙとｒの組が複数組求められることによって、対象エッジ座標の値が円周上に位置するような、互いに異なる複数種類の正円形領域のそれぞれについての円表現パラメータ群が得られる。Ｃｘ及びＣｙのそれぞれを例えば１００通りに変化させると、ＣｘとＣｙとｒの組が１００００組得られることから、対象エッジ座標の値が円周上に位置するような、互いに異なる１００００種類の正円形領域のそれぞれについての円表現パラメータ群が得られることになる。円形領域抽出部８は、求めた複数の円表現パラメータ群（例えば１００００個の円表現パラメータ群）のそれぞれについて、当該円表現パラメータ群を構成する３つのパラメータを示すハフ空間内での３次元座標に対して投票を行う。
円形領域抽出部８は、このような投票処理を、求めた複数のエッジ座標（２値化マップでのエッジを構成する複数の値の座標）のそれぞれについて行う。そして、円形領域抽出部８は、ハフ空間内において投票数が最も多い３次元座標を構成する３つのパラメータで表現される正円形領域を、２値化マップの高確度領域に含まれる正円形領域とする。このようにして、２値化マップの高確度領域から一つの正円形領域が抽出される。
円形領域抽出部８は、２値化マップの高確度領域での一つの正円形領域を特定すると、当該正円形領域の円周上に位置する値のエッジ座標を、エッジについて求めた複数のエッジ座標から削除し、残りのエッジ座標のそれぞれについて投票処理をあらためて行う。そして、円形領域抽出部８は、ハフ空間内での投票数が最も多い３次元座標を構成する３つのパラメータで表現される正円形領域を、２値化マップの高確度領域に含まれる正円形領域とする。
以後、円形領域抽出部８は、同様に動作して、残ったエッジ座標の数が所定のしきい値以下となると、円形領域抽出処理を終了する。
このようにして、円形領域抽出部８は、ステップｓ３において、ステップｓ１で仮設定されたしきい値が使用されて生成された２値化マップの高確度領域から円形領域を抽出する。図２７は、図１９に示される２値化マップ５０から抽出された円形領域４００を当該２値化マップ５０に重ねて示す図である。図２７の例では、２値化マップ５０から３つの円形領域４００が抽出されている。
なお、円形領域抽出部８は、２値化マップから、正円形領域ではなく、楕円形領域等の他の円形領域を抽出しても良い。楕円形領域については、ハフ変換を用いて抽出することができる。
＜判定用評価値算出方法＞
人の顔については円形を成していることから、処理対象画像に含まれる顔画像の輪郭も円形を成している。したがって、２値化マップの生成で使用されるしきい値を適切に調整することによって、上述の図１６に示されるように、２値化マップの高確度領域には、処理対象画像に含まれる各顔画像に対応する独立した円形領域が含まれる可能性が高くなる。したがって、この場合には、検出対象画像特定部６は、２値化マップの高確度領域に基づいて、処理対象画像に含まれる各顔画像を個別に適切に特定することが可能となる。
一方で、２値化マップの生成で使用されるしきい値が小さすぎると、上述の図１９に示されるように、２値化マップの高確度領域では、顔画像に対応する円形領域が大きくなり、距離が近い複数の顔画像にそれぞれ対応する複数の円形領域が接続されて、２値化マップの高確度領域には、複数の顔画像に対応する一つの独立領域が含まれる可能性が高くなる。したがって、この場合には、検出対象画像特定部６は、２値化マップの高確度領域に基づいて、処理対象画像に含まれる各顔画像を個別に適切に特定することが困難となる。
また、２値化マップの生成で使用されるしきい値が大きすぎると、２値化マップの高確度領域では、上述の図２２に示されるように、顔画像に対応する円形領域が小さくなり、出力値マップでの対応する領域の検出確度値が小さい顔画像（図１４の顔画像２０ｃ）に対応する円形領域が消えてしまう可能性が高くなる。したがって、この場合にも、検出対象画像特定部６は、２値化マップの高確度領域に基づいて、処理対象画像に含まれる各顔画像を個別に適切に特定することが困難となる。
このように、２値化マップの生成で使用されるしきい値が大きすぎると、２値化マップの高確度領域では、顔画像に対応する円形領域が小さくなって消えてしまう可能性が高くなる。したがって、この可能性を低減するためには、２値化マップの高確度領域にはできるだけ大きな円形領域が含まれるようにしきい値が調整されることが望まれる。
一方で、２値化マップの生成で使用されるしきい値が小さすぎると、２値化マップの高確度領域では、複数の顔画像にそれぞれ対応する複数の円形領域が接続されて、当該複数の顔画像に対応する一つの独立領域が含まれる可能性が高くなる。したがって、この可能性を低減するためには、２値化マップの高確度領域には独立した円形領域ができるだけ含まれるようにしきい値が調整されることが望まれる。
そこで、本実施の形態では、しきい値調整部７は、２値化マップの生成で使用されるしきい値を判定用評価値に基づいて調整することによって、当該２値化マップの高確度領域には、できるだけ大きな円形領域が含まれつつ、独立した円形領域ができるだけ含まれるようにする。これにより、処理対象画像に含まれる各顔画像を個別に適切に特定することが可能となる。以下に判定用評価値の算出方法について詳細に説明する。
本実施の形態では、しきい値調整部７は、ステップｓ３で抽出された各円形領域について、以下の式（２）を用いて統合評価値Ｂを求める。
Ｂ＝Ａ１−Ａ２−Ａ３ ・・・（２）
ここで、式（２）において、Ａ１は、式（２）を用いて統合評価値Ｂを求める対象の円形領域（以後、「対象円形領域」と呼ぶ）と、ステップｓ２で生成された２値化マップの高確度領域との重なり面積を示す第１評価値である。またＡ２は、対象円形領域と、ステップｓ３で抽出された他の円形領域との重なり面積を示す第２評価値である。そしてＡ３は、対象円形領域と、ステップｓ２で生成された２値化マップの低確度領域との重なり面積を示す第３評価値である。
しきい値調整部７は、例えば、上述の図２７に示されるように、ステップｓ３で抽出された円形領域がすべて配置された２値化マップ（以後、「評価値算出用２値化マップ」と呼ぶ）を用いて、第１評価値Ａ１、第２評価値Ａ２及び第３評価値Ａ３を求める。
具体的には、しきい値調整部７は、評価値算出用２値化マップの高確度領域における、対象円形領域と重なっている部分を構成する複数の値の数を求めて、求めた数を第１評価値Ａ１とする。
また、しきい値調整部７は、評価値算出用２値化マップにおいて、対象円形領域における、他の円形領域と重なっている部分を構成する複数の値の数を求めて、求めた数を第２評価値Ａ２とする。例えば、ステップｓ３において四つの円形領域が抽出されたとすると、しきい値調整部７は、評価値算出用２値化マップにおいて、対象円形領域における、他の３つの円形領域と重なっている部分を構成する複数の値の数を求めて、求めた数を第２評価値Ａ２とする。
そして、しきい値調整部７は、評価値算出用２値化マップの低確度領域における、対象円形領域と重なっている部分を構成する複数の値の数を求めて、求めた数を第３評価値Ａ３とする。
上述の式（２）から理解できるように、対象円形領域についての統合評価値Ｂは、第１評価値Ａ１により、対象円形領域と２値化マップの高確度領域との重なり面積が大きいほど大きくなる。２値化マップの高確度領域に含まれる円形領域が大きいほど、２値化マップから抽出された円形領域と２値化マップの高確度領域との重なり面積は大きくなることから、統合評価値Ｂは、２値化マップの高確度領域に含まれる円形領域が大きいほど大きくなる。
また、対象円形領域についての統合評価値Ｂは、第２評価値Ａ２により、対象円形領域と、ステップｓ３で抽出された他の円形領域との重なり面積が小さいほど大きくなる。したがって、統合評価値Ｂは、２値化マップの高確度領域において独立した円形領域が存在する場合には大きくなる。
また、対象円形領域についての統合評価値Ｂは、第３評価値Ａ３により、対象円形領域と２値化マップの低確度領域との重なり面積が小さいほど大きくなる。
ここで、２値化マップの生成で使用されるしきい値が小さすぎると、図２８に示されるように、２値化マップ５０の高確度領域５１において、距離が近い複数の顔画像にそれぞれ対応する複数の領域５１ａ，５１ｂが接触して円形に近い一つの独立領域５１１を形成することがある。つまり、２値化マップ５０の高確度領域５１には、複数の顔画像に対応する円形に近い一つの独立領域５１１が含まれることがある。このような２値化マップ５０の高確度領域５１から円形領域が抽出されると、図２８に示されるように、独立領域５１１に対して一つの円形領域４００が抽出される可能性がある。
このように、２値化マップの高確度領域において、複数の顔画像に対応する、円形に近い独立領域５１１が含まれる場合には、図２８と上述の図２７とを比較して理解できるように、当該２値化マップの高確度領域から抽出された円形領域と、当該２値化マップの低確度領域との重なり面積が大きくなる可能性がある。よって、この場合には、第３評価値Ａ３が大きくなり統合評価値Ｂが小さくなる。逆に言えば、２値化マップの高確度領域において、一つの顔画像に対応する独立した円形領域が多く存在する場合には、当該２値化マップの高確度領域から抽出された円形領域と、当該２値化マップの低確度領域との重なり面積が小さくなる傾向にあり、その結果、統合評価値Ｂは、２値化マップの高確度領域において独立した円形領域が存在するほど大きくなる傾向にある。
以上のように、統合評価値Ｂは、２値化マップの高確度領域に含まれる円形領域が大きいほど大きくなるとともに、２値化マップの高確度領域において独立した円形領域が存在するほど大きくなる。
しきい値調整部７は、ステップｓ３で抽出された各円形領域についての統合評価値Ｂを求めると、それらの統合評価値Ｂの総和を求めて、求めた総和を判定用評価値とする。これにより、ステップｓ１で仮設定されたしきい値が適切かを示す判定用評価値が得られる。判定用評価値についても、２値化マップの高確度領域に含まれる円形領域が大きいほど大きくなるとともに、２値化マップの高確度領域において独立した円形領域が存在するほど大きくなる。
しきい値調整部７は、複数段階のしきい値にそれぞれ対応する複数の判定用評価値が得られると、ステップｓ６において、当該複数の判定用評価値の最大値に対応するしきい値を適切なしきい値に決定する。このようにして適切なしきい値が決定されると、２値化処理部５は、当該適切なしきい値を用いて出力値マップを２値化して特定用２値化マップを生成する。これにより、特定用２値化マップは、その高確度領域においてできるだけ大きな円形領域が含まれつつ、独立した円形領域ができるだけ含まれるように生成される。このような特定用２値化マップに基づいて検出対象画像特定部６が処理対象画像において顔画像を特定することにより、検出対象画像特定部６は、処理対象画像において、出力値マップでの対応する領域の検出確度値が小さい顔画像を特定することができるとともに、距離が近い複数の顔画像のそれぞれを個別に特定することができる。
なお、複数段階のしきい値にそれぞれ対応する複数の判定用評価値において複数の最大値が存在する場合には、最大値である複数の判定用評価値のうち、それに対応するしきい値が最小である判定用評価値を適切なしきい値に決定することが好ましい。これにより、処理対象画像において、出力値マップでの対応する領域の検出確度値が小さい顔画像を特定し易くなる。
また上記の例では、統合評価値Ｂが算出される際には、対象円形領域と、２値化マップの低確度領域との重なり面積を示す第３評価値Ａ３が考慮されていたが、当該第３評価値Ａ３は考慮されなくても良い。つまり、統合評価値Ｂは以下の式（３）で表されても良い。
Ｂ＝Ａ１−Ａ２ ・・・（３）
しきい値調整部７が、式（３）を用いて統合評価値Ｂを求める場合であっても、２値化マップの高確度領域に、できるだけ大きな円形領域が含まれつつ、独立した円形領域ができるだけ含まれるように、当該２値化マップの生成で使用するしきい値を決定することができる。
以上のように、本実施の形態では、しきい値調整部７は、２値化マップの高確度領域から抽出された円形領域と、当該高確度領域との重なり面積を示す第１評価値Ａ１と、当該円形領域と、当該高確度領域から抽出された他の円形領域との重なり面積を示す第２評価値Ａ２とに基づいて、２値化マップの生成で使用されるしきい値を調整することから、２値化マップの高確度領域に、できるだけ大きな円形領域が含まれつつ、独立した円形領域ができるだけ含まれるように、当該２値化マップの生成で使用されるしきい値を調整することができる。よって、検出対象画像特定部６は、調整されたしきい値が用いられて生成された２値化マップに基づいて処理対象画像において検出対象画像を特定することによって、処理対象画像において、出力値マップでの対応する領域の検出確度値が小さい検出対象画像を特定することができるとともに、距離が近い複数の検出対象画像のそれぞれを個別に特定することができる。よって、検出対象画像についての検出精度が向上する。
また上記のように、しきい値調整部７が、第１評価値Ａ１及び第２評価値Ａ２だけではなく、円形領域と、２値化マップの低確度領域との重なり面積を示す第３評価値Ａ３にも基づいてしきい値を調整することにより、２値化マップの高確度領域に、より多くの独立した円形領域を含めることが可能となる。よって、処理対象画像において、距離が近い複数の検出対象画像のそれぞれを精度良く個別に特定することができる。
上記において画像検出装置１は詳細に説明されたが、上記した説明は、全ての局面において例示であって、この発明がそれに限定されるものではない。例えば、検出対象画像については、人の顔画像以外の画像であっても良い。また、上述した各種の例は、相互に矛盾しない限り組み合わせて適用可能である。そして、例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
１ 画像検出装置
４ マップ生成部
５ ２値化処理部
６ 検出対象画像特定部
７ しきい値調整部
８ 円形領域抽出部

Claims (6)

  1. 処理対象画像から検出対象画像を検出する画像検出装置であって、
    前記検出対象画像としての確からしさを示す確度値についての前記処理対象画像での分布を示すマップを生成するマップ生成部と、
    しきい値を用いて前記マップを２値化して２値化マップを生成する２値化処理部と、
    前記マップにおける、前記確度値が前記しきい値以上あるいは当該しきい値よりも大きい領域に対応する、当該しきい値が用いられて生成された前記２値化マップでの第１領域から円形領域を抽出する抽出部と、
    前記抽出部で前記２値化マップの前記第１領域から抽出された円形領域と当該第１領域との重なり面積を示す第１評価値と、当該円形領域と前記抽出部で当該第１領域から抽出された他の円形領域との重なり面積を示す第２評価値とに基づいて、前記しきい値を調整するしきい値調整部と、
    前記しきい値調整部で調整された前記しきい値が用いられて生成された前記２値化マップの前記第１領域に基づいて、前記処理対象画像において前記検出対象画像を特定する特定部と
    を備える、画像検出装置。
  2. 請求項１に記載の画像検出装置であって、
    前記しきい値調整部は、
    前記抽出部で前記２値化マップの前記第１領域から抽出された円形領域と当該第１領域との重なり面積を示す第１評価値と、
    当該円形領域と前記抽出部で当該第１領域から抽出された他の円形領域との重なり面積を示す第２評価値と、
    当該円形領域と、前記マップにおける、前記確度値が当該２値化マップの生成で用いられた前記しきい値未満あるいは当該しきい値以下の領域に対応する、当該２値化マップでの第２領域との重なり面積を示す第３評価値と
    に基づいて、前記しきい値を調整する、画像検出装置。
  3. 請求項１及び請求項２のいずれか一つに記載の画像検出装置であって、
    前記抽出部は、前記２値化マップのエッジを検出し、当該エッジの座標を用いたハフ変換により当該２値化マップの前記第１領域での円形領域を特定する、画像検出装置。
  4. 請求項１乃至請求項３のいずれか一つに記載の画像検出装置であって、
    前記検出対象画像は、人の顔画像である、画像検出装置。
  5. 処理対象画像から検出対象画像を検出する画像検出装置を制御するための制御プログラムであって、
    前記画像検出装置に、
    （ａ）前記検出対象画像としての確からしさを示す確度値についての前記処理対象画像での分布を示すマップを生成する工程と、
    （ｂ）しきい値を用いて前記マップを２値化して２値化マップを生成する工程と、
    （ｃ）前記マップにおける、前記確度値が前記しきい値以上あるいは当該しきい値よりも大きい領域に対応する、当該しきい値が用いられて生成された前記２値化マップでの部分領域から円形領域を抽出する工程と、
    （ｄ）前記工程（ｃ）で前記２値化マップの前記部分領域から抽出された円形領域と当該部分領域との重なり面積を示す第１評価値と、当該円形領域と前記工程（ｃ）で当該部分領域から抽出された他の円形領域との重なり面積を示す第２評価値とに基づいて、前記しきい値を調整する工程と、
    （ｅ）前記工程（ｄ）で調整された前記しきい値が用いられて生成された前記２値化マップの前記部分領域に基づいて、前記処理対象画像において前記検出対象画像を特定する工程と
    を実行させるための制御プログラム。
  6. 処理対象画像から検出対象画像を検出する画像検出方法であって、
    （ａ）前記検出対象画像としての確からしさを示す確度値についての前記処理対象画像での分布を示すマップを生成する工程と、
    （ｂ）しきい値を用いて前記マップを２値化して２値化マップを生成する工程と、
    （ｃ）前記マップにおける、前記確度値が前記しきい値以上あるいは当該しきい値よりも大きい領域に対応する、当該しきい値が用いられて生成された前記２値化マップでの部分領域から円形領域を抽出する工程と、
    （ｄ）前記工程（ｃ）で前記２値化マップの前記部分領域から抽出された円形領域と当該部分領域との重なり面積を示す第１評価値と、当該円形領域と前記工程（ｃ）で当該部分領域から抽出された他の円形領域との重なり面積を示す第２評価値とに基づいて、前記しきい値を調整する工程と、
    （ｅ）前記工程（ｄ）で調整された前記しきい値が用いられて生成された前記２値化マップの前記部分領域に基づいて、前記処理対象画像において前記検出対象画像を特定する工程と
    を備える、画像検出方法。
JP2013063363A 2013-03-26 2013-03-26 画像検出装置及び制御プログラム並びに画像検出方法 Active JP6121768B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013063363A JP6121768B2 (ja) 2013-03-26 2013-03-26 画像検出装置及び制御プログラム並びに画像検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013063363A JP6121768B2 (ja) 2013-03-26 2013-03-26 画像検出装置及び制御プログラム並びに画像検出方法

Publications (2)

Publication Number Publication Date
JP2014191369A JP2014191369A (ja) 2014-10-06
JP6121768B2 true JP6121768B2 (ja) 2017-04-26

Family

ID=51837612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013063363A Active JP6121768B2 (ja) 2013-03-26 2013-03-26 画像検出装置及び制御プログラム並びに画像検出方法

Country Status (1)

Country Link
JP (1) JP6121768B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102305575B1 (ko) * 2019-09-03 2021-09-27 네이버 주식회사 이미지 간 유사도를 이용한 유사 영역 강조 방법 및 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3506958B2 (ja) * 1998-09-10 2004-03-15 富士写真フイルム株式会社 画像処理方法、画像処理装置及び記録媒体
JP3862603B2 (ja) * 2002-05-14 2006-12-27 キヤノン株式会社 パラメータ処理装置及びパラメータ処理方法及び全方位画像撮像装置及び全方位画像撮像装置の制御方法及びプログラム及び記憶媒体
JP2009175821A (ja) * 2008-01-22 2009-08-06 Fujifilm Corp 特定画像の検出方法及び撮影装置
JP2012123667A (ja) * 2010-12-09 2012-06-28 Panasonic Corp 姿勢推定装置および姿勢推定方法

Also Published As

Publication number Publication date
JP2014191369A (ja) 2014-10-06

Similar Documents

Publication Publication Date Title
JP6088792B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
US10748023B2 (en) Region-of-interest detection apparatus, region-of-interest detection method, and recording medium
JP6688277B2 (ja) プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
JP6110174B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP2009020613A (ja) 画像処理プログラム、画像処理方法及び画像処理装置
JP2018180945A (ja) 物体検出装置及びプログラム
JP6177541B2 (ja) 文字認識装置、文字認識方法及びプログラム
JP4903192B2 (ja) 顔検出装置
JP6147056B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP6542406B1 (ja) 読取システム、読取方法、プログラム、及び記憶媒体
JP7258632B2 (ja) 物体検出装置
JP2018092354A (ja) 物体検出装置および物体検出方法
JP6030457B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP6221283B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6661082B2 (ja) 画像認識装置、及び画像認識プログラム
JP6121768B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP2018109824A (ja) 電子制御装置、電子制御システムおよび電子制御方法
KR101904480B1 (ko) 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
JP6546385B2 (ja) 画像処理装置及びその制御方法、プログラム
JP5935118B2 (ja) 物体検出装置および物体検出方法
JP6276504B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6116916B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP2020035338A (ja) 物体検出方法及び物体検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170321

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170330

R150 Certificate of patent or registration of utility model

Ref document number: 6121768

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150