JP5901054B2 - 物体の検出方法及びその方法を用いた物体の検出装置 - Google Patents

物体の検出方法及びその方法を用いた物体の検出装置 Download PDF

Info

Publication number
JP5901054B2
JP5901054B2 JP2011265081A JP2011265081A JP5901054B2 JP 5901054 B2 JP5901054 B2 JP 5901054B2 JP 2011265081 A JP2011265081 A JP 2011265081A JP 2011265081 A JP2011265081 A JP 2011265081A JP 5901054 B2 JP5901054 B2 JP 5901054B2
Authority
JP
Japan
Prior art keywords
image
search range
learning
pedestrian
hog feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011265081A
Other languages
English (en)
Other versions
JP2013117865A (ja
Inventor
聖二 石川
聖二 石川
ジュークイ タン
ジュークイ タン
悠介 江原
悠介 江原
森江 隆
隆 森江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyushu Institute of Technology NUC
Original Assignee
Kyushu Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyushu Institute of Technology NUC filed Critical Kyushu Institute of Technology NUC
Priority to JP2011265081A priority Critical patent/JP5901054B2/ja
Publication of JP2013117865A publication Critical patent/JP2013117865A/ja
Application granted granted Critical
Publication of JP5901054B2 publication Critical patent/JP5901054B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、撮像された画像中に検出対象物(例えば、人物、特定の物体等)が存在しているか否かを判定する物体の検出方法及びその方法を用いた物体の検出装置に関する。
近年、ITS(Intelligent Transport System:高度交通システム)やロボットビジョン等を目的として、カメラ画像から物体を検出する技術が注目されている。特に、カメラ画像上で歩行者を検出することは、ITSの分野において、車両運転時のドライバーの不注意による歩行者の見落としを防止するシステムとして貢献できるため、車載カメラによって撮像されるカメラ画像中で、歩行者をIT(Information Technology)を用いて検知する歩行者検出についての研究が盛んに行われている。しかし、歩行者検出は、体形、着衣の色、障害物、及び明るさ変化等や、歩行者同士の重なり合い等が影響して容易でない。
一般に、検出対象物(即ち、カメラ画像内での局所領域)を表す特徴量にはさまざまな算出方法が提案されているが、どの特徴量が有効であるかは、検出対象物によって大きく変わる。例えば、HOG特徴量は、照明変化や形状変化に頑強な特徴量であることから歩行者検出に有効とされている(例えば、非特許文献1参照)。このため、歩行者(人物)の含まれている画像、歩行者の含まれていない画像からなる学習画像のHOG特徴量を算出し、得られたHOG特徴量のRealAdaBoostによる機械学習を行って、歩行者の各部位の検出に有効なHOG特徴量をそれぞれ選択することにより弱識別器を生成し、評価画像に歩行者が存在するか否かを判定する歩行者検出方法の研究が行われている(例えば、非特許文献2参照)。
N.Dalal、B.Triggs、「ヒストグラムズ オブ オリエンティッド グラディエンツ フォー ヒューマン ディテクション(Histograms of Oriented Gradients for Human Detection)」、アイイーイーイー シーブイピーアール(IEEE CVPR)、p.886−893、2005年 山内悠嗣、藤吉弘亘、山下隆義、Boostingに基づく特徴量の共起表現による人検出、画像の認識・理解シンポジウム(MIRU2008)、p.180−187、2008年
従来、評価画像において歩行者を検出する場合、評価画像全体に探索領域を大量に配置し、各探索領域にHOG特徴量を算出している。ここで、探索領域のHOG特徴量は、探索領域を予め設定した複数個の画素から構成されるセルに分割し、セル毎のHOG特徴量を算出し、これらを全て足し合わせることにより求めている。従って、探索領域に歩行者が存在するか否かの判定は、セル毎に算出したHOG特徴量を、機械学習により得られた各弱識別器を用いて判定し、各弱識別器の出力値(判定結果)の合計値が機械学習により求めた基準値より大きな場合は歩行者が存在すると判定し、合計値が基準値未満の場合は歩行者が存在したいと判定している。このため、評価画像内に歩行者が存在するか否かを判定するには、多量の計算を短時間で処理可能な計算機を用いる必要があり、計算コストの面で問題となっている。特に、ITSの分野においては、処理時間の短縮は、検出精度の向上と共に重要な開発要素となっている。
また、従来の歩行者の検出方法では、セルのサイズが固定されているため、評価画像から得られるHOG特徴量の数に限界があり、検出精度の向上面においても問題がある。
本発明はかかる事情に鑑みてなされたもので、与えられた画像中で検出対象物を短時間で精度よく検出することが可能な物体の検出方法及び検出装置を提供することを目的とする。
前記目的に沿う第1の発明に係る物体の検出方法は、検出対象物の画像及び非検出対象物の画像からなる学習画像を用いて該検出対象物を識別する複数の弱識別器を構築する学習過程と、検査画像中に探索範囲を設定しながら、前記弱識別器を用いたRealAdaBoostのアルゴリズムにより前記探索範囲内の画像に対して求めた識別器の出力値から該検出対象物の存否を決定する判定過程とを有する物体の検出方法において、
前記学習過程は、前記学習画像に前記探索範囲を設定すると共に該探索範囲内の局所領域の大きさを決めるセルのサイズを複数設定し、各サイズの前記セルを順次用いて、該セルを、該セル同士を一部重ねながら前記探索範囲の全域に配置すると共に、配置した前記セル内の画像のHOG特徴量Aをそれぞれ算出し、サイズが一定の前記セル毎の前記HOG特徴量Aを前記探索範囲に配置した該セルの順番に並べたものを、更に該セルのサイズの順に並べて前記探索範囲内の画像のHOG特徴量Bとする第1工程と、
前記HOG特徴量Bから、RealAdaBoostのアルゴリズムを用いて、前記検出対象物の特徴的な部位をそれぞれ1つの前記セルで取り囲んだ場合のHOG特徴量を選択しそれぞれ前記弱識別器とする第2工程とを有する。
第1の発明に係る物体の検出方法において、前記判定過程では、前記検査画像中に設定する前記探索範囲に対して前記弱識別器を用いてRealAdaBoostのアルゴリズムによる識別処理を繰り返して判定を行う際に、前記識別器の出力値が前記識別処理の回数毎に予め設定した判定値未満の場合は前記識別処理を終了することにより、前記検査画像中に設定する前記探索範囲毎に、前記識別器を構成する前記弱識別器の個数を変え、前記識別処理の回数毎に予め設定した前記判定値は、前記学習画像に設定した前記探索範囲に対して前記弱識別器を用いてRealAdaBoostのアルゴリズムによる学習処理を繰り返して前記検出対象物を検出した際に、前記学習処理の回数毎に求められる識別器から出力された出力値の最小値であることが好ましい。
前記目的に沿う第2の発明に係る物体の検出装置は、検出対象物の画像及び非検出対象物の画像からなる学習画像を用いて該検出対象物を識別する複数の弱識別器を構築する学習機構と、検査画像中に探索範囲を設定しながら、前記弱識別器を用いたRealAdaBoostのアルゴリズムにより前記探索範囲内の画像に対して求めた識別器の出力値から該検出対象物の存否を決定する判定機構とを有する物体の検出装置において、
前記学習機構は、前記学習画像に前記探索範囲を設定すると共に該探索範囲内の局所領域の大きさを決めるセルのサイズを複数設定し、各サイズの前記セルを順次用いて、該セルを、該セル同士を一部重ねながら前記探索範囲の全域に配置すると共に、配置した前記セル内の画像のHOG特徴量Aをそれぞれ算出し、サイズが一定の前記セル毎の前記HOG特徴量Aを前記探索範囲に配置した該セルの順番に並べたものを、更に該セルのサイズの順に並べることにより前記探索範囲内の画像のHOG特徴量Bを求めるHOG特徴量算出手段と、
前記HOG特徴量Bから、RealAdaBoostのアルゴリズムを用いて、前記検出対象物の特徴的な部位をそれぞれ取り囲む1つのセルのHOG特徴量を選択しそれぞれ前記弱識別器とする弱識別器生成手段とを有している。
第2の発明に係る物体の検出装置において、前記判定機構は、前記検査画像中に設定する前記探索範囲に対して前記弱識別器を用いてRealAdaBoostのアルゴリズムによる識別処理を繰り返して判定を行う際に、前記識別器の出力値が前記識別処理の回数毎に予め設定した判定値未満の場合は前記識別処理を終了することにより、前記検査画像中に設定する前記探索範囲毎に、前記識別器を構成する前記弱識別器の個数を変える識別処理管理手段を有し
前記学習機構は、前記学習画像に設定した前記探索範囲に対して前記弱識別器を用いてRealAdaBoostのアルゴリズムによる学習処理を繰り返して前記検出対象物を検出した際に、前記学習処理の回数毎に求められる識別器から出力された出力値の最小値を求める判定値生成手段を有し、
前記判定機構は、前記識別判定値生成手段で求めた各最小値を、前記識別処理の回数毎に予め設定した前記判定値とする判定値設定手段を有していることが好ましい。
第1の発明に係る物体の検出方法及び第2の発明に係る物体の検出装置においては、探索範囲内の局所領域の大きさを決めるセルのサイズを複数設定し、各サイズのセルを順次用いて、セルを、セル同士を一部重ねながら探索範囲の全域に配置するので、探索範囲内における種々の位置及び種々のサイズの局所領域の画像のHOG特徴量Aを用いて探索範囲内の画像のHOG特徴量Bを構成することができ、HOG特徴量BからRealAdaBoostのアルゴリズムを用いて検出対象物の識別に有効なHOG特徴量を複数選択すると、選択されたHOG特徴量は、検出対象物の各部位をそれぞれ一括で表すことに最適なHOG特徴量が含まれる。このため、検出対象物の各部位を(例えば検出対象物が人の場合、腕の部分に配置されたセルからは腕の形の特徴を、頭の部分に配置されたセルからは頭の形の特徴を)それぞれ一括で表すことに最適なHOG特徴量を弱識別器として、検出対象物を識別する識別器を構成すると、従来の手法(探索範囲に、サイズが同一のセルを、セル同士が重ならないように配置する手法)に比較して、識別器を構成する弱識別器の個数を大きく低減することができる。その結果、検査画像中に設定した探索範囲の識別に要する時間が短縮され、即ち、探索範囲の識別処理の高速化を図ることができる。
第1の発明に係る物体の検出方法及び第2の発明に係る物体の検出装置において、検査画像中に設定する探索範囲に対して弱識別器を用いてRealAdaBoostのアルゴリズムによる識別処理を繰り返して判定を行う際に、識別器の出力値が識別処理の回数毎に予め設定した判定値未満のときは識別処理を終了する場合、検査画像の探索範囲に検出対象物が存在しないという最終判定を識別処理の早期段階で行うことができ、探索範囲の識別に要する時間を大幅に短縮することができる。
更に、探索領域毎に弱識別器の個数が異なる識別器を用いて検出対象物の存否判定を行うので、例えば、背景領域は少ない弱識別器で構成された識別器で高速に識別され、検出対象物領域及び検出対象物に類似する領域では弱識別器の個数の多い識別器で識別されることになって、検出対象物の識別精度向上を達成することができる。
第1の発明に係る物体の検出方法及び第2の発明に係る物体の検出装置において、識別処理の回数毎に予め設定した判定値が、学習画像に設定した探索範囲に対して弱識別器を用いてRealAdaBoostのアルゴリズムによる学習処理を繰り返して検出対象物を検出した際に、学習処理の回数毎に求められる識別器から出力された出力値の最小値である場合、探索範囲の識別処理の終了判定を安全側で行うことができる。
本発明の第1の実施の形態に係る物体の検出方法を適用する物体の検出装置のブロック図である。 (A)本発明の第1の実施の形態に係る物体の検出方法による探索領域内に設定したセルの配置、(B)は従来の物体の検出方法による探索領域内に設定したセルの配置の説明図である。 弱識別器の個数と歩行者検出の正解率の関係を示すグラフである。 本発明の第2の実施の形態に係る物体の検出方法を適用する物体の検出装置のブロック図である。 実施例及び比較例における弱識別器数と誤り率の関係を示すグラフである。
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
先ず、本発明の第1の実施の形態に係る物体の検出方法を適用する物体の検出装置10について説明する。図1、図2(A)に示すように、物体の検出装置10は、検出対象物の一例である歩行者Pの画像及び非検出対象物の一例である背景(歩行者Pの背景)の画像からなる学習画像13を用いて歩行者Pを識別する弱識別器を構築する学習機構11と、図示しない検査画像中に探索範囲14を設定しながら、弱識別器を用いたRealAdaBoostのアルゴリズムにより、探索範囲14内の画像に対して求めた識別器の出力値から探索範囲14内の歩行者Pの存否を決定する判定機構12とを有している。以下、詳細に説明する。
学習機構11は、学習画像13中に探索範囲14を設定すると共に探索範囲14内の局所領域の大きさを決めるセル15のサイズを複数設定し、各サイズのセル15を順次用いて、セル15を、セル15同士を一部重ねながら探索範囲14の全域に配置すると共に、配置したセル15内の画像のHOG特徴量Aをそれぞれ算出し、探索範囲14に配置した全てのセル15毎のHOG特徴量Aを組み合せて探索範囲14内の画像のHOG特徴量Bを求めるHOG特徴量算出手段16と、HOG特徴量Bから、RealAdaBoostのアルゴリズムを用いて、歩行者Pの識別に有効なHOG特徴量を複数選択し弱識別器とする弱識別器生成手段17とを有している。
ここで、学習画像13は、図示しないカメラで撮影した歩行者の画像及び歩行者が存在しない画像を、例えば、縦60画素、横30画素のサイズにリサイズしたものを使用する。なお、学習画像13として、歩行者データべースのひとつであるINRIA Person Datasetを利用することもできる。また、探索範囲14のサイズは、検出対象物の形状に応じて設定する。例えば、図2(A)に示すように、検出対象物が歩行者Pの場合、探索範囲14は、学習画像13と同一サイズとなる縦60画素、横30画素のサイズとする。
HOG特徴量算出手段16は、学習画像13を記憶する機能を備えた学習画像保存部18と、学習画像保存部18に保存された学習画像を取り出して学習用データを抽出するための探索範囲14を設定すると共に、探索範囲14内の局所領域の大きさを決めるセル15のサイズを複数設定し、各サイズのセル15を順次用いて、探索範囲14の全域にセル15を、セル15同士を一部重ねながら配置して、セル15内の画像のHOG特徴量Aを算出する第1のHOG特徴量算出部19と、探索範囲14に配置した全てのセル15毎のHOG特徴量Aを組み合せて(例えば、サイズ一定のセル15毎のHOG特徴量Aを探索範囲に配置したセル15の順番に並べたものを、更にセル15のサイズの順に並べることにより)探索範囲14内の画像のHOG特徴量Bを求める第2のHOG特徴量算出部20とを有している。
ここで、図2(A)に示すように、セル15のサイズ範囲は、探索範囲14内における検出対象物の占有率に応じて設定するが、例えば、検出対象物が歩行者Pの場合、セル15の縦幅は歩行者Pの最大縦幅の6〜80%、セル15の横幅は歩行者Pの最大横幅の13〜80%の範囲とする(例えば、セル15の最小サイズを縦4画素横4画素、最大サイズは縦48画素横24画素)。また、セル15同士を一部重ねながら配置する際の重ね代は、例えば、2〜46画素である。
弱識別器生成手段17では、歩行者Pの特徴量(全てのサイズのセル15から得られる歩行者Pの特徴量であるHOG特徴量)の集合であるHOG特徴量Bの中から、RealAdaBoostのアルゴリズムを用いて、歩行者Pの識別に有効なHOG特徴量を複数選択して弱識別器とする。図3に、歩行者Pを検出する場合の、弱識別器の個数と歩行者検出の正解率の関係を示す。図3から、一定個数(例えば、少なくとも500個)の弱識別器を選択することで、歩行者Pを検出する際の正解率を一定値以上(95%以上)にすることができる。
更に、学習機構11は、学習画像13内に設定した探索範囲14に対して、弱識別器生成手段17から得られた弱識別器を用いてRealAdaBoostのアルゴリズムによる学習処理を繰り返して求めた識別器が歩行者Pを検出した際に出力する出力値(学習画像13内に設定した探索範囲14内のHOG特徴量が歩行者Pであることを示す数値)の最小値を求めて、この最小値を、識別器が歩行者Pを認識する(歩行者Pが存在すると判定する)際の判定値とする識別判定値生成手段21を有している。
判定機構12は、検査画像中に探索範囲14を設定しながら、各サイズのセル15を順次用いて、探索画像14の全域にセル15を、セル15同士を一部重ねながら配置すると共に、配置したセル15内の画像のHOG特徴量をそれぞれ算出し、探索画像14の全域に配置した全てのセル15毎のHOG特徴量を組み合せて探索範囲14内の画像のHOG特徴量を求める検査用HOG特徴量算出手段22と、探索範囲14内の画像(探索範囲14内の画像のHOG特徴量)に対して、弱識別器生成手段17から得られた弱識別器を用いたRealAdaBoostのアルゴリズムによる識別処理を繰り返して求めた識別器からの最終出力値(選択された全ての弱識別器を用いたRealAdaBoostのアルゴリズムによる識別処理の結果得られた識別器からの出力値であって、探索範囲14内のHOG特徴量が歩行者Pであることを示す数値)を決定する識別手段23と、識別手段23の最終出力値と識別判定値生成手段21の判定値とを比較して、最終出力値が判定値以上である場合は、検査画像中に設定した探索範囲14内に歩行者Pが存在すると判定し、最終出力値が判定値未満である場合は、検査画像中に設定した探索範囲14内に歩行者Pが存在しないと判定する判定手段24とを有している。
ここで、学習機構11は、HOG特徴量算出手段16、弱識別器生成手段17、及び識別判定値生成手段21の機能をそれぞれ発現するプログラムを、判定機構12は、検査用HOG特徴量算出手段22、識別手段23、及び判定手段24の機能をそれぞれ発現するプログラムを、コンピュータに搭載することにより構成できる。
続いて、本発明の第1の実施の形態に係る物体の検出方法について説明する。
本発明の第1の実施の形態に係る物体の検出方法は、歩行者Pの画像及び非歩行者の画像(歩行者Pの背景画像)からなる学習画像13を用いて、歩行者Pの識別に有効な複数の弱識別器を構築する学習過程と、検査画像中に探索範囲14を設定しながら、弱識別器を用いたRealAdaBoostのアルゴリズムにより探索範囲14内の画像(HOG特徴量)に対して求めた識別器の出力値から歩行者Pの存否を決定する判定過程とを有する。以下、詳細に説明する。
図2(A)に示すように、学習過程は、学習画像13中に探索範囲14を設定すると共に、探索範囲14内の局所領域の大きさを決めるセル15のサイズを複数設定し、各サイズのセル15を順次用いて、セル15を、セル15同士を一部重ねながら探索範囲14の全域に配置すると共に、配置したセル15内の画像のHOG特徴量Aをそれぞれ算出し、探索範囲14に配置した全てのセル15毎のHOG特徴量Aを組み合せて探索範囲14内の画像のHOG特徴量Bとする第1工程と、HOG特徴量Bから、RealAdaBoostのアルゴリズムを用いて、歩行者Pの識別に有効なHOG特徴量を複数選択し弱識別器とする第2工程とを有する。
複数のサイズのセル15をそれぞれ用いて、各セル15をセル15同士が一部重なるように探索範囲14の全域に配置するので、例えば、歩行者Pの頭部右側を収容するセル15、歩行者Pの左肩部及び左腕上部を収容するように配置されるセル15、歩行者Pの右肩部及び右腕上部を収容するように配置されるセル15、歩行者Pの両腕下部及び胴体部を収容するように配置されるセル15、歩行者Pの上半身左側を収容するように配置されるセル15、歩行者Pの下半身左側を収容するように配置されるセル15、及び歩行者Pの下半身右側を収容するように配置されるセル15等のように、歩行者Pの比較的広い部位を1つのセル15で取り囲む場合が存在する。このため、探索範囲14のHOG特徴量Bは、歩行者Pの頭部右側の形の特徴を示すHOG特徴量A、歩行者Pの左肩部と左腕上部の形の特徴を示すHOG特徴量A、歩行者Pの右肩部と右腕上部の形の特徴を示すHOG特徴量A、歩行者Pの両腕下部と胴体部の形の特徴を示すHOG特徴量A、歩行者Pの上半身左側の形の特徴を示すHOG特徴量A、歩行者Pの下半身左側の形の特徴を示すHOG特徴量A、及び歩行者Pの下半身右側の形の特徴を示すHOG特徴量Aを含むことになる。
従って、弱識別器生成手段17により、歩行者Pの識別に有効なHOG特徴量を複数選択してそれぞれ弱識別器とすると、歩行者Pの頭部右側を識別するHOG特徴量、歩行者Pの左肩部と左腕上部を識別するHOG特徴量、歩行者Pの右肩部と右腕上部を識別するHOG特徴量、歩行者Pの両腕下部と胴体部を識別するHOG特徴量、歩行者Pの上半身左側を識別するHOG特徴量、歩行者Pの下半身左側を識別するHOG特徴量、及び歩行者Pの下半身右側を識別するHOG特徴量等のように、歩行者Pの比較的広い部位を一括して識別するHOG特徴量が、弱識別器として選択される。これにより、歩行者Pを識別する際に使用する弱識別器の個数を低減することができる。その結果、検査画像中に探索範囲14を順次設定しながら、探索範囲14内の画像(HOG特徴量B)に対して求めた識別器の出力値から歩行者Pの存否を判定することにより、検査画像中の歩行者Pの存否を決定する場合、1つの探索範囲14内の画像の識別に要する時間が短縮され(弱識別器の個数が少なくなるため、弱識別器の数を1つずつ増やしながら行う識別処理の回数が低下することに伴う総処理時間が短くなって)、検査画像中の歩行者Pの存否を短時間で決定することができる。
一方、図2(B)に示すように、従来のHOG特徴量、例えば、非特許文献1のHOG特徴量(DalalとTriggsによるオリジナルHOG特徴量)は、探索領域25全域に一定サイズのセル25aを隙間なく配置して、セル25a毎に求めたHOG特徴量を組み合せて探索範囲25内の画像のHOG特徴量としている。このため、探索範囲25内に歩行者Pが存在する場合、セル25aを用いて歩行者Pの輪郭をすべて覆うには、多くのセル25aが必要になる。
このため、探索範囲25内の画像のHOG特徴量から、RealAdaBoostのアルゴリズムを用いて、歩行者Pの識別に有効なHOG特徴量を複数選択すると、例えば、歩行者Pの頭部右側、左肩部と左腕上部、右肩部と右腕上部、両腕下部と胴体部量、上半身左側、下半身左側、及び下半身右側の形の特徴の識別には、それぞれ複数のHOG特徴量が選択される。このため、歩行者Pの識別に使用する弱識別器の個数は多くなる。
その結果、検査画像中に探索範囲25を順次設定しながら、探索範囲25内の画像から歩行者の存否を判定することにより、検査画像中の歩行者の存否を決定する場合、1つの探索範囲25内の画像の判定に長時間を要し、検査画像中の歩行者の存否を短時間で決定することができない。
次に、本発明の第2の実施の形態に係る物体の検出方法を適用する物体の検出装置26について説明する。
図4に示すように、物体の検出装置26は、検出対象物の一例である歩行者Pの画像及び非検出対象物の一例である背景の画像からなる学習画像(図示せず)を用いて歩行者P(歩行者Pの各部位)を識別する弱識別器を構築する学習機構27と、検査画像(図示せず)中に探索範囲を設定しながら、弱識別器を用いたRealAdaBoostのアルゴリズムにより探索範囲内の画像に対して求めた識別器の出力値からの歩行者Pの存否を決定する判定機構28とを有している。
ここで、物体の検出装置26は物体の検出装置10と比較して、識別判定値生成手段21の代わりに判定値生成手段29、識別手段23及び判定手段24の代わりに、判定値設定手段30及び識別処理管理手段31をそれぞれ設けたことが特徴となっている。このため、判定値生成手段29、判定値設定手段30、及び識別処理管理手段31についてのみ説明し、共通の手段については同一の符号を付して説明を省略する。
判定値生成手段29は、学習画像に設定した探索範囲内の画像のHOG特徴量Bに対して、弱識別器生成手段17から得られた弱識別器を用いたRealAdaBoostのアルゴリズムによる学習処理を繰り返して歩行者Pを検出した際に、学習処理の回数毎に求められる識別器から出力された出力値(学習画像内に設定した探索範囲内のHOG特徴量が歩行者Pであることを示す数値)の最小値を求める機能を備えている。
判定値設定手段30は、判定値生成手段29で求めた学習処理の回数毎の最小値を、それぞれ識別処理の回数毎の判定値に設定する機能を有している。
識別処理管理手段31は、検査画像中に設定する探索範囲内の画像のHOG特徴量に対して、弱識別器生成手段17から得られた弱識別器を用いたRealAdaBoostのアルゴリズムによる識別処理を繰り返す際に、識別処理の回数毎に求められる識別器の出力値が、判定値設定手段30で設定した識別処理の回数毎の判定値と比較して、判定値未満の場合は識別処理を終了し、識別器の出力値が判定値以上の場合は識別処理を継続し、識別処理の回数が、予め設定した回数行われた場合に、検査画像中に設定する探索範囲内に歩行者Pが存在すると判定する機能を有している。
ここで、識別処理は、弱識別器の数を1つずつ増やしながら行うので、予め設定した回数は、選択した弱識別器の個数と同数となる(即ち、選択した弱識別器全てを用いて識別処理が行われるまでの回数となる)。なお、歩行者検出の正解率は、弱識別器の個数が多いほど高くなるが、図3に示すように、弱識別器の個数が一定数を超えた場合、正解率の向上は非常に小さくなる(飽和傾向にある)ので、例えば、識別器の出力が飽和予想値の90%を超えた時点で、又は識別処理の回数が選択した弱識別器の個数の80%に到達した時点で、識別処理を終了するようにしてもよい。
その結果、検査画像中に順次設定する探索範囲内における歩行者Pの存在判定では、探索範囲毎に弱識別器の個数の異なる識別器を用いて歩行者Pの識別が行われることになる。
なお、判定値生成手段29、判定値設定手段30、及び識別処理管理手段31は、それぞれの機能を発現するプログラムを、コンピュータに搭載することにより構成できる。
続いて、本発明の第2の実施の形態に係る物体の検出方法について説明する。
本発明の第2の実施の形態に係る物体の検出方法は、歩行者Pの画像及び非歩行者の画像(歩行者Pの背景画像)からなる学習画像を用いて、歩行者Pの識別に有効な複数の弱識別器を構築する学習過程と、検査画像中に探索範囲を設定しながら、弱識別器を用いたRealAdaBoostのアルゴリズムにより探索範囲内の画像(HOG特徴量)に対して求めた識別器の出力値から歩行者Pの存否を決定する判定過程とを有する。
ここで、学習過程は、歩行者Pの画像及び非歩行者の画像(歩行者Pの背景画像)からなる学習画像中に探索範囲を設定すると共に、探索範囲内の局所領域の大きさを決めるセルのサイズを複数設定し、各サイズのセルを順次用いて、セルを、セル同士を一部重ねながら探索範囲の全域に配置してセル毎のHOG特徴量Aを算出して探索範囲内の画像のHOG特徴量Bとする第1工程と、HOG特徴量Bから、RealAdaBoostのアルゴリズムを用いて、歩行者Pの識別に有効なHOG特徴量を複数選択しそれぞれ弱識別器とする第2工程とを有している。このため、探索範囲内に歩行者Pを示す画像が存在すると、歩行者Pの比較的広い部位を含むようなセルが存在する。
その結果、弱識別器生成手段17により、歩行者Pの識別に有効なHOG特徴量を複数選択してそれぞれ弱識別器とすると、歩行者Pの比較的広い部位を一括して識別するHOG特徴量が、弱識別器として選択される。これにより、歩行者Pを識別する際に使用する弱識別器の個数を低減することができ、検査画像中に探索範囲を順次設定しながら、探索範囲内の歩行者Pの存否を判定することにより、検査画像中の歩行者Pの存否を決定する場合、1つの探索範囲内の画像の識別に要する時間が短縮され、検査画像中の歩行者Pの存否を短時間で決定することができる。
探索範囲内の画像に対して、弱識別器を用いたRealAdaBoostのアルゴリズムによる識別処理を繰り返して求められる識別器の出力値は、探索範囲内に歩行者Pが存在しておれば、識別処理の回数が多くなるほど、識別器から出力される出力値は大きくなる。そこで、識別器の出力値が識別処理の回数毎に予め設定した判定値未満の場合は、探索範囲内に歩行者Pが存在しないと判定して識別処理を終了することができる。その結果、検査画像中に順次設定する探索範囲内の画像(HOG特徴量)に対して、弱識別器を用いたRealAdaBoostのアルゴリズムによる識別処理を繰り返して求められる識別器の出力値から探索範囲における歩行者Pの存否判定を行う場合、探索範囲毎に、識別器を構成する弱識別器の個数が異なることになり、探索範囲内における歩行者Pの存否判定に要する時間、特に、探索範囲内に歩行者Pが存在しない判定に要する時間を大幅に短縮することができる。
一方、探索範囲内に歩行者Pが存在する場合は、識別処理の回数毎に識別器から出力される出力値は判定値以上となるため、識別器から最終出力値が出力されるまで識別処理が行われることになる。
ここで、識別処理の回数毎に設定した判定値は、学習画像に設定した探索範囲内に歩行者Pが存在する場合において、弱識別器を用いたRealAdaBoostのアルゴリズムによる学習処理を繰り返して、学習処理の回数毎に求められる識別器が歩行者Pを認識(検出)した際に出力される出力値の最小値である。判定値を、識別器が歩行者Pを認識(検出)した際に出力される出力値の最小値とすることで、探索範囲内に歩行者Pが存在することの判定を、安全側で(誤判定の発生を抑制して)行うことができる。
更に、探索領域毎に弱識別器の個数が異なる識別器を用いて識別することは、例えば、背景領域は少ない弱識別器で構成された識別器で高速に識別され、歩行者Pが存在する領域及び歩行者Pに類似する領域では弱識別器の個数の多い識別器で識別されることになる。このため、結果的に歩行者Pの識別精度向上が達成される。
(実施例1)
第1の発明に係る物体の検出方法を用いて、歩行者データベースのひとつであるINRIA Person Datasetから、学習画像として、Positiveクラス画像(人物全身像の画像)を2416枚、Negativeクラス画像(人物以外の画像)を6000枚それぞれ選んで、RealAdaBoostを用いた機械学習により、人の各部位を認識する500個の弱識別器を選択した。次いで、500個の弱識別器を用いて人の識別器を構成し、INRIA Person Datasetから、検査画像として、Positiveクラス画像を1126枚、Negativeクラス画像を3000枚それぞれ選んで、人検出実験を行った。ここで、学習画像及び検査画像内に設定するセルの最小サイズは縦4画素横4画素、最大サイズは縦48画素横24画素である。
その結果、Positiveクラス画像をPositiveクラス画像として、Negativeクラス画像をNegativeクラス画像としてそれぞれ判定した割合を示す正答率は、96.3%であった。
また、検査画像中に設定した探索領域(縦60画素、横30画素)内の識別に要する処理時間は、Positiveクラス画像、Negativeクラス画像いずれに対しても28.96マイクロ秒であった。
更に、識別器を構成する弱識別器の個数と誤り率の関係を図5に示す。
(実施例2)
第2の発明に係る物体の検出方法を用いて、実施例1と同一の検査画像に対して人検出実験を行い、正答率を求めた。また、実施例1と同一サイズの1つの探索領域内の識別に要する処理時間を求めた。なお、実施例2で使用する強識別器は、実施例1で使用した弱識別器と同一である。その結果、人検出実験の正答率は、97.1%であった。また、1つの探索領域内の識別に要する処理時間は、Positiveクラス画像は27.80マイクロ秒、Negativeクラス画像は0.99マイクロ秒であった。更に、識別器を構成する弱識別器の個数と誤り率の関係を図5に示す。
(比較例)
比較例として、Dalalら(非特許文献1)のHOG特徴量を使用した物体の検出方法において、実施例1と同一の学習画像に対してRealAdaBoostを用いた機械学習により、人の各部位をそれぞれ認識する500個の弱識別器を選択し、500個の弱識別器を線型結合して強識別器とした。そして、実施例1と同一の検査画像に対して人検出実験を行い、正答率を求めた。また、実施例1と同一サイズの1つの探索領域内の識別に要する処理時間を求めた。ここで、学習画像及び検査画像内に設定するセルのサイズは、縦5画素横5画素である。
その結果、人検出実験の正答率は、94.8%であった。また、1つの探索領域内の識別に要する処理時間は、Positiveクラス画像、Negativeクラス画像いずれに対しても152.51マイクロ秒であった。更に、識別器を構成する弱識別器の個数と誤り率の関係を図5に示す。
実施例1、2、及び比較例の結果から、実施例1、2では処理時間の大幅な短縮が可能になることが確認できた。特に、実施例2では、Negativeクラス画像に対して、比較例と比較して約154倍の処理速度の向上が実現した。
実施例1、2では、大きなサイズのセルを用いて探索領域内の道路等エッジの少ない領域を高速に排除し、次に建造物や街路樹と歩行者を小さいサイズのセルを用いることによって精度よく分類している。このように、識別が簡単な領域ではセルサイズを大きくして弱識別器の数を少なくし、識別が難しい領域でセルのサイズを小さくして弱識別器の数を多くすることにより、図5に示すように、弱識別器数が少ない段階での誤り率の大幅な低下(識別精度の大幅な向上)が可能になった。
以上、本発明を、実施の形態を参照して説明してきたが、本発明は何ら上記した実施の形態に記載した構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。
更に、本実施の形態とその他の実施の形態や変形例にそれぞれ含まれる構成要素を組合わせたものも、本発明に含まれる。
10:物体の検出装置、11:学習機構、12:判定機構、13:学習画像、14:探索範囲、15:セル、16:HOG特徴量算出手段、17:弱識別器生成手段、18:学習画像保存部、19:第1のHOG特徴量算出部、20:第2のHOG特徴量算出部、21:識別判定値生成手段、22:検査用HOG特徴量算出手段、23:識別手段、24:判定手段、25:探索範囲、25a:セル、26:物体の検出装置、27:学習機構、28:判定機構、29:判定値生成手段、30:判定値設定手段、31:識別処理管理手段

Claims (4)

  1. 検出対象物の画像及び非検出対象物の画像からなる学習画像を用いて該検出対象物を識別する複数の弱識別器を構築する学習過程と、検査画像中に探索範囲を設定しながら、前記弱識別器を用いたRealAdaBoostのアルゴリズムにより前記探索範囲内の画像に対して求めた識別器の出力値から該検出対象物の存否を決定する判定過程とを有する物体の検出方法において、
    前記学習過程は、前記学習画像に前記探索範囲を設定すると共に該探索範囲内の局所領域の大きさを決めるセルのサイズを複数設定し、各サイズの前記セルを順次用いて、該セルを、該セル同士を一部重ねながら前記探索範囲の全域に配置すると共に、配置した前記セル内の画像のHOG特徴量Aをそれぞれ算出し、サイズが一定の前記セル毎の前記HOG特徴量Aを前記探索範囲に配置した該セルの順番に並べたものを、更に該セルのサイズの順に並べて前記探索範囲内の画像のHOG特徴量Bとする第1工程と、
    前記HOG特徴量Bから、RealAdaBoostのアルゴリズムを用いて、前記検出対象物の特徴的な部位をそれぞれ1つの前記セルで取り囲んだ場合のHOG特徴量を選択しそれぞれ前記弱識別器とする第2工程とを有することを特徴とする物体の検出方法。
  2. 請求項1記載の物体の検出方法において、前記判定過程では、前記検査画像中に設定する前記探索範囲に対して前記弱識別器を用いてRealAdaBoostのアルゴリズムによる識別処理を繰り返して判定を行う際に、前記識別器の出力値が前記識別処理の回数毎に予め設定した判定値未満の場合は前記識別処理を終了することにより、前記検査画像中に設定する前記探索範囲毎に、前記識別器を構成する前記弱識別器の個数を変え、前記識別処理の回数毎に予め設定した前記判定値は、前記学習画像に設定した前記探索範囲に対して前記弱識別器を用いてRealAdaBoostのアルゴリズムによる学習処理を繰り返して前記検出対象物を検出した際に、前記学習処理の回数毎に求められる識別器から出力された出力値の最小値であることを特徴とする物体の検出方法。
  3. 検出対象物の画像及び非検出対象物の画像からなる学習画像を用いて該検出対象物を識別する複数の弱識別器を構築する学習機構と、検査画像中に探索範囲を設定しながら、前記弱識別器を用いたRealAdaBoostのアルゴリズムにより前記探索範囲内の画像に対して求めた識別器の出力値から該検出対象物の存否を決定する判定機構とを有する物体の検出装置において、
    前記学習機構は、前記学習画像に前記探索範囲を設定すると共に該探索範囲内の局所領域の大きさを決めるセルのサイズを複数設定し、各サイズの前記セルを順次用いて、該セルを、該セル同士を一部重ねながら前記探索範囲の全域に配置すると共に、配置した前記セル内の画像のHOG特徴量Aをそれぞれ算出し、サイズが一定の前記セル毎の前記HOG特徴量Aを前記探索範囲に配置した該セルの順番に並べたものを、更に該セルのサイズの順に並べることにより前記探索範囲内の画像のHOG特徴量Bを求めるHOG特徴量算出手段と、
    前記HOG特徴量Bから、RealAdaBoostのアルゴリズムを用いて、前記検出対象物の特徴的な部位をそれぞれ取り囲む1つのセルのHOG特徴量を選択しそれぞれ前記弱識別器とする弱識別器生成手段とを有することを特徴とする物体の検出装置。
  4. 請求項3記載の物体の検出装置において、前記判定機構は、前記検査画像中に設定する前記探索範囲に対して前記弱識別器を用いてRealAdaBoostのアルゴリズムによる識別処理を繰り返して判定を行う際に、前記識別器の出力値が前記識別処理の回数毎に予め設定した判定値未満の場合は前記識別処理を終了することにより、前記検査画像中に設定する前記探索範囲毎に、前記識別器を構成する前記弱識別器の個数を変える識別処理管理手段を有し
    前記学習機構は、前記学習画像に設定した前記探索範囲に対して前記弱識別器を用いてRealAdaBoostのアルゴリズムによる学習処理を繰り返して前記検出対象物を検出した際に、前記学習処理の回数毎に求められる識別器から出力された出力値の最小値を求める判定値生成手段を有し、
    前記判定機構は、前記識別判定値生成手段で求めた各最小値を、前記識別処理の回数毎に予め設定した前記判定値とする判定値設定手段を有していることを特徴とする物体の検出装置。
JP2011265081A 2011-12-02 2011-12-02 物体の検出方法及びその方法を用いた物体の検出装置 Active JP5901054B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011265081A JP5901054B2 (ja) 2011-12-02 2011-12-02 物体の検出方法及びその方法を用いた物体の検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011265081A JP5901054B2 (ja) 2011-12-02 2011-12-02 物体の検出方法及びその方法を用いた物体の検出装置

Publications (2)

Publication Number Publication Date
JP2013117865A JP2013117865A (ja) 2013-06-13
JP5901054B2 true JP5901054B2 (ja) 2016-04-06

Family

ID=48712385

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011265081A Active JP5901054B2 (ja) 2011-12-02 2011-12-02 物体の検出方法及びその方法を用いた物体の検出装置

Country Status (1)

Country Link
JP (1) JP5901054B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6151908B2 (ja) * 2012-11-14 2017-06-21 日本放送協会 学習装置、識別装置、およびそのプログラム
JP2014106685A (ja) * 2012-11-27 2014-06-09 Osaka Univ 車両周辺監視装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4997178B2 (ja) * 2008-06-10 2012-08-08 学校法人中部大学 物体検出装置
JP4553044B2 (ja) * 2008-09-26 2010-09-29 ソニー株式会社 集団学習装置及び方法
JP5335554B2 (ja) * 2009-05-19 2013-11-06 キヤノン株式会社 画像処理装置及び画像処理方法
JP5394967B2 (ja) * 2010-03-29 2014-01-22 セコム株式会社 対象物検知装置
JP5290229B2 (ja) * 2010-03-30 2013-09-18 セコム株式会社 学習装置及び対象物検知装置

Also Published As

Publication number Publication date
JP2013117865A (ja) 2013-06-13

Similar Documents

Publication Publication Date Title
CN107851195B (zh) 利用神经网络进行目标检测
TWI651662B (zh) 影像標註方法、電子裝置及非暫態電腦可讀取儲存媒體
CN106570453B (zh) 用于行人检测的方法、装置和***
WO2017190574A1 (zh) 一种基于聚合通道特征的快速行人检测方法
KR101848019B1 (ko) 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
WO2019051941A1 (zh) 车型识别方法、装置、设备及计算机可读存储介质
KR20180104609A (ko) 다수의 이미지 일치성을 바탕으로 보험클레임 사기 방지를 실현하는 방법, 시스템, 기기 및 판독 가능 저장매체
US20170011523A1 (en) Image processing apparatus, image processing method, and storage medium
JP5223675B2 (ja) 車両検知装置,車両検知方法並びに車両検知プログラム
CN103218610B (zh) 狗脸检测器的形成方法和狗脸检测方法
CN105404886A (zh) 特征模型生成方法和特征模型生成装置
EP3329425A1 (en) Media classification
US9443137B2 (en) Apparatus and method for detecting body parts
JP6351243B2 (ja) 画像処理装置、画像処理方法
US20190370982A1 (en) Movement learning device, skill discriminating device, and skill discriminating system
CN107251048B (zh) 可靠指尖和手掌检测
CN110889421A (zh) 目标物检测方法及装置
CN106778731B (zh) 一种车牌定位方法及终端
KR101545809B1 (ko) 차량 번호판 이중 검출 방법 및 장치
CN111291749B (zh) 手势识别方法、装置及机器人
JP2011165170A (ja) 対象物検出装置及びプログラム
CN110175500B (zh) 指静脉比对方法、装置、计算机设备及存储介质
JP5901054B2 (ja) 物体の検出方法及びその方法を用いた物体の検出装置
JP6077785B2 (ja) 対象物検出装置及びプログラム
JP6121997B2 (ja) 識別器生成装置およびパターン検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150902

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20151006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160104

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160307

R150 Certificate of patent or registration of utility model

Ref document number: 5901054

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250