JPWO2011161924A1 - 移動物体検出装置 - Google Patents

移動物体検出装置 Download PDF

Info

Publication number
JPWO2011161924A1
JPWO2011161924A1 JP2012521311A JP2012521311A JPWO2011161924A1 JP WO2011161924 A1 JPWO2011161924 A1 JP WO2011161924A1 JP 2012521311 A JP2012521311 A JP 2012521311A JP 2012521311 A JP2012521311 A JP 2012521311A JP WO2011161924 A1 JPWO2011161924 A1 JP WO2011161924A1
Authority
JP
Japan
Prior art keywords
window
histogram
spatial
image data
luminance gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012521311A
Other languages
English (en)
Other versions
JP5467300B2 (ja
Inventor
八木　康史
康史 八木
靖 槇原
靖 槇原
春生 華
春生 華
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osaka University NUC
Original Assignee
Osaka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osaka University NUC filed Critical Osaka University NUC
Priority to JP2012521311A priority Critical patent/JP5467300B2/ja
Publication of JPWO2011161924A1 publication Critical patent/JPWO2011161924A1/ja
Application granted granted Critical
Publication of JP5467300B2 publication Critical patent/JP5467300B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

移動物体検出装置（１００）は、動画像データ中に、所定の体積を有するウィンドウを設定するウィンドウ設定部（１０２）と、ウィンドウに含まれる画素ごとに、空間輝度勾配方向を算出する空間輝度勾配方向算出部（１０４）と、ウィンドウ内の空間輝度勾配方向のヒストグラムである空間ヒストグラムを算出する空間ヒストグラム算出部（１０６）と、ウィンドウに含まれる画素ごとに、時間輝度勾配方向を算出する時間輝度勾配方向算出部（１０８）と、ウィンドウ内の時間輝度勾配方向のヒストグラムである時間ヒストグラムを算出する時間ヒストグラム算出部（１１０）と、空間ヒストグラムと時間ヒストグラムとに基づいて、ウィンドウ内に移動物体が含まれるか否かを判断する判断部（１１２）とを備える。

Description

本発明は、動画像データの中から移動物体を検出する移動物体検出装置に関する。
従来、動画像データの中から歩行者に代表される移動物体を検出する手法が開発されている。移動物体検出手法は、監視用途、走行車両における歩行者検出、または知能ロボットなどの技術に適用可能な重要な技術である。
これまで多くの手法が開発されているが、特に、歩行者は多関節物体であり様々なポーズを取ることができるとともに、衣服、外光および複雑な背景などの影響により、見え方が多様であるため、歩行者を検出することは難しい問題である。
従来、静止画像データから人物を検出する手法として、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ）特徴とＡｄａｂｏｏｓｔ識別器との組合せにより人物を検出する手法が知られている（例えば、非特許文献１参照）。
図３２は、非特許文献１に記載の方法を説明するための図である。図３２（ａ）に示すように、入力画像１０中に、所定のサイズのウィンドウ１２を設定する。ウィンドウ１２内は複数のパッチ（パッチ１４ａおよび１４ｂ等）に分割され、パッチごとにＨＯＧ特徴が算出される。
例えば、パッチ１４ａのＨＯＧ特徴の算出方法を図３２（ｂ）を参照しながら説明する。パッチ１４ａ内の各画素の輝度値をＩ（ｘ，ｙ）とした場合に、各画素の空間勾配∇Ｉ＝［Ｉx，Ｉy］を算出する。また、各画素の空間輝度勾配方向φ＝ｔａｎ-1（Ｉy／Ｉx）を算出する。空間勾配∇Ｉと空間輝度勾配方向φとの関係は図３２（ｃ）に示す通りである。つまり、横軸をＩx、縦軸をＩyとした場合に、空間勾配∇Ｉがなすベクトルと横軸Ｉxとがなす角が空間輝度勾配方向φになる。パッチ１４ａ内の各画素について空間輝度勾配方向φの頻度を算出することにより、図３２（ｄ）に示すようなヒストグラムが得られる。このヒストグラムがＨＯＧ特徴である。同様にパッチ１４ｂについても図３２（ｅ）に示すようなＨＯＧ特徴が得られる。ウィンドウ１２内の全てのパッチについてＨＯＧ特徴を算出し、Ａｄａｂｏｏｓｔ識別器の入力とすることにより、Ａｄａｂｏｏｓｔ識別器はウィンドウ１２内の人物の有無を判定する。このウィンドウ１２を、入力画像１０の左上隅から右下隅までラスタスキャンし、各位置で人物の有無を判定することにより、入力画像１０内に含まれる人物を検出することができる。
なお、空間勾配∇Ｉ＝［Ｉx，Ｉy］は、一般的な１次微分オペレータ（Ｓｏｂｅｌ、Ｒｏｂｅｒｔｓ、Ｒｏｓｅｎｆｅｌｄなど）を用いて算出することができる。このため、その詳細な説明は省略する。
このＨＯＧ特徴を拡張したＣｏＨＯＧ特徴も知られている（例えば、非特許文献２参照）。図３３は、ＣｏＨＯＧ特徴について説明するための図である。図３３（ａ）に示すように、図３２（ａ）と同様にウィンドウ１２を考えた場合、ウィンドウ１２内は複数のパッチ（パッチ１４ｂ等）に分割され、パッチごとにＣｏＨＯＧ特徴が算出される。
例えば、パッチ１４ｂのＣｏＨＯＧ特徴の算出方法を説明する。図３３（ｂ）は、パッチ１４ｂを拡大した図である。まず、図３２（ｂ）に示したようにパッチ１４ｂ内の各画素について空間輝度勾配方向φ＝ｔａｎ-1（Ｉy／Ｉx）を算出する。次に、パッチ１４ｂ内の着目する画素をＰ0とし、画素Ｐ0の左斜め下の隣接画素、画素Ｐ0の下の隣接画素、画素Ｐ0の右斜め下の隣接画素、画素Ｐ0の右隣の隣接画素を、それぞれ、共起画素Ｐ1、Ｐ2、Ｐ3、Ｐ4とする。また、画素Ｐ0の空間輝度勾配方向をφ0とし、共起画素Ｐi（ｉ＝１〜４）の空間輝度勾配方向をφi（ｉ＝１〜４）とする。パッチ１４ｂ内の各画素を着目する画素Ｐ0とした場合に、φ0とφiとを変量組とする２次元のヒストグラムを作成する。この２次元ヒストグラムがＣｏＨＯＧ特徴量である。図３３（ｃ）は、φ0とφ1とを変量組とする２次元のヒストグラムの一例を示し、図３３（ｄ）は、φ0とφ2とを変量組とする２次元のヒストグラムの一例を示し、図３３（ｅ）は、φ0とφ3とを変量組とする２次元のヒストグラムの一例を示す。図３３に示す例では、画素Ｐ0と共起画素Ｐi（ｉ＝１〜４）との組合せが４つあるため、１つのパッチ１４ｂから４つのＣｏＨＯＧ特徴量が得られる。この４つのＣｏＨＯＧ特徴量を全てのパッチについて算出し、ＨＯＧ特徴量の場合と同様にＡｄａｂｏｏｓｔ識別器等の識別器に入力することにより、ウィンドウ１２内の人物の有無を判定することができる。なお、共起画素Ｐiは、着目する画素Ｐ0の隣接画素に限定されるものではなく、画素Ｐ0と所定の位置関係にある画素であればいずれの画素であってもよい。また、共起画素Ｐiの個数は４個に限定されるものではなく、適宜選択することができる。ＣｏＨＯＧ特徴量を用いた手法は、ＨＯＧ特徴量を用いた手法よりも精度が高いことが知られている。
ＨＯＧ特徴量を拡張した他の特徴量としてＨＯＧＨＯＦ特徴量も知られている（例えば、非特許文献３および４参照）。ここで、ＨＯＦはオプティカルフローの方向のヒストグラムを意味する。例えば、図３２（ａ）に示したパッチ１４ａ内の各画素のオプティカルフローをｕ＝［ｕx，ｕy］とした場合、オプティカルフローの方向ψはψ＝ｔａｎ-1（ｕy／ｕx）として算出することができる。ψについてもφと同様にヒストグラムを作成し、ＨＯＦ特徴量を作成する。ＨＯＧ特徴量とＨＯＦ特徴量とを合わせたＨＯＧＨＯＦ特徴量を用いることにより人物の行動解析を行うことができる。なお、オプティカルフローの算出方法としては、勾配法やテンプレートマッチング法などの各種方法を用いることができる。このため、その詳細な説明は省略する。
また、ＨＯＧ特徴量を拡張した他の特徴量として３ＤＨＯＧ特徴量も知られている（例えば、非特許文献５参照）。３ＤＨＯＧ特徴量では、静止画像データを時間軸方向に並べた３次元の動画像データ中において、所定の体積を有するウィンドウを設定する。そのウィンドウ内の各画素について空間的な形状と時間的な動きの特徴とを１つのベクトルで表す。そのベクトルとウィンドウ内に仮想的に設定された多面体の各面の法線ベクトルとを比較し、最も近い法線ベクトルを有する面に投票することにより、多面体の各面をビン（階級）とするヒストグラムを作成する。このヒストグラムが３ＤＨＯＧ特徴量となる。この３ＤＨＯＧ特徴量を用いることにより人物の行動解析を行うことができる。
N.Dalal and B.Triggs, "Histograms of Oriented Gradients for Human Detection", CVPR, pp.886-893, 2005 T. Watanabe, S. Ito and K. Yokoi, "Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection", PSIVT, 2009 Ivan Laptev, M.Marszalek, C.Schmid, B.Rozenfeld, "Learning realistic human actions from movies", CVPR, 2008 I.Laptev, P.Perez, "Retrieving actions in movie", ICCV, 2007 A.Klaser, M.Marszalek, C.Schmid, "A Spatio-Temporal Descriptor Based on 3D-Gradient", BMVC, pp.995-1004, 2008
しかしながら、ＨＯＧ特徴量およびＣｏＨＯＧ特徴量を用いた手法は、いずれも人物の形状に関する空間的特徴を利用している。このため、人物を側面から観察した場合、特に、手足部分でシルエット形状が変化するために歩行者のように各関節での動きが大きい場合には、適さない手法である。また、これらの手法は、背景の変化やテキスチャにも影響されやすい。
また、ＨＯＧＨＯＦ特徴量を用いた手法は、照明変動や視点変化に影響されやすく、学習データに含まれる歩行者の歩行方向に検出結果が依存されやすいという課題がある。例えば、ＨＯＧＨＯＦ特徴量では、学習時と若干異なる方向に歩いている歩行者に対する検出漏れが多いという課題がある。
さらに、３ＤＨＯＧ特徴量は、空間的形状と時間的な動きの特徴の組み合わせ、即ち、共起を考慮した特徴量である。しかし、実際の歩行者の空間的形状と時間的な動きの組み合わせは極めて多様であり、限られた学習セットではそのような歩行者の多様性を十分に表現することは困難であり、結果として歩行者の検出漏れが発生することがある。
また、一般的な背景差分法を用いた場合も、背景の変化に影響されやすい手法であるため、安定して動画像データから移動物体を検出することができない。
本発明は、上述の課題を解決するためになされたものであり、複雑な背景や照明変動などの影響を受けず、安定して動画像データから移動物体を検出することができる移動物体検出装置を提供することを目的とする。
上記目的を達成するために、本発明のある局面に係る移動物体検出装置は、動画像データから移動物体を検出する移動物体検出装置であって、２次元画像データを時間軸方向に並べた３次元画像データである動画像データ中に、所定の体積を有するウィンドウを設定するウィンドウ設定部と、前記ウィンドウに含まれる画素ごとに、空間的な輝度の勾配方向である空間輝度勾配方向を算出する空間輝度勾配方向算出部と、前記ウィンドウ内の前記空間輝度勾配方向のヒストグラムである空間ヒストグラムを算出する空間ヒストグラム算出部と、前記ウィンドウに含まれる画素ごとに、時間的な輝度の勾配方向である時間輝度勾配方向を算出する時間輝度勾配方向算出部と、前記ウィンドウ内の前記時間輝度勾配方向のヒストグラムである時間ヒストグラムを算出する時間ヒストグラム算出部と、前記空間ヒストグラム算出部が算出した前記空間ヒストグラムと、前記時間ヒストグラム算出部が算出した前記時間ヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断する判断部とを備える。
この構成によると、空間的な輝度の勾配方向の分布を示す空間ヒストグラムと時間的な輝度の勾配方向の分布を示す時間ヒストグラムとを、別個に算出し、空間ヒストグラムと時間ヒストグラムとに基づいて移動物体の有無を判断している。移動物体が歩行者の場合には、歩行者は一般的に縦のエッジ成分が多いため、空間ヒストグラムにより歩行者と背景とを区別して検出することができる。また、時間ヒストグラムを合わせて加味することにより、移動している歩行者と移動しない背景とをさらに精度良く検出することができる。なお、この構成によると、３ＤＨＯＧ特徴量のように空間的な特徴と時間的な特徴とを合わせて表現するのではなく、空間的な特徴と時間的な特徴とを別個に表現している。このため、背景及び歩行者の多様性や照明変動などの影響を空間的な特徴と時間的な特徴のそれぞれで吸収することから、限られた学習セットであっても、安定して移動物体を検出することができる。
好ましくは、上述の移動物体検出装置は、さらに、前記ウィンドウに含まれる画素ごとに、オプティカルフローの方向を算出するオプティカルフロー方向算出部と、前記ウィンドウ内の前記オプティカルフローの方向のヒストグラムであるオプティカルフローヒストグラムを算出するオプティカルフローヒストグラム算出部とを備え、前記判断部は、前記空間ヒストグラム算出部が算出した前記空間ヒストグラムと、前記時間ヒストグラム算出部が算出した前記時間ヒストグラムと、前記オプティカルフローヒストグラム算出部が算出した前記オプティカルフローヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断する。
この構成によると、移動物体の動きの方向の特徴を示すオプティカルフローヒストグラムを加味して移動物体の検出を行っている。このため、さらに安定して移動物体を検出することができる。
さらに好ましくは、前記空間ヒストグラム算出部は、互いに所定の位置関係にある複数画素の前記空間輝度勾配方向の組合せを第１の変量組とし、前記ウィンドウ内での前記第１の変量組のヒストグラムを算出し、前記時間ヒストグラム算出部は、互いに前記所定の位置関係にある複数画素の前記時間輝度勾配方向の組合せを第２の変量組とし、前記ウィンドウ内での前記第２の変量組のヒストグラムを算出し、前記オプティカルフローヒストグラム算出部は、互いに前記所定の位置関係にある複数画素の前記オプティカルフローの方向の組合せを第３の変量組とし、前記ウィンドウ内での前記第３の変量組のヒストグラムを算出し、前記判断部は、前記第１の変量組のヒストグラムと、前記第２の変量組のヒストグラムと、前記第３の変量組のヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断する。
この構成によると、ウィンドウ内での空間輝度勾配方向の共起性を示す第１の変量組のヒストグラム、時間輝度勾配方向の共起性を示す第２の変量組のヒストグラムおよびオプティカルフローの方向の共起性を示す第３の変量組のヒストグラムをそれぞれ作成し、これら３種類のヒストグラムに基づいて移動物体を検出している。このように同一の特徴量の時空間内での共起性を示すヒストグラムを用いることにより、安定して移動物体を検出することができる。
また、前記空間ヒストグラム算出部は、互いに所定の位置関係にある複数画素の前記空間輝度勾配方向の組合せを第１の変量組とし、前記ウィンドウ内での前記第１の変量組のヒストグラムを算出し、前記時間ヒストグラム算出部は、互いに前記所定の位置関係にある複数画素の前記時間輝度勾配方向の組合せを第２の変量組とし、前記ウィンドウ内での前記第２の変量組のヒストグラムを算出し、前記判断部は、前記第１の変量組のヒストグラムと前記第２の変量組のヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断してもよい。
この構成によると、ウィンドウ内での空間輝度勾配方向の共起性を示す第１の変量組のヒストグラムおよび時間輝度勾配方向の共起性を示す第２の変量組のヒストグラムをそれぞれ作成し、これら２種類のヒストグラムに基づいて移動物体を検出している。このように同一の特徴量の時空間内での共起性を示すヒストグラムを用いることにより、安定して移動物体を検出することができる。
また、上述の移動物体検出装置は、さらに、所定の複数の縮小比率で前記動画像データをそれぞれ縮小した複数の縮小動画像データを作成する縮小動画像データ作成部と、前記複数の縮小動画像データの各々について、当該縮小動画像データ中に、前記ウィンドウを当該縮小動画像データを作成する際に用いた縮小比率で縮小した縮小ウィンドウを設定することにより、前記複数の縮小動画像データに複数の縮小ウィンドウを設定する縮小ウィンドウ設定部とを備え、前記空間輝度勾配方向算出部は、さらに、前記複数の縮小ウィンドウの各々について、当該縮小ウィンドウに含まれる画素ごとに、空間輝度勾配方向を算出し、前記空間ヒストグラム算出部は、さらに、前記複数の縮小ウィンドウの各々について、当該縮小ウィンドウ内の縮小空間ヒストグラムを算出し、前記時間輝度勾配方向算出部は、さらに、前記複数の縮小ウィンドウの各々について、当該縮小ウィンドウに含まれる画素ごとに、時間輝度勾配方向を算出し、前記時間ヒストグラム算出部は、さらに、前記複数の縮小ウィンドウの各々について、当該縮小ウィンドウ内の縮小時間ヒストグラムを算出し、前記縮小ウィンドウ設定部は、前記複数の縮小比率を前記縮小比率の小さいものから順に対象縮小比率として選択して、前記対象縮小比率の縮小動画像データ中に前記対象縮小比率の縮小ウィンドウを設定し、前記判断部は、前記対象縮小比率の縮小空間ヒストグラムと前記縮小時間ヒストグラムとに基づいて、前記対象縮小比率の前記縮小ウィンドウ内に移動物体が含まれるか否かを判断し、前記ウィンドウ設定部は、前記判断部が前記縮小ウィンドウ内に移動物体が含まれると判断した場合に、前記対象縮小比率の前記縮小動画像データ中の前記縮小ウィンドウの設定位置に対応する前記動画像データ中の位置から所定範囲内の位置に前記ウィンドウを順次設定し、前記判断部は、さらに、前記判断部が前記縮小ウィンドウ内に移動物体が含まれると判断した場合に、前記ウィンドウ設定部が設定した前記ウィンドウ内に移動物体が含まれるか否かを判断しても良い。
この構成によると、縮小動画像データ上で移動物体を検出し、さらに、通常のサイズの動画像データ上で移動物体を検出することができる。つまり、縮小動画像データ上で粗く移動物体の位置を検出し、通常のサイズの動画像データ上で詳細な移動物体の位置を検出することができる。縮小動画像データは通常のサイズの動画像データに比べてデータ量が少ない。このため、この手法によると詳細な移動物体の位置を高速に検出することができる。
また、上述の移動物体検出装置は、さらに、所定の複数の縮小比率で前記動画像データをそれぞれ縮小した複数の縮小動画像データを作成する縮小動画像データ作成部を備え、前記ウィンドウ設定部は、さらに、各前記縮小動画像データ中に、前記ウィンドウを設定し、前記空間輝度勾配方向算出部は、さらに、前記複数の縮小動画像データの各々について、当該縮小動画像データ中に設定された前記ウィンドウに含まれる画素ごとに、空間輝度勾配方向を算出し、前記空間ヒストグラム算出部は、さらに、前記複数の縮小動画像データの各々について、当該縮小動画像データ中に設定された前記ウィンドウ内の縮小空間ヒストグラムを算出し、前記時間輝度勾配方向算出部は、さらに、前記複数の縮小動画像データの各々について、当該縮小動画像データ中に設定された前記ウィンドウに含まれる画素ごとに、時間輝度勾配方向を算出し、前記時間ヒストグラム算出部は、さらに、前記複数の縮小動画像データの各々について、当該縮小動画像データ中に設定された前記ウィンドウ内の縮小時間ヒストグラムを算出し、前記判断部は、（ａ）ウィンドウ内に移動物体が含まれると判断されるまで、前記複数の縮小比率の中から縮小比率が小さいものから順に対象縮小比率として選択し、前記対象縮小比率で縮小された縮小動画像データに設定された前記ウィンドウ内の前記縮小空間ヒストグラムおよび前記縮小時間ヒストグラムに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断し、（ｂ）前記複数の縮小動画像のいずれの縮小動画像中の前記ウィンドウ内にも移動物体が含まれないと判断された場合に、前記空間ヒストグラムおよび前記時間ヒストグラムに基づいて、前記動画像データに設定された前記ウィンドウ内に移動物体が含まれるか否かを判断している。
この構成によると、同じサイズのウィンドウと、様々なサイズの動画像データおよび縮小動画像データとを用いて移動物体を検出している。このため、様々な大きさの移動物体を検出することができる。
また、前記ウィンドウ設定部は、前記動画像データ中に、互いに異なる所定の体積を有する複数のウィンドウを設定し、前記空間輝度勾配方向算出部は、前記複数のウィンドウの各々について、当該ウィンドウに含まれる画素ごとに、空間輝度勾配方向を算出し、前記空間ヒストグラム算出部は、前記複数のウィンドウの各々について、当該ウィンドウ内の空間ヒストグラムを算出し、前記時間輝度勾配方向算出部は、前記複数のウィンドウの各々について、当該ウィンドウに含まれる画素ごとに、時間輝度勾配方向を算出し、前記時間ヒストグラム算出部は、前記複数のウィンドウの各々について、当該ウィンドウ内の時間ヒストグラムを算出し、前記判断部は、ウィンドウ内に移動物体が含まれると判断されるまで前記複数のウィンドウのうち体積の大きいものから順次選択し、選択したウィンドウに対する前記空間ヒストグラムおよび前記時間ヒストグラムに基づいて、前記選択したウィンドウ内に移動物体が含まれるか否かを判断してもよい。
この構成によると、体積の異なるウィンドウを設定し、ウィンドウごとに移動物体が含まれるか否かを判断している。このため、様々なサイズの移動物体を検出することができる。
なお、本発明は、このような特徴的な処理部を備える移動物体検出装置として実現することができるだけでなく、移動物体検出装置に含まれる特徴的な処理部が実行する処理をステップとする移動物体検出方法として実現することができる。また、移動物体検出方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等のコンピュータ読み取り可能な不揮発性の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
本発明によると、複雑な背景や照明変動などの影響を受けず、安定して動画像データから移動物体を検出することができる。
図１は、実施の形態１に係る移動物体検出装置の機能的な構成を示すブロック図である。 図２は、動画像データの一例を示す図である。 図３は、実施の形態１に係る移動物体検出装置が実行する処理のフローチャートである。 図４は、実施の形態１に係る移動物体検出装置が算出する特徴量を説明するための図である。 図５は、時間ヒストグラムの性質を示す図である。 図６は、実施の形態１の変形例１に係る移動物体検出装置が作成する画像ピラミッドの一例を示す図である。 図７は、実施の形態１の変形例１に係る移動物体検出装置の機能的な構成を示すブロック図である。 図８は、実施の形態１の変形例１に係る移動物体検出装置が実行する処理のフローチャートである。 図９は、実施の形態１の変形例２に係る移動物体検出装置が作成する画像ピラミッドの一例を示す図である。 図１０は、実施の形態１の変形例２に係る移動物体検出装置の機能的な構成を示すブロック図である。 図１１は、実施の形態１の変形例２に係る移動物体検出装置が実行する処理のフローチャートである。 図１２Ａは、実施の形態１の変形例３に係る移動物体検出装置が実行する移動物体検出処理を説明するための図である。 図１２Ｂは、実施の形態１の変形例３に係る移動物体検出装置が実行する移動物体検出処理を説明するための図である。 図１２Ｃは、実施の形態１の変形例３に係る移動物体検出装置が実行する移動物体検出処理を説明するための図である。 図１３は、実施の形態１の変形例３に係る移動物体検出装置が実行する処理のフローチャートである。 図１４は、実施の形態２に係る移動物体検出装置の機能的な構成を示すブロック図である。 図１５は、実施の形態２に係る移動物体検出装置が実行する処理のフローチャートである。 図１６は、実施の形態２に係る移動物体検出装置が算出する特徴量を説明するための図である。 図１７は、実施の形態２に係る移動物体検出装置が算出する特徴量を説明するための図である。 図１８は、実施の形態３に係る移動物体検出装置が算出する特徴量を説明するための図である。 図１９は、雨の日に撮影された動画像データに対し、各種特徴量を用いた検出手法のＲＰＣ（Recall-precision curve）を示したグラフである。 図２０は、雨の日に撮影された動画像データに対して歩行者の検出結果を比較するための図である。 図２１は、雨の日に撮影された動画像データに対して歩行者の検出結果を比較するための図である。 図２２は、雨の日に撮影された動画像データに対して歩行者の検出結果を比較するための図である。 図２３は、雨の日に撮影された動画像データに対して歩行者の検出結果を比較するための図である。 図２４は、晴れの日に撮影された動画像データに対して、各種特徴量を用いた検出手法のＲＰＣを示したグラフである。 図２５は、晴れの日に撮影された動画像データに対して歩行者の検出結果を比較するための図である。 図２６は、晴れの日に撮影された動画像データに対して歩行者の検出結果を比較するための図である。 図２７は、晴れの日に撮影された動画像データに対して歩行者の検出結果を比較するための図である。 図２８は、晴れの日に撮影された動画像データに対して歩行者の検出結果を比較するための図である。 図２９は、実施の形態１に示す特徴量であるＳＴＨＯＧ特徴量を用いて歩行者検出を行った結果を示す図である。 図３０は、実施の形態１に示す特徴量であるＳＴＨＯＧ特徴量を用いて歩行者検出を行った結果を示す図である。 図３１は、実施の形態１に示す特徴量であるＳＴＨＯＧ特徴量を用いて一輪車に乗った人物を検出した結果を示す図である。 図３２は、非特許文献１に記載の方法を説明するための図である。 図３３は、ＣｏＨＯＧ特徴について説明するための図である。
以下、図面を参照しながら、本発明の実施の形態に係る移動物体検出装置について説明する。
（実施の形態１）
図１は、実施の形態１に係る移動物体検出装置の機能的な構成を示すブロック図である。
移動物体検出装置１００は、動画像データから移動物体を検出する装置であって、ウィンドウ設定部１０２と、空間輝度勾配方向算出部１０４と、空間ヒストグラム算出部１０６と、時間輝度勾配方向算出部１０８と、時間ヒストグラム算出部１１０と、判断部１１２とを備えている。
ウィンドウ設定部１０２は、２次元画像データを時間軸方向に並べた３次元画像データである動画像データ中に、所定の体積を有するウィンドウを設定する。
空間輝度勾配方向算出部１０４は、前記ウィンドウに含まれる画素ごとに、空間的な輝度の勾配方向である空間輝度勾配方向を算出する。
空間ヒストグラム算出部１０６は、前記ウィンドウ内の前記空間輝度勾配方向のヒストグラムである空間ヒストグラムを算出する。
時間輝度勾配方向算出部１０８は、前記ウィンドウに含まれる画素ごとに、時間的な輝度の勾配方向である時間輝度勾配方向を算出する。
時間ヒストグラム算出部１１０は、前記ウィンドウ内の前記時間輝度勾配方向のヒストグラムである時間ヒストグラムを算出する。
判断部１１２は、前記空間ヒストグラム算出部が算出した前記空間ヒストグラムと、前記時間ヒストグラム算出部が算出した前記時間ヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断する。
図２は、動画像データの一例を示す図である。ｘｙ平面上の２次元画像データ４０を時間軸ｔ方向にｎ枚（ｎは２以上の整数）並べた３次元画像データが動画像データとなる。この動画像データが移動物体検出装置１００に入力される。
図３は、移動物体検出装置１００が実行する処理のフローチャートである。
図４（ａ）を参照して、ウィンドウ設定部１０２は、動画像データ５０中にウィンドウ５２を設定する（Ｓ２）。ウィンドウ５２はｘ軸方向、ｙ軸方向およびｔ軸方向に所定幅を有する。つまり、ウィンドウ５２は平面ではなく一定の体積を有する直方体である。ウィンドウ５２の初期位置は、例えば、ウィンドウ５２の左上隅座標が原点（ｘ，ｙ，ｔ）＝（０，０，０）となる位置とする。なお、ウィンドウ５２は、複数のパッチ（例えば、パッチ５４ａおよび５４ｂ等）に分割されているものとする。ただし、ウィンドウ５２がパッチに分割されていなくても良く、その場合にはウィンドウの大きさとパッチの大きさとが等しくなる。パッチは、ウィンドウ５２と同様に、平面ではなく直方体である。
空間輝度勾配方向算出部１０４は、ウィンドウ５２に含まれる画素ごとに、空間的な輝度の勾配方向である空間輝度勾配方向を算出する（Ｓ４）。図４（ｂ）を参照して、ウィンドウ５２内の各画素の輝度値をＩ（ｘ，ｙ，ｔ）とした場合に、空間輝度勾配方向算出部１０４は、各画素の時空間勾配∇Ｉ＝［Ｉx，Ｉy，Ｉt］を算出する。また、各画素の空間輝度勾配方向φを次式（１）により算出する。なお、Ｉxは、ｘ軸方向の輝度値の勾配を示し、Ｉyは、ｙ軸方向の輝度値の勾配を示す。また、Ｉtは、ｔ軸（時間軸）方向の輝度値の勾配を示す。Ｉx、ＩyおよびＩtの値は、一般的な一時微分オペレータ（Ｓｏｂｅｌ、Ｒｏｂｅｒｔｓ、Ｒｏｓｅｎｆｅｌｄなど）を用いて算出することができる。このため、その詳細な説明は省略する。
φ＝ｔａｎ-1（Ｉy／Ｉx） …（１）
時空間勾配∇Ｉと空間輝度勾配方向φとの関係は図４（ｃ）に示す通りである。つまり、Ｉx、ＩyおよびＩtを軸とする３次元空間中におけるベクトル∇ＩをＩxＩy平面に投影したベクトル５５とＩx軸とのなす角が空間輝度勾配方向φとなる。
空間ヒストグラム算出部１０６は、パッチごとに、パッチ内の空間輝度勾配方向φのヒストグラムである空間ヒストグラムを算出する（Ｓ６）。例えば、空間輝度勾配方向φを所定の幅で量子化し（例えば３０度の幅で量子化し）、空間輝度勾配方向φの頻度を計数することにより、図４（ｄ）に示すような空間ヒストグラムが算出される。空間ヒストグラム算出部１０６は、このような空間ヒストグラムをパッチの個数だけ算出する。例えば、量子化の幅を３０度とし、空間輝度勾配方向φが取りうる値の範囲を０度から１８０度とした場合には、空間ヒストグラムは６つ（＝１８０／３０）のビンを有することとなる。ただし、図４（ｄ）に示す空間ヒストグラムは８つのビンを有している。
時間輝度勾配方向算出部１０８は、ウィンドウ５２に含まれる画素ごとに、時間的な輝度の勾配方向である時間輝度勾配方向を算出する（Ｓ８）。図４（ｂ）を参照して、時間輝度勾配方向算出部１０８は、各画素の時間輝度勾配方向θを次式（２）により算出する。
Figure 2011161924
時空間勾配∇Ｉと時間輝度勾配方向θとの関係は図４（ｃ）に示す通りである。つまり、上述のベクトル５５とベクトル∇Ｉとのなす角が時間輝度勾配方向θとなる。
時間ヒストグラム算出部１１０は、パッチごとに、パッチ内の時間輝度勾配方向θのヒストグラムである時間ヒストグラムを算出する（Ｓ１０）。例えば、時間輝度勾配方向θを所定の幅で量子化し（例えば３０度の幅で量子化し）、時間輝度勾配方向θの各ビンの頻度を計数することにより、図４（ｅ）に示すような時間ヒストグラムが算出される。時間ヒストグラム算出部１１０は、このような時間ヒストグラムをパッチの個数だけ算出する。
図５は、時間ヒストグラムの性質を示す図である。図５（ａ）に示すようにパッチ内に歩行者が含まれている場合には、手や足の振りの影響によりパッチ内に様々な方向の時間輝度勾配方向θが含まれる。このため、図５（ｂ）に示すように時間ヒストグラムでは、頻度が様々なビンに分散する。これに対し、図５（ｃ）に示すようにパッチ内に背景しか含まれていない場合には、背景における時間軸方向の輝度変化が乏しいため、時間輝度勾配方向θは０度に集中する。また、背景に木の葉が揺れる樹木などが含まれていたとしても、葉の揺れの空間的な形状特徴や時間的な動き特徴は、歩行者のそれとはとは異なるため、歩行者としての誤検出を防ぐことができる。例えば、背景部分からは図５（ｄ）に示されるようなヒストグラムが得られる。
判断部１１２は、空間ヒストグラム算出部１０６で算出されたパッチの個数分の空間ヒストグラムと時間ヒストグラム算出部１１０で算出されたパッチの個数分の時間ヒストグラムとを入力特徴量として受け、入力特徴量に基づいて、ウィンドウ５２内に移動物体が含まれるか否かを判断する（Ｓ１２）。移動物体の検出方法（判断方法）については、例えば、Ａｄａｂｏｏｓｔ、ＳＶＭ（Support Vector Machine）、ニューラルネットワークなどの一般的な手法を用いることができる。このため、その詳細な説明はここでは繰り返さない。なお、判断部１１２の学習には、歩行者の動画像データである正事例と、背景の動画像データである負事例が用いられる。
ウィンドウ設定部１０２は、動画像データ５０内の全ての位置にウィンドウ５２を設定したか否かを判断する（Ｓ１４）。全ての位置にウィンドウ５２を設定済みであれば（Ｓ１４でＹＥＳ）、移動物体検出装置１００は処理を終了する。ウィンドウ５２を未設定の位置がある場合には（Ｓ１４でＮＯ）、ウィンドウ設定部１０２は、未設定の位置にウィンドウ５２を設定し（Ｓ２）、移動物体検出装置１００は、設定したウィンドウ５２に対してＳ４以降の処理を実行する。
なお、ウィンドウの走査の仕方であるが、例えば、上述したようにウィンドウ５２の左上隅座標が原点となる位置を初期位置とし、ｔ＝０の平面上で、ウィンドウ５２を左上隅から右下隅までラスタスキャンする、次に、ｔを１つインクリメントし、同様のラスタスキャンを行う。このような処理を順次繰り返すことにより、ウィンドウ設定部１０２は、動画像データ５０内の全ての位置にウィンドウ５２を設定する。
以上説明したように、実施の形態１に係る移動物体検出装置によると、空間的な輝度の勾配方向の分布を示す空間ヒストグラムと時間的な輝度の勾配方向の分布を示す時間ヒストグラムとを、別個に算出し、空間ヒストグラムと時間ヒストグラムとに基づいて移動物体の有無を判断している。移動物体が歩行者の場合には、歩行者は一般的に縦のエッジ成分が多いため、空間ヒストグラムにより歩行者と背景とを区別して検出することができる。また、時間ヒストグラムを合わせて加味することにより、移動している歩行者と移動しない背景とをさらに精度良く検出することができる。なお、この構成によると、３ＤＨＯＧ特徴量のように空間的な特徴と時間的な特徴とを合わせて表現するのではなく、空間的な特徴と時間的な特徴とを別個に表現している。このため、歩行者及び背景の多様性や証明変動等の影響をそれぞれの特徴で吸収することで、安定して移動物体を検出することができる。
（実施の形態１の変形例１）
上述の実施の形態１では、１つの動画像データから移動物体を検出していたが、動画像データを解像度別に階層化した画像ピラミッドを作成し、低解像度の動画像データから高解像度の動画像データへと順に移動物体を検出するようにしてもよい。
図６は、画像ピラミッドを説明するための図である。図６（ａ）、図６（ｂ）および図６（ｃ）の順に、解像度の低い動画像データを示している。図６（ａ）および図６（ｂ）に示す縮小動画像データ５０ｂおよび５０ａは、図６（ｃ）に示す動画像データ５０を異なる倍率で縮小したものである。
図７は、実施の形態１の変形例１に係る移動物体検出装置の機能的な構成を示すブロック図である。
移動物体検出装置１００ａは、動画像データから移動物体を検出する装置であって、ウィンドウ設定部１０２と、縮小動画像データ作成部１０３と、縮小ウィンドウ設定部１０５と、空間輝度勾配方向算出部１０４と、空間ヒストグラム算出部１０６と、時間輝度勾配方向算出部１０８と、時間ヒストグラム算出部１１０と、判断部１１２とを備えている。
ウィンドウ設定部１０２は、実施の形態１に示したのと同様の構成を有する。
縮小動画像データ作成部１０３は、動画像データ５０から、所定の複数の縮小比率で動画像データ５０を縮小した縮小動画像データ（例えば、縮小動画像データ５０ｂまたは５０ａ）を作成する。つまり、縮小動画像データ作成部１０３は、所定の複数の縮小比率で動画像データ５０をそれぞれ縮小した複数の縮小動画像データ５０ａおよび５０ｂを作成する。
縮小ウィンドウ設定部１０５は、縮小動画像データ中に、ウィンドウ５２を前記所定の複数の縮小比率で縮小した縮小ウィンドウ（例えば、図６（ｂ）に示す縮小ウィンドウ５２ａまたは図６（ａ）に示す縮小ウィンドウ５２ｂ）を設定する。つまり、縮小ウィンドウ設定部１０５は、複数の縮小動画像データ５０ａおよび５０ｂの各々について、当該縮小動画像データ中に、ウィンドウ５２を当該縮小動画像データを作成する際に用いた縮小比率で縮小した縮小ウィンドウを設定することにより、複数の縮小動画像データ５０ａおよび５０ｂに複数の縮小ウィンドウ５２ａおよび５２ｂを設定する。なお、縮小ウィンドウ設定部１０５は、複数の縮小比率を縮小比率の小さいものから順に対象縮小比率として選択して、対象縮小比率の縮小動画像データ中に対象縮小比率の縮小ウィンドウを設定する。
空間輝度勾配方向算出部１０４は、実施の形態１に示した空間輝度勾配方向算出部１０４が実行する処理に加え、さらに、複数の縮小ウィンドウの各々について、縮小ウィンドウに含まれる画素ごとに、空間輝度勾配方向を算出する。
空間ヒストグラム算出部１０６は、実施の形態１に示した空間ヒストグラム算出部１０６が実行する処理に加え、さらに、複数の縮小ウィンドウの各々について、縮小ウィンドウ内の空間輝度勾配方向のヒストグラムである縮小空間ヒストグラムを算出する。
時間輝度勾配方向算出部１０８は、実施の形態１に示した時間輝度勾配方向算出部１０８が実行する処理に加え、さらに、複数の縮小ウィンドウの各々について、縮小ウィンドウに含まれる画素ごとに、時間輝度勾配方向を算出する。
時間ヒストグラム算出部１１０は、実施の形態１に示した時間ヒストグラム算出部１１０が実行する処理に加え、さらに、複数の縮小ウィンドウの各々について、縮小ウィンドウ内の時間輝度勾配方向のヒストグラムである縮小時間ヒストグラムを算出する。
判断部１１２は、対象縮小比率の縮小空間ヒストグラムと縮小時間ヒストグラムとに基づいて、対象縮小比率の縮小ウィンドウ内に移動物体が含まれるか否かを判断する。
ウィンドウ設定部１０２は、判断部１１２が縮小ウィンドウ内に移動物体が含まれると判断した場合に、対象縮小比率の縮小動画像データ中の縮小ウィンドウの設定位置に対応する動画像データ５０中の位置から所定範囲内の位置にウィンドウ５２を順次設定する。
判断部１１２は、さらに、判断部１１２が縮小ウィンドウ内に移動物体が含まれると判断した場合に、ウィンドウ５２内に移動物体が含まれるか否かを判断する。
図８は、移動物体検出装置１００ａが実行する処理のフローチャートである。
なお、このフローチャートでは、説明の簡単化のため、縮小動画像データは１つであるものとして説明するが、縮小比率の異なる縮小動画像データを複数用意し、同様の処理を実行してもよい。
図６を参照して、縮小動画像データ作成部１０３は、動画像データ５０を所定の縮小比率で縮小することにより縮小動画像データ５０ａを作成する（Ｓ１）。
次に、縮小ウィンドウ設定部１０５は、縮小動画像データ５０ａ中に動画像データ５０を所定の縮小比率で縮小した縮小ウィンドウ５２ａを設定する（Ｓ２ａ）。
空間輝度勾配方向算出部１０４は、縮小ウィンドウ５２ａに含まれる画素ごとに、空間輝度勾配方向φを算出する（Ｓ４ａ）。
空間ヒストグラム算出部１０６は、縮小ウィンドウ５２ａに含まれるパッチ（例えば、パッチ５６ａまたは５６ｂ）ごとに、パッチ内の空間輝度勾配方向φのヒストグラムである縮小空間ヒストグラムを算出する（Ｓ６ａ）。
時間輝度勾配方向算出部１０８は、縮小ウィンドウ５２ａに含まれる画素ごとに、時間輝度勾配方向θを算出する（Ｓ８ａ）。
時間ヒストグラム算出部１１０は、縮小ウィンドウ５２ａに含まれるパッチ（例えば、パッチ５６ａまたは５６ｂ）ごとに、パッチ内の時間輝度勾配方向θのヒストグラムである縮小時間ヒストグラムを算出する（Ｓ１０ａ）。
判断部１１２は、空間ヒストグラム算出部１０６で算出されたパッチの個数分の縮小空間ヒストグラムと時間ヒストグラム算出部１１０で算出されたパッチの個数分の縮小時間ヒストグラムとを入力特徴量として受け、入力特徴量に基づいて、縮小ウィンドウ５２ａ内に移動物体が含まれるか否かを判断する（Ｓ１２ａ）。
Ｓ２ａ〜Ｓ１２ａの処理は、動画像データおよびウィンドウのサイズが小さくなった以外は図３に示したＳ２〜Ｓ１２の処理と同様である。
縮小ウィンドウ設定部１０５は、縮小動画像データ５０ａ内の全ての位置に縮小ウィンドウ５２ａを設定したか否かを判断する（Ｓ１４ａ）。縮小ウィンドウ５２ａを未設定の位置がある場合には（Ｓ１４ａでＮＯ）、縮小ウィンドウ設定部１０５は、未設定の位置に縮小ウィンドウ５２ａを設定し（Ｓ２ｂ）、移動物体検出装置１００ａは、設定した縮小ウィンドウ５２ａに対してＳ４ａ以降の処理を実行する。なお、ウィンドウの走査の仕方は実施の形態１と同様である。
全ての位置に縮小ウィンドウ５２ａを設定済みであれば（Ｓ１４ａでＹＥＳ）、移動物体検出装置１００ａは、Ｓ１〜Ｓ１４ａの処理で求められた移動物体の位置の近傍を探索することにより、移動物体の詳細な位置を求める。
つまり、ウィンドウ設定部１０２は、判断部１１２が縮小ウィンドウ５２ａ内に移動物体が含まれると判断した場合に、縮小動画像データ５０ａ内の縮小ウィンドウ５２ａの設定位置に対応する動画像データ５０内の位置から所定範囲内の位置にウィンドウ５２を順次設定する（Ｓ２ｂ）。例えば、所定範囲は、上記動画像データ５０内の位置を中心画素とするｎ×ｎの領域としてもよい（ｎは２以上の整数）。なお、縮小ウィンドウ５２ａの設定位置に対応する動画像データ５０内の位置とは、例えば、縮小動画像データ５０ａがｘｙｚ軸方向にそれぞれ１／ｎに縮小されている場合には、縮小ウィンドウ５２ａの設定位置のｘｙｚ座標をｎ倍した位置のことである。
次に、移動物体検出装置１００ａは、Ｓ４〜Ｓ１２までの処理を実行することにより、ウィンドウ５２内に移動物体が含まれるか否かを判断する。Ｓ４〜Ｓ１２までの処理は、図３に示したＳ４〜Ｓ１２までの処理と同様である。
ウィンドウ設定部１０２は、動画像データ５０内の上記所定範囲内の全ての位置にウィンドウ５２を設定したか否かを判断する（Ｓ１４ｂ）。全ての位置にウィンドウ５２を設定済みであれば（Ｓ１４ｂでＹＥＳ）、移動物体検出装置１００ａは処理を終了する。ウィンドウ５２を未設定の位置がある場合には（Ｓ１４ｂでＮＯ）、ウィンドウ設定部１０２は、未設定の位置にウィンドウ５２を設定し（Ｓ２ｂ）、移動物体検出装置１００ａは、設定したウィンドウ５２に対してＳ４以降の処理を実行する。なお、ウィンドウの走査の仕方は実施の形態１と同様である。
以上説明したように、実施の形態１の変形例１に係る移動物体検出装置によると、縮小動画像データ上で移動物体を検出し、さらに、通常のサイズの動画像データ上で移動物体を検出することができる。つまり、縮小動画像データ上で粗く移動物体の位置を検出し、通常のサイズの動画像データ上で詳細な移動物体の位置を検出することができる。縮小動画像データは通常のサイズの動画像データに比べてデータ量が少ない。このため、この手法によると詳細な移動物体の位置を高速に検出することができる。階層数を多くするほど、探索範囲が小さくなるため、移動物体の位置を高速に検出可能である。
（実施の形態１の変形例２）
実施の形態１の変形例１では、縮小動画像データと縮小ウィンドウとを用いて移動物体の検出を行った。つまり、縮小動画像データにおける縮小倍率に合わせて縮小ウィンドウの設定を行っている。これに対し、実施の形態１の変形例２では、縮小動画像データにおける縮小倍率に係わらずサイズが一定のウィンドウを用いて移動物体の検出を行う。
図９は、画像ピラミッドを説明するための図である。図９（ａ）、図９（ｂ）および図９（ｃ）の順に、解像度の低い動画像データを示している。図９（ａ）および図９（ｂ）に示す縮小動画像データ５０ｂおよび５０ａは、図９（ｃ）に示す動画像データ５０を異なる倍率で縮小したものである。
図１０は、実施の形態１の変形例２に係る移動物体検出装置の機能的な構成を示すブロック図である。
移動物体検出装置１００ｂは、動画像データから移動物体を検出する装置であって、ウィンドウ設定部１０２と、縮小動画像データ作成部１０３と、空間輝度勾配方向算出部１０４と、空間ヒストグラム算出部１０６と、時間輝度勾配方向算出部１０８と、時間ヒストグラム算出部１１０と、判断部１１２とを備えている。
ウィンドウ設定部１０２は、実施の形態１に示したのと同様の構成を有する。
縮小動画像データ作成部１０３は、実施の形態１の変形例１に示したのと同様の構成を有する。つまり、縮小動画像データ作成部１０３は、所定の複数の縮小比率で動画像データ５０をそれぞれ縮小した複数の縮小動画像データ５０ａおよび５０ｂを作成する。
空間輝度勾配方向算出部１０４、空間ヒストグラム算出部１０６、時間輝度勾配方向算出部１０８および時間ヒストグラム算出部１１０は、実施の形態１の変形例１に示したのと同様の構成を有する。
判断部１１２は、（ａ）ウィンドウ内に移動物体が含まれると判断されるまで、複数の縮小比率の中から縮小比率が小さいものから順に対象縮小比率として選択し、対象縮小比率で縮小された縮小動画像データに設定されたウィンドウ内の縮小空間ヒストグラムおよび縮小時間ヒストグラムに基づいて、当該ウィンドウ内に移動物体が含まれるか否かを判断し、（ｂ）複数の縮小動画像のいずれの縮小動画像中のウィンドウ内にも移動物体が含まれないと判断された場合に、空間ヒストグラムおよび時間ヒストグラムに基づいて、動画像データ５０に設定されたウィンドウ内に移動物体が含まれるか否かを判断する。
例えば、図９を参照して、判断部１１２は、図９（ａ）に示す縮小動画像データ５０ｂ内でウィンドウ５２を走査しながらウィンドウ５２内に移動物体が含まれるか否かを判断する。縮小動画像データ５０ｂ内において移動物体が含まれると判断した場合には、判断部１１２は処理を終了する。縮小動画像データ５０ｂ内において移動物体が含まれないと判断した場合には、判断部１１２は、図９（ｂ）に示す縮小動画像データ５０ａ内でウィンドウ５２を走査しながらウィンドウ５２内において移動物体が含まれるか否かを判断する縮小動画像データ５０ａ内において移動物体が含まれると判断した場合には、判断部１１２は処理を終了する。縮小動画像データ５０ａ内に移動物体が含まれないと判断した場合には、判断部１１２は、図９（ｃ）に示す動画像データ５０内でウィンドウ５２を走査しながらウィンドウ５２内に移動物体が含まれるか否かを判断する。
図１１は、移動物体検出装置１００ｂが実行する処理のフローチャートである。
なお、このフローチャートでは、説明の簡単化のため、縮小動画像データは１つであるものとして説明するが、縮小比率の異なる縮小動画像データを複数用意し、同様の処理を実行してもよい。
図１１を参照して、縮小動画像データ作成部１０３は、動画像データ５０を所定の縮小比率で縮小することにより縮小動画像データ５０ａを作成する（Ｓ１）。
次に、ウィンドウ設定部１０２は、縮小動画像データ５０ａ中にウィンドウ５２を設定する（Ｓ２ｃ）。
空間輝度勾配方向算出部１０４は、ウィンドウ５２に含まれる画素ごとに、空間輝度勾配方向φを算出する（Ｓ４ｃ）。
空間ヒストグラム算出部１０６は、ウィンドウ５２に含まれるパッチ（例えば、パッチ５４ａまたは５４ｂ）ごとに、パッチ内の空間輝度勾配方向φのヒストグラムである縮小空間ヒストグラムを算出する（Ｓ６ｃ）。
時間輝度勾配方向算出部１０８は、ウィンドウ５２に含まれる画素ごとに、時間輝度勾配方向θを算出する（Ｓ８ｃ）。
時間ヒストグラム算出部１１０は、ウィンドウ５２に含まれるパッチ（例えば、パッチ５４ａまたは５４ｂ）ごとに、パッチ内の時間輝度勾配方向θのヒストグラムである縮小時間ヒストグラムを算出する（Ｓ１０ｃ）。
判断部１１２は、空間ヒストグラム算出部１０６で算出されたパッチの個数分の縮小空間ヒストグラムと時間ヒストグラム算出部１１０で算出されたパッチの個数分の縮小時間ヒストグラムとを入力特徴量として受け、入力特徴量に基づいて、ウィンドウ５２内に移動物体が含まれるか否かを判断する（Ｓ１２ｃ）。
Ｓ２ｃ〜Ｓ１２ｃの処理は、動画像データのサイズが小さくなった以外は図３に示したＳ２〜Ｓ１２の処理と同様である。
ウィンドウ設定部１０２は、縮小動画像データ５０ａ内の全ての位置にウィンドウ５２を設定したか否かを判断する（Ｓ１４ｃ）。ウィンドウ５２を未設定の位置がある場合には（Ｓ１４ｃでＮＯ）、ウィンドウ設定部１０２は、未設定の位置にウィンドウ５２を設定し（Ｓ２ｃ）、移動物体検出装置１００ｂは、設定したウィンドウ５２に対してＳ４ｃ以降の処理を実行する。なお、ウィンドウの走査の仕方は実施の形態１と同様である。
全ての位置にウィンドウ５２を設定済みであり（Ｓ１４ｃでＹＥＳ）、かつ、縮小動画像データ５０ａ内で移動物体が検出されていれば（Ｓ２２でＹＥＳ）、移動物体検出装置１００ｂは処理を終了する。
全ての位置にウィンドウ５２を設定済みであり（Ｓ１４ｃでＹＥＳ）、かつ、縮小動画像データ５０ａ内で移動物体が検出されていなければ（Ｓ２２でＮＯ）、移動物体検出装置１００ｂは、縮小動画像データ５０ａよりもサイズが大きい動画像データ５０上で同じサイズのウィンドウ５２を走査することにより、移動物体の検出を行う（Ｓ２ｄ〜Ｓ１４ｄ）。
Ｓ２ｄ〜Ｓ１４ｄの処理は、ウィンドウ５２を走査する対象の画像データが異なる以外は、Ｓ２ｃ〜Ｓ１４ｃの処理と同様である。このため、その詳細な説明は繰り返さない。
以上説明したように、実施の形態１の変形例２に係る移動物体検出装置によると、縮小動画像データ上で移動物体を検出し、移動物体が見つからなければ、通常のサイズの動画像データ上で移動物体を検出することができる。つまり、大きいサイズの移動物体は、分解能が粗い縮小動画像データ上で位置を検出することができるため、高速に移動物体を検出することができる。また、小さいサイズの移動物体は、通常のサイズの動画像データ上で位置を検出することができるため、精度良く移動物体を検出することができる。つまり、実施の形態１の変形例２によると、同じサイズのウィンドウと、様々なサイズの動画像データおよび縮小動画像データとを用いて移動物体を検出している。このため、様々な大きさの移動物体を検出することができる。
（実施の形態１の変形例３）
実施の形態１の変形例１では、縮小動画像データと縮小ウィンドウとを用いて移動物体の検出を行った。つまり、縮小動画像データにおける縮小倍率に合わせて縮小ウィンドウの設定を行っている。これに対し、実施の形態１の変形例３では、縮小動画像データは用いずに、複数のサイズのウィンドウを用いて移動物体の検出を行う。つまり、同一の動画像データ上で様々なサイズのウィンドウを走査することにより移動物体の検出を行う。
実施の形態１の変形例３に係る移動物体検出装置の機能的な構成は、図１に示した実施の形態１に係る移動物体検出装置の機能的な構成と同様である。
つまり、移動物体検出装置１００は、動画像データから移動物体を検出する装置であって、ウィンドウ設定部１０２と、空間輝度勾配方向算出部１０４と、空間ヒストグラム算出部１０６と、時間輝度勾配方向算出部１０８と、時間ヒストグラム算出部１１０と、判断部１１２とを備えている。
ウィンドウ設定部１０２は、動画像データ中に、互いに異なる所定の体積を有する複数のウィンドウを設定する。
空間輝度勾配方向算出部１０４は、複数のウィンドウの各々について、当該ウィンドウに含まれる画素ごとに、空間輝度勾配方向を算出する。
空間ヒストグラム算出部１０６は、複数のウィンドウの各々について、当該ウィンドウ内の空間ヒストグラムを算出する。
時間輝度勾配方向算出部１０８は、複数のウィンドウの各々について、当該ウィンドウに含まれる画素ごとに、時間輝度勾配方向を算出する。
時間ヒストグラム算出部１１０は、複数のウィンドウの各々について、当該ウィンドウ内の時間ヒストグラムを算出する。
判断部１１２は、ウィンドウ内に移動物体が含まれると判断されるまで複数のウィンドウのうち体積の大きいものから順次選択し、選択したウィンドウに対する空間ヒストグラムおよび時間ヒストグラムに基づいて、選択したウィンドウ内に移動物体が含まれるか否かを判断する。
例えば、図１２Ａに示すように、実施の形態１の変形例３に係る移動物体検出装置１００は、動画像データ５０上でウィンドウ５２を走査することにより移動物体の検出を行う。移動物体が検出された場合には、移動物体検出装置１００は処理を終了する。移動物体が検出されない場合には、移動物体検出装置１００は、図１２Ｂに示すようなウィンドウ５４よりもサイズが小さいウィンドウ５２ｃを、動画像データ５０上で走査することにより移動物体の検出を行う。移動物体が検出された場合には、移動物体検出装置１００は、処理を終了する。移動物体が検出されない場合には、移動物体検出装置１００は、図１２Ｃに示すようなウィンドウ５２ｃよりもさらに小さいサイズのウィンドウ５２ｄを、動画像データ５０上で走査することにより移動物体の検出を行う。なお、ウィンドウ５２ｃおよび５２ｄは、縮小ウィンドウ５２ａおよび５２ｂとそれぞれ同様の構成を有する。
図１３は、移動物体検出装置１００が実行する処理のフローチャートである。
ウィンドウ設定部１０２は、図１２Ａに示すように動画像データ中にウィンドウ５２を設定する（Ｓ２ｅ）。
移動物体検出装置１００は、Ｓ４ｅ〜Ｓ１２ｅまでの処理を実行することにより、ウィンドウ５２内に移動物体が含まれるか否かを判断する。Ｓ４ｅ〜Ｓ１２ｅまでの処理は、図３に示したＳ４〜Ｓ１２までの処理と同様である。
ウィンドウ設定部１０２は、動画像データ５０内の上記所定範囲内の全ての位置にウィンドウ５２を設定したか否かを判断する（Ｓ１４ｅ）。ウィンドウ５２を未設定の位置がある場合には（Ｓ１４ｅでＮＯ）、ウィンドウ設定部１０２は、未設定の位置にウィンドウ５２を設定し（Ｓ２ｅ）、移動物体検出装置１００ａは、設定したウィンドウ５２に対してＳ４ｅ以降の処理を実行する。なお、ウィンドウの走査の仕方は実施の形態１と同様である。
全ての位置にウィンドウ５２を設定済みであり（Ｓ１４ｅでＹＥＳ）、かつ、動画像データ内で移動物体が検出されていれば（Ｓ２２ａでＹＥＳ）、移動物体検出装置１００は処理を終了する。
全ての位置にウィンドウ５２を設定済みであり（Ｓ１４ｅでＹＥＳ）、かつ、動画像データ内で移動物体が検出されていなければ（Ｓ２２ａでＮＯ）、移動物体検出装置１００は、図１２Ｂに示すようなウィンドウ５２よりもサイズが小さいウィンドウ５２ｃを動画像データ５０上で走査することにより、移動物体の検出を行う（Ｓ２ｆ〜Ｓ１４ｆ）。
Ｓ２ｆ〜Ｓ１４ｆの処理は、ウィンドウのサイズが小さくなっている以外は、Ｓ２ｅ〜Ｓ１４ｅの処理と同様である。このため、その詳細な説明は繰り返さない。
以上説明したように、実施の形態１の変形例３に係る移動物体検出装置によると、様々なサイズのウィンドウを用いて移動物体の検出を行っているため、様々なサイズの移動物体を検出することができる。
（実施の形態２）
次に、実施の形態２に係る移動物体検出装置について説明する。実施の形態１では、空間ヒストグラムと時間ヒストグラムとに基づいて移動物体の検出を行ったが、実施の形態２では、さらに、オプティカルフローの方向のヒストグラムであるオプティカルフローヒストグラムに基づいて移動物体の検出を行う。
図１４は、実施の形態２に係る移動物体検出装置の機能的な構成を示すブロック図である。
移動物体検出装置２００は、動画像データから移動物体を検出する装置であって、ウィンドウ設定部１０２と、空間輝度勾配方向算出部１０４と、空間ヒストグラム算出部１０６と、時間輝度勾配方向算出部１０８と、時間ヒストグラム算出部１１０と、オプティカルフロー方向算出部１１４と、オプティカルフローヒストグラム算出部１１６と、判断部１１８とを備えている。
ウィンドウ設定部１０２、空間輝度勾配方向算出部１０４、空間ヒストグラム算出部１０６、時間輝度勾配方向算出部１０８および時間ヒストグラム算出部１１０の構成は、実施の形態１に示したのと同様の構成を有する。このため、その詳細な説明はここでは繰り返さない。
オプティカルフロー方向算出部１１４は、ウィンドウに含まれる画素ごとに、オプティカルフローの方向を算出する。
オプティカルフローヒストグラム算出部１１６は、ウィンドウ内のオプティカルフローの方向のヒストグラムであるオプティカルフローヒストグラムを算出する。
図１５は、移動物体検出装置２００が実行する処理のフローチャートである。
Ｓ２からＳ１０の処理は、実施の形態１に示した図３のＳ２からＳ１０の処理と同様である。このため、その詳細な説明は繰り返さない。
図１６（ａ）を参照して、オプティカルフロー方向算出部１１４は、ウィンドウ５２に含まれる画素ごとに、オプティカルフローの方向を算出する（Ｓ１６）。図１７（ａ）を参照して、ウィンドウ５２内の各画素の輝度値をＩ（ｘ，ｙ，ｔ）とした場合に、オプティカルフロー方向算出部１１４は、各画素のオプティカルフローｕ＝［ｕx，ｕy］を算出する。また、各画素のオプティカルフローの方向ψを次式（３）により算出する。
ψ＝ｔａｎ-1（ｕy／ｕx） …（３）
なお、オプティカルフローｕ＝［ｕx，ｕy］は、勾配法やテンプレートマッチング法などの一般的に公知の手法を用いて算出することができる。このため、その詳細な説明はここでは繰り返さない。
オプティカルフローｕとオプティカルフローの方向ψとの関係は図１７（ｂ）に示す通りである。つまり、ｘ軸をｕx、ｙ軸をｕyとする２次元平面状のベクトルｕとｘ軸とのなす角がオプティカルフローの方向ψとなる。
オプティカルフローヒストグラム算出部１１６は、パッチごとに、パッチ内のオプティカルフローの方向ψのヒストグラムであるオプティカルフローヒストグラムを作成する（Ｓ１８）。例えば、オプティカルフローの方向ψを所定の幅で量子化し（例えば３０度の幅で量子化し）、オプティカルフローの方向ψの各ビンの頻度を計数することにより、図１６（ｄ）に示すようなオプティカルフローヒストグラムが算出される。オプティカルフローヒストグラム算出部１１６は、このようなオプティカルフローヒストグラムをパッチの個数だけ算出する。なお、Ｓ６の処理により図１６（ｂ）に示すような空間ヒストグラムが算出され、Ｓ１０の処理により図１６（ｃ）に示すような時間ヒストグラムがされている。
判断部１１８は、空間ヒストグラム算出部１０６で算出されたパッチの個数分の空間ヒストグラムと、時間ヒストグラム算出部１１０で算出されたパッチの個数分の時間ヒストグラムと、オプティカルフローヒストグラム算出部１１６で算出されたパッチの個数分のオプティカルフローヒストグラムとを入力特徴量として受け、入力特徴量に基づいて、ウィンドウ５２内に移動物体が含まれるか否かを判断する（Ｓ２０）。移動物体の検出方法（判断方法）については、例えば、Ａｄａｂｏｏｓｔ、ＳＶＭ、ニューラルネットワークなどの一般的な手法を用いることができる。このため、その詳細な説明はここでは繰り返さない。
ウィンドウ設定部１０２は、ウィンドウ５２が動画像データ５０内の全ての位置にウィンドウ５２を設定したか否かを判断する（Ｓ１４）。全ての位置にウィンドウ５２を設定済みであれば（Ｓ１４でＹＥＳ）、移動物体検出装置２００は処理を終了する。ウィンドウ５２を未設定の位置がある場合には（Ｓ１４でＮＯ）、ウィンドウ設定部１０２は、未設定の位置にウィンドウ５２を設定し（Ｓ２）、移動物体検出装置２００は、設定したウィンドウ５２に対してＳ４以降の処理を実行する。なお、ウィンドウの走査の仕方は実施の形態１と同様である。
以上説明したように、実施の形態２に係る移動物体検出装置によると、実施の形態１に係る移動物体検出装置に加えて、移動物体の動きの方向の特徴を示すオプティカルフローヒストグラムを加味して移動物体の検出を行っている。このため、さらに安定して移動物体を検出することができる。
（実施の形態３）
次に、実施の形態３に係る移動物体検出装置について説明する。実施の形態２では、空間ヒストグラムと時間ヒストグラムとオプティカルフローヒストグラムとに基づいて移動物体の検出を行ったが、実施の形態３では、各ヒストグラムの作成方法が異なる。つまり、変量の共起性を加味したヒストグラムを作成する点が実施の形態２とは異なる。
実施の形態３に係る移動物体検出装置は、図１４に示した実施の形態２に係る移動物体検出装置２００と同様の構成を有する。ただし、各処理部が実行する処理が実施の形態２とは異なる。以下、実施の形態２と異なる点を中心に実施の形態３に係る移動物体検出装置２００について説明する。
空間ヒストグラム算出部１０６は、互いに所定の位置関係にある複数画素の空間輝度勾配方向の組合せを第１の変量組とし、ウィンドウ内での第１の変量組のヒストグラムを算出する。
時間ヒストグラム算出部１１０は、互いに前記所定の位置関係にある複数画素の時間輝度勾配方向の組合せを第２の変量組とし、ウィンドウ内での第２の変量組のヒストグラムを算出する。
オプティカルフローヒストグラム算出部１１６は、互いに前記所定の位置関係にある複数画素のオプティカルフローの方向の組合せを第３の変量組とし、ウィンドウ内での第３の変量組のヒストグラムを算出する。
判断部１１８は、第１の変量組のヒストグラムと、第２の変量組のヒストグラムと、第３の変量組のヒストグラムとに基づいて、ウィンドウ内に移動物体が含まれるか否かを判断する。
移動物体検出装置２００が実行する処理の流れは、図１５に示したフローチャートの流れと同じである。ただし、個々の処理が異なる。以下、異なる点を中心に説明する。
Ｓ２およびＳ４の処理は実施の形態２と同様である。
空間ヒストグラム算出部１０６は、ウィンドウ内のパッチごとに上記第１の変量組のヒストグラムを算出する（Ｓ６）。図１８を参照して、Ｓ６の処理を詳細に説明する。図１８（ａ）は、ウィンドウ５２内に設けられたパッチ５４ｂの一例を示している。図１８（ｂ）は、パッチ５４ｂを拡大した図であり、パッチ５４ｂ内のある時刻における画素配列と、次の時刻における画素配列とを示している。つまり、ある時刻における画素Ｐ0に着目すると、紙面上でその右斜め下の隣接画素、下の隣接画素、左斜め下の隣接画素、左の隣接画素を、それぞれ、共起画素Ｐ1、Ｐ2、Ｐ3、Ｐ4とする。また、画素Ｐ0とｘ座標およびｙ座標が同一である次の時刻における画素を共起画素Ｐ9とする。さらに、共起画素Ｐ9の周囲８近傍の隣接画素を共起画素Ｐ5〜Ｐ8、Ｐ10〜Ｐ13とする。また、画素Ｐ0の空間輝度勾配方向をφ0とし、共起画素Ｐi（ｉ＝１〜１３）の空間輝度勾配方向をφi（ｉ＝１〜１３）とする。空間ヒストグラム算出部１０６は、パッチ５４ｂ内の各画素を着目する画素Ｐ0とした場合に、φ0とφiとを第１の変量組とする２次元のヒストグラムを作成する。この２次元ヒストグラムが上述の第１の変量組のヒストグラムである。図１８（ｃ）は、φ0とφ1とを第１の変量組とするヒストグラムの一例を示し、図１８（ｄ）は、φ0とφ5とを第１の変量組とするヒストグラムの一例を示す。図１８（ｂ）に示す例では、画素Ｐ0と共起画素Ｐi（ｉ＝１〜１３）との組合せが１３個あるため、１つのパッチ５４ｂから１３個の第１の変量組のヒストグラムが得られる。空間ヒストグラム算出部１０６は、この１３個の第１の変量組のヒストグラムをウィンドウ５２内の全てのパッチについて算出する。
Ｓ８の処理は実施の形態２と同様である。
時間ヒストグラム算出部１１０は、ウィンドウ内のパッチごとに上記第２の変量組のヒストグラムを算出する（Ｓ１０）。第２の変量組のヒストグラムの算出方法は、図１８に示した第１の変量組のヒストグラムの算出方法において、空間輝度勾配方向が時間輝度勾配方向に変わっただけであり、それ以外は同じである。このため、その詳細な説明は繰り返さない。Ｓ１０の処理によると、第１の変量組のヒストグラムと同様に、１つのパッチ５４ｂから１３個の第２の変量組のヒストグラムが得られる。空間ヒストグラム算出部１０６は、この１３個の第２の変量組のヒストグラムをウィンドウ５２内の全てのパッチについて算出する。
Ｓ１６の処理は実施の形態２と同様である。
オプティカルフローヒストグラム算出部１１６は、ウィンドウ内のパッチごとに上記第３の変量組のヒストグラムを算出する（Ｓ１８）。第３の変量組のヒストグラムの算出方法は、図１８に示した第１の変量組のヒストグラムの算出方法において、空間輝度勾配方向がオプティカルフローの方向に変わっただけであり、それ以外は同じである。このため、その詳細な説明は繰り返さない。Ｓ１８の処理によると、第１の変量組のヒストグラムと同様に、１つのパッチ５４ｂから１３個の第３の変量組のヒストグラムが得られる。空間ヒストグラム算出部１０６は、この１３個の第３の変量組のヒストグラムをウィンドウ５２内の全てのパッチについて算出する。
判断部１１８は、空間ヒストグラム算出部１０６で算出されたパッチの個数×１３個の第１の変量組のヒストグラムと、時間ヒストグラム算出部１１０で算出されたパッチの個数×１３個の第２の変量組のヒストグラムと、オプティカルフローヒストグラム算出部１１６で算出されたパッチの個数×１３個の第３の変量組のヒストグラムとを入力特徴量として受け、入力特徴量に基づいて、ウィンドウ５２内に移動物体が含まれるか否かを判断する（Ｓ２０）。移動物体の検出方法（判断方法）については、例えば、Ａｄａｂｏｏｓｔ、ＳＶＭ、ニューラルネットワークなどの一般的な手法を用いることができる。このため、その詳細な説明はここでは繰り返さない。
ウィンドウ設定部１０２は、ウィンドウ５２が動画像データ５０内の全ての位置にウィンドウ５２を設定したか否かを判断する（Ｓ１４）。全ての位置にウィンドウ５２を設定済みであれば（Ｓ１４でＹＥＳ）、移動物体検出装置２００は処理を終了する。ウィンドウ５２を未設定の位置がある場合には（Ｓ１４でＮＯ）、ウィンドウ設定部１０２は、未設定の位置にウィンドウ５２を設定し（Ｓ２）、移動物体検出装置２００は、設定したウィンドウ５２に対してＳ４以降の処理を実行する。なお、ウィンドウの走査の仕方は実施の形態１と同様である。
以上説明したように、実施の形態３に係る移動物体検出装置によると、ウィンドウ内での空間輝度勾配方向の共起性を示す第１の変量組のヒストグラム、時間輝度勾配方向の共起性を示す第２の変量組のヒストグラムおよびオプティカルフローの方向の共起性を示す第３の変量組のヒストグラムをそれぞれ作成し、これら３種類のヒストグラムに基づいて移動物体を検出している。このように同一の特徴量の時空間内での共起性を示すヒストグラムを用いることにより、安定して移動物体を検出することができる。
（実験結果）
従来手法と上述の実施の形態で示した移動物体検出装置による移動物体検出方法とを比較する実験を行った。なお、移動物体検出装置の判断部における検出方法には、Ａｄａｂｏｏｓｔを用いた。また、オプティカルフローの算出にはＬｕｃａｓ−Ｋａｎａｄｅ法を用い、そのコードはＯｐｅｎＣＶとして公開されているものを用いた。
図１９は、雨の日に撮影された動画像データに対し、各種特徴量を用いた検出手法のＲＰＣ（Recall-precision curve）を示したグラフである。ＲＰＣの詳細については、非特許文献６に開示されている。
［非特許文献６］S.Agawal and D.Roth, “Learning a Sparse Representation for Object Detection”, ECCV, 2002
図１９のグラフにおいて、横軸は移動物体の誤検出率を示し、縦軸は移動物体の検出率を示している。つまり、誤検出率が０に近く、検出率が１に近いほど（ＲＰＣがグラフの左上に近づくほど）、高性能であると言える。図１９において、ＨＯＧ−ＲＰＣは、ＨＯＧ特徴量を用いた手法のＲＰＣであり、ＳｅＨＯＧ−ＲＰＣは、ＳｅＨＯＧ特徴量（ＨＯＧ特徴量を複数フレーム分並べた特徴量）を用いた手法のＲＰＣであり、ＨＯＧＨＯＦ−ＲＰＣは、ＨＯＧＨＯＦ特徴量を用いた手法のＲＰＣである。また、ＳＴＨＯＧ−ＲＰＣは、実施の形態１で説明した特徴量（以下、「ＳＴＨＯＧ特徴量」という。）を用いた手法のＲＰＣである。さらに、ＳＴＨＯＧＨＯＦ−ＲＰＣは、実施の形態２で説明した特徴量（以下、「ＳＴＨＯＧＨＯＦ特徴量」という。）を用いた手法のＲＰＣである。３ＤＨＯＧ−２０Ｓｉｄｅｓ−ＲＰＣは３ＤＨＯＧ特徴量を用いた手法のＲＰＣである。各ＲＰＣを比較すると、ＳＴＨＯＧＨＯＦ−ＲＰＣがグラフの左上隅に近寄っておりＳＴＨＯＧＨＯＦ特徴量を用いた手法が最も性能が高く、次に、ＳＴＨＯＧ特徴量とＨＯＧＨＯＦ特徴量とを用いた手法が性能が高いことが分かる。
図２０は、雨の日に撮影された動画像データに対して歩行者の検出結果を比較するための図である。図２０（ａ）は、ＨＯＧ特徴量を用いた歩行者の検出結果の一例を示し、図２０（ｂ）は、ＨＯＧＨＯＦ特徴量を用いた歩行者の検出結果の一例を示し、図２０（ｃ）は、ＳＴＨＯＧ特徴量を用いた歩行者の検出結果の一例を示す。各検出結果は同一の時刻における画像データを示しており、歩行者として検出された領域を矩形で示している。図２１〜図２３は、図２０に示したのと異なる時刻に撮影された画像データに対する検出結果を示す。各検出結果を比較すると、ＨＯＧ特徴量を用いた場合には、図２０（ａ）の右下の矩形のように背景を歩行者と誤って検出する場合や、図２１（ａ）または図２３（ａ）のように歩行者を検出できていない場合などがある。これに比べて、ＨＯＧＨＯＦ特徴量およびＳＴＨＯＧ特徴量を用いた場合には、安定して歩行者を検出できていることが分かる。
図２４は、晴れの日に撮影された動画像データに対して、各種特徴量を用いた検出手法のＲＰＣを示したグラフである。グラフの見方は図１９と同様である。各ＲＰＣを比較するとＳＴＨＯＧ−ＲＰＣとＳＴＨＯＧＨＯＦ−ＲＰＣとがグラフの左上隅に近寄っており、ＳＴＨＯＧ特徴量とＳＴＨＯＧＨＯＦ特徴量とを用いた手法が同程度で最も性能が高く、次にＨＯＧＨＯＦ特徴量を用いた手法の性能が高いことが分かる。ＨＯＧＨＯＦ特徴量を用いた手法の性能が雨の日に撮影された動画像データに対する性能に比べ悪くなっているのは、影の影響を受けるからである。
図２５は、晴れの日に撮影された動画像データに対して歩行者の検出結果を比較するための図である。図２５（ａ）は、ＨＯＧ特徴量を用いた歩行者の検出結果の一例を示し、図２５（ｂ）は、ＨＯＧＨＯＦ特徴量を用いた歩行者の検出結果の一例を示し、図２５（ｃ）は、ＳＴＨＯＧ特徴量を用いた歩行者の検出結果の一例を示す。各検出結果は同一の時刻における画像データを示しており、歩行者として検出された領域を矩形で示している。また、図２６〜図２８は、図２５に示したのと異なる時刻に撮影された画像データに対する検出結果を示す。各検出結果を比較すると、ＨＯＧ特徴量を用いた場合には、図２５（ａ）または図２６（ａ）のように歩行者を検出できていない場合や、図２８（ａ）の左上の矩形のように背景を歩行者と誤って検出する場合がある。また、ＨＯＧＨＯＦ特徴量を用いた場合には、歩行者の影を歩行者と誤って検出してしまう場合がある。これに対して、ＳＴＨＯＧ特徴量を用いた場合には、歩行者の影やその他の背景を歩行者と誤検出してしまうことなく、安定に歩行者を検出できていることが分かる。
以上示した実験データより、ＳＴＨＯＧ特徴量およびＳＴＨＯＧＨＯＦ特徴量を用いた移動物体の検出の優位性を示すことができた。
なお、図２９および図３０は、他のシーンの動画像データにおいてＳＴＨＯＧ特徴量を用いて歩行者検出を行った結果を示しており、安定して歩行者を検出できることが分かる。また、図３１は、ＳＴＨＯＧ特徴量を用いて一輪車に乗った人物を検出した結果を示しており、一輪車に乗っていても人物を安定して検出できることが分かる。
以上、本発明の実施の形態に係る移動物体検出装置について説明したが、本発明は、この実施の形態に限定されるものではない。
例えば、上述の実施の形態３では、２画素の空間輝度勾配方向の組合せを第１の変量組として説明を行ったが、画素数は２画素に限定されるものではなく、３画素以上の空間輝度勾配方向の組合せを第１の変量組としてもよい。同様に、３画素以上の時間輝度勾配方向の組合せを第２の変量組としてもよいし、３画素以上のオプティカルフローの方向の組合せを第３の変量組としてもよい。
また、上述の実施の形態３では、第１の変量組のヒストグラムと第２の変量組のヒストグラムと第３の変量組のヒストグラムとを用いて移動物体の検出を行ったが、第１の変量組のヒストグラムと第２の変量組のヒストグラムのみを用いて移動物体の検出を行ってもよい。この場合には、図１に示した移動物体検出装置１００と同様の構成を有する移動物体検出装置によって移動物体の検出を行うことができる。
また、実施の形態１の変形例１または２で示した画像ピラミッドに基づく移動物体の検出処理、または、実施の形態１の変形例３で示した複数サイズのウィンドウに基づく移動物体の検出処理を、実施の形態２または実施の形態３に適用してもよい。なお、画像ピラミッドの階層は上記変形例に示した２階層に限定されるものではなく、３階層以上あってもよい。つまり、縮小比率の異なる縮小動画像データを複数用意して、移動物体の検出処理を行なってもよい。
また、ウィンドウおよびパッチの形状は直方体に限定されるものではなく、その他の形状であってもよい。例えば、球形であってもよい。
また、上述の実施の形態１〜３において、ウィンドウ５２のサイズを１種類に限定するのではなく複数のサイズのウィンドウ５２を設け、サイズの異なるウィンドウ５２ごとに移動物体の検出を行うようにしてもよい。つまり、実施の形態１の例で説明すると、ウィンドウ設定部１０２は、動画像データ５０中に、互いに異なる体積を有する複数のウィンドウ５２を設定する。また、空間ヒストグラム算出部１０６は、複数のウィンドウ５２の各々について、空間ヒストグラムを算出する。さらに、時間ヒストグラム算出部１１０は、複数のウィンドウ５２の各々について、時間ヒストグラムを算出する。さらにまた、判断部１１８は、複数のウィンドウ５２の各々について、空間ヒストグラムと時間ヒストグラムとに基づいて、当該ウィンドウ５２内に移動物体が含まれるか否かを判断する。このようにサイズの異なるウィンドウ５２を複数設けることにより、様々なサイズの移動物体を検出することができる。
また、実施の形態３において、共起画素Ｐiは、着目する画素Ｐ0の隣接画素に限定されるものではなく、画素Ｐ0と所定の位置関係にある画素であればいずれの画素であってもよい。また、共起画素Ｐiの個数は１３個に限定されるものではなく、適宜選択することができる。例えば、１個であってもよい。
また、上述の実施の形態１〜３では、ウィンドウを設定するたびに空間輝度勾配方向および時間輝度勾配方向を算出しているが、ウィンドウの位置の移動前後においてはウィンドウの重なりが生じる。このため、重なりが生じている部分の空間輝度勾配方向および時間輝度勾配方向については再度算出を行うことなく、既に算出済みの空間輝度勾配方向および時間輝度勾配方向を利用して、空間ヒストグラムおよび時間ヒストグラムを算出してもよい。
また、上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。
また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。
さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な不揮発性の記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray Disc（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの不揮発性の記録媒体に記録されている上記デジタル信号であるとしても良い。
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。
また、上記プログラムまたは上記デジタル信号を上記不揮発性の記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
本発明は、監視装置、走行車両における歩行者検出装置、または知能ロボット等に適用できる。
１０ 入力画像
１２、５２ ウィンドウ
１４ａ、１４ｂ、５４ａ、５４ｂ、５６ａ パッチ
４０ ２次元画像データ
５０ 動画像データ
５０ａ、５０ｂ 縮小動画像データ
５２ａ、５２ｂ 縮小ウィンドウ
５５ ベクトル
１００、１００ａ、２００ 移動物体検出装置
１０２ ウィンドウ設定部
１０３ 縮小動画像データ作成部
１０４ 空間輝度勾配方向算出部
１０５ 縮小ウィンドウ設定部
１０６ 空間ヒストグラム算出部
１０８ 時間輝度勾配方向算出部
１１０ 時間ヒストグラム算出部
１１２、１１８ 判断部
１１４ オプティカルフロー方向算出部
１１６ オプティカルフローヒストグラム算出部

Claims (13)

  1. 動画像データから移動物体を検出する移動物体検出装置であって、
    ２次元画像データを時間軸方向に並べた３次元画像データである動画像データ中に、所定の体積を有するウィンドウを設定するウィンドウ設定部と、
    前記ウィンドウに含まれる画素ごとに、空間的な輝度の勾配方向である空間輝度勾配方向を算出する空間輝度勾配方向算出部と、
    前記ウィンドウ内の前記空間輝度勾配方向のヒストグラムである空間ヒストグラムを算出する空間ヒストグラム算出部と、
    前記ウィンドウに含まれる画素ごとに、時間的な輝度の勾配方向である時間輝度勾配方向を算出する時間輝度勾配方向算出部と、
    前記ウィンドウ内の前記時間輝度勾配方向のヒストグラムである時間ヒストグラムを算出する時間ヒストグラム算出部と、
    前記空間ヒストグラム算出部が算出した前記空間ヒストグラムと、前記時間ヒストグラム算出部が算出した前記時間ヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断する判断部と
    を備える移動物体検出装置。
  2. さらに、
    前記ウィンドウに含まれる画素ごとに、オプティカルフローの方向を算出するオプティカルフロー方向算出部と、
    前記ウィンドウ内の前記オプティカルフローの方向のヒストグラムであるオプティカルフローヒストグラムを算出するオプティカルフローヒストグラム算出部とを備え、
    前記判断部は、前記空間ヒストグラム算出部が算出した前記空間ヒストグラムと、前記時間ヒストグラム算出部が算出した前記時間ヒストグラムと、前記オプティカルフローヒストグラム算出部が算出した前記オプティカルフローヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断する
    請求項１記載の移動物体検出装置。
  3. 前記空間ヒストグラム算出部は、互いに所定の位置関係にある複数画素の前記空間輝度勾配方向の組合せを第１の変量組とし、前記ウィンドウ内での前記第１の変量組のヒストグラムを算出し、
    前記時間ヒストグラム算出部は、互いに前記所定の位置関係にある複数画素の前記時間輝度勾配方向の組合せを第２の変量組とし、前記ウィンドウ内での前記第２の変量組のヒストグラムを算出し、
    前記オプティカルフローヒストグラム算出部は、互いに前記所定の位置関係にある複数画素の前記オプティカルフローの方向の組合せを第３の変量組とし、前記ウィンドウ内での前記第３の変量組のヒストグラムを算出し、
    前記判断部は、前記第１の変量組のヒストグラムと、前記第２の変量組のヒストグラムと、前記第３の変量組のヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断する
    請求項２記載の移動物体検出装置。
  4. 前記空間ヒストグラム算出部は、互いに所定の位置関係にある複数画素の前記空間輝度勾配方向の組合せを第１の変量組とし、前記ウィンドウ内での前記第１の変量組のヒストグラムを算出し、
    前記時間ヒストグラム算出部は、互いに前記所定の位置関係にある複数画素の前記時間輝度勾配方向の組合せを第２の変量組とし、前記ウィンドウ内での前記第２の変量組のヒストグラムを算出し、
    前記判断部は、前記第１の変量組のヒストグラムと前記第２の変量組のヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断する
    請求項１記載の移動物体検出装置。
  5. 前記空間輝度勾配方向算出部は、前記ウィンドウ内に含まれる画素ごとに、当該画素のｘ軸方向の輝度値の勾配をＩx、ｙ軸方向の輝度値の勾配をＩyとした場合に、空間輝度勾配方向を以下の式（１）に示すφとして算出する
    φ＝ｔａｎ-1（Ｉy／Ｉx）…（１）
    請求項１〜４のいずれか１項に記載の移動物体検出装置。
  6. 前記時間輝度勾配方向算出部は、前記ウィンドウ内に含まれる画素ごとに、当該画素のｘ軸方向の輝度値の勾配をＩx、ｙ軸方向の輝度値の勾配をＩy、時間軸方向の輝度値の勾配をＩtとした場合に、時間輝度勾配方向を以下の式（２）に示すθとして算出する
    Figure 2011161924
     請求項１〜５のいずれか１項に記載の移動物体検出装置。
  7. さらに、
    所定の複数の縮小比率で前記動画像データをそれぞれ縮小した複数の縮小動画像データを作成する縮小動画像データ作成部と、
    前記複数の縮小動画像データの各々について、当該縮小動画像データ中に、前記ウィンドウを当該縮小動画像データを作成する際に用いた縮小比率で縮小した縮小ウィンドウを設定することにより、前記複数の縮小動画像データに複数の縮小ウィンドウを設定する縮小ウィンドウ設定部とを備え、
    前記空間輝度勾配方向算出部は、さらに、前記複数の縮小ウィンドウの各々について、当該縮小ウィンドウに含まれる画素ごとに、空間輝度勾配方向を算出し、
    前記空間ヒストグラム算出部は、さらに、前記複数の縮小ウィンドウの各々について、当該縮小ウィンドウ内の縮小空間ヒストグラムを算出し、
    前記時間輝度勾配方向算出部は、さらに、前記複数の縮小ウィンドウの各々について、当該縮小ウィンドウに含まれる画素ごとに、時間輝度勾配方向を算出し、
    前記時間ヒストグラム算出部は、さらに、前記複数の縮小ウィンドウの各々について、当該縮小ウィンドウ内の縮小時間ヒストグラムを算出し、
    前記縮小ウィンドウ設定部は、前記複数の縮小比率を前記縮小比率の小さいものから順に対象縮小比率として選択して、前記対象縮小比率の縮小動画像データ中に前記対象縮小比率の縮小ウィンドウを設定し、
    前記判断部は、前記対象縮小比率の縮小空間ヒストグラムと前記縮小時間ヒストグラムとに基づいて、前記対象縮小比率の前記縮小ウィンドウ内に移動物体が含まれるか否かを判断し、
    前記ウィンドウ設定部は、前記判断部が前記縮小ウィンドウ内に移動物体が含まれると判断した場合に、前記対象縮小比率の前記縮小動画像データ中の前記縮小ウィンドウの設定位置に対応する前記動画像データ中の位置から所定範囲内の位置に前記ウィンドウを順次設定し、
    前記判断部は、さらに、前記判断部が前記縮小ウィンドウ内に移動物体が含まれると判断した場合に、前記ウィンドウ設定部が設定した前記ウィンドウ内に移動物体が含まれるか否かを判断する
    請求項１〜６のいずれか１項に記載の移動物体検出装置。
  8. さらに、
    所定の複数の縮小比率で前記動画像データをそれぞれ縮小した複数の縮小動画像データを作成する縮小動画像データ作成部を備え、
    前記ウィンドウ設定部は、さらに、各前記縮小動画像データ中に、前記ウィンドウを設定し、
    前記空間輝度勾配方向算出部は、さらに、前記複数の縮小動画像データの各々について、当該縮小動画像データ中に設定された前記ウィンドウに含まれる画素ごとに、空間輝度勾配方向を算出し、
    前記空間ヒストグラム算出部は、さらに、前記複数の縮小動画像データの各々について、当該縮小動画像データ中に設定された前記ウィンドウ内の縮小空間ヒストグラムを算出し、
    前記時間輝度勾配方向算出部は、さらに、前記複数の縮小動画像データの各々について、当該縮小動画像データ中に設定された前記ウィンドウに含まれる画素ごとに、時間輝度勾配方向を算出し、
    前記時間ヒストグラム算出部は、さらに、前記複数の縮小動画像データの各々について、当該縮小動画像データ中に設定された前記ウィンドウ内の縮小時間ヒストグラムを算出し、
    前記判断部は、（ａ）ウィンドウ内に移動物体が含まれると判断されるまで、前記複数の縮小比率の中から縮小比率が小さいものから順に対象縮小比率として選択し、前記対象縮小比率で縮小された縮小動画像データに設定された前記ウィンドウ内の前記縮小空間ヒストグラムおよび前記縮小時間ヒストグラムに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断し、（ｂ）前記複数の縮小動画像のいずれの縮小動画像中の前記ウィンドウ内にも移動物体が含まれないと判断された場合に、前記空間ヒストグラムおよび前記時間ヒストグラムに基づいて、前記動画像データに設定された前記ウィンドウ内に移動物体が含まれるか否かを判断する
    請求項１〜６のいずれか１項に記載の移動物体検出装置。
  9. 前記ウィンドウ設定部は、前記動画像データ中に、互いに異なる所定の体積を有する複数のウィンドウを設定し、
    前記空間輝度勾配方向算出部は、前記複数のウィンドウの各々について、当該ウィンドウに含まれる画素ごとに、空間輝度勾配方向を算出し、
    前記空間ヒストグラム算出部は、前記複数のウィンドウの各々について、当該ウィンドウ内の空間ヒストグラムを算出し、
    前記時間輝度勾配方向算出部は、前記複数のウィンドウの各々について、当該ウィンドウに含まれる画素ごとに、時間輝度勾配方向を算出し、
    前記時間ヒストグラム算出部は、前記複数のウィンドウの各々について、当該ウィンドウ内の時間ヒストグラムを算出し、
    前記判断部は、ウィンドウ内に移動物体が含まれると判断されるまで前記複数のウィンドウのうち体積の大きいものから順次選択し、選択したウィンドウに対する前記空間ヒストグラムおよび前記時間ヒストグラムに基づいて、前記選択したウィンドウ内に移動物体が含まれるか否かを判断する
    請求項１〜６のいずれか１項に記載の移動物体検出装置。
  10. 前記空間ヒストグラム算出部が算出する前記空間ヒストグラムの各ビンにおける前記空間輝度勾配方向の幅は一定であり、
    前記時間ヒストグラム算出部が算出する前記時間ヒストグラムの各ビンにおける前記時間輝度勾配方向の幅は一定である
    請求項１〜９のいずれか１項に記載の移動物体検出装置。
  11. 動画像データから移動物体を検出する移動物体検出方法であって、
    ２次元画像データを時間軸方向に並べた３次元画像データである動画像データ中に、所定の体積を有するウィンドウを設定するウィンドウ設定ステップと、
    前記ウィンドウに含まれる画素ごとに、空間的な輝度の勾配方向である空間輝度勾配方向を算出する空間輝度勾配方向算出ステップと、
    前記ウィンドウ内の前記空間輝度勾配方向のヒストグラムである空間ヒストグラムを算出する空間ヒストグラム算出ステップと、
    前記ウィンドウに含まれる画素ごとに、時間的な輝度の勾配方向である時間輝度勾配方向を算出する時間輝度勾配方向算出ステップと、
    前記ウィンドウ内の前記時間輝度勾配方向のヒストグラムである時間ヒストグラムを算出する時間ヒストグラム算出ステップと、
    前記空間ヒストグラム算出ステップにおいて算出された前記空間ヒストグラムと、前記時間ヒストグラム算出ステップにおいて算出された前記時間ヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断する判断ステップと
    を含む移動物体検出方法。
  12. 動画像データから移動物体を検出するためのプログラムであって、
    ２次元画像データを時間軸方向に並べた３次元画像データである動画像データ中に、所定の体積を有するウィンドウを設定するウィンドウ設定ステップと、
    前記ウィンドウに含まれる画素ごとに、空間的な輝度の勾配方向である空間輝度勾配方向を算出する空間輝度勾配方向算出ステップと、
    前記ウィンドウ内の前記空間輝度勾配方向のヒストグラムである空間ヒストグラムを算出する空間ヒストグラム算出ステップと、
    前記ウィンドウに含まれる画素ごとに、時間的な輝度の勾配方向である時間輝度勾配方向を算出する時間輝度勾配方向算出ステップと、
    前記ウィンドウ内の前記時間輝度勾配方向のヒストグラムである時間ヒストグラムを算出する時間ヒストグラム算出ステップと、
    前記空間ヒストグラム算出ステップにおいて算出された前記空間ヒストグラムと、前記時間ヒストグラム算出ステップにおいて算出された前記時間ヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断する判断ステップと
    をコンピュータに実行させるためのプログラム。
  13. 動画像データから移動物体を検出する集積回路であって、
    ２次元画像データを時間軸方向に並べた３次元画像データである動画像データ中に、所定の体積を有するウィンドウを設定するウィンドウ設定部と、
    前記ウィンドウに含まれる画素ごとに、空間的な輝度の勾配方向である空間輝度勾配方向を算出する空間輝度勾配方向算出部と、
    前記ウィンドウ内の前記空間輝度勾配方向のヒストグラムである空間ヒストグラムを算出する空間ヒストグラム算出部と、
    前記ウィンドウに含まれる画素ごとに、時間的な輝度の勾配方向である時間輝度勾配方向を算出する時間輝度勾配方向算出部と、
    前記ウィンドウ内の前記時間輝度勾配方向のヒストグラムである時間ヒストグラムを算出する時間ヒストグラム算出部と、
    前記空間ヒストグラム算出部が算出した前記空間ヒストグラムと、前記時間ヒストグラム算出部が算出した前記時間ヒストグラムとに基づいて、前記ウィンドウ内に移動物体が含まれるか否かを判断する判断部と
    を備える集積回路。
JP2012521311A 2010-06-23 2011-06-20 移動物体検出装置 Expired - Fee Related JP5467300B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012521311A JP5467300B2 (ja) 2010-06-23 2011-06-20 移動物体検出装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010143213 2010-06-23
JP2010143213 2010-06-23
JP2012521311A JP5467300B2 (ja) 2010-06-23 2011-06-20 移動物体検出装置
PCT/JP2011/003492 WO2011161924A1 (ja) 2010-06-23 2011-06-20 移動物体検出装置

Publications (2)

Publication Number Publication Date
JPWO2011161924A1 true JPWO2011161924A1 (ja) 2013-08-19
JP5467300B2 JP5467300B2 (ja) 2014-04-09

Family

ID=45371131

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012521311A Expired - Fee Related JP5467300B2 (ja) 2010-06-23 2011-06-20 移動物体検出装置

Country Status (5)

Country Link
US (1) US8958641B2 (ja)
EP (1) EP2587451A4 (ja)
JP (1) JP5467300B2 (ja)
CN (1) CN102947863B (ja)
WO (1) WO2011161924A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4561657B2 (ja) 2006-03-06 2010-10-13 ソニー株式会社 映像監視システムおよび映像監視プログラム
JP6057629B2 (ja) * 2012-09-07 2017-01-11 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
JP2014106685A (ja) * 2012-11-27 2014-06-09 Osaka Univ 車両周辺監視装置
JP6100635B2 (ja) * 2012-12-13 2017-03-22 株式会社デンソー 移動体検出装置
US9582886B2 (en) 2013-07-08 2017-02-28 Honda Motor Co., Ltd. Object recognition device
BR112015031832A2 (pt) * 2013-07-08 2017-07-25 Honda Motor Co Ltd dispositivo de reconhecimento de objeto
US9747680B2 (en) 2013-11-27 2017-08-29 Industrial Technology Research Institute Inspection apparatus, method, and computer program product for machine vision inspection
JP6532187B2 (ja) * 2014-03-17 2019-06-19 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
JP6256239B2 (ja) * 2014-07-25 2018-01-10 株式会社デンソー 歩行者検出装置および歩行者検出方法
KR101808937B1 (ko) * 2016-02-29 2017-12-13 국민대학교산학협력단 그래디언트 히스토그램을 이용한 오브젝트 주행 패턴 검출 방법 및 장치
KR102145726B1 (ko) * 2016-03-22 2020-08-19 (주) 아키드로우 기계 학습 알고리즘을 이용한 도어 이미지 검출 방법 및 장치
US10482609B2 (en) 2017-04-04 2019-11-19 General Electric Company Optical flow determination system
US10679099B2 (en) 2018-05-08 2020-06-09 Toyta Research Institute, Inc. Method and apparatus for a manifold view of space
JP7212247B2 (ja) * 2018-11-02 2023-01-25 富士通株式会社 目標検出プログラム、目標検出装置、及び目標検出方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3790126B2 (ja) 2001-05-30 2006-06-28 株式会社東芝 時空間領域情報処理方法及び時空間領域情報処理システム
CN1839409A (zh) 2003-08-21 2006-09-27 松下电器产业株式会社 人物检测装置和人物检测方法
TWI243903B (en) 2004-10-08 2005-11-21 Huei-Yung Lin Method using blurred image to measure speed
US7899253B2 (en) 2006-09-08 2011-03-01 Mitsubishi Electric Research Laboratories, Inc. Detecting moving objects in video by classifying on riemannian manifolds
CN101482923B (zh) 2009-01-19 2012-05-23 刘云 视频监控中人体目标的检测与性别识别方法
CN101521740A (zh) 2009-04-01 2009-09-02 北京航空航天大学 基于多尺度不变特征的实时运动估计方法

Also Published As

Publication number Publication date
US8958641B2 (en) 2015-02-17
WO2011161924A1 (ja) 2011-12-29
JP5467300B2 (ja) 2014-04-09
CN102947863B (zh) 2016-01-13
EP2587451A4 (en) 2015-04-08
EP2587451A1 (en) 2013-05-01
US20130094759A1 (en) 2013-04-18
CN102947863A (zh) 2013-02-27

Similar Documents

Publication Publication Date Title
JP5467300B2 (ja) 移動物体検出装置
US10254845B2 (en) Hand gesture recognition for cursor control
JP5771413B2 (ja) 姿勢推定装置、姿勢推定システム、および姿勢推定方法
JP5726125B2 (ja) 奥行き画像内の物体を検出する方法およびシステム
JP5715833B2 (ja) 姿勢状態推定装置および姿勢状態推定方法
Abdul-Azim et al. Human action recognition using trajectory-based representation
US20200175717A1 (en) Information processing apparatus and method of controlling the same
WO2017182225A1 (en) Training method and detection method for object recognition
Fehr et al. Covariance based point cloud descriptors for object detection and recognition
Nikisins et al. RGB-DT based face recognition
CN113272821A (zh) 深度神经网络姿态估计***
Stiene et al. Contour-based object detection in range images
Hua et al. Pedestrian detection by using a spatio-temporal histogram of oriented gradients
US20190108398A1 (en) A method and system for tracking objects
Feichtenhofer et al. Dynamically encoded actions based on spacetime saliency
Muddamsetty et al. A performance evaluation of fusion techniques for spatio-temporal saliency detection in dynamic scenes
CN110622210A (zh) 用于处理360度图像的方法和装置
Abid et al. Dynamic hand gesture recognition from Bag-of-Features and local part model
Chew et al. Panorama stitching using overlap area weighted image plane projection and dynamic programming for visual localization
Kang et al. People detection method using graphics processing units for a mobile robot with an omnidirectional camera
Palmer et al. Scale proportionate histograms of oriented gradients for object detection in co-registered visual and range data
Wang et al. Performance study of feature descriptors for human detection on depth map
Hao et al. Development of 3D feature detection and on board mapping algorithm from video camera for navigation
Polceanu et al. Fast Multi-Scale fHOG Feature Extraction Using Histogram Downsampling
Kim et al. A high quality depth map upsampling method robust to misalignment of depth and color boundaries

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131226

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5467300

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees