JP5938631B2 - 物体検出装置及び物体検出方法 - Google Patents

物体検出装置及び物体検出方法 Download PDF

Info

Publication number
JP5938631B2
JP5938631B2 JP2011277550A JP2011277550A JP5938631B2 JP 5938631 B2 JP5938631 B2 JP 5938631B2 JP 2011277550 A JP2011277550 A JP 2011277550A JP 2011277550 A JP2011277550 A JP 2011277550A JP 5938631 B2 JP5938631 B2 JP 5938631B2
Authority
JP
Japan
Prior art keywords
image
value
detection target
detection
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011277550A
Other languages
English (en)
Other versions
JP2013127747A (ja
Inventor
健一郎 野坂
健一郎 野坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2011277550A priority Critical patent/JP5938631B2/ja
Priority to CN201280061812.6A priority patent/CN103999127B/zh
Priority to US14/365,534 priority patent/US9053385B2/en
Priority to PCT/JP2012/007897 priority patent/WO2013094151A1/ja
Publication of JP2013127747A publication Critical patent/JP2013127747A/ja
Application granted granted Critical
Publication of JP5938631B2 publication Critical patent/JP5938631B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、背景差分法により物体を検出する物体検出装置及び物体検出方法に関するものである。
従来から、物体検出方法として、背景差分法による物体検出方法がある(例えば特許文献1参照)。背景差分法による物体検出方法では、背景画像(検出対象物体が存在しないことの基準とする画像)と検出対象画像(検出対象物体を検出するための検出対象の画像)との差分に基いて、検出対象物体を検出する。すなわち、背景画像と検出対象画像との差分値が所定の閾値を超える部分を検出対象物体する。背景差分法による物体検出方法は、単純な方法であり、安定した背景画像が得られる場合においては、物体検出方法として、一般的に用いられている。
一方で、画像にガウシアンフィルタ処理を施して、画像を平滑化した後、その平滑化した画像にラプラシアンフィルタ処理を施して、その平滑化した画像の2次微分値を求める手法がある。この手法は、LoGフィルタ処理と通称され、画像のエッジ検出(輝度の変化の大きい部分の検出)などでよく用いられる。
このLoGフィルタ処理による手法は、画像のエッジ検出などでよく用いられる手法ではあるが、例えば、熱体を検出対象物体とし、温度分布を示す画像を検出対象画像として、検出対象物体を検出する場合には、適用することができる。すなわち、温度分布を示す検出対象画像では、温度の上昇度合いの減少する領域において、2次微分値が負になる。ここで、輝度分布を示す検出対象画像の画素の分解能が粗く、検出対象物体の面積が数画素から十数画素となる場合について考える。このような場合には、検出対象物体の存在している領域において、検出対象画像の2次微分値が負になる。従って、このような場合には、検出対象画像に上記のLoGフィルタ処理を施して、検出対象画像の2次微分値を求め、この2次微分値に基いて、検出対象物体を検出することができる。すなわち、2次微分値が所定の閾値(0又は所定の負の値)未満の部分を検出対象物体とすることができる。
特開2010−256194号公報
しかしながら、上述した従来の背景差分法による物体検出方法においては、検出対象物体が複数存在している場合(特に、複数存在している検出対象物体が近接している場合)に、それら複数の検出対象物体が1つ検出対象物体として検出される可能性がある。また、LoGフィルタ処理を適用した(2次微分値に基く)物体検出方法においては、検出対象物体以外(つまり背景)に、周囲よりも温度の高い領域(2次微分値が負の領域)が存在すると、検出対象物体以外のものが検出対象物体として誤検出されてしまう。
本発明は、上記課題を解決するためになされたものであり、検出領域内に検出対象物体が複数存在している場合でも、各検出対象物体を分離して検出することができる物体検出装置及び物体検出方法を提供することを目的とする。
上記目的を達成するために本発明の物体検出装置は、検出領域の温度分布を示す画像であって、検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、検出領域の温度分布を示す画像であって、検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出装置において、背景画像と検出対象画像との差分に基いて検出対象物体を検出する演算処理部を備え、検出領域の背景の温度よりも高い温度の検出対象物体を検出し、演算処理部は、背景画像と検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、検出対象画像から背景画像を差し引いた差分値が差分値用の閾値以上である領域を第1の値とすると共に、検出対象画像から背景画像を差し引いた差分値が差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、検出対象画像又は検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、微分値用の閾値を0として、検出対象画像又は平滑画像の水平方向についての2次微分値と垂直方向についての2次微分値を求め、これら水平方向についての2次微分値と垂直方向についての2次微分値の両方が負である領域、又は、負か0のいずれかである領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、差分2値画像と2次微分2値画像との論理積に基いて、検出対象物体を検出する、ものである。
また、本発明の物体検出装置は、検出領域の温度分布を示す画像であって、検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、検出領域の温度分布を示す画像であって、検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出装置において、背景画像と検出対象画像との差分に基いて検出対象物体を検出する演算処理部を備え、検出領域の背景の温度よりも低い温度の検出対象物体を検出し、演算処理部は、背景画像と検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、背景画像から検出対象画像を差し引いた差分値が差分値用の閾値以上である領域を第1の値とすると共に、背景画像から検出対象画像を差し引いた差分値が差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、検出対象画像又は検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、微分値用の閾値を0として、検出対象画像又は平滑画像の水平方向についての2次微分値と垂直方向についての2次微分値を求め、これら水平方向についての2次微分値と垂直方向についての2次微分値の両方が正である領域、又は、正か0のいずれかである領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、差分2値画像と2次微分2値画像との論理積に基いて、検出対象物体を検出する、ものである。
また、本発明の物体検出装置は、検出領域の温度分布を示す画像であって、検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、検出領域の温度分布を示す画像であって、検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出装置において、背景画像と検出対象画像との差分に基いて検出対象物体を検出する演算処理部を備え、検出領域の背景の温度よりも高い温度の検出対象物体を検出し、演算処理部は、背景画像と検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、検出対象画像から背景画像を差し引いた差分値が差分値用の閾値以上である領域を第1の値とすると共に、検出対象画像から背景画像を差し引いた差分値が差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、検出対象画像又は検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、微分値用の閾値として、検出対象画像又は平滑画像の領域によって、異なる値を適用し、検出対象画像又は平滑画像のうち、差分2値画像の値が第1の値である領域及びその近隣の領域に対応する領域については、微分値用の閾値を0から負の値に下げ、それ以外の領域については、微分値用の閾値を0から正の値に上げ、検出対象画像又は平滑画像の2次微分値が閾値未満である領域、又は、閾値以下である領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、差分2値画像と2次微分2値画像との論理積に基いて、検出対象物体を検出する、ものである。
また、本発明の物体検出装置は、検出領域の温度分布を示す画像であって、検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、検出領域の温度分布を示す画像であって、検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出装置において、背景画像と検出対象画像との差分に基いて検出対象物体を検出する演算処理部を備え、検出領域の背景の温度よりも低い温度の検出対象物体を検出し、演算処理部は、背景画像と検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、背景画像から検出対象画像を差し引いた差分値が差分値用の閾値以上である領域を第1の値とすると共に、背景画像から検出対象画像を差し引いた差分値が差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、検出対象画像又は検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、微分値用の閾値として、検出対象画像又は平滑画像の領域によって、異なる値を適用し、検出対象画像又は平滑画像のうち、差分2値画像の値が第1の値である領域及びその近隣の領域に対応する領域については、微分値用の閾値を0から正の値に上げ、それ以外の領域については、微分値用の閾値を0から負の値に下げ、検出対象画像又は平滑画像の2次微分値が閾値を超える領域、又は、閾値以上である領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、差分2値画像と2次微分2値画像との論理積に基いて、検出対象物体を検出する、ものである。
また、本発明の物体検出装置は、検出領域の温度分布を示す画像であって、検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、検出領域の温度分布を示す画像であって、検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出装置において、背景画像と検出対象画像との差分に基いて検出対象物体を検出する演算処理部を備え、検出領域の背景の温度よりも高い温度の検出対象物体を検出し、演算処理部は、背景画像と検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、検出対象画像から背景画像を差し引いた差分値が差分値用の閾値以上である領域を第1の値とすると共に、検出対象画像から背景画像を差し引いた差分値が差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、検出対象画像又は検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、差分2値画像の値が第1の値である領域を温度凸領域として、この温度凸領域の主軸方向を求め、検出対象画像又は平滑画像の温度凸領域の主軸方向に対応する方向についての2次微分値を求め、この2次微分値用の閾値を0として、この2次微分値が負である領域、又は、負か0のいずれかである領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、差分2値画像と2次微分2値画像との論理積に基いて、検出対象物体を検出する、ものである。
また、本発明の物体検出装置は、検出領域の温度分布を示す画像であって、検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、検出領域の温度分布を示す画像であって、検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出装置において、背景画像と検出対象画像との差分に基いて検出対象物体を検出する演算処理部を備え、検出領域の背景の温度よりも低い温度の検出対象物体を検出し、演算処理部は、背景画像と検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、背景画像から検出対象画像を差し引いた差分値が差分値用の閾値以上である領域を第1の値とすると共に、背景画像から検出対象画像を差し引いた差分値が差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、検出対象画像又は検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、差分2値画像の値が第1の値である領域を温度凸領域として、この温度凸領域の主軸方向を求め、検出対象画像又は平滑画像の温度凸領域の主軸方向に対応する方向についての2次微分値を求め、この2次微分値用の閾値を0として、この2次微分値が正である領域、又は、正か0のいずれかである領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、差分2値画像と2次微分2値画像との論理積に基いて、検出対象物体を検出する、ものである。
また、本発明の物体検出装置において、演算処理部は、温度凸領域が分離して複数存在している場合、それら各温度凸領域の主軸方向を求め、検出対象画像又は平滑画像の各温度凸領域に対応する領域においては、その温度凸領域の主軸方向に対応する方向についての2次微分値を求め、この2次微分値を微分値用の閾値で2値化することにより、2次微分2値画像を生成する、ものが好ましい。
また、本発明の物体検出方法は、検出領域の温度分布を示す画像であって、検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、検出領域の温度分布を示す画像であって、検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出方法において、検出領域の背景の温度よりも高い温度の検出対象物体を検出し、検出領域の温度分布を検出する温度分布センサの出力に基いて背景画像を生成する背景画像生成処理と、温度分布センサの出力に基いて検出対象画像を生成する検出対象画像生成処理と、背景画像と検出対象画像との差分に基いて検出対象物体を検出する物体検出処理とを実行し、物体検出処理において、背景画像と検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、検出対象画像から背景画像を差し引いた差分値が差分値用の閾値以上である領域を第1の値とすると共に、検出対象画像から背景画像を差し引いた差分値が差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、検出対象画像又は検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、微分値用の閾値を0として、検出対象画像又は平滑画像の水平方向についての2次微分値と垂直方向についての2次微分値を求め、これら水平方向についての2次微分値と垂直方向についての2次微分値の両方が負である領域、又は、負か0のいずれかである領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、差分2値画像と2次微分2値画像との論理積に基いて、検出対象物体を検出する、ものである。
また、本発明の物体検出方法は、検出領域の温度分布を示す画像であって、検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、検出領域の温度分布を示す画像であって、検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出方法において、検出領域の背景の温度よりも低い温度の検出対象物体を検出し、検出領域の温度分布を検出する温度分布センサの出力に基いて背景画像を生成する背景画像生成処理と、温度分布センサの出力に基いて検出対象画像を生成する検出対象画像生成処理と、背景画像と検出対象画像との差分に基いて検出対象物体を検出する物体検出処理とを実行し、物体検出処理において、背景画像と検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、背景画像から検出対象画像を差し引いた差分値が差分値用の閾値以上である領域を第1の値とすると共に、背景画像から検出対象画像を差し引いた差分値が差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、検出対象画像又は検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、微分値用の閾値を0として、検出対象画像又は平滑画像の水平方向についての2次微分値と垂直方向についての2次微分値を求め、これら水平方向についての2次微分値と垂直方向についての2次微分値の両方が正である領域、又は、正か0のいずれかである領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、差分2値画像と2次微分2値画像との論理積に基いて、検出対象物体を検出する、ものである。
また、本発明の物体検出方法は、検出領域の温度分布を示す画像であって、検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、検出領域の温度分布を示す画像であって、検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出方法において、検出領域の背景の温度よりも高い温度の検出対象物体を検出し、検出領域の温度分布を検出する温度分布センサの出力に基いて背景画像を生成する背景画像生成処理と、温度分布センサの出力に基いて検出対象画像を生成する検出対象画像生成処理と、背景画像と検出対象画像との差分に基いて検出対象物体を検出する物体検出処理とを実行し、物体検出処理において、背景画像と検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、検出対象画像から背景画像を差し引いた差分値が差分値用の閾値以上である領域を第1の値とすると共に、検出対象画像から背景画像を差し引いた差分値が差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、検出対象画像又は検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、微分値用の閾値として、検出対象画像又は平滑画像の領域によって、異なる値を適用し、検出対象画像又は平滑画像のうち、差分2値画像の値が第1の値である領域及びその近隣の領域に対応する領域については、微分値用の閾値を0から負の値に下げ、それ以外の領域については、微分値用の閾値を0から正の値に上げ、検出対象画像又は平滑画像の2次微分値が閾値未満である領域、又は、閾値以下である領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、差分2値画像と2次微分2値画像との論理積に基いて、検出対象物体を検出する、ものである。
また、本発明の物体検出方法は、検出領域の温度分布を示す画像であって、検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、検出領域の温度分布を示す画像であって、検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出方法において、検出領域の背景の温度よりも低い温度の検出対象物体を検出し、検出領域の温度分布を検出する温度分布センサの出力に基いて背景画像を生成する背景画像生成処理と、温度分布センサの出力に基いて検出対象画像を生成する検出対象画像生成処理と、背景画像と検出対象画像との差分に基いて検出対象物体を検出する物体検出処理とを実行し、物体検出処理において、背景画像と検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、背景画像から検出対象画像を差し引いた差分値が差分値用の閾値以上である領域を第1の値とすると共に、背景画像から検出対象画像を差し引いた差分値が差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、検出対象画像又は検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、微分値用の閾値として、検出対象画像又は平滑画像の領域によって、異なる値を適用し、検出対象画像又は平滑画像のうち、差分2値画像の値が第1の値である領域及びその近隣の領域に対応する領域については、微分値用の閾値を0から正の値に上げ、それ以外の領域については、微分値用の閾値を0から負の値に下げ、検出対象画像又は平滑画像の2次微分値が閾値を超える領域、又は、閾値以上である領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、差分2値画像と2次微分2値画像との論理積に基いて、検出対象物体を検出する、ものである。
また、本発明の物体検出方法は、検出領域の温度分布を示す画像であって、検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、検出領域の温度分布を示す画像であって、検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出方法において、検出領域の背景の温度よりも高い温度の検出対象物体を検出し、検出領域の温度分布を検出する温度分布センサの出力に基いて背景画像を生成する背景画像生成処理と、温度分布センサの出力に基いて検出対象画像を生成する検出対象画像生成処理と、背景画像と検出対象画像との差分に基いて検出対象物体を検出する物体検出処理とを実行し、物体検出処理において、背景画像と検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、検出対象画像から背景画像を差し引いた差分値が差分値用の閾値以上である領域を第1の値とすると共に、検出対象画像から背景画像を差し引いた差分値が差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、検出対象画像又は検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、差分2値画像の値が第1の値である領域を温度凸領域として、この温度凸領域の主軸方向を求め、検出対象画像又は平滑画像の温度凸領域の主軸方向に対応する方向についての2次微分値を求め、この2次微分値用の閾値を0として、この2次微分値が負である領域、又は、負か0のいずれかである領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、差分2値画像と2次微分2値画像との論理積に基いて、検出対象物体を検出する、ものである。
また、本発明の物体検出方法は、検出領域の温度分布を示す画像であって、検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、検出領域の温度分布を示す画像であって、検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出方法において、検出領域の背景の温度よりも低い温度の検出対象物体を検出し、検出領域の温度分布を検出する温度分布センサの出力に基いて背景画像を生成する背景画像生成処理と、温度分布センサの出力に基いて検出対象画像を生成する検出対象画像生成処理と、背景画像と検出対象画像との差分に基いて検出対象物体を検出する物体検出処理とを実行し、物体検出処理において、背景画像と検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、背景画像から検出対象画像を差し引いた差分値が差分値用の閾値以上である領域を第1の値とすると共に、背景画像から検出対象画像を差し引いた差分値が差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、検出対象画像又は検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、差分2値画像の値が第1の値である領域を温度凸領域として、この温度凸領域の主軸方向を求め、検出対象画像又は平滑画像の温度凸領域の主軸方向に対応する方向についての2次微分値を求め、この2次微分値用の閾値を0として、この2次微分値が正である領域、又は、正か0のいずれかである領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、差分2値画像と2次微分2値画像との論理積に基いて、検出対象物体を検出する、ものである。
また、本発明の物体検出方法において、物体検出処理において、温度凸領域が分離して複数存在している場合、それら各温度凸領域の主軸方向を求め、検出対象画像又は平滑画像の各温度凸領域に対応する領域においては、その温度凸領域の主軸方向に対応する方向についての2次微分値を求め、この2次微分値を微分値用の閾値で2値化することにより、2次微分2値画像を生成する、ものが好ましい。
本発明によれば、差分2値画像と2次微分2値画像との論理積に基いて、検出対象物体を検出することにより、検出領域内に検出対象物体が複数存在している場合でも、各検出対象物体を分離して検出することができる。
本発明の第1の実施形態に係る物体検出装置の構成を示す電気的ブロック構成図。 同物体検出装置の温度分布センサの出力である検出温度画像を説明する図。 同物体検出装置の動作を示すフローチャート。 同物体検出装置の物体検出処理における処理の流れを示す図。 同物体検出装置の物体検出処理において処理される各種画像の例を示す図。 同物体検出装置の物体検出処理において用いられるラプラシアンフィルタ係数の例を示す図。 同物体検出装置の物体検出処理において処理される平滑画像の一部の領域の例を示す図。 本発明の第2の実施形態に係る物体検出装置の物体検出処理における処理の流れを示す図。 同物体検出装置の物体検出処理において用いられる水平2次微分フィルタ係数の例を示す図。 同物体検出装置の物体検出処理において用いられる垂直2次微分フィルタ係数の例を示す図。 (a)(b)は同物体検出装置の物体検出処理において用いられる水平2次微分フィルタ係数の別の例を示す図。 (a)(b)は同物体検出装置の物体検出処理において用いられる垂直2次微分フィルタ係数の別の例を示す図。 本発明の第3の実施形態に係る物体検出装置の物体検出処理における処理の流れを示す図。 本発明の第4の実施形態に係る物体検出装置の物体検出処理における処理の流れを示す図。 (a)は本発明の第5の実施形態に係る物体検出装置の物体検出処理において処理される平滑画像の温度凸領域の例を示す図、(b)は同平滑画像の温度凸領域の主軸方向の例を示す図。 (a)(b)は同物体検出装置の物体検出処理において用いられる2次微分フィルタ係数の例を示す図。
以下、本発明を具体化した実施形態による物体検出装置及び物体検出方法について図面を参照して説明する。
<第1の実施形態>
まず、第1の実施形態による物体検出装置及び物体検出方法について説明する。図1は、第1の実施形態による物体検出装置の構成を示す。物体検出装置1は、背景差分法により物体を検出する装置である。すなわち、物体検出装置1は、検出対象物体が存在しないことの基準とする画像である背景画像と、検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する装置である。この物体検出装置1は、熱体を検出対象物体として検出する。また、物体検出装置1は、検出対象物体の温度が検出領域の背景の温度よりも高いことを想定しており、検出領域の背景の温度よりも高い温度の検出対象物体を検出する。
物体検出装置1は、検出領域Rの温度分布を検出する温度分布センサ2と、各種処理を行う演算処理部3と、各種情報を記憶するための記憶部4と、各種情報を出力するための出力部5とを備える。
温度分布センサ2は、検出領域Rから放射される赤外線を検出して、検出領域Rの温度分布を検出し、その検出結果を出力する。演算処理部3は、温度分布センサ2の出力に基いて、各種処理を実行することにより、検出領域R内の検出対象物体Sを検出する。記憶部4は、演算処理部3の各種処理により生成される各種情報を記憶する。出力部5は、演算処理部3による検出対象物体Sの検出結果(検出対象物体Sの個数や位置などの情報)を、無線又は有線の通信によって、外部装置に送信する。
ここで、温度分布センサ2及び温度分布センサ2の出力について説明する。温度分布センサ2は、2次元状に配列された多数の赤外線検出素子を有しており、検出領域Rから放射される赤外線をこれら多数の赤外線検出素子により検出して、検出領域Rの温度分布を検出する。すなわち、温度分布センサ2は、検出領域Rを平面的に捉え、平面的に捉えた検出領域Rの各位置の温度、すなわち、平面的に捉えた検出領域Rの温度分布を検出する。そして、温度分布センサ2は、平面的に捉えた検出領域Rの各位置の温度、すなわち、平面的に捉えた検出領域Rの温度分布を検出温度画像として出力する。
温度分布センサ2は、平面的に捉えた検出領域Rをu行×v列(本実施形態では、8行×8列(u=8、v=8))に分割した各領域をp(i、j)(i=1、2、・・・、u;j=1、2、・・・、v)として、各領域(各位置)p(i、j)の温度を検出する。そして、温度分布センサ2は、検出した各領域p(i、j)の温度をA(i、j)として、検出温度画像A(x、y)を出力する。A(x、y)は、A(i、j)(i=1、2、・・・、u;j=1、2、・・・、v)の全体である。すなわち、A(x、y)は、A(1、1)、A(1、2)、・・・、A(1、v)、A(2、1)、A(2、2)、・・・、A(2、v)、・・・、A(u、1)、A(u、2)、・・・、A(u、v)の全体である。A(x、y)のx=i、y=jにおける値(温度)が、A(i、j)である。
検出温度画像A(x、y)は、図2に示すように、捉えることができる。すなわち、検出温度画像A(x、y)は、u行×v行の画素q(i、j)(i=1、2、・・・、u;j=1、2、・・・、v)から成り、A(x、y)のx=i、y=jにおける値A(i、j)を画素q(i、j)の値とする画像である、と捉えることができる。図2において、画素q(i、j)の濃淡によって、画素q(i、j)の値A(i、j)の大小を示している。検出温度画像A(x、y)の画素q(i、j)は、検出領域R内の領域p(i、j)に対応し、検出温度画像A(x、y)の画素q(i、j)の値A(i、j)は、温度分布センサ2による検出領域R内の領域p(i、j)の検出温度である。
温度分布センサ2は、所定時間毎(例えば0.1秒毎)に、検出領域Rの温度分布を検出して、検出温度画像A(x、y)を出力する。すなわち、温度分布センサ2は、検出時点tにおける検出温度画像A(x、y)をA[t](x、y)として、検出温度画像A[t](x、y)(t=t、t、t、・・・)を出力する。ここで、t、t、t、・・・は、所定時間毎の検出時点である。つまり、温度分布センサ2は、時間の経過につれて、所定時間毎に、検出温度画像A[t](x、y)、検出温度画像A[t](x、y)、検出温度画像A[t](x、y)、・・・を順次出力する。
図3は、物体検出装置1の演算処理部3の動作のフローチャートを示す。演算処理部3は(物体検出装置1は)、検出領域R内の検出対象物体Sを検出するために、以下のように動作する。
演算処理部3は、物体検出装置1の電源が投入されると、まず、背景画像B(x、y)を生成する背景画像生成処理を実行する(S1)。背景画像B(x、y)とは、検出領域Rの温度分布を示す画像であって、検出領域R内に検出対象物体Sが存在しないことの基準とする画像である。背景画像生成処理において、演算処理部3は、温度分布センサ2の出力である検出温度画像A(x、y)に基いて、背景画像B(x、y)を生成する。背景画像B(x、y)は、検出温度画像A(x、y)と同様に、u行×v行の画素q(i、j)から成り、B(x、y)のx=i、y=jにおける値B(i、j)を画素q(i、j)の値とする画像である。背景画像B(x、y)の画素q(i、j)は、検出領域R内の領域p(i、j)に対応し、背景画像B(x、y)の画素q(i、j)の値B(i、j)は、検出領域R内の領域p(i、j)の背景温度(検出対象物体Sが存在しないことの基準とする温度)を示す。演算処理部3は、検出対象物体Sを排除した状態(検出対象物体Sが存在していない状態)で、任意の1つの時点における温度分布センサ2の出力である検出温度画像A(x、y)を背景画像B(x、y)とすることにより、背景画像B(x、y)を生成する。演算処理部3は、背景画像生成処理により生成した背景画像B(x、y)を記憶部4に記憶する。
続いて、演算処理部3は、検出対象画像F(x、y)を生成する検出対象画像生成処理を実行する(S2)。検出対象画像F(x、y)とは、検出領域Rの温度分布を示す画像であって、検出領域R内の検出対象物体Sを検出するための検出対象の(背景画像B(x、y)と比較される)画像である。検出対象画像生成処理において、演算処理部3は、温度分布センサ2の出力である検出温度画像A(x、y)に基いて、検出対象画像F(x、y)を生成する。検出対象画像F(x、y)は、検出温度画像A(x、y)と同様に、u行×v行の画素q(i、j)から成り、F(x、y)のx=i、y=jにおける値F(i、j)を画素q(i、j)の値とする画像である。検出対象画像F(x、y)の画素q(i、j)は、検出領域R内の領域p(i、j)に対応し、検出対象画像F(x、y)の画素q(i、j)の値F(i、j)は、検出領域R内の領域p(i、j)の温度を示す。演算処理部3は、任意の1つの時点(検出しようとする時点)における温度分布センサ2の出力である検出温度画像A(x、y)を検出対象画像F(x、y)とすることにより、検出対象画像F(x、y)を生成する。
続いて、演算処理部3は、検出領域R内の検出対象物体Sを検出する物体検出処理を実行する(S3)。物体検出処理において、演算処理部3は、背景画像B(x、y)と検出対象画像F(x、y)との差分に基いて、検出対象物体Sを検出する。物体検出処理における検出対象物体Sの検出方法の詳細については後述する。演算処理部3は、物体検出処理による検出対象物体Sの検出結果を出力部5に送信する。これにより、出力部5は、検出対象物体Sの検出結果を出力する。
物体検出処理の後、演算処理部3は、上記S2以降の処理を繰り返す。S2、S3の処理は、所定の周期(例えば0.1秒周期)で繰り返される。S2、S3の処理が所定の周期で繰り返されることにより、定常的に、検出領域R内の検出対象物体Sが検出される。
このように、演算処理部3は(物体検出装置1は)、背景画像生成処理と、検出対象画像生成処理と、物体検出処理とを実行することにより、検出領域R内の検出対象物体Sを検出する。つまり、温度分布センサ2の出力に基いて、背景画像B(x、y)を生成すると共に、検出対象画像F(x、y)を生成し、背景画像B(x、y)と検出対象画像F(x、y)との差分に基いて、検出領域Rの背景の温度よりも高い温度の検出対象物体Sを検出する。
ここで、上記物体検出処理における検出対象物体Sの検出方法の概略について説明する。まず、演算処理部3は、背景画像B(x、y)と検出対象画像F(x、y)との差分値を所定の差分値用の閾値で2値化した差分2値画像C(x、y)を生成する。すなわち、演算処理部3は、検出対象画像F(x、y)から背景画像B(x、y)を差し引いた差分値を所定の差分値用の閾値で2値化した差分2値画像C(x、y)を生成する。つまり、検出対象画像F(x、y)から背景画像B(x、y)を差引いた差分値が差分値用の閾値以上である領域を1(第1の値)とする。また、検出対象画像F(x、y)から背景画像B(x、y)を差引いた差分値が差分値用の閾値未満である領域を0(第2の値)とする。これにより、差分2値画像C(x、y)を生成する。
また、演算処理部3は、検出対象画像F(x、y)を平滑化した平滑画像F’(x、y)の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像D(x、y)を生成する。つまり、微分値用の閾値を0として、平滑画像F’(x、y)の2次微分値が負である領域を1(第1の値)とする。また、平滑画像F’(x、y)のそれ以外の領域(2次微分値が正か0のいずれかである領域)を0(第2の値)とする。これにより、2次微分2値画像D(x、y)を生成する。
そして、演算処理部3は、差分2値画像C(x、y)と2次微分2値画像D(x、y)とに基いた総合的な判断によって、検出対象物体Sを検出する。すなわち、演算処理部3は、差分2値画像C(x、y)と2次微分2値画像D(x、y)との論理積に基いて、検出対象物体Sを検出する。
差分2値画像C(x、y)の値が1である領域(検出対象画像F(x、y)から背景画像B(x、y)を差引いた差分値が差分値用の閾値以上である領域)は、検出対象物体Sが存在している可能性のある領域である。また、差分2値画像C(x、y)の値が0である領域(検出対象画像F(x、y)から背景画像B(x、y)を差引いた差分値が差分値用の閾値未満である領域)は、検出対象物体Sが存在している可能性のない領域である。
一方、温度分布の2次微分値について考えた場合、温度の上昇率が減少する領域及び温度の低下率が増加する領域は、温度分布の2次微分値が負になり、温度の上昇率が増加する領域及び温度の低下率が減少する領域は、温度分布の2次微分値が正になる。そして、温度の上昇率が減少する領域及び温度の低下率が増加する領域、すなわち、温度分布の2次微分値が負になる領域は、周囲よりも温度の高い領域がある場合に、その領域内に生じ得る。また、温度の上昇率が増加する領域及び温度の低下率が減少する領域、すなわち、温度分布の2次微分値が正になる領域は、周囲よりも温度の低い領域がある場合に、その領域内に生じ得る。
検出対象画像F(x、y)は、検出領域Rの温度分布を示す画像であり、検出対象画像F(x、y)を平滑化した平滑画像F’(x、y)も、検出領域Rの温度分布を示す画像である。従って、2次微分2値画像D(x、y)の値が1である領域(平滑画像F’(x、y)の2次微分値が負である領域)は、検出領域Rの温度分布の2次微分値が負である領域に対応する。つまり、2次微分2値画像D(x、y)の値が1である領域は、検出領域R内における周囲よりも温度の高い領域に対応する。また、2次微分2値画像D(x、y)の値が0である領域(平滑画像F’(x、y)の2次微分値が正か0のいずれかである領域)は、検出領域Rの温度分布の2次微分値が正か0のいずれかである領域に対応する。つまり、2次微分2値画像D(x、y)の値が0である領域は、検出領域R内における周囲よりも温度の低い領域に対応する。そして、物体検出装置1は、検出対象物体Sの温度が背景の温度(周囲の温度)よりも高いことを想定している。
従って、2次微分2値画像D(x、y)の値が1である領域(平滑画像F’(x、y)の2次微分値が負である領域)は、検出対象物体Sが存在している可能性のある領域である。また、2次微分2値画像D(x、y)の値が0である領域(平滑画像F’(x、y)の2次微分値が正か0のいずれかである領域)は、検出対象物体Sが存在している可能性のない領域である。
これらのことから、差分2値画像C(x、y)の値が1である領域であっても、2次微分2値画像D(x、y)の値が0である領域は、検出対象物体Sが存在している可能性のない領域である。また、2次微分2値画像D(x、y)の値が1である領域であっても、差分2値画像C(x、y)の値が0である領域は、検出対象物体Sが存在している可能性のない領域である。
そこで、演算処理部3は、差分2値画像C(x、y)と2次微分2値画像D(x、y)との論理積に基いて、差分2値画像C(x、y)と2次微分2値画像D(x、y)との論理積の値が1(第1の値)となる領域に、検出対象物体Sが存在しているとする。また、演算処理部3は、論理積の値が1となる領域が分離して複数存在している場合、それら分離して存在している論理積の値が1となる領域の各々に、別の検出対象物体Sが存在しているとする。
図4は、上記物体検出処理における処理の流れを示す。図5は、物体検出処理において基にする背景画像B(x、y)、検出対象画像F(x、y)、及び、物体検出処理において生成される差分2値画像C(x、y)、2次微分2値画像D(x、y)、論理積画像E(x、y)の例を示す。
物体検出処理において、演算処理部3は、検出対象画像F(x、y)及び背景画像B(x、y)に基いて、以下のようにして、検出対象物体Sを検出する。
検出対象画像F(x、y)(本実施形態では検出温度画像A)は、例えば、図5に示すような画像である。検出対象画像F(x、y)は、u行×v行の画素q(i、j)から成り、F(x、y)のx=i、y=jの値F(i、j)を画素q(i、j)の値とする画像である。図5に示す検出対象画像F(x、y)において、画素q(i、j)の濃淡によって、画素q(i、j)の値F(i、j)の大小を示している。検出対象画像F(x、y)の画素q(i、j)は、検出領域R内の領域p(i、j)に対応し、検出対象画像F(x、y)の画素q(i、j)の値F(i、j)は、検出領域R内の領域p(i、j)の温度を示す。
また、背景画像B(x、y)は、例えば、図5に示すような画像である。背景画像B(x、y)は、u行×v行の画素q(i、j)から成り、B(x、y)のx=i、y=jの値B(i、j)を画素q(i、j)の値とする画像である。図5に示す背景画像B(x、y)おいて、画素q(i、j)の濃淡によって、画素q(i、j)の値F(i、j)の大小を示している。背景画像B(x、y)の画素q(i、j)は、検出領域R内の領域p(i、j)に対応し、背景画像B(x、y)の画素q(i、j)の値F(i、j)は、検出領域R内の領域p(i、j)の背景温度を示す。
まず、演算処理部3は、検出対象画像F(x、y)から背景画像B(x、y)を差し引く差分処理を施すことにより、差分画像H(x、y)を生成する。すなわち、演算処理部3は、i=1、2、・・・、u;j=1、2、・・・、vの各i、jについて、F(i、j)からB(i、j)を差し引いた差分値をH(i、j)とすることにより、差分画像H(x、y)を生成する。H(x、y)のx=i、y=jにおける値が、H(i、j)である。
そして、演算処理部3は、差分画像H(x、y)を2値化処理することにより、差分2値画像C(x、y)を生成する。すなわち、演算処理部3は、i=1、2、・・・、u;j=1、2、・・・、vの各i、jについて、H(i、j)を所定の差分値用の閾値で2値化した値をC(i、j)とすることにより、差分2値画像C(x、y)を生成する。つまり、演算処理部3は、H(i、j)が差分値用の閾値以上である領域を1(第1の値)とすると共に、H(i、j)が差分値用の閾値未満である領域を0(第2の値)とすることにより、差分2値画像C(x、y)を生成する。つまり、演算処理部3は、H(i、j)が差分値用の閾値以上であれば、C(i、j)を1(第1の値)とし、H(i、j)が差分値用の閾値未満であれば、C(i、j)を0(第2の値)とすることにより、差分2値画像C(x、y)を生成する。C(x、y)のx=i、y=jにおける値が、C(i、j)である。
差分2値画像C(x、y)は、例えば、図5に示すようになる。差分2値画像C(x、y)は、u行×v行の画素q(i、j)から成り、C(x、y)のx=i、y=jの値C(i、j)を画素q(i、j)の値とする画像である。図5に示す差分2値画像C(x、y)おいて、各画素q(i、j)に記している「0」「1」の数値は、その画素q(i、j)の値C(i、j)を示している。
また、演算処理部3は、平滑画像F’(x、y)に対して、平滑化処理の一種であるガウシアンフィルタ処理を施すことにより、平滑画像F’(x、y)を生成する。すなわち、演算処理部3は、平滑画像F’(x、y)に対してガウシアンフィルタ処理を施すことにより、i=1、2、・・・、u;j=1、2、・・・、vの各i、jについて、検出対象画像F(x、y)のx=i、y=jにおける平滑値を求める。検出対象画像F(x、y)のx=i、y=jにおける平滑値は、所定のガウシアンフィルタ係数を用いて、検出対象画像F(x、y)のx=i、y=jにおける画素及びその周辺の画素の値に基いて、ガウシアンフィルタ処理を施すことにより求められる。そして、演算処理部3は、各i、jについて、検出対象画像F(x、y)のx=i、y=jにおける平滑値をF’(i、j)とすることにより、平滑画像F’(x、y)を生成する。F’(x、y)のx=i、y=jにおける値が、F’(i、j)である。平滑画像F’(x、y)は、検出領域Rの温度分布を示す画像である。
平滑画像F’(x、y)は、u行×v行の画素q(i、j)から成り、F’(x、y)のx=i、y=jの値F’(i、j)を画素q(i、j)の値とする画像である。平滑画像F’(x、y)の画素q(i、j)は、検出領域R内の領域p(i、j)に対応し、平滑画像F’(x、y)の画素q(i、j)の値F’’(i、j)は、検出領域R内の領域p(i、j)の温度を示す。
続いて、演算処理部3は、平滑画像F’(x、y)に対して、ラプラシアンフィルタ処理を施すことにより、2次微分画像G(x、y)を生成する。すなわち、演算処理部3は、平滑画像F’(x、y)に対してラプラシアンフィルタ処理を施すことにより、i=1、2、・・・、u;j=1、2、・・・、vの各i、jについて、平滑画像F’(x、y)のx=i、y=jにおける2次微分値を求める。平滑画像F’(x、y)のx=i、y=jにおける2次微分値は、所定のラプラシアンフィルタ係数を用いて、平滑画像F’(x、y)のx=i、y=jにおける画素及びその周辺の画素の値に基いて、ラプラシアンフィルタ処理を施すことにより求められる。そして、演算処理部3は、各i、jについて、平滑画像F’(x、y)のx=i、y=jにおける2次微分値をG(i、j)とすることにより、2次微分画像G(x、y)を生成する。G(x、y)のx=i、y=jにおける値が、G(i、j)である。2次微分画像G(x、y)は、検出領域Rの温度分布の2次微分値(すなわち、検出領域R内の温度変化率の増減度合い)を示す画像である。
2次微分画像G(x、y)の生成において、演算処理部3は、例えば図6に示す3行×3列のラプラシアンフィルタ係数k1,1、k1,2、k1,3、k2,1、k2,2、k2,3、k3,1、k3,2、k3,3を用いて、ラプラシアンフィルタ処理を施すことにより、G(i、j)を求める。G(i,j)=−1×(k1,1×F’(i-1、j-1)+k1,2×F’(i-1、j)+k1,3×F’(i-1、j+1)+k2,1×F’(i、j-1)+k2,2×F’(i、j)+k2,3×F’(i、j+1)+k3,1×F’(i+1、j-1)+k3,2×F’(i+1、j)+k3,3×F’(i+1、j+1)である。図6に示す例において、k1,1=−1、k1,2=−1、k1,3=−1、k2,1=−1、k2,2=8、k2,3=−1、k3,1=−1、k3,2=−1、k3,3=−1である。
平滑画像F’(x、y)のある3行×3列の領域の値(すなわち、平滑画像F’(x、y)のx=i、y=jにおける画素及びその周辺の画素の値)が、例えば図7に示す値であるとする。すなわち、F’(i-1、j-1)=10、F’(i-1、1)=11、F’(i-1、j+1)=10、F’(i、j-1)=8、F’(i、j)=10、F’(i、j+1)=8、F’(i+1、j-1)=10、F’(i+1、j)=11、F’(i+1、j+1)=10であるとする。この場合、図6に示すラプラシアンフィルタ係数を用いて、平滑画像F’(x、y)のx=i、y=jにおける2次微分値G(i、j)を求めると、G(i、j)=−2となる。
2次微分画像G(x、y)は、u行×v行の画素q(i、j)から成り、G(x、y)のx=i、y=jの値G(i、j)を画素q(i、j)の値とする画像である。2次微分画像G(x、y)の画素q(i、j)は、検出領域R内の領域p(i、j)に対応する。2次微分画像G(x、y)の画素q(i、j)の値G(i、j)は、検出領域Rの温度分布の、画素q(i、j)に対応する検出領域R内の領域p(i、j)における2次微分値を示す。すなわち、2次微分画像G(x、y)の画素q(i、j)の値G(i、j)は、画素q(i、j)に対応する検出領域R内の領域p(i、j)の、周辺の領域に対する温度変化率の増減度合いを示す。
そして、演算処理部3は、2次微分画像G(x、y)を2値化処理することにより、2次微分2値画像D(x、y)を生成する。すなわち、演算処理部3は、i=1、2、・・・、u;j=1、2、・・・、vの各i、jについて、G(i、j)を所定の微分値用の閾値で2値化した値をD(i、j)とすることにより、2次微分2値画像D(x、y)を生成する。つまり、演算処理部3は、G(i、j)が微分値用の閾値未満である領域を1(第1の値)とすると共に、G(i、j)が微分値用の閾値以上である領域を0(第2の値)とすることにより、2次微分2値画像D(x、y)を生成する。つまり、演算処理部3は、微分値用の閾値を0として、G(i、j)が負であれば、D(i、j)を1とすると共に、G(i、j)が負でなければ(正か0のいずれかであれば)、D(i、j)を0とすることにより、2次微分2値画像D(x、y)を生成する。D(x、y)のx=i、y=jにおける値が、D(i、j)である。
2次微分2値画像D(x、y)は、検出領域R内の温度分布の2次微分値(検出領域R内の温度変化率の増減度合い)を2値化して示す画像である。すなわち、2次微分2値画像D(x、y)は、検出領域Rを、検出領域R内の温度分布の2次微分値が負である領域と、検出領域R内の温度分布の2次微分値が負でない(正か0のいずれかである)領域とに、区分して示す画像である。温度分布の2次微分値が負である領域は、温度の上昇率が減少する領域及び温度の低下率が増加する領域であり、温度分布の2次微分値が正である領域は、温度の上昇率が増加する領域及び温度の低下率が減少する領域である。
2次微分2値画像D(x、y)は、例えば、図5に示すようになる。2次微分2値画像D(x、y)は、u行×v行の画素q(i、j)から成り、D(x、y)のx=i、y=jの値D(i、j)を画素q(i、j)の値とする画像である。図5に示す2次微分2値画像D(x、y)において、各画素q(i、j)に記している「0」「1」の数値は、その画素q(i、j)の値D(i、j)を示している。2次微分2値画像D(x、y)の画素q(i、j)は、検出領域R内の領域p(i、j)に対応する。
2次微分2値画像D(x、y)の画素q(i、j)の値D(i、j)は、検出領域Rの温度分布の、画素q(i、j)に対応する検出領域R内の領域p(i、j)における2次微分値が負であるか否かを示す。すなわち、画素q(i、j)の値D(i、j)が1であることは、検出領域Rの温度分布の、その画素q(i、j)に対応する領域p(i、j)における2次微分値が負であることを示す。また、画素q(i、j)の値D(i、j)が0であることは、その画素q(i、j)に対応する検出領域R内の領域p(i、j)における検出領域Rの温度分布の2次微分値が負でない(正か0のいずれかである)ことを示す。
そして、演算処理部3は、論理積演算処理を行うことにより、差分2値画像C(x、y)と2次微分2値画像D(x、y)との論理積画像E(i、j)を生成する。すなわち、演算処理部3は、i=1、2、・・・、u;j=1、2、・・・、vの各i、jについて、C(i、j)とD(i、j)との論理積の値をE(i、j)とすることにより、論理積画像E(i、j)を生成する。つまり、演算処理部3は、C(i、j)とD(i、j)との論理積の値が1であれば、E(i、j)を1とすると共に、C(i、j)とD(i、j)との論理積の値が0であれば、E(i、j)を0とすることにより、論理積画像E(i、j)を生成する。E(x、y)のx=i、y=jにおける値が、E(i、j)である。
論理積画像E(x、y)は、例えば、図5に示すようになる。論理積画像E(x、y)は、u行×v行の画素q(i、j)から成り、E(x、y)のx=i、y=jの値E(i、j)を画素q(i、j)の値とする画像である。図5に示す論理積画像E(x、y)において、各画素q(i、j)に記している「0」「1」の数値は、その画素q(i、j)の値E(i、j)を示している。論理積画像E(x、y)の画素q(i、j)は、検出領域R内の領域p(i、j)に対応する。
そして、演算処理部3は、この論理積画像E(x、y)に基いて、すなわち、差分2値画像C(x、y)と2次微分2値画像D(x、y)との論理積に基いて、検出対象物体Sを検出する。すなわち、演算処理部3は、論理積画像E(x、y)の値E(i、j)が1となる領域に、検出対象物体Sが存在しているとする。また、演算処理部3は、論理積画像E(x、y)の値E(i、j)が1となる領域が分離して複数存在している場合には、それら分離して存在しているE(i、j)が1となる領域の各々に、別の検出対象物体Sが存在しているとする。演算処理部3は、このように物体検出処理を実行して、検出領域R内の検出対象物体Sを検出する。
本実施形態の物体検出装置1及び物体検出方法によれば、差分2値画像Cと2次微分2値画像Dとの論理積に基いて、検出対象物体を検出することにより、検出領域内に検出対象物体が複数存在している場合でも、各検出対象物体を分離して検出することができる。つまり、検出領域内に検出対象物体が複数存在している場合に、それら複数の検出対象物体を、別々の検出対象物体として検出することができる。しかも、画像の分解能が低く、複数の検出対象物体が近接している場合でも、それらの複数の検出対象物体を分離して検出することができる。
また、ラプラシアンフィルタ処理を施すことにより、平滑画像F’の2次微分値を求めて、2次微分2値画像Dを生成するので、平滑画像F’の2次微分値の算出が一度(一画像分)で済み、省メモリ化かつ処理の高速化を実現できる。
なお、本実施形態において、ガウシアンフィルタ処理に代えて、他の平滑化処理を施すことにより、平滑画像F’を生成するようにしてもよい。また、ラプラシアンフィルタ処理に代えて、他の2次微分値算出処理を施すことにより、平滑画像F’の2次微分値を求めて、2次微分2値画像Dを生成するようにしてもよい。
また、本実施形態において、検出対象画像Fは、1つの時点における検出温度画像Aに限られず、複数の異なる時点における複数の検出温度画像Aを平均した画像であってもよい。
また、本実施形態において、平滑画像F’の2次微分値が負か0のいずれかである領域を1(第1の値)とすると共に、平滑画像F’のそれ以外の領域(2次微分値が正である領域)を0(第2の値)とすることにより、2次微分2値画像Dを生成してもよい。
また、本実施形態において、2次微分2値画像Dは、検出対象画像Fを平滑化した平滑画像F’の2次微分値を所定の微分値用の閾値で2値化した画像に代えて、検出対象画像Fの2次微分値を所定の微分値用の閾値で2値化した画像であってもよい。すなわち、検出対象画像Fの2次微分値が負である領域を1(第1の値)とすると共に、検出対象画像Fのそれ以外の領域(2次微分値が正か0である領域)を0(第2の値)とすることにより、2次微分2値画像Dを生成してもよい。また、検出対象画像Fの2次微分値が負か0のいずれかである領域を1(第1の値)とすると共に、検出対象画像Fのそれ以外の領域(2次微分値が正である領域)を0(第2の値)とすることにより、2次微分2値画像Dを生成してもよい。
また、物体検出装置1は、検出領域の背景の温度よりも低い温度の検出対象物体を検出する場合にも適用可能である。検出領域の背景の温度よりも低い温度の検出対象物体を検出する場合、背景画像Bから検出対象画像Fを差し引いた差分値が差分値用の閾値以上である領域を1(第1の値)とすればよい。そして、背景画像Bから検出対象画像Fを差し引いた差分値が差分値用の閾値未満である領域を0(第2の値)とすればよい。検出領域の背景の温度よりも低い温度の検出対象物体を検出する場合、このように差分2値画像Cを生成すればよい。また、平滑画像F’の2次微分値が正である領域を1(第1の値)とすると共に、それ以外の領域を0(第2の値)とすることにより、2次微分2値画像Dを生成すればよい。
なお、検出領域の背景よりも低い温度の検出対象物体を検出する場合において、平滑画像F’の2次微分値が正か0のいずれかである領域を1とし、平滑画像F’のそれ以外の領域(2次微分値が負である領域)を0として、2次微分2値画像Dを生成してもよい。
また、検出領域の背景よりも低い温度の検出対象物体を検出する場合において、2次微分2値画像Dは、平滑画像F’の2次微分値を微分値用の閾値で2値化した画像に代えて、検出対象画像Fの2次微分値を微分値用の閾値で2値化した画像であってもよい。すなわち、検出対象画像Fの2次微分値が正である領域を1(第1の値)とすると共に、検出対象画像Fのそれ以外の領域(2次微分値が負か0である領域)を0(第2の値)とすることにより、2次微分2値画像Dを生成してもよい。また、検出対象画像Fの2次微分値が正か0のいずれかである領域を1(第1の値)とすると共に、検出対象画像Fのそれ以外の領域(2次微分値が負である領域)を0(第2の値)とすることにより、2次微分2値画像Dを生成してもよい。
<第2の実施形態>
次に、第2の実施形態による物体検出装置及び物体検出方法について説明する。本実施形態の物体検出装置1及び物体検出方法は、物体検出処理(検出対象物体Sの検出方法)が上記第1の実施形態の構成と異なっている。本実施形態における他の構成については、上記第1の実施形態と同様である。
図8は、本実施形態の物体検出処理における処理の流れを示す。本実施形態の物体検出処理は、2次微分2値画像D(x、y)の生成方法が上記第1の実施形態の構成と異なっている。本実施形態の物体検出処理における他の処理(差分2値画像C(x、y)の生成方法、論理積画像E(x、y)の生成方法)については、上記第1の実施形態と同様である。
本実施形態では、演算処理部3は、以下のようにして、2次微分2値画像D(x、y)を生成する。
まず、演算処理部3は、上記第1の実施形態と同様に、平滑画像F’(x、y)を生成する。
続いて、演算処理部3は、平滑画像F’(x、y)に対して、水平2次微分フィルタ処理を施すことにより、水平2次微分画像G1(x、y)を生成する。すなわち、演算処理部3は、平滑画像F’(x、y)に対して水平2次微分フィルタ処理を施すことにより、各i、jについて、平滑画像F’(x、y)のx=i、y=jにおける水平方向についての2次微分値を求める。F’(x、y)のx=i、y=jにおける水平方向についての2次微分値は、所定の水平2次微分フィルタ係数を用いて、F’(x、y)のx=i、y=jにおける画素及びその周辺の画素の値に基いて、水平2次微分フィルタ処理を施すことにより求められる。そして、演算処理部3は、各i、jについて、平滑画像F’(x、y)のx=i、y=jにおける水平方向についての2次微分値をG1(i、j)とすることにより、水平2次微分画像G1(x、y)を生成する。
水平2次微分画像G1(x、y)の生成において、演算処理部3は、図9に示す3行×3列の水平2次微分フィルタ係数m1,1、m1,2、m1,3、m2,1、m2,2、m2,3、m3,1、m3,2、m3,3を用いて、水平2次微分フィルタ処理を施すことにより、G1(i、j)を求める。G1(i,j)=−1×(m1,1×F’(i-1、j-1)+m1,2×F’(i-1、j)+m1,3×F’(i-1、j+1)+m2,1×F’(i、j-1)+m2,2×F’(i、j)+m2,3×F’(i、j+1)+m3,1×F’(i+1、j-1)+m3,2×F’(i+1、j)+m3,3×F’(i+1、j+1)である。図9に示す例において、m1,1=−1、m1,2=0、m1,3=−1、m2,1=−1、m2,2=6、m2,3=−1、m3,1=−1、m3,2=0、m3,3=−1である。
平滑画像F’(x、y)のある3行×3列の領域の値(すなわち、平滑画像F’(x、y)のx=i、y=jにおける画素及びその周辺の画素の値)が、例えば上記図7に示す値であるとする。この場合、図9に示す水平2次微分フィルタ係数を用いて、平滑画像F’(x、y)のx=i、y=jにおける水平方向についての2次微分値G1(i、j)を求めると、G1(i、j)=−4となる。
また、演算処理部3は、平滑画像F’(x、y)に対して、垂直2次微分フィルタ処理を施すことにより、垂直2次微分画像G2(x、y)を生成する。すなわち、演算処理部3は、平滑画像F’(x、y)に対して垂直2次微分フィルタ処理を施すことにより、各i、jについて、平滑画像F’(x、y)のx=i、y=jにおける垂直方向についての2次微分値を求める。F’(x、y)のx=i、y=jにおける垂直方向についての2次微分値は、所定の垂直2次微分フィルタ係数を用いて、F’(x、y)のx=i、y=jにおける画素及びその周辺の画素の値に基いて、垂直2次微分フィルタ処理を施すことにより求められる。そして、演算処理部3は、各i、jについて、平滑画像F’(x、y)のx=i、y=jにおける垂直方向についての2次微分値をG2(i、j)とすることにより、垂直2次微分画像G2(x、y)を生成する。
垂直2次微分画像G2(x、y)の生成において、演算処理部3は、図10に示す3行×3列の垂直2次微分フィルタ係数n1,1、n1,2、n1,3、n2,1、n2,2、n2,3、n3,1、n3,2、n3,3を用いて、垂直2次微分フィルタ処理を施すことにより、G2(i、j)を求める。G2(i,j)=−1×(n1,1×F’(i-1、j-1)+n1,2×F’(i-1、j)+n1,3×F’(i-1、j+1)+n2,1×F’(i、j-1)+n2,2×F’(i、j)+n2,3×F’(i、j+1)+n3,1×F’(i+1、j-1)+n3,2×F’(i+1、j)+n3,3×F’(i+1、j+1)である。図10に示す例において、n1,1=−1、n1,2=−1、n1,3=−1、n2,1=0、n2,2=6、n2,3=0、n3,1=−1、n3,2=−1、n3,3=−1である。
平滑画像F’(x、y)のある3行×3列の領域の値(すなわち、平滑画像F’(x、y)のx=i、y=jにおける画素及びその周辺の画素の値)が、例えば上記図7に示す値であるとする。この場合、図10に示す垂直2次微分フィルタ係数を用いて、平滑画像F’(x、y)のx=i、y=jにおける垂直方向についての2次微分値G2(i、j)を求めると、G2(i、j)=2となる。
そして、演算処理部3は、2次微分2値画像D(x、y)を生成する。すなわち、演算処理部3は、i=1、2、・・・、u;j=1、2、・・・、vの各i、jについて、G1(i、j)とG2(i、j)の両方が負である領域を1(第1の値)とする。また、G1(i、j)とG2(i、j)の少なくとも一方が負でない(少なくとも一方が正か0のいずれかである)領域を0(第2の値)とする。つまり、演算処理部3は、i=1、2、・・・、u;j=1、2、・・・、vの各i、jについて、G1(i、j)とG2(i、j)の両方が負であれば、D(i、j)を1とする。また、G1(i、j)とG2(i、j)の少なくとも一方が負でなければ(少なくとも一方が正か0のいずれかであれば)、D(i、j)を0とする。演算処理部3は、このようにして、2次微分2値画像D(x、y)を生成する。D(x、y)のx=i、y=jにおける値が、D(i、j)である。
ここで、上記第1の実施形態の方法により2次微分2値画像D(x、y)を生成する場合と、本実施形態の方法により2次微分2値画像D(x、y)を生成する場合とを比較する。上記第1の実施形態の方法は、ラプラシアンフィルタ処理で2次微分値を求めて2次微分2値画像D(x、y)を生成する方法である。本実施形態の方法は、水平方向の2次微分値と垂直方向の2次微分値を求めて2次微分2値画像D(x、y)を生成する方法である。
例えば、上記図7に示す平滑画像F’(x、y)の領域について考える。すなわち、図7に示す平滑画像F’(x、y)の領域のx=i、y=jにおける2次微分値を求めて、2次微分2値画像D(x、y)のx=i、y=jにおける値D(i、j)決定する場合について考える。
上記第1の実施形態の方法では、以下のようになる。すなわち、上記図6に示す3行×3列のラプラシアンフィルタ係数を用いて、ラプラシアンフィルタ処理を施すことにより、図7に示す平滑画像F’(x、y)の領域のx=i、y=jにおける2次微分値G(i、j)を求めると、G(i、j)=−2となる。従って、G(i、j)が負であるので、2次微分2値画像D(x、y)のx=i、y=jにおける値D(i、j)は1となる。
これに対し、本実施形態の方法では、以下のようになる。図9に示す水平2次微分フィルタ係数を用いて、水平2次微分フィルタ処理を施すことにより、図7に示す平滑画像F’(x、y)の領域のx=i、y=jにおける水平方向についての2次微分値G1(i、j)を求めると、G1(i、j)=−4となる。また、図10に示す垂直2次微分フィルタ係数を用いて、垂直2次微分フィルタ処理を施すことにより、図7に示す平滑画像F’(x、y)の領域のx=i、y=jにおける垂直方向についての2次微分値G2(i、j)を求めると、G2(i、j)=2となる。従って、G1(i、j)とG2(i、j)の少なくとも一方が負でない(G2が正である)ので、2次微分2値画像D(x、y)のx=i、y=jにおける値D(i、j)は0となる。
このように、図7に示す例では、上記第1の実施形態の方法と本実施形態の方法とでは、2次微分2値画像D(x、y)のx=i、y=jにおける値D(i、j)が異なる値となる。つまり、上記第1の実施形態の方法により2次微分2値画像D(x、y)を生成する場合と、本実施形態の方法により2次微分2値画像D(x、y)を生成する場合とでは、異なる結果となることがある。
本実施形態の物体検出装置1及び物体検出方法によれば、上記第1の実施形態と同様に、検出領域内に検出対象物体が複数存在している場合でも、各検出対象物体を分離して検出することができる。しかも、水平方向の2次微分値と垂直方向の2次微分値を求めて2次微分2値画像Dを生成することにより、ラプラシアンフィルタ処理で2次微分値を求めて2次微分2値画像Dを生成したのでは検出できない点でも、検出することができる。
なお、本実施形態において、平滑画像F’の水平方向についての2次微分値と垂直方向についての2次微分値の両方が負か0のいずれかである領域を1とすると共に、平滑画像F’のそれ以外の領域を0とすることにより、2次微分2値画像Dを生成してもよい。すなわち、G1(i、j)とG2(i、j)の両方が負か0のいずれかである領域を1とし、G1(i、j)とG2(i、j)の少なくとも一方が負か0でない(少なくとも一方が正である)領域を0として、2次微分2値画像Dを生成してもよい。
また、本実施形態において、平滑画像F’の水平方向についての2次微分値と垂直方向についての2次微分値に代えて、検出対象画像Fの水平方向についての2次微分値と垂直方向についての2次微分値に基いて、2次微分2値画像Dを生成してもよい。すなわち、検出対象画像Fの水平方向についての2次微分値と垂直方向についての2次微分値の両方が負である領域を1とすると共に、検出対象画像Fのそれ以外の領域を0とすることにより、2次微分2値画像Dを生成してもよい。また、検出対象画像Fの水平方向についての2次微分値と垂直方向についての2次微分値の両方が負か0のいずれかである領域を1とすると共に、検出対象画像Fのそれ以外の領域を0とすることにより、2次微分2値画像Dを生成してもよい。つまり、検出対象画像Fに対して水平2次微分フィルタ処理を施すことにより、水平2次微分画像G1を生成し、検出対象画像Fに対して垂直2次微分フィルタ処理を施すことにより、垂直2次微分画像G2を生成してもよい。
また、本実施形態において、水平2次微分フィルタ係数は、図9に示す係数に限られず、図11(a)や図11(b)に示す係数であってもよい。また、垂直2次微分フィルタ係数は、図10に示す係数に限られず、図12(a)や図12(b)に示す係数であってもよい。
また、検出領域の背景よりも低い温度の検出対象物体を検出する場合、平滑画像F’の水平方向についての2次微分値と垂直方向についての2次微分値の両方が正の領域を1とし、平滑画像F’のそれ以外の領域を0として、2次微分2値画像Dを生成すればよい。すなわち、G1(i、j)とG2(i、j)の両方が正である領域を1とし、G1(i、j)とG2(i、j)の少なくとも一方が正でない(少なくとも一方が負か0正である)領域を0として、2次微分2値画像Dを生成すればよい。
また、検出領域の背景よりも低い温度の検出対象物体を検出する場合、平滑画像F’の水平方向の2次微分値と垂直方向の2次微分値の両方が正か0のいずれかである領域を1とし、平滑画像F’のそれ以外の領域を0として、2次微分2値画像Dを生成してもよい。すなわち、G1(i、j)とG2(i、j)の両方が正か0のいずれかである領域を1とし、G1(i、j)とG2(i、j)の少なくとも一方が正か0でない(少なくとも一方が負である)領域を0として、2次微分2値画像Dを生成してもよい。
また、検出領域の背景よりも低い温度の検出対象物体を検出する場合にも、平滑画像F’の水平方向の2次微分値と垂直方向の2次微分値に代えて、検出対象画像Fの水平方向の2次微分値と垂直方向の2次微分値に基いて、2次微分2値画像Dを生成してもよい。この場合、検出対象画像Fの水平方向についての2次微分値と垂直方向についての2次微分値の両方が正である領域を1とすると共に、検出対象画像Fのそれ以外の領域を0とすることにより、2次微分2値画像Dを生成すればよい。また、検出対象画像Fの水平方向についての2次微分値と垂直方向についての2次微分値の両方が正か0のいずれかである領域を1とすると共に、検出対象画像Fのそれ以外の領域を0とすることにより、2次微分2値画像Dを生成してもよい。
<第3の実施形態>
次に、第3の実施形態による物体検出装置及び物体検出方法について説明する。本実施形態の物体検出装置1及び物体検出方法は、物体検出処理(検出対象物体Sの検出方法)が上記第1の実施形態の構成と異なっている。本実施形態における他の構成については、上記第1の実施形態と同様である。
図13は、本実施形態の物体検出処理における処理の流れを示す。本実施形態の物体検出処理は、2次微分2値画像D(x、y)の生成方法が上記第1の実施形態の構成と異なっている。本実施形態の物体検出処理における他の処理(差分2値画像C(x、y)の生成方法、論理積画像E(x、y)の生成方法)については、上記第1の実施形態と同様である。
本実施形態では、演算処理部3は、以下のようにして、2次微分2値画像D(x、y)を生成する。
まず、演算処理部3は、上記第1の実施形態と同様に、平滑画像F’(x、y)を生成する。また、演算処理部3は、上記第1の実施形態と同様に、2次微分画像G(x、y)を生成する。
そして、演算処理部3は、2次微分画像G(x、y)を2値化処理することにより、2次微分2値画像D(x、y)を生成する。但し、演算処理部3は、上記第1の実施形態と異なり、微分値用の閾値として、領域によって異なる値を適用する。
すなわち、演算処理部3は、微分値用の閾値として、差分2値画像C(x、y)の値が1である領域に応じて、領域によって異なる値を適用する。つまり、演算処理部3は、閾値画像W(x、y)を、差分2値画像C(x、y)の値C(i、j)に基いて、更新処理することにより、閾値画像W’(x、y)を生成する。ここで、閾値画像W’(x、y)のx=i、y=jにおける値W’(i、j)が、2次微分画像G(x、y)のx=i、y=jにおける値G(i、j)を2値化するときの微分値用の閾値である。
ここで、演算処理部3は、差分2値画像C(x、y)の値が1である領域及びその近隣の領域に対応する領域については、微分値用の閾値を下げ(0から負の値に下げ)、それ以外の領域については、微分値用の閾値を上げる(0から正の値に上げる)。すなわち、演算処理部3は、C(i、j)が1である領域及びその近隣の領域に対応する領域については、W(i、j)の値を下げてW’(i、j)とし、それ以外の領域については、W(i、j)の値を上げてW’(i、j)とする。
そして、演算処理部3は、このように領域によって異なる微分値用の閾値W’(i、j)を適用して、2次微分画像G(x、y)を2値化処理することにより、2次微分2値画像D(x、y)を生成する。すなわち、演算処理部3は、i=1、2、・・・、u;j=1、2、・・・、vの各i、jについて、G(i、j)が微分値用の閾値W’(i、j)未満である領域を1(第1の値)とする。また、G(i、j)が微分値用の閾値W’(i、j)以上である領域を0(第2の値)とする。つまり、演算処理部3は、i=1、2、・・・、u;j=1、2、・・・、vの各i、jについて、G(i、j)が微分値用の閾値W’(i、j)未満であれば、D(i、j)を1とする。また、G(i、j)が微分値用の閾値W’(i、j)以上であれば、D(i、j)を0とする。演算処理部3は、このようにして、2次微分2値画像D(x、y)を生成する。
本実施形態の物体検出装置1及び物体検出方法によれば、上記第1の実施形態と同様に、検出領域内に検出対象物体が複数存在している場合でも、各検出対象物体を分離して検出することができる。しかも、微分値用の閾値として、領域によって異なる値を適用することにより、1つの検出対象物体を誤って複数の検出対象物体に分離して検出することを防ぐことができると共に、複数の検出対象物体をより確実に分離して検出することができる。
なお、検出領域の背景よりも低い温度の検出対象物体を検出する場合、差分2値画像Cの値が第1の値である領域及びその近隣の領域に対応する領域については、微分値用の閾値を上げる(0から正の値に上げる)ようにすればよい。また、それ以外の領域については、微分値用の閾値を下げる(0から負の値に下げる)ようにすればよい。
<第4の実施形態>
次に、第4の実施形態による物体検出装置及び物体検出方法について説明する。本実施形態の物体検出装置1及び物体検出方法は、物体検出処理(検出対象物体Sの検出方法)が上記第1の実施形態の構成と異なっている。本実施形態における他の構成については、上記第1の実施形態と同様である。
図14は、本実施形態の物体検出処理における処理の流れを示す。本実施形態の物体検出処理は、2次微分2値画像D(x、y)の生成方法が上記第1の実施形態の構成と異なっている。本実施形態の物体検出処理における他の処理(差分2値画像C(x、y)の生成方法、論理積画像E(x、y)の生成方法)については、上記第1の実施形態と同様である。
本実施形態では、演算処理部3は、以下のようにして、2次微分2値画像D(x、y)を生成する。
まず、演算処理部3は、上記第1の実施形態と同様に、平滑画像F’(x、y)を生成する。続いて、演算処理部3は、上記第2の実施形態と同様に、平滑画像F’(x、y)に対して、水平2次微分フィルタ処理を施すことにより、水平2次微分画像G1(x、y)を生成する。また、演算処理部3は、上記第2の実施形態と同様に、平滑画像F’(x、y)に対して、垂直2次微分フィルタ処理を施すことにより、垂直2次微分画像G2(x、y)を生成する。
そして、演算処理部3は、2次微分2値画像D(x、y)を生成する。但し、演算処理部3は、上記第1の実施形態と異なり、微分値用の閾値として、領域によって異なる値を適用する。このとき、演算処理部3は、上記第3の実施形態と同様に、微分値用の閾値として、差分2値画像C(x、y)の値が1である領域に応じて、領域によって異なる値を適用する。
すなわち、演算処理部3は、上記第3の実施形態と同様に、閾値画像W(x、y)を、差分2値画像C(x、y)の値C(i、j)に基いて、更新処理することにより、閾値画像W’(x、y)を生成する。つまり、演算処理部3は、上記第3の実施形態と同様に、C(i、j)が1である領域及びその近隣の領域に対応する領域については、W(i、j)の値を下げてW’(i、j)とし、それ以外の領域については、W(i、j)の値を上げてW’(i、j)とする。
そして、演算処理部3は、このように領域によって異なる微分値用の閾値W’(i、j)を適用して、2次微分2値画像D(x、y)を生成する。すなわち、演算処理部3は、i=1、2、・・・、u;j=1、2、・・・、vの各i、jについて、G1(i、j)とG2(i、j)の両方が微分値用の閾値W’(i、j)未満である領域を1(第1の値)とする。また、G1(i、j)とG2(i、j)の少なくとも一方が微分値用の閾値W’(i、j)以上である領域を0(第2の値)とする。つまり、演算処理部3は、i=1、2、・・・、u;j=1、2、・・・、vの各i、jについて、G1(i、j)とG2(i、j)の両方が微分値用の閾値W’(i、j)未満であれば、D(i、j)を1とする。また、G1(i、j)とG2(i、j)の少なくとも一方が微分値用の閾値W’(i、j)以上であれば、D(i、j)を0とする。演算処理部3は、このようにして、2次微分2値画像D(x、y)を生成する。
本実施形態の物体検出装置1及び物体検出方法によれば、上記第1の実施形態と同様に、検出領域内に検出対象物体が複数存在している場合でも、各検出対象物体を分離して検出することができる。しかも、上記第2の実施形態と同様に、ラプラシアンフィルタ処理で2次微分値を求めて2次微分2値画像Dを生成したのでは検出できない点でも、検出することができる。また、上記第3の実施形態と同様に、1つの検出対象物体を誤って複数の検出対象物体に分離して検出することを防ぐことができると共に、複数の検出対象物体をより確実に分離して検出することができる。
<第5の実施形態>
次に、第5の実施形態による物体検出装置及び物体検出方法について説明する。本実施形態の物体検出装置1及び物体検出方法は、物体検出処理(検出対象物体Sの検出方法)が上記第1の実施形態の構成と異なっている。本実施形態における他の構成については、上記第1の実施形態と同様である。
本実施形態の物体検出処理は、2次微分2値画像D(x、y)の生成方法が上記第1の実施形態の構成と異なっている。本実施形態の物体検出処理における他の処理(差分2値画像C(x、y)の生成方法、論理積画像E(x、y)の生成方法)については、上記第1の実施形態と同様である。
本実施形態では、演算処理部3は、以下のようにして、2次微分2値画像D(x、y)を生成する。
まず、演算処理部3は、上記第1の実施形態と同様に、平滑画像F’(x、y)を生成する。
ここで、演算処理部3は、平滑画像F’(x、y)のうち、差分2値画像C(x、y)の値C(i、j)が1である領域に対応する領域を、温度凸領域とする。続いて、演算処理部3は、この温度凸領域の主軸方向を求める。そして、演算処理部3は、平滑画像F’(x、y)の主軸方向についての2次微分値を求めて、2次微分画像G(x、y)を生成する。すなわち、演算処理部3は、平滑画像F’(x、y)に対して、主軸方向についての2次微分値を求める2次微分フィルタ処理を施すことにより、平滑画像F’(x、y)の主軸方向についての2次微分値を求める。そして、演算処理部3は、平滑画像F’(x、y)の主軸方向についての2次微分値を、2次微分画像G(x、y)の値G(i、j)とする。
また、温度凸領域が分離して複数存在している場合には、演算処理部3は、それら分離して存在している各温度凸領域の主軸方向を求める。そして、演算処理部3は、それら分離して存在している各温度凸領域毎に、その温度凸領域の主軸方向についての2次微分値を求めて、2次微分画像G(x、y)を生成する。すなわち、演算処理部3は、平滑画像F’(x、y)の各温度凸領域に対して、その温度凸領域の主軸方向についての2次微分値を求める2次微分フィルタ処理を施すことにより、各温度凸領域におけるその温度凸領域の主軸方向についての2次微分値を求める。そして、演算処理部3は、各温度凸領域におけるその温度凸領域の主軸方向についての2次微分値を、その温度凸領域における2次微分画像G(x、y)の値G(i、j)とする。
このとき、演算処理部3は、温度凸領域以外の領域については、2次微分フィルタ処理を施さずに(2次微分値を求めずに)、温度凸領域以外の領域における2次微分画像G(x、y)の値G(i、j)を0とする。これは、温度凸領域以外の領域(温度凸領域以外の領域は、差分2値画像C(x、y)の値C(i、j)が0の領域である)については、G(i、j)の値に関わらず、後の論理積演算処理により、論理積画像E(x、y)の値E(i、j)が0となるためである。
そして、演算処理部3は、このように生成した2次微分画像G(x、y)を、上記第1の実施形態と同様に、2値化処理することにより、2次微分2値画像D(x、y)を生成する。
温度凸領域が分離して複数存在している場合、演算処理部3は、以下のようにして、各温度凸領域の主軸方向、及び各温度凸領域におけるその温度凸領域の主軸方向についての2次微分値を求める。
まず、演算処理部3は、ラベリング処理を行うことにより、分離して複数存在している各温度凸領域に(温度凸領域を構成する画素群の各画素に)ラベル番号L(L=1、2、・・・)を付与する。例えば、平滑画像F’(x、y)の温度凸領域が、図15(a)に示すように存在しているとする。図15(a)に示す平滑画像F’(x、y)において、「1」と記してある画素q(i、j)の領域が、温度凸領域であり、「1」と記してない画素q(i、j)の領域が、温度凹領域である。図15(a)に示す平滑画像F’(x、y)では、温度凸領域が2つに分離しており、温度凸領域が分離して2つ存在している。この場合、ラベル番号Lは、図15(b)に示すように付与される。図15(b)に示す平滑画像F’(x、y)において、「1」と記されている画素q(i、j)は、ラベル番号L=1の付与された温度凸領域の画素を示し、「2」と記されている画素q(i、j)は、ラベル番号L=2の付与された温度凸領域の画素を示している。温度凸領域が分離して2つ存在しているので、1つの温度凸領域にラベル番号L=1が付与され、別の1つの温度凸領域にラベル番号L=2が付与されている。
続いて、演算処理部3は、各ラベル番号Lの温度凸領域の主軸方向を求める。本実施形態では、演算処理部3は、重み付き最小二乗法により、分離して存在している各温度凸領域の主軸方向を求める。図15(b)の例では、図中の直線Q1と平行な方向が、ラベル番号L=1の温度凸領域の主軸方向であり、図中の直線Q2と平行な方向が、ラベル番号L=2の温度凸領域の主軸方向である。
そして、演算処理部3は、各ラベル番号Lの温度凸領域毎に、その温度凸領域の主軸方向についての2次微分値を求める。すなわち、演算処理部3は、各ラベル番号Lの温度凸領域に対して、その温度凸領域の主軸方向についての2次微分値を求めるフィルタ処理を施すことにより、各ラベル番号Lの温度凸領域におけるその温度凸領域の主軸方向についての2次微分値を求める。例えば、図15(b)のラベル番号L=1の温度凸領域に対しては、図16(a)に示す2次微分フィルタ係数z1,1、z1,2、z1,3、z2,1、z2,2、z2,3、z3,1、z3,2、z3,3を用いて、フィルタ処理を施すことにより、温度凸領域の主軸方向についての2次微分値を求める。図16(a)に示す例において、z1,1=−1、z1,2=−1、z1,3=0、z2,1=−1、z2,2=6、z2,3=−1、z3,1=0、z3,2=−1、z3,3=−1である。また、図15(b)のラベル番号L=2の温度凸領域に対しては、図16(b)に示す2次微分フィルタ係数m1,1、m1,2、m1,3、m2,1、m2,2、m2,3、m3,1、m3,2、m3,3を用いて、フィルタ処理を施すことにより、温度凸領域の主軸方向についての2次微分値を求める。図16(b)に示す例において、m1,1=−1、m1,2=0、m1,3=−1、m2,1=−1、m2,2=6、m2,3=−1、m3,1=−1、m3,2=0、m3,3=−1である。
本実施形態の物体検出装置1及び物体検出方法によれば、上記第1の実施形態と同様に、検出領域内に検出対象物体が複数存在している場合でも、各検出対象物体を分離して検出することができる。しかも、温度凸領域(差分2値画像Cの値が1である領域に対応する領域)の主軸方向についての2次微分値を求めて2次微分2値画像Dを生成することにより、複数の検出対象物体をより確実に分離して検出することができる。
なお、本実施形態において、各温度凸領域の主軸方向は、重み付き最小二乗法に限られず、主成分分析などで求めてもよい。また、1つの温度凸領域内に温度が極大値となる位置が2個存在する場合、それら温度が極大値となる2つの位置を結ぶ方向を、主軸方向としてもよい。
1 物体検出装置
2 温度分布センサ
3 演算処理部
4 記憶部
5 出力部

Claims (14)

  1. 検出領域の温度分布を示す画像であって、前記検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、前記検出領域の温度分布を示す画像であって、前記検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出装置において、
    前記背景画像と前記検出対象画像との差分に基いて検出対象物体を検出する演算処理部を備え、
    前記検出領域の背景の温度よりも高い温度の検出対象物体を検出し、
    前記演算処理部は、
    前記背景画像と前記検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、前記検出対象画像から前記背景画像を差し引いた差分値が前記差分値用の閾値以上である領域を第1の値とすると共に、前記検出対象画像から前記背景画像を差し引いた差分値が前記差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、
    前記検出対象画像又は前記検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、前記微分値用の閾値を0として、前記検出対象画像又は前記平滑画像の水平方向についての2次微分値と垂直方向についての2次微分値を求め、これら水平方向についての2次微分値と垂直方向についての2次微分値の両方が負である領域、又は、負か0のいずれかである領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、
    前記差分2値画像と前記2次微分2値画像との論理積に基いて、検出対象物体を検出する、ことを特徴とする物体検出装置。
  2. 検出領域の温度分布を示す画像であって、前記検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、前記検出領域の温度分布を示す画像であって、前記検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出装置において、
    前記背景画像と前記検出対象画像との差分に基いて検出対象物体を検出する演算処理部を備え、
    前記検出領域の背景の温度よりも低い温度の検出対象物体を検出し、
    前記演算処理部は、
    前記背景画像と前記検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、前記背景画像から前記検出対象画像を差し引いた差分値が前記差分値用の閾値以上である領域を第1の値とすると共に、前記背景画像から前記検出対象画像を差し引いた差分値が前記差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、
    前記検出対象画像又は前記検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、前記微分値用の閾値を0として、前記検出対象画像又は前記平滑画像の水平方向についての2次微分値と垂直方向についての2次微分値を求め、これら水平方向についての2次微分値と垂直方向についての2次微分値の両方が正である領域、又は、正か0のいずれかである領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、
    前記差分2値画像と前記2次微分2値画像との論理積に基いて、検出対象物体を検出する、ことを特徴とする物体検出装置。
  3. 検出領域の温度分布を示す画像であって、前記検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、前記検出領域の温度分布を示す画像であって、前記検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出装置において、
    前記背景画像と前記検出対象画像との差分に基いて検出対象物体を検出する演算処理部を備え、
    前記検出領域の背景の温度よりも高い温度の検出対象物体を検出し、
    前記演算処理部は、
    前記背景画像と前記検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、前記検出対象画像から前記背景画像を差し引いた差分値が前記差分値用の閾値以上である領域を第1の値とすると共に、前記検出対象画像から前記背景画像を差し引いた差分値が前記差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、
    前記検出対象画像又は前記検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、前記微分値用の閾値として、前記検出対象画像又は前記平滑画像の領域によって、異なる値を適用し、前記検出対象画像又は前記平滑画像のうち、前記差分2値画像の値が第1の値である領域及びその近隣の領域に対応する領域については、前記微分値用の閾値を0から負の値に下げ、それ以外の領域については、前記微分値用の閾値を0から正の値に上げ、前記検出対象画像又は前記平滑画像の2次微分値が前記閾値未満である領域、又は、前記閾値以下である領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、
    前記差分2値画像と前記2次微分2値画像との論理積に基いて、検出対象物体を検出する、ことを特徴とする物体検出装置。
  4. 検出領域の温度分布を示す画像であって、前記検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、前記検出領域の温度分布を示す画像であって、前記検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出装置において、
    前記背景画像と前記検出対象画像との差分に基いて検出対象物体を検出する演算処理部を備え、
    前記検出領域の背景の温度よりも低い温度の検出対象物体を検出し、
    前記演算処理部は、
    前記背景画像と前記検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、前記背景画像から前記検出対象画像を差し引いた差分値が前記差分値用の閾値以上である領域を第1の値とすると共に、前記背景画像から前記検出対象画像を差し引いた差分値が前記差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、
    前記検出対象画像又は前記検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、前記微分値用の閾値として、前記検出対象画像又は前記平滑画像の領域によって、異なる値を適用し、前記検出対象画像又は前記平滑画像のうち、前記差分2値画像の値が第1の値である領域及びその近隣の領域に対応する領域については、前記微分値用の閾値を0から正の値に上げ、それ以外の領域については、前記微分値用の閾値を0から負の値に下げ、前記検出対象画像又は前記平滑画像の2次微分値が前記閾値を超える領域、又は、前記閾値以上である領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、
    前記差分2値画像と前記2次微分2値画像との論理積に基いて、検出対象物体を検出する、ことを特徴とする物体検出装置。
  5. 検出領域の温度分布を示す画像であって、前記検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、前記検出領域の温度分布を示す画像であって、前記検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出装置において、
    前記背景画像と前記検出対象画像との差分に基いて検出対象物体を検出する演算処理部を備え、
    前記検出領域の背景の温度よりも高い温度の検出対象物体を検出し、
    前記演算処理部は、
    前記背景画像と前記検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、前記検出対象画像から前記背景画像を差し引いた差分値が前記差分値用の閾値以上である領域を第1の値とすると共に、前記検出対象画像から前記背景画像を差し引いた差分値が前記差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、
    前記検出対象画像又は前記検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、前記差分2値画像の値が第1の値である領域を温度凸領域として、この温度凸領域の主軸方向を求め、前記検出対象画像又は前記平滑画像の前記温度凸領域の主軸方向に対応する方向についての2次微分値を求め、この2次微分値用の閾値を0として、この2次微分値が負である領域、又は、負か0のいずれかである領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、
    前記差分2値画像と前記2次微分2値画像との論理積に基いて、検出対象物体を検出する、ことを特徴とする物体検出装置。
  6. 検出領域の温度分布を示す画像であって、前記検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、前記検出領域の温度分布を示す画像であって、前記検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出装置において、
    前記背景画像と前記検出対象画像との差分に基いて検出対象物体を検出する演算処理部を備え、
    前記検出領域の背景の温度よりも低い温度の検出対象物体を検出し、
    前記演算処理部は、
    前記背景画像と前記検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、前記背景画像から前記検出対象画像を差し引いた差分値が前記差分値用の閾値以上である領域を第1の値とすると共に、前記背景画像から前記検出対象画像を差し引いた差分値が前記差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、
    前記検出対象画像又は前記検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、前記差分2値画像の値が第1の値である領域を温度凸領域として、この温度凸領域の主軸方向を求め、前記検出対象画像又は前記平滑画像の前記温度凸領域の主軸方向に対応する方向についての2次微分値を求め、この2次微分値用の閾値を0として、この2次微分値が正である領域、又は、正か0のいずれかである領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、
    前記差分2値画像と前記2次微分2値画像との論理積に基いて、検出対象物体を検出する、ことを特徴とする物体検出装置。
  7. 前記演算処理部は、
    前記温度凸領域が分離して複数存在している場合、それら各温度凸領域の主軸方向を求め、
    前記検出対象画像又は前記平滑画像の前記各温度凸領域に対応する領域においては、その温度凸領域の主軸方向に対応する方向についての2次微分値を求め、この2次微分値を前記微分値用の閾値で2値化することにより、前記2次微分2値画像を生成する、ことを特徴とする請求項5又は請求項6に記載の物体検出装置。
  8. 検出領域の温度分布を示す画像であって、前記検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、前記検出領域の温度分布を示す画像であって、前記検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出方法において、
    前記検出領域の背景の温度よりも高い温度の検出対象物体を検出し
    前記検出領域の温度分布を検出する温度分布センサの出力に基いて前記背景画像を生成する背景画像生成処理と、
    前記温度分布センサの出力に基いて前記検出対象画像を生成する検出対象画像生成処理と、
    前記背景画像と前記検出対象画像との差分に基いて検出対象物体を検出する物体検出処理とを実行し、
    前記物体検出処理において、
    前記背景画像と前記検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、前記検出対象画像から前記背景画像を差し引いた差分値が前記差分値用の閾値以上である領域を第1の値とすると共に、前記検出対象画像から前記背景画像を差し引いた差分値が前記差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、
    前記検出対象画像又は前記検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、前記微分値用の閾値を0として、前記検出対象画像又は前記平滑画像の水平方向についての2次微分値と垂直方向についての2次微分値を求め、これら水平方向についての2次微分値と垂直方向についての2次微分値の両方が負である領域、又は、負か0のいずれかである領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、
    前記差分2値画像と前記2次微分2値画像との論理積に基いて、検出対象物体を検出する、ことを特徴とする物体検出方法。
  9. 検出領域の温度分布を示す画像であって、前記検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、前記検出領域の温度分布を示す画像であって、前記検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出方法において、
    前記検出領域の背景の温度よりも低い温度の検出対象物体を検出し、
    前記検出領域の温度分布を検出する温度分布センサの出力に基いて前記背景画像を生成する背景画像生成処理と、
    前記温度分布センサの出力に基いて前記検出対象画像を生成する検出対象画像生成処理と、
    前記背景画像と前記検出対象画像との差分に基いて検出対象物体を検出する物体検出処理とを実行し、
    前記物体検出処理において、
    前記背景画像と前記検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、前記背景画像から前記検出対象画像を差し引いた差分値が前記差分値用の閾値以上である領域を第1の値とすると共に、前記背景画像から前記検出対象画像を差し引いた差分値が前記差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、
    前記検出対象画像又は前記検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、前記微分値用の閾値を0として、前記検出対象画像又は前記平滑画像の水平方向についての2次微分値と垂直方向についての2次微分値を求め、これら水平方向についての2次微分値と垂直方向についての2次微分値の両方が正である領域、又は、正か0のいずれかである領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、
    前記差分2値画像と前記2次微分2値画像との論理積に基いて、検出対象物体を検出する、ことを特徴とする物体検出方法。
  10. 検出領域の温度分布を示す画像であって、前記検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、前記検出領域の温度分布を示す画像であって、前記検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出方法において、
    前記検出領域の背景の温度よりも高い温度の検出対象物体を検出し、
    前記検出領域の温度分布を検出する温度分布センサの出力に基いて前記背景画像を生成する背景画像生成処理と、
    前記温度分布センサの出力に基いて前記検出対象画像を生成する検出対象画像生成処理と、
    前記背景画像と前記検出対象画像との差分に基いて検出対象物体を検出する物体検出処理とを実行し、
    前記物体検出処理において、
    前記背景画像と前記検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、前記検出対象画像から前記背景画像を差し引いた差分値が前記差分値用の閾値以上である領域を第1の値とすると共に、前記検出対象画像から前記背景画像を差し引いた差分値が前記差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、
    前記検出対象画像又は前記検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、前記微分値用の閾値として、前記検出対象画像又は前記平滑画像の領域によって、異なる値を適用し、前記検出対象画像又は前記平滑画像のうち、前記差分2値画像の値が第1の値である領域及びその近隣の領域に対応する領域については、前記微分値用の閾値を0から負の値に下げ、それ以外の領域については、前記微分値用の閾値を0から正の値に上げ、前記検出対象画像又は前記平滑画像の2次微分値が前記閾値未満である領域、又は、前記閾値以下である領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、
    前記差分2値画像と前記2次微分2値画像との論理積に基いて、検出対象物体を検出する、ことを特徴とする物体検出方法。
  11. 検出領域の温度分布を示す画像であって、前記検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、前記検出領域の温度分布を示す画像であって、前記検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出方法において、
    前記検出領域の背景の温度よりも低い温度の検出対象物体を検出し、
    前記検出領域の温度分布を検出する温度分布センサの出力に基いて前記背景画像を生成する背景画像生成処理と、
    前記温度分布センサの出力に基いて前記検出対象画像を生成する検出対象画像生成処理と、
    前記背景画像と前記検出対象画像との差分に基いて検出対象物体を検出する物体検出処理とを実行し、
    前記物体検出処理において、
    前記背景画像と前記検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、前記背景画像から前記検出対象画像を差し引いた差分値が前記差分値用の閾値以上である領域を第1の値とすると共に、前記背景画像から前記検出対象画像を差し引いた差分値が前記差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、
    前記検出対象画像又は前記検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、前記微分値用の閾値として、前記検出対象画像又は前記平滑画像の領域によって、異なる値を適用し、前記検出対象画像又は前記平滑画像のうち、前記差分2値画像の値が第1の値である領域及びその近隣の領域に対応する領域については、前記微分値用の閾値を0から正の値に上げ、それ以外の領域については、前記微分値用の閾値を0から負の値に下げ、前記検出対象画像又は前記平滑画像の2次微分値が前記閾値を超える領域、又は、前記閾値以上である領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、
    前記差分2値画像と前記2次微分2値画像との論理積に基いて、検出対象物体を検出する、ことを特徴とする物体検出方法。
  12. 検出領域の温度分布を示す画像であって、前記検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、前記検出領域の温度分布を示す画像であって、前記検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出方法において、
    前記検出領域の背景の温度よりも高い温度の検出対象物体を検出し、
    前記検出領域の温度分布を検出する温度分布センサの出力に基いて前記背景画像を生成する背景画像生成処理と、
    前記温度分布センサの出力に基いて前記検出対象画像を生成する検出対象画像生成処理と、
    前記背景画像と前記検出対象画像との差分に基いて検出対象物体を検出する物体検出処理とを実行し、
    前記物体検出処理において、
    前記背景画像と前記検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、前記検出対象画像から前記背景画像を差し引いた差分値が前記差分値用の閾値以上である領域を第1の値とすると共に、前記検出対象画像から前記背景画像を差し引いた差分値が前記差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、
    前記検出対象画像又は前記検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、前記差分2値画像の値が第1の値である領域を温度凸領域として、この温度凸領域の主軸方向を求め、前記検出対象画像又は前記平滑画像の前記温度凸領域の主軸方向に対応する方向についての2次微分値を求め、この2次微分値用の閾値を0として、この2次微分値が負である領域、又は、負か0のいずれかである領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、
    前記差分2値画像と前記2次微分2値画像との論理積に基いて、検出対象物体を検出する、ことを特徴とする物体検出方法。
  13. 検出領域の温度分布を示す画像であって、前記検出領域内に検出対象物体が存在しないことの基準とする画像である背景画像と、前記検出領域の温度分布を示す画像であって、前記検出領域内の検出対象物体を検出するための検出対象の画像である検出対象画像との差分に基いて、検出対象物体を検出する物体検出方法において、
    前記検出領域の背景の温度よりも低い温度の検出対象物体を検出し、
    前記検出領域の温度分布を検出する温度分布センサの出力に基いて前記背景画像を生成する背景画像生成処理と、
    前記温度分布センサの出力に基いて前記検出対象画像を生成する検出対象画像生成処理と、
    前記背景画像と前記検出対象画像との差分に基いて検出対象物体を検出する物体検出処理とを実行し、
    前記物体検出処理において、
    前記背景画像と前記検出対象画像との差分値を所定の差分値用の閾値で2値化した差分2値画像であって、前記背景画像から前記検出対象画像を差し引いた差分値が前記差分値用の閾値以上である領域を第1の値とすると共に、前記背景画像から前記検出対象画像を差し引いた差分値が前記差分値用の閾値未満である領域を第2の値とした差分2値画像を生成し、
    前記検出対象画像又は前記検出対象画像を平滑化した平滑画像の2次微分値を所定の微分値用の閾値で2値化した2次微分2値画像であって、前記差分2値画像の値が第1の値である領域を温度凸領域として、この温度凸領域の主軸方向を求め、前記検出対象画像又は前記平滑画像の前記温度凸領域の主軸方向に対応する方向についての2次微分値を求め、この2次微分値用の閾値を0として、この2次微分値が正である領域、又は、正か0のいずれかである領域を第1の値とすると共に、それ以外の領域を第2の値とした2次微分2値画像を生成し、
    前記差分2値画像と前記2次微分2値画像との論理積に基いて、検出対象物体を検出する、ことを特徴とする物体検出方法。
  14. 前記物体検出処理において、
    前記温度凸領域が分離して複数存在している場合、それら各温度凸領域の主軸方向を求め、
    前記検出対象画像又は前記平滑画像の前記各温度凸領域に対応する領域においては、その温度凸領域の主軸方向に対応する方向についての2次微分値を求め、この2次微分値を前記微分値用の閾値で2値化することにより、前記2次微分2値画像を生成する、ことを特徴とする請求項12又は請求項13に記載の物体検出方法。
JP2011277550A 2011-12-19 2011-12-19 物体検出装置及び物体検出方法 Active JP5938631B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011277550A JP5938631B2 (ja) 2011-12-19 2011-12-19 物体検出装置及び物体検出方法
CN201280061812.6A CN103999127B (zh) 2011-12-19 2012-12-11 物体检测装置以及物体检测方法
US14/365,534 US9053385B2 (en) 2011-12-19 2012-12-11 Object detection device and object detection method
PCT/JP2012/007897 WO2013094151A1 (ja) 2011-12-19 2012-12-11 物体検出装置及び物体検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011277550A JP5938631B2 (ja) 2011-12-19 2011-12-19 物体検出装置及び物体検出方法

Publications (2)

Publication Number Publication Date
JP2013127747A JP2013127747A (ja) 2013-06-27
JP5938631B2 true JP5938631B2 (ja) 2016-06-22

Family

ID=48668070

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011277550A Active JP5938631B2 (ja) 2011-12-19 2011-12-19 物体検出装置及び物体検出方法

Country Status (4)

Country Link
US (1) US9053385B2 (ja)
JP (1) JP5938631B2 (ja)
CN (1) CN103999127B (ja)
WO (1) WO2013094151A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7211057B2 (ja) 2018-12-13 2023-01-24 株式会社イトーキ 扉構造

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6261190B2 (ja) * 2013-05-31 2018-01-17 キヤノン株式会社 設定装置および設定方法
JP6376804B2 (ja) * 2014-04-01 2018-08-22 キヤノン株式会社 画像形成装置、画像形成装置の制御方法、及びプログラム
CN106575364A (zh) 2014-04-11 2017-04-19 英特尔公司 使用定向滤波的目标检测
US9639954B2 (en) * 2014-10-27 2017-05-02 Playsigh Interactive Ltd. Object extraction from video images
US9697443B2 (en) 2014-12-11 2017-07-04 Intel Corporation Model compression in binary coded image based object detection
KR102302621B1 (ko) * 2015-03-09 2021-09-16 한국전자통신연구원 고차 라플라시안 오브 가우시안 커널을 이용한 이미지의 특징점 추출 장치 및 방법
CN106842349B (zh) * 2015-12-03 2019-06-07 北京国网富达科技发展有限责任公司 输电线路防外破检测方法及装置
CN112097686B (zh) * 2020-08-10 2022-03-11 安徽农业大学 一种基于二值条纹投影的伪装物体检测方法
CN116228819B (zh) * 2023-04-27 2023-08-08 中国科学院空天信息创新研究院 红外运动目标检测方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3123587B2 (ja) * 1994-03-09 2001-01-15 日本電信電話株式会社 背景差分による動物体領域抽出方法
JPH0869523A (ja) * 1995-05-16 1996-03-12 Matsushita Electric Ind Co Ltd 人体認識装置
US6088468A (en) * 1995-05-17 2000-07-11 Hitachi Denshi Kabushiki Kaisha Method and apparatus for sensing object located within visual field of imaging device
JP3573895B2 (ja) * 1997-01-20 2004-10-06 松下電器産業株式会社 動物体抽出装置
JP2002304677A (ja) * 2001-04-06 2002-10-18 Fujitsu General Ltd 侵入者検出方法および装置
JP2004295775A (ja) * 2003-03-28 2004-10-21 Minolta Co Ltd 画像認識装置および画像認識プログラム
GB2404247B (en) * 2003-07-22 2005-07-20 Hitachi Int Electric Inc Object tracing method and object tracking apparatus
JP4777178B2 (ja) * 2006-07-28 2011-09-21 キヤノン株式会社 画像処理方法
CN101169891A (zh) * 2006-11-30 2008-04-30 中国科学院长春光学精密机械与物理研究所 智能防盗监控器
TW200834459A (en) * 2007-02-05 2008-08-16 Huper Lab Co Ltd Video object segmentation method applied for rainy situations
JP5354767B2 (ja) * 2007-10-17 2013-11-27 株式会社日立国際電気 物体検知装置
US8340368B2 (en) * 2008-06-11 2012-12-25 Hyundai Motor Company Face detection system
JP2010256194A (ja) 2009-04-27 2010-11-11 Nippon Ceramic Co Ltd 侵入検知装置
CN101719979B (zh) * 2009-11-27 2011-08-03 北京航空航天大学 基于时域定区间记忆补偿的视频对象分割方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7211057B2 (ja) 2018-12-13 2023-01-24 株式会社イトーキ 扉構造

Also Published As

Publication number Publication date
CN103999127A (zh) 2014-08-20
US9053385B2 (en) 2015-06-09
CN103999127B (zh) 2016-10-12
JP2013127747A (ja) 2013-06-27
US20150003743A1 (en) 2015-01-01
WO2013094151A1 (ja) 2013-06-27

Similar Documents

Publication Publication Date Title
JP5938631B2 (ja) 物体検出装置及び物体検出方法
JP6303332B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20140270487A1 (en) Method and apparatus for processing image
US8643751B2 (en) Method for detecting dead pixels and computer program product thereof
JP2007156655A (ja) 変動領域検出装置及びその方法
US20200134384A1 (en) Abnormality detection device
JP2014059875A5 (ja)
JP2012048484A (ja) 画像処理装置、画像処理方法及びプログラム
CN103729828B (zh) 视频去雨方法
JP2003050211A (ja) 明度補正方法及び選択的欠陥検出方法及びこれらを記録した記録媒体
JP2007257132A (ja) 動き検出方法および動き検出装置
JP2018142828A (ja) 付着物検出装置および付着物検出方法
JP2005165387A (ja) 画面のスジ欠陥検出方法及び装置並びに表示装置
JP5889778B2 (ja) フラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法
CN111344851A (zh) 判定图样的临界尺寸变化
JP6198114B2 (ja) 画像処理プログラム、画像処理方法及び画像処理装置
CN109671081B (zh) 一种基于fpga查找表的坏簇统计方法及装置
JP6063728B2 (ja) 欠陥画素検出装置、欠陥画素検出方法及びプログラム
JP2021052238A (ja) 付着物検出装置および付着物検出方法
JP6114559B2 (ja) フラットパネルディスプレイの自動ムラ検出装置
JP6140478B2 (ja) 物体検出装置、プログラムおよび集積回路
JP5796173B2 (ja) 物体検出装置及び物体検出方法
JP7059649B2 (ja) 付着物検出装置および付着物検出方法
JP5911122B2 (ja) 直線検出装置および直線検出方法
JP2014049780A (ja) 欠陥画素判定装置および欠陥画素判定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140704

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141008

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20141015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160411

R151 Written notification of patent or utility model registration

Ref document number: 5938631

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151