JP2008097359A - Human body detector - Google Patents

Human body detector Download PDF

Info

Publication number
JP2008097359A
JP2008097359A JP2006278972A JP2006278972A JP2008097359A JP 2008097359 A JP2008097359 A JP 2008097359A JP 2006278972 A JP2006278972 A JP 2006278972A JP 2006278972 A JP2006278972 A JP 2006278972A JP 2008097359 A JP2008097359 A JP 2008097359A
Authority
JP
Japan
Prior art keywords
moving
area
human body
contour
extracting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006278972A
Other languages
Japanese (ja)
Other versions
JP4760655B2 (en
Inventor
Toshiharu Takenouchi
利春 竹ノ内
Hiroshi Matsuda
啓史 松田
Tadahiro Arakawa
忠洋 荒川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP2006278972A priority Critical patent/JP4760655B2/en
Publication of JP2008097359A publication Critical patent/JP2008097359A/en
Application granted granted Critical
Publication of JP4760655B2 publication Critical patent/JP4760655B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a human body detector capable of restraining the influence due to noise and improve the detection precision. <P>SOLUTION: This human body detector 1 is provided with an imaging means 10; a profile extracting means 12a for extracting the profile imaged by the imaging means; a moving profile extracting means 12b for extracting the profile of a moving body from the profile; a moving area extracting means 12c for extracting a moving area, comprising a rectangular area circumscribed with the profile of the moving body, an area feature extracting means 12d for extracting the direction value of a moving edge portion within the moving area, based on the moving area, and for preparing an edge direction value distribution; and a human body detecting means 12e for detecting a human body, based on the edge direction value distribution. The moving area extracting means 12c searches the profile, having another end point within the slender rectangular area, when the profile having the end point is extracted, and detects the moving area, by coupling the profiles that have the end point. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、人体検出装置、特に画像処理型の人体検出装置に関するものである。   The present invention relates to a human body detection device, and more particularly to an image processing type human body detection device.

従来からＴＶカメラ等の撮像手段により撮像した画像を用いて撮像領域内の人の存否を検出する人体検出装置が種々提供されており、このような人体検出装置としては、所定領域を撮像する撮像手段と、撮像手段で撮像した画像から輪郭を抽出する輪郭抽出手段と、該輪郭抽出手段で抽出した輪郭から時間的な変化を元に移動体の輪郭を抽出する移動輪郭抽出手段と、該移動輪郭抽出手段で抽出した輪郭に外接する矩形状の領域からなる移動領域を検出する移動領域抽出手段と、該移動領域抽出手段で検出した移動体の移動領域に基づいて移動領域内の移動エッジ部分の方向値を抽出してそのエッジ方向値分布を作成する領域特徴量検出手段と、該領域特徴量検出手段より得られるエッジ方向値分布を元に人体検出を行う人体検出手段とを備えているものがある（例えば、特許文献１）。
特開平８−２４９４７１号公報（図１参照） Conventionally, various human body detection devices that detect the presence / absence of a person in an imaging region using an image captured by an imaging unit such as a TV camera have been provided. As such a human body detection device, imaging that captures a predetermined region is provided. Means, a contour extracting means for extracting a contour from an image captured by the imaging means, a moving contour extracting means for extracting a contour of a moving body from the contour extracted by the contour extracting means based on temporal changes, and the movement A moving area extracting means for detecting a moving area consisting of a rectangular area circumscribing the contour extracted by the contour extracting means, and a moving edge portion in the moving area based on the moving area of the moving object detected by the moving area extracting means Region feature amount detection means for extracting the direction value of the image and creating an edge direction value distribution thereof, and human body detection means for detecting a human body based on the edge direction value distribution obtained from the region feature amount detection means. There is are (for example, Patent Document 1).
JP-A-8-249471 (see FIG. 1)

ところで、移動輪郭は一つの移動体によるものであっても、外乱等のノイズやその他様々な原因によって複数に分割されてしまうことがある。このような場合、分割された移動輪郭では輪郭が途中で途切れて端点が存在することになる。   By the way, even if the moving contour is a single moving body, it may be divided into a plurality of parts due to noise such as disturbance or various other causes. In such a case, in the divided moving contour, the contour is interrupted in the middle and end points exist.

そこで、移動領域抽出手段は、端点を有する移動輪郭を検出した際に該端点を有する移動輪郭を含む正方形状の領域内で別の端点を有する移動輪郭を探索し、前記矩形状の領域内で端点を有する移動輪郭を結合して一の移動領域を形成するように構成されている。   Therefore, the moving area extracting means searches for a moving outline having another end point in the square area including the moving outline having the end point when detecting the moving outline having the end point, and within the rectangular area. The moving contours having end points are combined to form one moving region.

以下に、移動領域抽出手段における移動輪郭の結合方法について図６を参照してさらに詳しく説明する。尚、図６では移動輪郭抽出手段で抽出された移動輪郭を元に移動領域Ｆ１００〜Ｆ６００が検出されており、ここで、移動領域Ｆ１００〜Ｆ４００は一の移動体の移動輪郭が分割されてなるものであって、移動領域Ｆ５００，Ｆ６００はノイズによるものであるとする。   In the following, a method for combining moving contours in the moving area extracting means will be described in more detail with reference to FIG. In FIG. 6, moving areas F100 to F600 are detected based on the moving outline extracted by the moving outline extracting means. Here, the moving areas F100 to F400 are obtained by dividing the moving outline of one moving body. It is assumed that the moving areas F500 and F600 are caused by noise.

移動領域抽出手段は、端点を有する移動輪郭の移動領域Ｆ１００を検出すると、画像上に移動領域Ｆ１００を含む正方形状の領域Ｗ１００を設定し、この領域Ｗ１００内で別の端点を有する移動輪郭の探索を行う。図６に示す場合では、領域Ｗ１００内に移動領域Ｆ２００〜Ｆ５００が検出される。   When the moving area extraction unit detects the moving area F100 of the moving outline having the end points, the moving area extracting unit sets a square area W100 including the moving area F100 on the image, and searches for a moving outline having another end point in the area W100. I do. In the case shown in FIG. 6, moving areas F200 to F500 are detected in the area W100.

このように領域Ｗ１００内で移動領域Ｆ２００〜Ｆ５００を検出した際には、移動領域抽出手段は移動領域Ｆ１００〜Ｆ５００を結合し、これら移動領域Ｆ１００〜Ｆ５００を全て包括するとともに外接するような矩形状の領域からなる移動領域Ｆ７００を作成する。この移動領域Ｆ７００は、分割された移動体の移動輪郭の移動領域Ｆ１００〜Ｆ４００を含むものであるが、ノイズである移動領域Ｆ５００をも含んでいるため、図６に示すように実際の移動体の移動領域Ｆ８００よりも大きくなる。   In this way, when the moving areas F200 to F500 are detected in the area W100, the moving area extracting means combines the moving areas F100 to F500, covers all of the moving areas F100 to F500, and circumscribes the rectangle. A moving area F700 consisting of these areas is created. The moving area F700 includes moving areas F100 to F400 of the moving contours of the divided moving bodies, but also includes a moving area F500 that is noise, so that the actual moving body moves as shown in FIG. It becomes larger than the region F800.

そして、このようなノイズを含んだ移動領域Ｆ７００が作成されてしまうと、当然ながら人体検出の検出精度が悪くなってしまうという問題が生じることになる。   And if the movement area | region F700 containing such a noise will be produced, naturally the problem that the detection accuracy of a human body detection will worsen arises.

つまり、従来の人体検出装置では分割された移動輪郭を結合して移動領域を作成する際にノイズ等による移動輪郭も移動領域に含まれてしまうために検出精度が悪くなるという問題があった。   In other words, the conventional human body detection apparatus has a problem in that when the divided moving contours are combined to create a moving region, the moving contour due to noise or the like is included in the moving region, so that the detection accuracy is deteriorated.

本発明は上述の点に鑑みて為されたもので、その目的は、ノイズの影響を抑制して検出精度の向上を図ることができる人体検出装置を提供することにある。   The present invention has been made in view of the above points, and an object of the present invention is to provide a human body detection device capable of suppressing the influence of noise and improving detection accuracy.

上記の課題を解決するために、請求項１の発明では、所定領域を撮像する撮像手段と、撮像手段で撮像した画像から輪郭を抽出する輪郭抽出手段と、該輪郭抽出手段で抽出した輪郭から移動体の輪郭を抽出する移動輪郭抽出手段と、該移動輪郭抽出手段で抽出した輪郭に外接する矩形状の領域からなる移動領域を検出する移動領域抽出手段と、該移動領域抽出手段で検出した移動体の移動領域に基づいて、移動領域内の移動エッジ部分の方向値を抽出してそのエッジ方向値分布を作成する領域特徴量検出手段と、該領域特徴量検出手段より得られるエッジ方向値分布を元に人体検出を行う人体検出手段とを備え、移動領域抽出手段は、端点を有する移動輪郭が抽出された際に、当該輪郭の端点を含む縦長の矩形状の領域内から、別の端点を有する輪郭を探索し、前記矩形状の領域内で端点を有する輪郭を結合して移動領域を形成するように構成されていることを特徴とする。   In order to solve the above-mentioned problem, in the invention of claim 1, the imaging means for imaging a predetermined area, the contour extraction means for extracting a contour from the image captured by the imaging means, and the contour extracted by the contour extraction means A moving contour extracting means for extracting the contour of the moving body, a moving area extracting means for detecting a moving area consisting of a rectangular area circumscribing the contour extracted by the moving contour extracting means, and the moving area extracting means Based on the moving area of the moving object, an area feature amount detecting means for extracting a direction value of a moving edge portion in the moving area and creating an edge direction value distribution thereof, and an edge direction value obtained from the area feature amount detecting means Human body detecting means for detecting a human body based on the distribution, and the moving area extracting means, when a moving outline having an end point is extracted, from within a vertically long rectangular area including the end point of the outline, Has end points That contours to explore, characterized in that it is configured to form a moving region by combining contour having end points in the rectangular region.

請求項２の発明では、請求項１の発明において、領域特徴量検出手段は、画像の下端縁に対する移動領域の高さと、当該移動領域の縦方向の画素数及び横方向の画素数とを検出するように構成され、人体検出手段は、前記移動領域の高さが所定の閾値以上で、且つ前記移動領域の横方向の画素数が縦方向の画素数より多い場合、前記移動領域は人体によるものではないと判定するように構成されていることを特徴とする。   According to a second aspect of the present invention, in the first aspect of the invention, the region feature amount detecting means detects the height of the moving region with respect to the lower edge of the image, and the number of pixels in the vertical direction and the number of pixels in the horizontal direction of the moving region. When the height of the moving area is equal to or greater than a predetermined threshold and the number of pixels in the horizontal direction of the moving area is greater than the number of pixels in the vertical direction, the moving area is determined by the human body. It is characterized by determining that it is not a thing.

請求項３の発明では、請求項１又は２の発明において、領域特徴量検出手段は、画像の下端縁に対する移動領域の高さと、当該移動領域の大きさとを検出するように構成され、人体検出手段は、前記領域特徴量検出手段より得られた前記移動領域の高さを用いて前記移動領域の大きさを実空間上の大きさに補正し、前記実空間上の大きさが所定値以下である場合は、前記移動領域は人体によるものではないと判定するように構成されていることを特徴とする。   According to a third aspect of the present invention, in the first or second aspect of the invention, the region feature amount detecting means is configured to detect the height of the moving region with respect to the lower edge of the image and the size of the moving region, thereby detecting a human body. The means corrects the size of the moving area to the size in the real space using the height of the moving area obtained from the area feature amount detecting means, and the size in the real space is equal to or less than a predetermined value. In this case, the moving area is determined not to be a human body.

請求項１の発明は、人体の移動領域が一般に縦長の領域であることを利用し、端点を有する輪郭が抽出された際に当該輪郭の端点を含む縦長の矩形状の領域内から別の端点を有する輪郭を探索し、端点を有する輪郭を結合することで移動領域の検出を行うので、端点を有する移動輪郭同士を結合する際に従来のように縦横の長さの比が等しい正方形状の領域内から別の端点を有する輪郭を探索するような場合に比べてノイズや関係のない移動輪郭等を含んでしまうことを抑制でき、移動体の形状が高精度に反映された移動領域の検出が行え、結果としてノイズの影響を抑制して検出精度の向上を図ることができるという効果を奏する。   The invention of claim 1 utilizes the fact that the moving region of the human body is generally a vertically long region, and when a contour having an end point is extracted, another end point from within a vertically long rectangular region including the end point of the contour The moving area is detected by combining the contours having end points and searching for the contours having end points. Compared to searching for contours with different end points from the region, it is possible to suppress the inclusion of noise and unrelated moving contours, etc., and detection of moving regions that accurately reflect the shape of moving objects As a result, the effect of noise can be suppressed and detection accuracy can be improved.

請求項２の発明は、移動体が撮像手段から遠い場合には移動体の形状が移動領域に精度良く反映されること、及び人体に対応する移動領域が一般に縦長であることを利用し、領域特徴量検出手段により画像の下端縁に対する移動領域の高さと当該移動領域の縦方向の画素数及び横方向の画素数とを検出して前記移動領域の高さが所定の閾値以上で且つ前記移動領域の横方向の画素数が縦方向の画素数より多い場合に、前記移動領域が人体によるものではないと判定するから、抽出された移動領域の中から人体によるものではない移動領域を容易に除去することができ、その結果、検出精度の向上を図ることができるという効果を奏する。   The invention of claim 2 utilizes the fact that when the moving body is far from the imaging means, the shape of the moving body is accurately reflected in the moving area, and the moving area corresponding to the human body is generally vertically long. The height of the moving area with respect to the lower edge of the image and the number of pixels in the vertical direction and the number of pixels in the horizontal direction of the moving area are detected by the feature amount detection means, and the height of the moving area is equal to or greater than a predetermined threshold value When the number of pixels in the horizontal direction of the region is larger than the number of pixels in the vertical direction, the moving region is determined not to be due to the human body, and thus the moving region that is not attributable to the human body can be easily selected from the extracted moving regions. As a result, the detection accuracy can be improved.

請求項３の発明は、画像の下端縁に対する移動領域の高さと当該移動領域の大きさとを領域特徴量検出手段で検出して前記移動領域の高さを用いて前記移動領域の大きさを実空間上の大きさに補正し、前記実空間上の大きさが所定値以下であれば人体検出手段により前記移動領域は人体によるものではないと判定するから、抽出された移動領域の中から人体によるものではない移動領域を容易に除去することができ、その結果、検出精度の向上を図ることができるという効果を奏する。   According to the third aspect of the present invention, the height of the moving area with respect to the lower edge of the image and the size of the moving area are detected by the area feature amount detection means, and the size of the moving area is realized using the height of the moving area. If the size in the real space is corrected to be a predetermined value or less, the human body detection means determines that the moving area is not a human body, so the human body is extracted from the extracted moving areas. Therefore, it is possible to easily remove a moving region that is not caused by the above-described problem, and as a result, it is possible to improve detection accuracy.

以下に、本発明の人体検出装置の一実施形態について図１〜図５を参照して説明する。   Hereinafter, an embodiment of the human body detection device of the present invention will be described with reference to FIGS.

本実施形態の人体検出装置１は、例えば住宅屋内外間で通話を行うためのドアホンシステムとともに用いられており、このドアホンシステムは、図５に示すように、庭に設置されるカメラ装置Ａと、カメラ装置Ａで得られた画像をモニタする機能を備えるとともに住宅Ｄの屋内に設置されるドアホン親機Ｂと、住宅Ｄの屋外に設置されるドアホン子器Ｃとで構成されている。尚、ドアホン親機Ｂ及びドアホン子器Ｃは、従来周知のものを用いることができるから、本実施形態では、ドアホン親機Ｂ及びドアホン子器Ｃについては説明を省略し、カメラ装置Ａについてのみ説明する。   The human body detection device 1 of the present embodiment is used together with, for example, a door phone system for making a call between indoors and outdoors of a house. This door phone system includes a camera device A installed in a garden, as shown in FIG. It has a function of monitoring an image obtained by the camera device A, and is composed of a doorphone master unit B installed indoors in the house D and a doorphone slave unit C installed outside the house D. Since the door phone master unit B and the door phone slave unit C can be conventionally known ones, the description of the door phone master unit B and the door phone slave unit C is omitted in this embodiment, and only the camera device A is used. explain.

カメラ装置Ａは、例えばセンサ付きカメラ装置であって、図１に示すように、所定領域内の人の存在を検知する人体検出装置１と、報知手段２とを備えている。   The camera device A is, for example, a camera device with a sensor, and includes a human body detection device 1 that detects the presence of a person in a predetermined area and a notification unit 2 as shown in FIG.

ここで、人体検出装置１は、画像処理型の人体検出装置であって、所定領域を撮像する撮像手段１０と、出力データ変換手段１１と、画像処理手段１２と、輪郭画像記憶手段１３と、信号処理手段１４と、伝送手段１５とを備えており、撮像した画像に画像処理を施すことで人体検出を行うとともに、撮像手段１０で撮像した画像をドアホン親機Ｂに伝送するように構成されている。   Here, the human body detection device 1 is an image processing type human body detection device, and includes an imaging means 10 for imaging a predetermined region, an output data conversion means 11, an image processing means 12, an outline image storage means 13, A signal processing unit 14 and a transmission unit 15 are provided, and human body detection is performed by performing image processing on the captured image, and the image captured by the imaging unit 10 is transmitted to the doorphone master unit B. ing.

撮像手段１０は、所定領域を時系列で連続して撮像するＣＣＤ等の固体撮像素子や、ＣＭＯＳイメージセンサ等の撮像素子（図示せず）と、撮像素子から出力される画像をデジタルデータに変換して濃淡画像データ（以下、単に「画像データ」と称する）を生成し、そのＹＵＶ信号を出力するＡ／Ｄ変換器とで構成されている。尚、一般的なＣＭＯＳカメラのようにデバイス自体がデジタル信号を出力するものであれば前記のＡ／Ｄ変換器を設けなくてもよい。このような撮像手段１０は、広範囲に亘って人体の検知が行えるように、図４（ａ）に示すように、住宅の壁面等において人体の頭上に位置する程度の高さ（例えば、地面Ｅから２ｍの高さ）に設置される。   The image pickup means 10 converts a solid-state image pickup device such as a CCD that picks up a predetermined area continuously in time series, an image pickup device such as a CMOS image sensor (not shown), and an image output from the image pickup device into digital data. Thus, grayscale image data (hereinafter simply referred to as “image data”) is generated and an A / D converter that outputs the YUV signal is configured. If the device itself outputs a digital signal like a general CMOS camera, the A / D converter may not be provided. As shown in FIG. 4 (a), such an image pickup means 10 is high enough to be positioned above the human body on a wall surface of a house (for example, the ground E) so that the human body can be detected over a wide range. 2m high).

出力データ変換手段１１は、撮像手段１０から出力されたＹＵＶ信号からなる画像データをＮＴＳＣ（National TV Standards Committee）信号からなる画像データに変換するＹＵＶ／ＮＴＳＣ変換機能を有するものである。   The output data conversion means 11 has a YUV / NTSC conversion function for converting image data composed of YUV signals output from the imaging means 10 into image data composed of NTSC (National TV Standards Committee) signals.

画像処理手段１２は、撮像手段１０により得られた画像情報に基づいて所定領域内の人の検出を行うためのものであって、撮像手段１０で撮像した画像から輪郭を抽出する輪郭抽出手段１２ａと、該輪郭抽出手段１２ａで抽出した輪郭から時間的な変化を元に移動体の輪郭を抽出する移動輪郭抽出手段１２ｂと、該移動輪郭抽出手段１２ｂで抽出した輪郭に外接する矩形状の領域からなる移動領域を抽出する移動領域抽出手段１２ｃと、画像上の移動領域の大きさ及び最下端の位置を検出する領域特徴量検出手段１２ｄと、領域特徴量検出手段１２ｄの各検出出力を元にして人体検出を行う人体検出手段１２ｅとを備えている。   The image processing means 12 is for detecting a person in a predetermined area based on the image information obtained by the imaging means 10, and extracts a contour from the image taken by the imaging means 10. A moving contour extracting means 12b for extracting the contour of the moving body from the contour extracted by the contour extracting means 12a based on temporal changes, and a rectangular area circumscribing the contour extracted by the moving contour extracting means 12b Based on the detection outputs of the moving area extracting means 12c for extracting the moving area consisting of the above, the area feature quantity detecting means 12d for detecting the size of the moving area on the image and the position of the lowermost end, and the area feature quantity detecting means 12d. And a human body detecting means 12e for detecting a human body.

輪郭抽出手段１２ａは、撮像手段１０から得られる濃淡画像データを、一般的に知られたＳＯＢＥＬフィルタ等を使用して微分処理して輪郭（エッジ）の抽出を行い、各画像の輪郭画像を輪郭画像記憶手段１３に一定期間保存するものである。   The contour extracting unit 12a performs differential processing on the grayscale image data obtained from the imaging unit 10 using a generally known SOBEL filter or the like to extract a contour (edge), and contour images of each image are contoured. It is stored in the image storage means 13 for a certain period.

移動輪郭抽出手段１２ｂは、輪郭画像記憶手段１３に保存された時系列の輪郭画像を用いて論理合成を行い、移動体の輪郭（以下、「移動輪郭」と称する）のみを抽出した合成画像を作成するものである。   The moving contour extraction unit 12b performs logical synthesis using the time-series contour images stored in the contour image storage unit 13, and extracts a combined image obtained by extracting only the contour of the moving body (hereinafter referred to as “moving contour”). To create.

移動領域抽出手段１２ｃは、移動輪郭抽出手段１２ｂで作成した合成画像をラベリングして移動体に相当する領域（以下、「移動領域」と称する）を検出するものであり、本実施形態では、移動領域を、移動輪郭に外接する矩形状（四角形）の領域（移動枠）で表わすように構成されている。   The moving area extracting means 12c detects the area corresponding to the moving body (hereinafter referred to as “moving area”) by labeling the composite image created by the moving contour extracting means 12b. The region is configured to be represented by a rectangular (quadrangle) region (moving frame) circumscribing the moving contour.

ところで、移動輪郭は、もとは一つの移動体によるものであっても、外乱等のノイズやその他様々な原因によって、複数に分割されてしまうことがある。このような場合、分割された移動輪郭では、輪郭が途中で途切れて、端点が存在することになる。   By the way, even if the moving contour is originally based on one moving body, it may be divided into a plurality of parts due to noise such as disturbance or various other causes. In such a case, in the divided moving contour, the contour is interrupted in the middle and end points exist.

そこで、移動領域抽出手段１２ｃは、端点を有する移動輪郭を検出した際に、この端点を有する移動輪郭を含む縦長の矩形状の領域内で、別の端点を有する移動輪郭を探索し、前記矩形状の領域内で端点を有する移動輪郭を結合して一の移動領域を形成するように構成されている。   Therefore, when the moving area extracting unit 12c detects a moving outline having an end point, the moving area extracting unit 12c searches for a moving outline having another end point in a vertically long rectangular area including the moving outline having the end point. The moving contours having end points in the shape region are combined to form one moving region.

以下に、移動領域抽出手段１２ｃにおける移動輪郭の結合方法について図２を参照してさらに詳しく説明する。尚、図２では、移動輪郭抽出手段１２ｂで抽出された移動輪郭を元に、移動領域Ｆ１〜Ｆ６が検出されており、ここで、移動領域Ｆ１〜Ｆ４は、一の人体の移動輪郭が複数に分割されてなる端点を有する移動輪郭の移動領域であって、移動領域Ｆ５，Ｆ６は、ノイズによる移動輪郭の移動領域であるとする。   Hereinafter, the moving contour combining method in the moving region extracting unit 12c will be described in more detail with reference to FIG. In FIG. 2, movement areas F1 to F6 are detected based on the movement outline extracted by the movement outline extraction means 12b. Here, the movement areas F1 to F4 include a plurality of movement outlines of one human body. It is assumed that the movement areas F5 and F6 are movement areas of the movement outline due to noise.

移動領域抽出手段１２ｃは、端点を有する移動輪郭の移動領域Ｆ１を検出すると、画像上に、この移動領域Ｆ１を含む縦長の矩形状の領域Ｗを設定し、この領域Ｗ内で、別の端点を有する移動輪郭の探索を行う。図２に示す場合では、領域Ｗ内に、端点を有する移動輪郭の移動領域Ｆ２〜Ｆ４が検出されることになる。   When the moving area extracting unit 12c detects the moving area F1 of the moving contour having the end point, the moving area extracting unit 12c sets a vertically long rectangular area W including the moving area F1 on the image, and within this area W, another end point is set. A moving contour having a search is performed. In the case shown in FIG. 2, moving areas F <b> 2 to F <b> 4 of moving contours having end points are detected in the area W.

このように領域Ｗ内で他の端点を有する移動輪郭の移動領域Ｆ２〜Ｆ４を検出した際には、移動領域抽出手段１２は、移動領域Ｆ１〜Ｆ４に対応する移動輪郭を結合し、これら端点を有する移動輪郭を全て包括するとともに外接する矩形状の領域からなる移動領域Ｆ７を作成するのである。   When the moving areas F2 to F4 of the moving outline having other end points in the area W are detected in this way, the moving area extracting means 12 combines the moving outlines corresponding to the moving areas F1 to F4, and these end points. A moving region F7 is created that includes all moving contours having a rectangular shape and circumscribes the moving contour.

ここで、別の端点を有する移動輪郭を探索する際に縦長の矩形状の領域Ｗを用いるのは、一般に人体の移動領域が縦長の矩形状であるという理由による。   Here, the reason why the vertically long rectangular region W is used when searching for a moving contour having another end point is that the moving region of the human body is generally a vertically long rectangular shape.

以上述べたように本実施形態の移動領域抽出手段１２ｃは、端点を有する輪郭を抽出した際に当該輪郭の端点を含む縦長の矩形状の領域内から別の端点を有する輪郭を探索し、前記矩形状の領域内に存在する端点を有する輪郭を結合することによって移動領域を作成するように構成されている。このように本実施形態の移動領域抽出手段１２ｃでは、別の端点を探索する際に人体の移動領域が一般に縦長の領域であることを利用することによって、端点を有する移動輪郭同士を結合する際にノイズや関係のない移動輪郭等が含まれてしまうことを抑制している。   As described above, the moving region extracting unit 12c of the present embodiment searches for a contour having another end point from a vertically long rectangular region including the end point of the contour when the contour having the end point is extracted, A moving region is created by combining contours having end points existing in a rectangular region. As described above, in the moving area extracting unit 12c of the present embodiment, when searching for another end point, when the moving area of the human body is generally a vertically long area, the moving contours having end points are combined. It is possible to prevent noise and unrelated moving contours from being included in the.

領域特徴量検出手段１２ｄは、輪郭画像記憶手段１３に保存されたエッジ画像と、移動領域抽出手段１２ｃで検出した移動体の移動領域とに基づいて、移動領域内の移動エッジ部分の方向値を抽出してそのエッジ方向値分布を作成し、このエッジ方向値分布を特徴量として出力するように構成されている。   The area feature quantity detection means 12d determines the direction value of the moving edge portion in the movement area based on the edge image stored in the contour image storage means 13 and the movement area of the moving object detected by the movement area extraction means 12c. The edge direction value distribution is created by extraction, and the edge direction value distribution is output as a feature amount.

加えて、領域特徴量検出手段１２ｄは、移動領域毎に、画像の下端縁に対する移動領域の最下端の高さ（例えば、移動領域の最下端の画素の縦座標の値）と、移動領域の縦方向の画素数及び横方向の画素数と、移動領域の大きさ（例えば、移動領域の面積（総画素数））とを移動領域の特徴量として検出するように構成されている。   In addition, the region feature amount detection unit 12d determines, for each moving region, the height of the bottom end of the moving region with respect to the bottom edge of the image (for example, the value of the ordinate of the pixel at the bottom end of the moving region), The number of pixels in the vertical direction and the number of pixels in the horizontal direction, and the size of the moving region (for example, the area of the moving region (total number of pixels)) are detected as feature amounts of the moving region.

人体検出手段１２ｅは、領域特徴量検出手段１２ｄで検出された各特徴量を用いて人体検出を行うためのものであり、第１〜第３の判定過程を有している。   The human body detection unit 12e is for performing human body detection using each feature amount detected by the region feature amount detection unit 12d, and has first to third determination processes.

第１の判定過程は、領域特徴量検出手段１２ｄより画像の下端縁に対する移動領域の最下端の高さと当該移動領域の縦方向の画素数及び横方向の画素数とを取得し、移動領域の最下端の高さが所定の閾値以上で、且つ前記移動領域の横方向の画素数が縦方向の画素数より多い場合、前記移動領域は人体によるものではないと判断する過程である。   In the first determination process, the height of the lowermost edge of the moving area with respect to the lower edge of the image, the number of pixels in the vertical direction and the number of pixels in the horizontal direction of the moving area are acquired from the area feature amount detection unit 12d. When the height of the lowermost end is equal to or greater than a predetermined threshold and the number of pixels in the horizontal direction of the moving area is larger than the number of pixels in the vertical direction, the moving area is determined not to be a human body.

以下、第１の判定過程について図３（ａ）〜（ｃ）を参照して説明する。尚、図３（ａ）では、移動領域抽出手段１２ｃにより移動領域Ｆ８，Ｆ９が検出され、領域特徴量検出手段１２ｄにより、画像の下端縁Ｇに対する移動領域Ｆ８，Ｆ９の最下端の高さ（移動領域Ｆ８，Ｆ９の最下端の画素の縦座標の値）がＶ１，Ｖ２であると検出され、また、各移動領域Ｆ８，Ｆ９の縦方向の長さ（画素数）がｘ１，ｘ２、横方向の長さ（画素数）がｙ１，ｙ２であると検出されているとする。ここで、ｘ１＞ｙ１、ｘ２＜ｙ２であるとする。 Hereinafter, the first determination process will be described with reference to FIGS. In FIG. 3A, the moving regions F8 and F9 are detected by the moving region extracting unit 12c, and the heights of the lowermost ends of the moving regions F8 and F9 with respect to the lower end edge G of the image are detected by the region feature amount detecting unit 12d. It is detected that the ordinate values of the lowermost pixels of the moving areas F8 and F9) are V 1 and V 2 , and the vertical lengths (number of pixels) of the moving areas F8 and F9 are x 1 , It is assumed that x 2 and the length in the horizontal direction (number of pixels) are detected as y 1 and y 2 . Here, it is assumed that x 1 > y 1 and x 2 <y 2 .

第１の判定過程では、最初に、移動領域Ｆ８，Ｆ９の最下端の位置Ｖ１，Ｖ２が、所定の閾値Ｖｔｈ以上であるか否かを判定する。ここで、閾値Ｖｔｈは、移動領域に対応する移動体が、移動体の形状が正確に反映される程度に撮像手段１０より遠い位置に位置しているか否かの判断基準となる値としている。すなわち、撮像手段１０は、上述したように広範囲に亘って人体の検知が行えるように住宅の壁面等において人体の頭上に設置されるため、撮像手段１０に近い移動体は、上から見下ろされた状態で撮像されて、その形状が正確に反映されないことが多いのに対して、撮像手段１０から遠い移動体は、その形状が正確に反映されやすい。 In the first determination process, first, it is determined whether or not the lowermost positions V 1 and V 2 of the movement regions F8 and F9 are equal to or greater than a predetermined threshold value Vth . Here, the threshold value V th is a value that serves as a criterion for determining whether or not the moving object corresponding to the moving region is positioned far from the imaging unit 10 to the extent that the shape of the moving object is accurately reflected. . That is, since the imaging means 10 is installed above the human body on the wall of the house so that the human body can be detected over a wide range as described above, the moving body close to the imaging means 10 is looked down from above. In many cases, the image is captured in a state and the shape is not accurately reflected. On the other hand, the moving object far from the imaging unit 10 is likely to reflect the shape accurately.

ここで、画像上の移動領域の最下端の位置が閾値Ｖｔｈ未満であれば、移動体が撮像手段１０に近く、画像上には移動体の形状が正確に反映されていないとし、第１の判定過程は、移動領域が人体によるものか否かを判定できないとする。   Here, if the position of the lowermost end of the moving area on the image is less than the threshold value Vth, the moving body is close to the imaging means 10, and the shape of the moving body is not accurately reflected on the image. It is assumed that the determination process cannot determine whether or not the moving area is a human body.

一方、画像上の移動領域の最下端の位置が閾値Ｖｔｈ以上であれば、移動体が撮像手段１０から遠く、画像上には移動体の形状が正確に反映されているとして、移動領域の形状の判定を行う。ここで行う移動体の形状の判定は、移動体が人体である可能性があるかどうかを判定するものであり、移動領域の縦方向の長さが、横方向の長さよりも長いか否かによって（本実施形態では、移動領域の縦方向の画素数が横方向の画素数よりも多いか否かによって）行われる。つまり、この移動領域の形状の判定では、車両等の移動領域が横長矩形状の移動領域（縦方向の画素数が横方向の画素数よりも少ない移動領域）で表されるのに対して、一般に人体の移動領域が縦長の矩形状の移動領域（縦方向の画素数が横方向の画素数よりも多い移動領域）で表されることを利用している。 On the other hand, if the position of the lowermost end of the moving area on the image is equal to or greater than the threshold value Vth, it is assumed that the moving body is far from the imaging means 10 and the shape of the moving body is accurately reflected on the image. Determine the shape. The determination of the shape of the moving body here is to determine whether or not the moving body may be a human body, and whether or not the vertical length of the moving area is longer than the horizontal length. (In this embodiment, depending on whether the number of pixels in the vertical direction of the moving region is larger than the number of pixels in the horizontal direction). In other words, in the determination of the shape of the moving area, the moving area of the vehicle or the like is represented by a horizontally long moving area (a moving area in which the number of pixels in the vertical direction is smaller than the number of pixels in the horizontal direction), In general, the fact that the moving area of the human body is represented by a vertically long rectangular moving area (the moving area in which the number of pixels in the vertical direction is larger than the number of pixels in the horizontal direction) is used.

例えば、移動領域Ｆ８，Ｆ９の位置Ｖ１，Ｖ２は、いずれも閾値Ｖｔｈ以上であるから、形状の判定が行われ、ここで移動領域Ｆ８は、縦方向の長さｘ１＞横方向の長さｙ１であるから、移動領域Ｆ８は、人体によるものである可能性があると判定される一方、移動領域Ｆ９は、縦方向の長さｘ２＜横方向の長さｙ２であるから、移動領域Ｆ９は、人体によるものではないと判定される。 For example, since the positions V 1 and V 2 of the movement areas F8 and F9 are both equal to or higher than the threshold value V th , the shape is determined. Here, the movement area F8 has a length x 1 in the vertical direction> a horizontal direction. since the the length y 1, the moving area F8, while it is determined that may be due to a human body, the moving area F9 is the longitudinal length x 2 <length in the transverse direction y 2 Therefore, it is determined that the movement area F9 is not caused by a human body.

つまり、上述した第１の判定過程は、移動領域抽出手段１２ｃにより検出された複数の移動領域の中から、人体によるものではない移動領域を除去する過程である。   That is, the first determination process described above is a process of removing a moving area that is not caused by a human body from a plurality of moving areas detected by the moving area extracting unit 12c.

第２の判定過程は、領域特徴量検出手段１２ｄより画像の下端縁に対する移動領域の最下端の高さと当該移動領域の大きさとを取得し、移動領域の最下端の高さを用いて移動領域の大きさを実空間上の大きさ（すなわち、移動領域に対応する移動体の実際の大きさに相当する値）に補正し、実空間上の大きさが所定値以下である場合は、移動領域は人体によるものではないと判定する過程である。   In the second determination process, the height of the lowermost end of the moving area with respect to the lower end edge of the image and the size of the moving area are acquired from the area feature amount detecting unit 12d, and the moving area is obtained using the height of the lowermost end of the moving area. Is corrected to the size in real space (ie, the value corresponding to the actual size of the moving object corresponding to the moving area), The process of determining that the region is not due to the human body.

以下、第２の判定過程について図４（ａ），（ｂ）を参照して説明する。尚、以下の説明では、図４（ａ）に示すように、撮像手段１０の撮像領域内に、移動体Ｍ１，Ｍ２が存在するとし、移動領域抽出手段１２ｃにより、図４（ｂ）に示すように、移動体Ｍ１，Ｍ２にそれぞれ対応する移動領域Ｆ１０，Ｆ１１が検出された移動領域画像が得られているとする。また尚、領域特徴量検出手段１２ｄにより各移動領域Ｆ１０，Ｆ１１の大きさ及び最下端の位置が検出されており、移動領域Ｆ１０の大きさ（総画素数）がｍ１、移動領域Ｆ１０の最下端の位置がＶ３、移動領域Ｆ１１の大きさ（総画素数）がｍ２、移動領域Ｆ１１の最下端の位置がＶ４であるとする。 Hereinafter, the second determination process will be described with reference to FIGS. In the following description, as shown in FIG. 4A, it is assumed that the moving bodies M1 and M2 exist in the imaging area of the imaging means 10, and the moving area extraction means 12c shows that the moving bodies M1 and M2 are shown in FIG. As described above, it is assumed that moving area images in which moving areas F10 and F11 corresponding to the moving bodies M1 and M2 are detected are obtained. In addition, the size and the lowermost position of each of the moving regions F10 and F11 are detected by the region feature amount detection means 12d, the size (total number of pixels) of the moving region F10 is m 1 , position of the lower end V 3, the size of the moving region F11 (the total number of pixels) m 2, the position of the lowermost end of the moving region F11 is assumed to be V 4.

第２の判定過程では、まず、図４（ａ）に示すように、実空間上における移動領域Ｆ１０，Ｆ１１の最下端の位置、すなわち移動体Ｍ１，Ｍ２と地面Ｅとの接地点Ｒ１，Ｒ２と、撮像手段１０とを結ぶ直線Ｐ１，Ｐ２と水平方向との間の角度θ１，θ２が算出される。このような角度θ１，θ２は、撮像手段１０の撮像方向の俯角θと、画像上の移動領域Ｆ１０，Ｆ１１の最下端の位置Ｖ３，Ｖ４とを用いて算出される。尚、俯角θは、ロータリエンコーダ等の俯角検出手段を用いて得るようにしてもよいし、実際に角度を計測することによって得るようにしてもよい。 In the second determination process, first, as shown in FIG. 4A, the lowest positions of the moving regions F10 and F11 in the real space, that is, the contact points R 1 , R 1 between the moving bodies M1 and M2 and the ground E, Angles θ 1 and θ 2 between the straight lines P 1 and P 2 connecting R 2 and the imaging unit 10 and the horizontal direction are calculated. Such angles θ 1 and θ 2 are calculated using the depression angle θ in the imaging direction of the imaging means 10 and the positions V 3 and V 4 of the lowermost ends of the moving regions F10 and F11 on the image. The depression angle θ may be obtained by using depression angle detection means such as a rotary encoder, or may be obtained by actually measuring the angle.

ここで、実空間上における移動領域の最下端の位置と、撮像手段１０とを結ぶ直線と水平方向との間の角度は、画像上の任意の画素の縦方向の座標をＶ、画像上の下端縁の画素の縦方向の座標を０、上端縁の画素の縦方向の座標を２Ｖｃとすれば、θ＋φ＊（（Ｖｃ−Ｖ）／２Ｖｃ）で与えられる（但し、φは撮像手段１０の画角）。   Here, the angle between the position of the lowest end of the moving area in the real space and the straight line connecting the imaging means 10 and the horizontal direction is determined by V representing the vertical coordinate of an arbitrary pixel on the image and V on the image. If the vertical coordinate of the pixel at the lower edge is 0 and the vertical coordinate of the pixel at the upper edge is 2Vc, then θ + φ * ((Vc−V) / 2Vc) (where φ is the value of the imaging means 10) Angle of view).

これにより実空間上における移動領域Ｆ１０の最下端の位置（移動体Ｍ１と地面Ｅとの接地点）Ｒ１と、撮像手段１０とを結ぶ直線Ｐ１と水平方向との間の角度θ１、実空間上における移動領域Ｆ１１の最下端の位置（移動体Ｍ２と地面Ｅとの接地点）Ｒ２と、撮像手段１０とを結ぶ直線Ｐ２と水平方向との間の角度θ２が求められる。 Thus the R 1 (ground point of the moving object M1 and the ground E) uppermost position of the lower end of the moving region F10 in the real space, the angle theta 1 between the straight line P 1 connecting the imaging unit 10 in the horizontal direction, and R 2 (point of contact between the moving body M2 and the ground E) uppermost position of the lower end of the moving region F11 in the real space, the angle theta 2 between the straight line P 2 connecting the imaging unit 10 in the horizontal direction is determined .

次に、上述したように算出した角度θ１，θ２と、撮像手段１０の設置位置の地面Ｅからの高さＨとを用いて三角測距を行うことで、実空間上の移動領域Ｆ１０，Ｆ１１の最下端の位置Ｒ１，Ｒ２と撮像手段１０との水平面内における距離Ｌ１，Ｌ２が算出される。このような距離Ｌ１，Ｌ２は、角度θ１，θ２の正接が、それぞれＨ／Ｌ１、Ｈ／Ｌ２であることを利用して算出することができる。尚、本実施形態では、距離Ｌ１，Ｌ２を求めているが、このような距離Ｌ１，Ｌ２の代わりに直線Ｐ１，Ｐ２の長さを求めるようにしてもよく、直線Ｐ１，Ｐ２の長さは、角度θ１，θ２の正弦を利用して求めることができる。 Next, by performing triangulation using the angles θ 1 and θ 2 calculated as described above and the height H of the installation position of the imaging unit 10 from the ground E, the moving area F10 in the real space. , F11, distances L 1 and L 2 in the horizontal plane between the lowermost positions R 1 and R 2 of the image pickup unit 10 and the imaging unit 10 are calculated. Such distances L 1 and L 2 can be calculated using the fact that the tangents of the angles θ 1 and θ 2 are H / L 1 and H / L 2 , respectively. In this embodiment, the distances L 1 and L 2 are obtained. However, instead of such distances L 1 and L 2 , the lengths of the straight lines P 1 and P 2 may be obtained. The lengths of 1 and P 2 can be obtained by using the sine of the angles θ 1 and θ 2 .

この後に、上述したように算出した距離Ｌ１，Ｌ２と、画像上の移動領域Ｆ１０，Ｆ１１の大きさｍ１，ｍ２を元に、実空間上の移動領域Ｆ１０，Ｆ１１の大きさ（すなわち、移動領域Ｆ１０，Ｆ１１にそれぞれ対応する移動体Ｍ１，Ｍ２の実際の大きさに相当する値）が算出される。ここで、実空間上の移動領域Ｆ１０，Ｆ１１の大きさを求める際には、例えば、撮像手段１０からの距離と実空間上における画素１つの大きさとの関係を示すデータベース等を用いている。 Thereafter, based on the distances L 1 and L 2 calculated as described above and the sizes m 1 and m 2 of the moving regions F10 and F11 on the image, the sizes of the moving regions F10 and F11 in the real space ( That is, values corresponding to the actual sizes of the moving bodies M1 and M2 corresponding to the moving areas F10 and F11, respectively, are calculated. Here, when obtaining the sizes of the moving areas F10 and F11 in the real space, for example, a database or the like indicating the relationship between the distance from the imaging means 10 and the size of one pixel in the real space is used.

最後に、算出した実空間上の移動領域Ｆ１０，Ｆ１１の大きさに基づいて、各移動領域Ｆ１０，Ｆ１１が人体によるものである可能性があるか否かが判定される。この判定は、移動領域Ｆ１０，Ｆ１１の大きさが、所定の範囲内に収まっているか否かによって行われる。   Finally, based on the calculated size of the moving areas F10 and F11 in the real space, it is determined whether or not each moving area F10 and F11 is possibly caused by a human body. This determination is performed based on whether or not the sizes of the movement areas F10 and F11 are within a predetermined range.

すなわち、実際の人体の大きさを判断基準として用い、実空間上の移動領域Ｆ１０，Ｆ１１の大きさが、人体の大きさよりも小さい、又は大きいものであれば、移動領域Ｆ１０，Ｆ１１は人体によるものではないと判断し、所定の範囲内に収まるような大きさであれば、移動領域Ｆ１０，Ｆ１１は人体によるものである可能性があると判定する。   That is, if the size of the moving area F10, F11 in the real space is smaller or larger than the size of the human body using the actual size of the human body as a criterion, the moving areas F10, F11 are determined by the human body. If it is determined that the size is within a predetermined range, it is determined that there is a possibility that the moving areas F10 and F11 are caused by a human body.

尚、判定基準としては、人体の身長や、横幅等、様々なものを用いるようにしてもよく、状況に応じて好適なものを採用すればよい。また尚、各移動領域Ｆ１０，Ｆ１１が人体によるものである可能性があるか否かについての判定は、上述したように移動領域Ｆ１０，Ｆ１１の大きさが、所定の範囲内に収まっているか否かによってではなく、移動領域Ｆ１０，Ｆ１１の大きさが所定の閾値以上であるか否かによって行うようにしてもよい。   Note that various criteria such as the height and width of the human body may be used as the determination criteria, and a suitable one may be adopted depending on the situation. In addition, as described above, whether or not each of the moving areas F10 and F11 is likely to be due to a human body is determined as to whether or not the size of the moving areas F10 and F11 is within a predetermined range. Instead of this, the determination may be made depending on whether or not the size of the moving regions F10 and F11 is equal to or greater than a predetermined threshold.

つまり、上述した第２の判定過程は、第１の判定過程と同様に、移動領域抽出手段１２ｃにより検出された複数の移動領域の中から、人体によるものではない移動領域を除去する過程である。   That is, the second determination process described above is a process of removing a moving area that is not caused by a human body from a plurality of moving areas detected by the moving area extraction unit 12c, as in the first determination process. .

第３の判定過程は、第１及び第２の判定過程により除去されなかった移動領域について、その移動領域が人体によるものであるか否かの判定を行う過程であって、領域特徴量検出手段１２ｄで検出したエッジ方向値分布を移動領域のエッジ方向の特徴量として、このエッジ方向の特徴量に基づいて領域移動が外乱によるものか、人体によるものかを判定するようになっている。   The third determination process is a process for determining whether or not the moving area is removed by the human body with respect to the moving area that has not been removed by the first and second determination processes. The edge direction value distribution detected in 12d is used as the feature amount in the edge direction of the moving region, and based on the feature amount in the edge direction, it is determined whether the region movement is due to disturbance or due to the human body.

さらに詳しく説明すると、第３の判定過程は、人体の輪郭（エッジ）には直線部分より曲線部分が多く且つ複雑な形状であるためにそのエッジ方向があらゆる方向に分布しているのに対して、構造物の影等のエッジは直線的な成分が多く、エッジの分布が偏った分布になりやすいことを利用して人体検出を行う過程であり、エッジ方向値分布が偏りなく均等に分布していれば、人体であると判断するようになっている。尚、移動領域が人体を表わしている否かを判定するために、エッジ方向値分布をテーブルに格納し、人体の動きによるエッジ方向値分布テーブルと互いの分布を比較するようにしてもよく、その他の様々な方法を用いることができる。   More specifically, in the third determination process, the contour (edge) of the human body has more curved parts than the straight parts and has a complicated shape, so the edge directions are distributed in all directions. This is the process of human detection using the fact that edges of structures such as shadows have many linear components and the distribution of edges tends to be biased, and the edge direction value distribution is evenly distributed without bias. If so, it is judged to be a human body. In order to determine whether or not the moving region represents a human body, the edge direction value distribution may be stored in a table, and the edge direction value distribution table based on the movement of the human body may be compared with each other's distribution. Various other methods can be used.

そして、人体検出手段１２ｅは、第３の判定過程により人体を検出した際には、人体検出信号を信号処理手段１４へ出力するように構成されている。   The human body detection unit 12e is configured to output a human body detection signal to the signal processing unit 14 when a human body is detected in the third determination process.

輪郭画像記憶手段１３は、例えば、ＲＡＭ等の記憶装置であって、輪郭抽出手段１４ａで抽出されたエッジ画像を一定期間保存するために用いられる。   The contour image storage unit 13 is, for example, a storage device such as a RAM, and is used to store the edge image extracted by the contour extraction unit 14a for a certain period.

信号処理手段１４は、ＣＰＵ等で構成されるもので、人体検出装置１の各手段の動作を制御する機能をソフトウェア等により実現しており、この信号処理手段１４には、報知手段２が接続されている。そして、この信号処理手段１４では、画像処理手段１２の人体検出信号を受け取った際（つまりは、人の存在を検出した際）に、伝送手段１５に伝送開始信号を出力するとともに、報知手段２に報知開始信号を出力するように構成されている。   The signal processing means 14 is constituted by a CPU or the like, and realizes a function for controlling the operation of each means of the human body detection device 1 by software or the like, and the notification means 2 is connected to the signal processing means 14. Has been. The signal processing unit 14 outputs a transmission start signal to the transmission unit 15 when receiving the human body detection signal of the image processing unit 12 (that is, when the presence of a person is detected), and the notification unit 2. Is configured to output a notification start signal.

また、信号処理手段１４は、人体検出信号を受け取ってから所定時間が経過した後に、伝送手段１５に伝送終了信号を出力するように構成されている。さらに、信号処理手段１４は、人体検出信号を受け取ってから所定時間が経過した後に、報知手段２に報知終了信号を出力するように構成されている。尚、伝送終了信号及び報知終了信号を出力するタイミングは、使用者が自由に設定できるようにしてもよい。   Further, the signal processing means 14 is configured to output a transmission end signal to the transmission means 15 after a predetermined time has elapsed after receiving the human body detection signal. Further, the signal processing unit 14 is configured to output a notification end signal to the notification unit 2 after a predetermined time has elapsed since the human body detection signal was received. The timing for outputting the transmission end signal and the notification end signal may be set freely by the user.

伝送手段１５は、出力データ変換手段１１から出力されるＮＴＳＣ信号を伝送用の信号に変調してドアホン親機Ｂへ出力するものであり、信号処理手段１４から伝送開始信号を受け取った際に伝送を開始し、伝送終了信号を受け取った際に伝送を終了するように構成されている。尚、伝送手段１５からドアホン親機Ｂへの画像データの伝送のタイミングは、撮像手段１０の撮像のタイミングと同期させている。   The transmission means 15 modulates the NTSC signal output from the output data conversion means 11 into a signal for transmission and outputs it to the intercom base unit B. When the transmission start signal is received from the signal processing means 14, it is transmitted. The transmission is terminated when a transmission end signal is received. Note that the transmission timing of the image data from the transmission unit 15 to the intercom base unit B is synchronized with the imaging timing of the imaging unit 10.

報知手段２は、侵入者に対して威嚇用の報知を行うためのものであって、視覚的な威嚇に用いられるライト２ａや、聴覚的な威嚇に用いられる電気音響変換器（ブザーやスピーカ）等を備えており、信号処理手段１４から報知開始信号を受け取ってから報知終了信号を受け取るまでの間、ライト２ａを点灯したり、電気音響変換器から音声を出力したりするように構成されている。   The notification means 2 is for intimidating notification to an intruder, and includes a light 2a used for visual threat and an electroacoustic transducer (buzzer or speaker) used for auditory threat. Etc., and is configured to turn on the light 2a or to output sound from the electroacoustic transducer after receiving the notification start signal from the signal processing means 14 until receiving the notification end signal. Yes.

以上によりカメラ装置Ａは構成されており、以下に、カメラ装置Ａの動作について説明する。カメラ装置Ａは、起動している間は、常時、撮像手段１０により所定領域を撮像しており、撮像手段１０により得られた画像データは、画像処理手段１２に送られる一方、出力データ変換手段１１を経由して伝送手段１５に送られる。画像処理手段１２に送られた画像には、上述したように画像処理手段１２による解析処理が為され、人を検出した際には、人体検出信号が画像処理手段１２から信号処理手段１４へ出力される。人体検出信号を受け取った信号処理手段１４は、伝送手段１５に伝送開始信号を出力するとともに、報知手段２に報知開始信号を出力する。これにより報知手段２では、侵入者に対する威嚇用の報知が行われる。この報知は、例えば、信号処理手段１４から報知終了信号を受け取るまで継続される。一方、伝送開始信号を受け取った伝送手段１５では、出力データ変換手段１１によりＹＵＶ信号からＮＴＳＣ信号に変換された画像データが伝送用に変調されて、ドアホン親機Ｂへ順次伝送される。この伝送は、信号処理手段１４からは伝送終了信号が出力されるまで継続される。   The camera apparatus A is configured as described above, and the operation of the camera apparatus A will be described below. While the camera apparatus A is activated, the imaging unit 10 always captures a predetermined area, and the image data obtained by the imaging unit 10 is sent to the image processing unit 12, while the output data conversion unit 11 to the transmission means 15. The image sent to the image processing means 12 is analyzed by the image processing means 12 as described above, and when a person is detected, a human body detection signal is output from the image processing means 12 to the signal processing means 14. Is done. The signal processing unit 14 that has received the human body detection signal outputs a transmission start signal to the transmission unit 15 and outputs a notification start signal to the notification unit 2. As a result, informing means 2 provides intimidating notification to the intruder. This notification is continued until, for example, a notification end signal is received from the signal processing means 14. On the other hand, in the transmission means 15 that has received the transmission start signal, the image data converted from the YUV signal to the NTSC signal by the output data conversion means 11 is modulated for transmission and sequentially transmitted to the doorphone master unit B. This transmission is continued until a transmission end signal is output from the signal processing means 14.

以上述べた本実施形態の人体検出装置１によれば、人体の移動領域が一般に縦長の領域であることを利用し、移動領域抽出手段１２ｃでは端点を有する輪郭が抽出された際に、当該輪郭の端点を含む縦長の矩形状の領域内から、別の端点を有する輪郭を探索し、端点を有する輪郭を結合することで移動領域の検出を行うので、端点を有する移動輪郭同士を結合する際に、従来のように縦横の長さの比が等しい正方形状の領域内から別の端点を有する輪郭を探索するような場合に比べてノイズや関係のない移動輪郭等を含んでしまうことを抑制でき、これにより移動体の形状が高精度に反映された移動領域の検出が行え、結果として、ノイズの影響を抑制して検出精度の向上を図ることができるという効果を奏する。   According to the human body detection device 1 of the present embodiment described above, when the moving region of the human body is generally a vertically long region, the moving region extracting unit 12c extracts the contour having the end points. When searching for a contour having another end point from within a vertically long rectangular area including the end point of the object, and detecting the moving region by combining the contours having the end points, when connecting moving contours having end points In addition, compared to the conventional case where a contour having another end point is searched from within a square region having the same ratio of length to width, it is possible to suppress the inclusion of a moving contour or the like that has no relation to noise. Thus, it is possible to detect a moving region in which the shape of the moving body is reflected with high accuracy, and as a result, it is possible to improve the detection accuracy by suppressing the influence of noise.

また、第１の判定過程では、移動体が撮像手段から遠い場合には移動体の形状が移動領域に精度良く反映されること、及び人体に対応する移動領域が一般に縦長であることを利用し、領域特徴量検出手段１２ｄにより画像の下端縁に対する移動領域の高さと当該移動領域の縦方向の画素数及び横方向の画素数とを検出して、人体検出手段１２ｅにより前記移動領域の高さが所定の閾値以上で、且つ前記移動領域の横方向の画素数が縦方向の画素数より多い場合、前記移動領域は人体によるものではないと判定しているから、抽出された移動領域の中から人体によるものではない移動領域を容易に除去することができ、その結果、検出精度の向上を図ることができるという効果を奏する。特に、第１の判定過程では移動領域の形状に基づいて移動領域が人体によるものかどうかを判定しているから、例えば人と犬等のエッジ方向値分布では区別できないような移動領域（すなわち第３の判定過程では人かどうかを区別できないような移動領域）であっても人体によるものか否かの判定が行え、その結果、第３の判定過程を行う際には、第３の判定過程では人かどうかの区別が困難な移動領域が除去されるため、検出精度のさらなる向上が図れるという効果を奏する。また、第１の判定過程を行うことによって、第３の判定過程において人体であるかどうかを判定する対象となる移動領域の数を減らすことができるようになるから、第３の判定過程で行う処理に必要な時間を短縮できる場合が増えて、人体検出がより迅速に行えるようになるという効果を奏する。   Further, in the first determination process, when the moving body is far from the imaging means, the shape of the moving body is accurately reflected in the moving area, and the moving area corresponding to the human body is generally vertically long. The height of the moving area with respect to the lower edge of the image, the number of pixels in the vertical direction and the number of pixels in the horizontal direction of the moving area are detected by the area feature amount detecting means 12d, and the height of the moving area is detected by the human body detecting means 12e. Is greater than or equal to a predetermined threshold and the number of pixels in the horizontal direction of the moving area is greater than the number of pixels in the vertical direction, it is determined that the moving area is not due to a human body. Therefore, it is possible to easily remove the moving area that is not caused by the human body, and as a result, it is possible to improve the detection accuracy. In particular, in the first determination process, it is determined whether or not the moving area is based on the human body based on the shape of the moving area. 3), it is possible to determine whether or not it is a human body even if it is a moving region in which it is not possible to distinguish whether or not a person is present. As a result, when performing the third determination process, the third determination process Then, since the moving region in which it is difficult to distinguish whether the person is a person is removed, the detection accuracy can be further improved. In addition, by performing the first determination process, it is possible to reduce the number of moving areas to be determined as to whether or not the body is a human body in the third determination process. The number of cases where the time required for processing can be shortened increases, and the human body can be detected more quickly.

加えて、第２の判定過程では、画像の下端縁に対する移動領域の高さと、画像上の移動領域の大きさとを領域特徴量検出手段１２ｄで検出して、前記移動領域の高さを用いて前記移動領域の大きさを実空間上の大きさに補正して、前記実空間上の大きさが所定値以下であれば、人体検出手段１２ｅにより前記移動領域は人体によるものではないと判定しているから、抽出された移動領域の中から人体によるものではない移動領域を容易に除去することができ、その結果、検出精度の向上を図ることができるという効果を奏する。特に、第２の判定過程では移動領域の大きさに基づいて移動領域が人体によるものかどうかを判定しているから、例えば人と犬等のエッジ方向値分布では区別できないような移動領域（すなわち第３の判定過程では人かどうかを区別できないような移動領域）であっても人体によるものか否かの判定が行え、その結果、第３の判定過程を行う際には、第３の判定過程では人かどうかの区別が困難な移動領域が除去されるため、検出精度のさらなる向上が図れるという効果を奏する。また、第２の判定過程を行うことによって、第３の判定過程において人体であるかどうかを判定する対象となる移動領域の数を減らすことができるようになるから、第３の判定過程で行う処理に必要な時間を短縮できる場合が増えて、人体検出がより迅速に行えるようになるという効果を奏する。   In addition, in the second determination process, the height of the moving area with respect to the lower edge of the image and the size of the moving area on the image are detected by the area feature amount detection means 12d, and the height of the moving area is used. If the size of the moving area is corrected to a size in the real space and the size in the real space is equal to or less than a predetermined value, the human body detecting unit 12e determines that the moving area is not a human body. Therefore, it is possible to easily remove a moving area that is not caused by a human body from the extracted moving areas, and as a result, it is possible to improve detection accuracy. In particular, in the second determination process, it is determined whether or not the moving region is based on the human body based on the size of the moving region. Even in the third determination process, it is possible to determine whether or not it is due to a human body even if it is a moving region in which it is not possible to distinguish whether a person or not. As a result, when performing the third determination process, the third determination In the process, since a moving region in which it is difficult to distinguish whether the person is a person is removed, the detection accuracy can be further improved. In addition, by performing the second determination process, it is possible to reduce the number of moving areas to be determined as to whether or not the human body is in the third determination process. The number of cases where the time required for processing can be shortened increases, and the human body can be detected more quickly.

尚、本実施形態では、領域特徴量検出手段１２ｄにおいて、画像の下端縁に対する移動領域の最下端の高さを検出するようにしているが、この他、画像の下端縁に対する移動領域の重心位置の高さを検出するようにしてもよく、要は画像の下端縁に対する移動領域の位置を判別できるような値であればよい。   In the present embodiment, the region feature amount detection unit 12d detects the height of the lowermost end of the moving area with respect to the lower end edge of the image. The height of the image may be detected. In short, any value that can determine the position of the moving region with respect to the lower edge of the image may be used.

本発明の人体検出装置のブロック構成示す説明図である。It is explanatory drawing which shows the block configuration of the human body detection apparatus of this invention. 本発明の人体検出装置の移動領域抽出手段の動作説明図である。It is operation | movement explanatory drawing of the movement area extraction means of the human body detection apparatus of this invention. （ａ）は、撮像手段により得られる画像の一例を示す概略説明図であり、（ｂ）は、人体の縦横の画素数を示す説明図であり、（ｃ）は、車両の縦横の画素数を示す説明図である。(A) is schematic explanatory drawing which shows an example of the image obtained by an imaging means, (b) is explanatory drawing which shows the vertical and horizontal pixel number of a human body, (c) is the vertical and horizontal pixel number of a vehicle. It is explanatory drawing which shows. （ａ）は、本発明の人体検出装置の設置状況を示す概略説明図であり、（ｂ）は、人体検出装置の撮像手段により得られる画像の一例を示す概略説明図である。(A) is a schematic explanatory drawing which shows the installation condition of the human body detection apparatus of this invention, (b) is a schematic explanatory drawing which shows an example of the image obtained by the imaging means of a human body detection apparatus. 本発明の人体検出装置の設置状況を示す概略説明図である。It is a schematic explanatory drawing which shows the installation condition of the human body detection apparatus of this invention. 従来の人体検出装置の移動領域抽出手段の動作説明図である。It is operation | movement explanatory drawing of the movement area extraction means of the conventional human body detection apparatus.

符号の説明Explanation of symbols

１ 人体検出装置
１０ 撮像手段
１２ａ 輪郭抽出手段
１２ｂ 移動輪郭抽出手段
１２ｃ 移動領域抽出手段
１２ｄ 領域特徴量検出手段
１２ｅ 人体検出手段 DESCRIPTION OF SYMBOLS 1 Human body detection apparatus 10 Imaging means 12a Outline extraction means 12b Moving outline extraction means 12c Moving area extraction means 12d Area feature-value detection means 12e Human body detection means

Claims (3)

所定領域を撮像する撮像手段と、撮像手段で撮像した画像から輪郭を抽出する輪郭抽出手段と、該輪郭抽出手段で抽出した輪郭から移動体の輪郭を抽出する移動輪郭抽出手段と、該移動輪郭抽出手段で抽出した輪郭に外接する矩形状の領域からなる移動領域を検出する移動領域抽出手段と、該移動領域抽出手段で検出した移動体の移動領域に基づいて移動領域内の移動エッジ部分の方向値を抽出してそのエッジ方向値分布を作成する領域特徴量検出手段と、該領域特徴量検出手段より得られるエッジ方向値分布を元に人体検出を行う人体検出手段とを備え、移動領域抽出手段は、端点を有する移動輪郭が抽出された際に、当該輪郭の端点を含む縦長の矩形状の領域内から別の端点を有する輪郭を探索し、前記矩形状の領域内で端点を有する輪郭を結合して移動領域を形成するように構成されていることを特徴とする人体検出装置。   Imaging means for imaging a predetermined area, contour extraction means for extracting a contour from an image captured by the imaging means, moving contour extraction means for extracting the contour of a moving object from the contour extracted by the contour extraction means, and the moving contour A moving area extracting means for detecting a moving area consisting of a rectangular area circumscribing the contour extracted by the extracting means; and a moving edge portion in the moving area based on the moving area of the moving object detected by the moving area extracting means. An area feature quantity detection means for extracting a direction value and creating an edge direction value distribution thereof, and a human body detection means for detecting a human body based on the edge direction value distribution obtained from the area feature quantity detection means. When the moving contour having the end point is extracted, the extracting unit searches for a contour having another end point from the vertically long rectangular region including the end point of the contour, and has the end point in the rectangular region. ring Human body detection apparatus characterized by binding to and is configured to form a moving region. 領域特徴量検出手段は、画像の下端縁に対する移動領域の高さと当該移動領域の縦方向の画素数及び横方向の画素数とを検出するように構成され、人体検出手段は、前記移動領域の高さが所定の閾値以上で且つ前記移動領域の横方向の画素数が縦方向の画素数より多い場合、前記移動領域は人体によるものではないと判定するように構成されていることを特徴とする請求項１記載の人体検出装置。   The area feature amount detecting means is configured to detect the height of the moving area with respect to the lower edge of the image and the number of pixels in the vertical direction and the horizontal direction of the moving area, and the human body detecting means is configured to detect the moving area. When the height is equal to or greater than a predetermined threshold and the number of pixels in the horizontal direction of the moving area is greater than the number of pixels in the vertical direction, the moving area is determined not to be a human body. The human body detection device according to claim 1. 領域特徴量検出手段は、画像の下端縁に対する移動領域の高さと当該移動領域の大きさとを検出するように構成され、人体検出手段は、前記領域特徴量検出手段より得られた前記移動領域の高さを用いて前記移動領域の大きさを実空間上の大きさに補正し、前記実空間上の大きさが所定値以下である場合は、前記移動領域は人体によるものではないと判定するように構成されていることを特徴とする請求項１又は２記載の人体検出装置。   The area feature quantity detection means is configured to detect the height of the movement area with respect to the lower edge of the image and the size of the movement area, and the human body detection means is configured to detect the movement area obtained by the area feature quantity detection means. The height of the moving area is corrected to a size in real space using height, and if the size in the real space is equal to or less than a predetermined value, it is determined that the moving area is not due to a human body. The human body detection device according to claim 1, wherein the human body detection device is configured as described above.
JP2006278972A 2006-10-12 2006-10-12 Human body detection device Expired - Fee Related JP4760655B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006278972A JP4760655B2 (en) 2006-10-12 2006-10-12 Human body detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006278972A JP4760655B2 (en) 2006-10-12 2006-10-12 Human body detection device

Publications (2)

Publication Number Publication Date
JP2008097359A true JP2008097359A (en) 2008-04-24
JP4760655B2 JP4760655B2 (en) 2011-08-31

Family

ID=39380131

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006278972A Expired - Fee Related JP4760655B2 (en) 2006-10-12 2006-10-12 Human body detection device

Country Status (1)

Country Link
JP (1) JP4760655B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010204860A (en) * 2009-03-02 2010-09-16 Hitachi Ltd Video-monitoring system
JP2012174223A (en) * 2011-02-24 2012-09-10 Nippon Steel Corp Person monitoring device, person monitoring method, and computer program
CN102906788A (en) * 2010-05-21 2013-01-30 松下电器产业株式会社 Traffic line creation device and traffic line creation method
US9965688B2 (en) 2016-01-14 2018-05-08 Canon Kabushiki Kaisha Display apparatus, display method, and storage medium
CN115451559A (en) * 2022-09-26 2022-12-09 宁波奥克斯电气股份有限公司 Air conditioner, control method and control device thereof, and readable storage medium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03184028A (en) * 1989-12-14 1991-08-12 Konica Corp Still video camera
JPH0950585A (en) * 1995-08-07 1997-02-18 Hitachi Ltd Intruder monitoring device
JP2002312769A (en) * 2001-04-16 2002-10-25 Matsushita Electric Ind Co Ltd Monitoring device and parameter setting method therefor
JP2004280148A (en) * 2003-03-12 2004-10-07 Nippon Telegr & Teleph Corp <Ntt> Method, apparatus and program for color model construction
JP2005115932A (en) * 2003-09-16 2005-04-28 Matsushita Electric Works Ltd Human body sensing device using image
JP2006101384A (en) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd Human figure detecting apparatus and method
JP2006172023A (en) * 2004-12-14 2006-06-29 Matsushita Electric Works Ltd Human body detection device
JP2006333146A (en) * 2005-05-26 2006-12-07 Matsushita Electric Works Ltd Human body detector

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03184028A (en) * 1989-12-14 1991-08-12 Konica Corp Still video camera
JPH0950585A (en) * 1995-08-07 1997-02-18 Hitachi Ltd Intruder monitoring device
JP2002312769A (en) * 2001-04-16 2002-10-25 Matsushita Electric Ind Co Ltd Monitoring device and parameter setting method therefor
JP2004280148A (en) * 2003-03-12 2004-10-07 Nippon Telegr & Teleph Corp <Ntt> Method, apparatus and program for color model construction
JP2005115932A (en) * 2003-09-16 2005-04-28 Matsushita Electric Works Ltd Human body sensing device using image
JP2006101384A (en) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd Human figure detecting apparatus and method
JP2006172023A (en) * 2004-12-14 2006-06-29 Matsushita Electric Works Ltd Human body detection device
JP2006333146A (en) * 2005-05-26 2006-12-07 Matsushita Electric Works Ltd Human body detector

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010204860A (en) * 2009-03-02 2010-09-16 Hitachi Ltd Video-monitoring system
CN102906788A (en) * 2010-05-21 2013-01-30 松下电器产业株式会社 Traffic line creation device and traffic line creation method
US8934671B2 (en) 2010-05-21 2015-01-13 Panasonic Corporation Traffic line creation device and traffic line creation method
JP2012174223A (en) * 2011-02-24 2012-09-10 Nippon Steel Corp Person monitoring device, person monitoring method, and computer program
US9965688B2 (en) 2016-01-14 2018-05-08 Canon Kabushiki Kaisha Display apparatus, display method, and storage medium
CN115451559A (en) * 2022-09-26 2022-12-09 宁波奥克斯电气股份有限公司 Air conditioner, control method and control device thereof, and readable storage medium
CN115451559B (en) * 2022-09-26 2023-07-04 宁波奥克斯电气股份有限公司 Air conditioner, control method and control device thereof and readable storage medium

Also Published As

Publication number Publication date
JP4760655B2 (en) 2011-08-31

Similar Documents

Publication Publication Date Title
JP6125188B2 (en) Video processing method and apparatus
JP2633694B2 (en) Person detection device
US20120087573A1 (en) Eliminating Clutter in Video Using Depth Information
JP4760655B2 (en) Human body detection device
JP2009187135A (en) Vehicle periphery monitoring device, vehicle, program for monitoring vehicle periphery, and vehicle periphery monitoring method
TWI474173B (en) Assistance system and assistance method
JP2004187298A5 (en)
EP1933256A3 (en) Eye closure recognition system and method
JP2010267055A (en) Apparatus and method for detection of moving object, and computer program
US20130216099A1 (en) Imaging system and imaging method
EP2555163A1 (en) Image processing apparatus, image processing method, and program
Yu et al. A shadow repair approach for kinect depth maps
JP2011087218A (en) Loud speaker system
JP2019036213A (en) Image processing device
JP2008185480A (en) Human body detector
JP2008158790A (en) Human body detecting device
JP2010140315A (en) Object detection device
JP2002156464A5 (en)
JP2008165595A (en) Obstacle detection method, obstacle detection device, and obstacle detection system
JP2008077430A (en) Mobile body counting device and mobile body counting method
KR101696086B1 (en) Method and apparatus for extracting object region from sonar image
JP2008186283A (en) Human body detector
JP2009245363A (en) Behavior recognition system and method thereof
JP6735594B2 (en) Image processing apparatus, image processing apparatus control method, and program
JP5679456B2 (en) Human detection device, human detection method, and human detection program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100803

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101001

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101026

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110523

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees