JP2010176531A - Image monitor - Google Patents
Image monitor Download PDFInfo
- Publication number
- JP2010176531A JP2010176531A JP2009020306A JP2009020306A JP2010176531A JP 2010176531 A JP2010176531 A JP 2010176531A JP 2009020306 A JP2009020306 A JP 2009020306A JP 2009020306 A JP2009020306 A JP 2009020306A JP 2010176531 A JP2010176531 A JP 2010176531A
- Authority
- JP
- Japan
- Prior art keywords
- image
- hand
- face
- similarity
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 111
- 238000012544 monitoring process Methods 0.000 claims abstract description 89
- 238000003384 imaging method Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims description 11
- 230000001815 facial effect Effects 0.000 claims description 2
- 238000012806 monitoring device Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 32
- 238000000034 method Methods 0.000 description 30
- 238000012546 transfer Methods 0.000 description 9
- 230000005856 abnormality Effects 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は画像処理により人の通話姿勢を検知する通話姿勢検知装置に関し、特に画像から顔及び手の存在を検出することにより通話姿勢を検知する通話姿勢検知装置に関する。 The present invention relates to a call posture detection device that detects a call posture of a person by image processing, and more particularly to a call posture detection device that detects a call posture by detecting the presence of a face and a hand from an image.
近年、振り込め詐欺による被害が多発している。振り込め詐欺とは、電話や封書にて虚偽の内容を老人等に突きつけ、金銭の振り込みを要求する詐欺事件の総称である。一般には「オレオレ詐欺」「架空請求詐欺」「還付金詐欺」などと称される。
振り込め詐欺の手口のひとつに、加害者が携帯電話を通じて被害者を誘導することでＡＴＭでの振り込みを指示する手口がある。
In recent years, damage caused by wire fraud has frequently occurred. “Transfer fraud” is a general term for fraud cases in which false contents are pushed to an elderly person or the like by telephone or sealed letter, and money transfer is requested. In general, it is called "Ole scam", "Fictional scam" or "Refund scam".
One technique for wire fraud is that the perpetrator directs the victim through a mobile phone to instruct the bank transfer.
特許文献１には車輌に着座しているドライバを撮像した画像において、顔領域と顔の横の手領域が検出されたときに当該ドライバの通話姿勢を検知することが記載されている。手領域の検出は、手を線分で表したグラフとのマッチング処理により行うとされている。 Japanese Patent Application Laid-Open No. H10-228667 describes that when a face area and a hand area next to the face are detected in an image of a driver seated in a vehicle, the call posture of the driver is detected. The detection of the hand region is supposed to be performed by a matching process with a graph representing the hand as a line segment.
しかしながら、肌の色や通話機の持ち方の個人差、姿勢変動（直立姿勢、操作時の前傾姿勢など）に伴う見え方の変化などにより検出対象の手の態様は様々であり、万人共通に用意された手のグラフとの一致を判定する従来技術においては一致判定の基準を甘めに設定せざるを得なかった。 However, there are various types of detection target hands depending on the skin color, individual differences in how to hold the phone, and changes in appearance due to posture changes (upright posture, forward tilted posture during operation, etc.). In the conventional technique for determining the coincidence with a hand graph prepared in common, the criterion for coincidence must be set loosely.
そのため、従来技術では人物の肩付近の着衣の模様や髪の一部が偶然に手のグラフと一致してしまい、通話機を持つ手が顔の周辺に存在しないにもかかわらず通話姿勢を誤検知することがあった。 For this reason, in the prior art, the clothes pattern and part of the hair near the shoulder of the person coincided with the hand graph by chance, and the call posture was mistaken even though the hand holding the phone was not around the face. It was sometimes detected.
本発明は上記問題を鑑みてなされたものであり、通話機を持つ手の誤検出を減じて高精度に通話姿勢を検知できる画像監視装置を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an image monitoring apparatus capable of detecting a call posture with high accuracy by reducing erroneous detection of a hand holding a telephone.
本願発明者は、上記問題点を解決する画像監視装置を実現するために研究を行い、その結果、人体は概ね左右対称であるため通常は顔の左右周辺の画像は類似するが、通話姿勢をとっているときは通話機を把持する手により顔の左右周辺の画像は類似しないことが判明した。本発明はこの知見を利用したものである。 The inventor of the present application has studied to realize an image monitoring apparatus that solves the above problems, and as a result, since the human body is generally symmetrical, the images around the left and right sides of the face are usually similar, but the communication posture is It was found that the images around the left and right sides of the face are not similar due to the hand holding the phone. The present invention utilizes this finding.
本発明にかかる画像監視装置は、人物の通話姿勢を検知すると異常出力する画像監視装置であって、監視空間を撮像する撮像部と、監視空間に人物が存在するときに当該人物の顔とその周辺が撮像された監視画像から予め設定された顔特徴を有する顔領域を検出する顔検出手段と、顔検出手段により検出された顔領域の左右周辺の当該顔領域に対して左右対称な位置に探索領域を設定する探索領域設定手段と、監視画像内で左右の探索領域間の類似性を判定する類似性判定手段と、類似性が判定されない場合に人物の通話姿勢を検知する通話姿勢検知手段と、を備えたことを特徴とする画像監視装置を提供する。
かかる構成によれば、同一の監視画像内に設定された左右の探索領域間の類似性を判定することにより通話姿勢の検知を行うので、同一人物、同一姿勢時の対称な画像部分間での相対的な比較に基づき通話姿勢が検知できる。そのため、通話機を把持する手の多様性や手周辺の画像の影響による通話姿勢の誤検知が減り、高精度な通話姿勢検知が可能となる。
An image monitoring apparatus according to the present invention is an image monitoring apparatus that outputs an abnormality when detecting a call posture of a person, an imaging unit that images a monitoring space, a face of the person when the person exists in the monitoring space, and the face of the person Face detection means for detecting a face area having a preset facial feature from a monitoring image whose periphery has been imaged, and a position symmetrical to the left and right surroundings of the face area detected by the face detection means Search area setting means for setting a search area, similarity determination means for determining the similarity between the left and right search areas in the monitoring image, and call attitude detection means for detecting the call attitude of a person when the similarity is not determined And an image monitoring apparatus characterized by comprising:
According to such a configuration, the call posture is detected by determining the similarity between the left and right search areas set in the same monitoring image. The call posture can be detected based on the relative comparison. Therefore, false detection of the call posture due to the diversity of the hand holding the caller and the influence of the image around the hand is reduced, and highly accurate call posture detection is possible.
また、本発明の好適な態様においては、類似性判定手段は、予め設定された手特徴について類似性を判定する。
かかる構成によれば、顔の左右の一方に手以外のものが存在するケースがあっても手に特化した特徴について類似性を判定するので当該手以外のものにより通話姿勢を誤検知せず、通話姿勢を高精度に検知することができる。
In a preferred aspect of the present invention, the similarity determination unit determines similarity for a hand feature set in advance.
According to such a configuration, even if there is a case where there is something other than the hand on one of the left and right sides of the face, the similarity is determined with respect to the feature specialized for the hand, so that the call posture is not erroneously detected by something other than the hand. The call posture can be detected with high accuracy.
また、本発明の好適な態様においては、画像監視装置は、監視空間に人物が存在しないときに撮像された背景画像を記憶する記憶部と、監視画像と背景画像とを比較して当該監視画像における前景領域を抽出する前景領域抽出手段と、をさらに備え、類似性判定手段は、探索領域内の前景領域において類似性を判定する。
かかる構成によれば、背景部分の影響が排除されるため、類似性の誤判定が減じられて通話姿勢の検知精度が向上する。
Further, in a preferred aspect of the present invention, the image monitoring apparatus compares the monitoring image with the background image, the storage unit storing the background image captured when no person is present in the monitoring space, and the monitoring image. Foreground area extracting means for extracting a foreground area in the image, and the similarity determining means determines similarity in the foreground area in the search area.
According to such a configuration, since the influence of the background portion is eliminated, the erroneous determination of similarity is reduced, and the accuracy of detecting the call posture is improved.
また、本発明の好適な態様においては、探索領域設定手段は、顔領域の大きさに比例したサイズの探索領域を設定する。
かかる構成によれば、撮像される顔の大きさの個人差によらず画一的に探索領域を設定できるので、探索領域に予期せぬ外乱が含まれにくくなり通話姿勢の検知精度が向上する。
In a preferred aspect of the present invention, the search area setting means sets a search area having a size proportional to the size of the face area.
According to such a configuration, since the search area can be set uniformly regardless of individual differences in the size of the face to be captured, unexpected disturbance is not included in the search area, and the detection accuracy of the call posture is improved. .
また、本発明の好適な態様においては、画像監視装置は、探索領域のそれぞれにおいて予め設定された手特徴を検出する手検出手段、をさらに備え、通話姿勢検知手段は、手検出手段により所定量以上の手特徴が検出され、且つ類似性が判定されない場合に通話姿勢を検知する。
かかる構成によれば、手以外の要因により類似性が判定されないケースがあっても当該要因により通話姿勢を誤検知せず、通話姿勢を高精度に検知することができる。
In a preferred aspect of the present invention, the image monitoring apparatus further includes hand detection means for detecting hand features set in advance in each of the search areas, and the call posture detection means is a predetermined amount by the hand detection means. When the above hand features are detected and the similarity is not determined, the call posture is detected.
According to such a configuration, even when there is a case where similarity is not determined due to factors other than the hand, the call posture can be detected with high accuracy without erroneously detecting the call posture due to the factor.
本発明によれば、通話機を持つ手の存在を誤検出しにくく、高精度な通話姿勢の検知が可能となる。
According to the present invention, it is difficult to erroneously detect the presence of a hand holding a telephone, and a highly accurate call posture can be detected.
本発明の好適な実施形態の一例として、ＣＤ（Cash Dispenser）やＡＴＭ（Automatic Teller Machine）等の自動取引機における利用者の通話姿勢を検知する画像監視装置について説明する。 As an example of a preferred embodiment of the present invention, an image monitoring apparatus that detects a user's call posture in an automatic transaction machine such as a CD (Cash Dispenser) or an ATM (Automatic Teller Machine) will be described.
＜実施形態１＞
［画像監視装置１の構成］
画像監視装置１の機能ブロック図を図１に、画像監視装置１の各部の配置図を図２に示す。
<Embodiment 1>
[Configuration of Image Monitoring Apparatus 1]
A functional block diagram of the image monitoring apparatus 1 is shown in FIG. 1, and an arrangement diagram of each part of the image monitoring apparatus 1 is shown in FIG.
画像監視装置１は、撮像部２、人検知部３、記憶部４、及び警告部６が信号処理部５に接続されてなる。画像監視装置１の監視対象は、自動取引機７を利用する利用者８である。 The image monitoring apparatus 1 includes an imaging unit 2, a human detection unit 3, a storage unit 4, and a warning unit 6 connected to a signal processing unit 5. The monitoring target of the image monitoring apparatus 1 is a user 8 who uses the automatic transaction machine 7.
撮像部２は、所謂監視カメラである。撮像部２は、監視空間を所定時間間隔にて撮像したカラー画像を順次、信号処理部５へ出力する。以下、上記所定時間間隔で刻まれる時間の単位を時刻と称する。撮像部２は、光軸を自動取引機７と略同じ向きに向け、自動取引機７上であって自動取引機７の左右方向の中央付近に設置される。この配置により撮像部２は、利用者８と正対し、少なくとも利用者８の顔及び顔周辺を略正面から撮像する。利用者８が居るときに撮像された画像（以下、監視画像）は通話姿勢を検知するために用いられ、利用者８が居ないときに撮像された画像は背景画像として用いられる。 The imaging unit 2 is a so-called surveillance camera. The imaging unit 2 sequentially outputs color images obtained by imaging the monitoring space at predetermined time intervals to the signal processing unit 5. Hereinafter, the unit of time recorded at the predetermined time interval is referred to as time. The imaging unit 2 is installed near the center of the automatic transaction machine 7 in the left-right direction on the automatic transaction machine 7 with the optical axis oriented in substantially the same direction as the automatic transaction machine 7. With this arrangement, the imaging unit 2 faces the user 8 and images at least the face of the user 8 and the periphery of the face from substantially the front. An image captured when the user 8 is present (hereinafter referred to as a monitoring image) is used to detect the call posture, and an image captured when the user 8 is absent is used as a background image.
人検知部３は、ＰＳＤ（光位置センサ：Position Sensitive Detector）等の人感センサである。人検知部３は、自動取引機７上に自動取引機７と略同じ向きへ向けて設置され、自動取引機７の前に立つ利用者８を検知すると信号処理部５へ人検知信号を出力する。人検知部３の感度は、自動取引機７正面の所定距離範囲内（例えば１ｍ以内）に人が存在する場合にのみ人検知信号を出力するよう予め調整される。
別の実施形態において人検知部３は、マットセンサ、対向型の赤外線センサ等とすることができる。
The human detection unit 3 is a human sensor such as a PSD (Position Sensitive Detector). The human detection unit 3 is installed on the automatic transaction machine 7 in substantially the same direction as the automatic transaction machine 7 and outputs a human detection signal to the signal processing unit 5 when a user 8 standing in front of the automatic transaction machine 7 is detected. To do. The sensitivity of the person detection unit 3 is adjusted in advance so as to output a person detection signal only when a person exists within a predetermined distance range (for example, within 1 m) in front of the automatic transaction machine 7.
In another embodiment, the human detection unit 3 can be a mat sensor, an opposed infrared sensor, or the like.
記憶部４は、ＲＯＭ、ＲＡＭ等のメモリ装置である。記憶部４は、各種プログラムや各種データを記憶し、信号処理部５との間でこれらの情報を入出力する。各種データには、背景画像が含まれる。 The storage unit 4 is a memory device such as a ROM or a RAM. The storage unit 4 stores various programs and various data, and inputs / outputs such information to / from the signal processing unit 5. Various data includes a background image.
信号処理部５は、ＤＳＰ(Digital Signal Processor)、ＭＣＵ(Micro Control Unit)等の演算装置である。信号処理部５は、前景領域抽出手段５１、顔検出手段５２、探索領域設定手段５３、手検出手段５４、類似性判定手段５５、通話姿勢検知手段５６等の動作を記述したプログラムを記憶部４から読み出して実行することにより各手段として機能する。信号処理部５は、人検知部３が人検知信号を出力しているときに撮像部２が撮像した監視画像を分析し、監視画像から当該利用者の通話姿勢を検知すると警報部６へ異常信号を出力する。 The signal processing unit 5 is an arithmetic device such as a DSP (Digital Signal Processor) or MCU (Micro Control Unit). The signal processing unit 5 stores programs describing the operations of the foreground region extraction unit 51, the face detection unit 52, the search region setting unit 53, the hand detection unit 54, the similarity determination unit 55, the call posture detection unit 56, and the like. It functions as each means by reading from and executing. The signal processing unit 5 analyzes the monitoring image captured by the imaging unit 2 when the human detection unit 3 outputs a human detection signal, and if the user's call posture is detected from the monitoring image, the alarm unit 6 is abnormally detected. Output a signal.
前景領域抽出手段５１は、監視画像と背景画像とを比較して当該監視画像における前景領域を抽出し、抽出された前景領域の情報を顔検出手段５２、手検出手段５４、及び類似性判定手段５５へ出力する。上記比較は、公知の差分処理により実現できる。すなわち監視画像と背景画像との対応する画素間で画素値の差を演算して差が予め定められたしきい値Ｔｄｉｆｆを超える画素群を前景領域として抽出する。
別の実施形態において前景領域抽出手段５１は、監視画像と背景画像との対応する画素間で画素値の相関値を演算して相関値が予め定められたしきい値Ｔｃｏｒｒ未満の画素群を前景領域として抽出する。
こうして抽出された前景領域は、利用者が撮像されている領域に相当する。
The foreground area extraction means 51 compares the monitoring image and the background image to extract the foreground area in the monitoring image, and uses the extracted foreground area information as face detection means 52, hand detection means 54, and similarity determination means. To 55. The comparison can be realized by a known difference process. That is, a pixel value difference is calculated between corresponding pixels of the monitoring image and the background image, and a pixel group in which the difference exceeds a predetermined threshold value T diff is extracted as a foreground region.
In another embodiment, the foreground region extraction unit 51 calculates a correlation value of pixel values between corresponding pixels of the monitoring image and the background image, and selects a pixel group whose correlation value is less than a predetermined threshold value T corr. Extract as a foreground area.
The foreground area thus extracted corresponds to the area where the user is imaged.
また、前景領域抽出手段５１は、人検知部３が検知信号を出力していないときに撮像部２から入力された画像を記憶部４に記憶させることで背景画像を生成する。 Further, the foreground area extraction unit 51 generates a background image by causing the storage unit 4 to store an image input from the imaging unit 2 when the human detection unit 3 does not output a detection signal.
顔検出手段５２は、監視画像を分析して利用者の顔領域を検出し、検出した顔領域の位置と大きさを探索領域設定手段５３へ出力する。 The face detection means 52 analyzes the monitoring image to detect the user's face area, and outputs the detected face area position and size to the search area setting means 53.
具体的には顔検出手段５２は、Ｈａａｒ−Ｌｉｋｅ特徴を用いたＡｄａｂｏｏｓｔ識別器を用いて顔領域を検出する。この方法についてはP.Violaと M.Jonesによる論文「Rapid Object Detection Using a Boosted Cascade
of Simple Features」（Proc. the IEEE International Conference on Computer Vision
and Pattern Recognition, vol.1, pp.511-518, 2001）を参照することができる。
Specifically, the face detection means 52 detects a face area using an Adaboost classifier using Haar-Like features. This method is described in a paper by P. Viola and M. Jones “Rapid Object Detection Using a Boosted Cascade.
of Simple Features "(Proc. the IEEE International Conference on Computer Vision
and Pattern Recognition, vol.1, pp.511-518, 2001).
すなわち、Ａｄａｂｏｏｓｔ識別器には、人の顔が映っている複数のサンプル画像と人の顔が映っていない複数のサンプル画像を用いて事前に学習をさせておく。顔検出手段５２は監視画像内に基準位置を順次設定し、監視画像から基準位置において所定の大きさの部分画像を切り出してＡｄａｂｏｏｓｔ識別器に入力し、Ａｄａｂｏｏｓｔ識別器が出力する顔有無の識別結果を得る。顔検出手段５２はＡｄａｂｏｏｓｔ識別器が顔があるとの識別結果を出力した基準位置及びそのときの部分画像の大きさを顔領域の情報として出力する。 In other words, the Adaboost classifier is trained in advance using a plurality of sample images showing a person's face and a plurality of sample images showing no person's face. The face detection unit 52 sequentially sets a reference position in the monitoring image, cuts out a partial image having a predetermined size at the reference position from the monitoring image, inputs the partial image to the Adaboost discriminator, and outputs the face presence / absence discrimination result output by the Adaboost discriminator. Get. The face detection means 52 outputs the reference position from which the recognition result indicating that the Adaboost classifier has a face and the size of the partial image at that time as face area information.
顔検出手段５２は識別器を用いる他に種々の方法を適用することができる。例えば別の実施形態において顔検出手段５２は、監視画像からエッジを抽出して楕円形状のエッジを有する領域を顔領域として検出する。さらに別の実施形態において顔検出手段５２は、監視画像から肌色の色成分を有する所定以上の大きさの領域を顔領域として検出する。さらに別の実施形態において顔検出手段５２は、目・鼻・口などの部位を抽出してこれらの部位の位置を基準とした相対的な位置及び大きさの顔領域を検出する。 Various methods can be applied to the face detecting means 52 in addition to using a discriminator. For example, in another embodiment, the face detection unit 52 extracts an edge from the monitoring image and detects an area having an elliptical edge as a face area. In still another embodiment, the face detection unit 52 detects an area having a skin color component having a predetermined size or more as a face area from the monitoring image. In yet another embodiment, the face detection means 52 extracts parts such as eyes, nose, and mouth and detects a face region having a relative position and size based on the positions of these parts.
尚、顔の検出処理は監視画像全体に対して行うのではなく、前景領域内に限定して行うこともできる。こうすることで背景の一部を顔として検出する誤りを低減でき、また、計算量を削減できる。 Note that the face detection process can be performed only in the foreground area, not the entire monitoring image. In this way, errors in detecting a part of the background as a face can be reduced, and the amount of calculation can be reduced.
通話中の人物は耳の横から顎のあたりに携帯電話を押し当てる姿勢をとるために、携帯電話を把持する手は耳の下から肩の周辺までの範囲に撮像される。
探索領域設定手段５３は、上記範囲に相当する画像領域を、通話姿勢をとっている利用者の携帯電話を把持する手を探索するための探索領域として設定する。具体的には、探索領域設定手段５３は、顔検出手段５２により検出された顔領域を参照し、当該顔領域の左右周辺であって当該顔領域に対して左右対称な位置に探索領域を設定して、設定した探索領域の情報を手検出手段５２及び類似性判定手段５５へ出力する。
Since a person in a call takes a posture of pressing the mobile phone against the chin from the side of the ear, the hand holding the mobile phone is imaged in the range from the bottom of the ear to the periphery of the shoulder.
The search area setting means 53 sets an image area corresponding to the above range as a search area for searching for a hand holding a mobile phone of a user who is in a call posture. Specifically, the search area setting unit 53 refers to the face area detected by the face detection unit 52 and sets the search area at a position that is symmetrical to the face area around the left and right of the face area. Then, the information of the set search area is output to the hand detection unit 52 and the similarity determination unit 55.
ここで、探索領域は、手を検出し損ねないために手の存在範囲を確実にカバーする程度に大きい必要がある。但し、探索領域が無駄に大きすぎると利用者以外の画像が外乱として含まれやすくなり、後述する類似性判定の精度低下や手検出の精度低下を招く。しかしながら、顔領域の大きさや位置は利用者８の身長、利用者８の立ち位置等の個人差によって様々である。 Here, the search area needs to be large enough to reliably cover the presence range of the hand so as not to fail to detect the hand. However, if the search area is unnecessarily large, images other than the user are likely to be included as disturbances, leading to a decrease in accuracy of similarity determination described later and a decrease in accuracy of hand detection. However, the size and position of the face area vary depending on individual differences such as the height of the user 8 and the standing position of the user 8.
一方、顔の大きさと手の大きさには関連性があることが知られている。また、上述のように通話姿勢時の手と顔の間には相対的な位置関係がある。そこで、探索領域設定手段５３は、顔検出手段５２により検出された顔領域の位置及び大きさに応じた位置及び大きさの探索領域を設定する。これにより、個人差によらず常に適切な位置及び大きさの探索領域を画一的に設定できるので、探索領域に予期せぬ外乱が含まれにくくなる。そのため後述する類似性判定の精度や手検出の精度が高くなり、通話姿勢の誤検知を低減できる。 On the other hand, it is known that the size of the face and the size of the hand are related. In addition, as described above, there is a relative positional relationship between the hand and the face in the call posture. Therefore, the search area setting unit 53 sets a search area having a position and size corresponding to the position and size of the face area detected by the face detection unit 52. As a result, a search area having an appropriate position and size can always be set uniformly regardless of individual differences, so that it is difficult for unexpected disturbance to be included in the search area. Therefore, the accuracy of similarity determination and the accuracy of hand detection, which will be described later, are increased, and erroneous detection of the call posture can be reduced.
図３を参照して、探索領域設定の具体的な一例を示す。 With reference to FIG. 3, a specific example of search area setting is shown.
図３において、領域９０は顔領域、Ｈは顔領域９０の高さ、Ｗは顔領域９０の幅、点９１は顔領域９０の中心、矩形領域９２−１は左側の探索領域、矩形領域９２−２は右側の探索領域をそれぞれ示している。 In FIG. 3, the area 90 is a face area, H is the height of the face area 90, W is the width of the face area 90, the point 91 is the center of the face area 90, the rectangular area 92-1 is the left search area, and the rectangular area 92. -2 indicates the search area on the right side.
まず探索領域設定手段５３は、顔領域９０の中心９１の位置を演算する。次に探索領域設定手段５３は、中心９１から０．１×Ｈだけ上方で０．０１×Ｗだけ左側に探索領域９２−１の右上位置を設定し、設定された右上位置から１．０×Ｈだけ下方で１．１×Ｗだけ左側に探索領域９２−１の左下位置を設定する。続いて探索領域設定手段５３は、中心９１から０．１×Ｈだけ上方で０．０１×Ｗだけ右側に探索領域９２−２の左上位置を設定し、設定された左上位置から１．０×Ｈだけ下方で１．１×Ｗだけ右側に探索領域９２−２の左下位置を設定する。こうして探索領域９２−１及び９２−２は顔領域９０に対して左右対称に設定される。 First, the search area setting unit 53 calculates the position of the center 91 of the face area 90. Next, the search area setting means 53 sets the upper right position of the search area 92-1 by 0.1 × H above the center 91 and to the left by 0.01 × W, and 1.0 × from the set upper right position. The lower left position of the search area 92-1 is set to the lower side by 1.1 × W on the lower side by H. Subsequently, the search area setting unit 53 sets the upper left position of the search area 92-2 by 0.1 × H above the center 91 and to the right by 0.01 × W, and 1.0 × from the set upper left position. The lower left position of the search area 92-2 is set below H and 1.1 × W to the right. Thus, the search areas 92-1 and 92-2 are set symmetrically with respect to the face area 90.
尚、高さＨ及び幅Ｗに対する各比率は実験結果に基づき事前に設定されるものであり、撮像部２の配置や仕様に依存して微調整される。また、上記設定順序は一例であり、適宜に変更可能である。 Each ratio with respect to the height H and the width W is set in advance based on experimental results, and is finely adjusted depending on the arrangement and specifications of the imaging unit 2. The setting order is an example and can be changed as appropriate.
手検出手段５４は、探索領域設定手段５３によって設定された各探索領域内の監視画像から手の画像特徴（以下、手特徴）を抽出して、所定量以上の手特徴が抽出された探索領域に手の存在を検出し、検出結果を通話姿勢検知手段５６へ出力する。また手検出手段５４は、各探索領域において抽出された手特徴を類似性判定手段５５へ出力する。 The hand detection unit 54 extracts a hand image feature (hereinafter referred to as a hand feature) from the monitoring image in each search region set by the search region setting unit 53, and a search region in which a hand feature of a predetermined amount or more is extracted. The presence of the hand is detected and the detection result is output to the call posture detection means 56. The hand detection unit 54 outputs the hand features extracted in each search area to the similarity determination unit 55.
手特徴量について説明する。 The hand feature amount will be described.
探索領域内に手が存在すれば、探索領域内の監視画像には比較的多数の肌色画素が含まれ、さらに指の輪郭線によって比較的多数のエッジ画素が含まれる。そこで手検出手段５４は、探索領域のそれぞれにおける監視画像から肌色画素及びエッジ画素を抽出し、肌色画素の数（以下、肌色画素数）及び肌色画素と同位置に抽出されたエッジ画素の数（以下、肌色エッジ数）を手特徴として算出する。 If a hand is present in the search area, the monitoring image in the search area includes a relatively large number of skin color pixels, and further includes a relatively large number of edge pixels due to the contour of the finger. Therefore, the hand detection means 54 extracts skin color pixels and edge pixels from the monitoring images in each of the search areas, and the number of skin color pixels (hereinafter referred to as the number of skin color pixels) and the number of edge pixels extracted at the same position as the skin color pixels ( Hereinafter, the number of skin color edges) is calculated as a hand feature.
肌色画素の抽出は、公知の手法により監視画像をＨＳＶ表色系に変換してＨ成分が３０°付近（例えば２０°〜４０°）の画素を抽出することで実現できる。 The skin color pixel can be extracted by converting the monitoring image into the HSV color system by a known method and extracting pixels having an H component of around 30 ° (for example, 20 ° to 40 °).
エッジ画素の抽出は、監視画像に公知のＳｏｂｅｌフィルタ等を施してエッジ強度が予め定めたしきい値以上の画素を抽出することで実現できる。 Edge pixel extraction can be realized by applying a known Sobel filter or the like to the monitoring image to extract pixels whose edge intensity is equal to or greater than a predetermined threshold value.
尚、手の検出処理は探索領域全体に対して行うのではなく、探索領域内の前景領域に限定して行うこともできる。こうすることで背景の一部を検出する誤りを低減でき、また、計算量が削減できる。 Note that the hand detection process can be limited to the foreground area in the search area, not the entire search area. By doing so, errors in detecting a part of the background can be reduced, and the amount of calculation can be reduced.
通話姿勢をとっているとき、人は専ら片手を挙げているため手については左右対称とならない。一方、人の体は概ね左右対称であるため、肩や髪などの手以外の部位は概ね左右対称に分布する。そのため、探索領域設定手段５３により設定された２つの探索領域間の画像の類似性は、利用者８が通話姿勢をとっていれば低くなり、利用者８が通話姿勢をとっていなければ高くなる。 When taking a call posture, the person does not have left-right symmetry with respect to the hand because he / she only raises one hand. On the other hand, since the human body is generally symmetrical, parts other than the hands such as shoulders and hair are distributed approximately symmetrically. Therefore, the similarity of the image between the two search areas set by the search area setting means 53 is low if the user 8 is in a call posture, and is high if the user 8 is not in a call posture. .
類似性判定手段５５は、上記の類似性を判定する手段である。類似性判定手段５５は、左右の探索領域の類似性を判定して判定結果を通話姿勢検知手段５６へ出力する。
つまり類似性の判定は同一の監視画像内に設定された左右の探索領域間で行われる。すなわち判定は同一人物、同一姿勢時の対称な画像部分間での相対的な比較となるため、外乱要因である髪の色・形状や服の色・模様といった手周辺画像が適切に差し引かれ、手周辺画像の影響を受けにくい判定が可能となる。また、万人共通に用意された手の参照パターンとの一致を判定する従来方式と比較すると、肌の色や通話機の持ち方といった個人差、姿勢変動（直立姿勢、操作時の前傾姿勢など）に伴う手の見え方の変化といった手画像のバリエーションが通話姿勢検知に与える影響が稀釈された判定を行うことができる。
The similarity determination means 55 is a means for determining the similarity. The similarity determination unit 55 determines the similarity between the left and right search areas and outputs the determination result to the call posture detection unit 56.
That is, the similarity determination is performed between the left and right search areas set in the same monitoring image. In other words, since the judgment is a relative comparison between symmetrical image parts of the same person and the same posture, the peripheral image of the hand such as the hair color / shape and clothes color / pattern that is the disturbance factor is appropriately subtracted, It is possible to make a determination that is not easily influenced by the hand peripheral image. Compared with the conventional method for determining the match with the hand reference pattern prepared for all people, individual differences such as skin color and how to hold the phone, posture fluctuation (upright posture, forward tilt posture during operation) It is possible to make a determination in which the influence of hand image variations such as a change in the appearance of the hand due to the change in the appearance of the hand on the call posture detection is diluted.
類似性判定手段５５は、類似性の判定尺度として左右の探索領域間の画像相関値や色ヒストグラムの差、上述した手特徴量の差を判定する。 The similarity determination unit 55 determines an image correlation value between the left and right search areas, a difference in color histogram, and the above-described difference in hand feature amount as a similarity determination scale.
画像相関値は、一方の探索領域の監視画像を左右反転させて、左右反転させた画像と他方の探索領域の監視画像との間で対応する各画素間の相関値を演算して相関値を積算し、積算値を画素数で除して正規化することにより求められる。類似性判定手段５５は、画像相関値を算出して、画像相関値が予め定められたしきい値ＴＤｃｏｒｒ未満であれば類似性なし、そうでなければ類似性ありと判定する。
尚、画像相関値は、予め定めた範囲内で左右のズレを許容して算出してもよい。この場合、ズレ許容範囲内で一方の画像を平行移動又は／及び回転させて画像相関値の算出を繰り返し、最小の画像相関値を最終結果として算出する。また、画像相関値は、類似性判定が過度にセンシティブとならぬよう色成分を除き輝度成分のみで算出してもよい。
The image correlation value is obtained by reversing the monitoring image of one search region from side to side and calculating the correlation value between corresponding pixels between the horizontally reversed image and the monitoring image of the other search region. It is obtained by integrating and normalizing by dividing the integrated value by the number of pixels. The similarity determination unit 55 calculates an image correlation value, and determines that there is no similarity if the image correlation value is less than a predetermined threshold value TD corr , and otherwise determines that there is similarity.
Note that the image correlation value may be calculated while allowing a left-right shift within a predetermined range. In this case, one image is translated or / and rotated within the allowable shift range, and the calculation of the image correlation value is repeated, and the minimum image correlation value is calculated as the final result. Further, the image correlation value may be calculated using only the luminance component excluding the color component so that the similarity determination is not excessively sensitive.
色ヒストグラムの差は、探索領域のそれぞれにおける監視画像の色ヒストグラムを演算し、演算された色ヒストグラム間で対応する各色の度数の差の絶対値を演算してこれらを積算することにより求められる。別の実施形態において色ヒストグラムの差は色ヒストグラム間のマハラビノス距離として算出される。類似性判定手段５５は、色ヒストグラムの差を算出して、色ヒストグラムの差が予め定められたしきい値ＴＤｈｉｓｔ未満であれば類似性あり、そうでなければ類似性なしと判定する。 The difference between the color histograms is obtained by calculating the color histogram of the monitoring image in each of the search areas, calculating the absolute value of the frequency difference of each corresponding color between the calculated color histograms, and accumulating these values. In another embodiment, the color histogram difference is calculated as the Mahalanobis distance between the color histograms. The similarity determination unit 55 calculates a difference between the color histograms, and determines that there is similarity if the difference between the color histograms is less than a predetermined threshold value TD hist , otherwise there is no similarity.
手特徴量の差は、手検出手段５４により探索領域のそれぞれについて算出された肌色画素数の差として求められる。類似性判定手段５５は、肌色画素数の差を算出して、肌色画素数の差が予め定められたしきい値ＴＤｓｋｉｎ未満であれば類似性あり、そうでなければ類似性なしと判定する。 The difference in the hand feature amount is obtained as a difference in the number of skin color pixels calculated for each search region by the hand detection unit 54. The similarity determination unit 55 calculates a difference in the number of skin color pixels, and determines that there is similarity if the difference in the number of skin color pixels is less than a predetermined threshold TD skin , and otherwise determines that there is no similarity. .
また、手特徴量の差は、手検出手段５４により探索領域のそれぞれについて算出された肌色エッジ数の差としても求められる。類似性判定手段５５は、肌色エッジ数の差を算出して、肌色エッジ数の差が予め定められたしきい値ＴＤｅｄｇｅ未満であれば類似性あり、そうでなければ類似性なしと判定する。 Further, the difference in the hand feature amount is also obtained as a difference in the number of skin color edges calculated for each of the search areas by the hand detection unit 54. The similarity determination unit 55 calculates the difference in the number of skin color edges, and determines that there is similarity if the difference in the number of skin color edges is less than a predetermined threshold TD edge , and otherwise determines that there is no similarity. .
類似性判定の確度を高めるためには、上記各尺度に基づく判定基準を複数満たすことを条件にするのがよい。本実施形態においては、類似性判定手段５５は、上記４つの判定基準を全て満たす場合に探索領域間の類似性を判定する。 In order to increase the accuracy of similarity determination, it is preferable to satisfy a plurality of determination criteria based on the above-mentioned scales. In the present embodiment, the similarity determination unit 55 determines the similarity between search areas when all the four determination criteria are satisfied.
ここで、探索領域には背景部分が含まれる場合があり、背景部分の影響で類似度が不当に低くなると類似性の誤判定が生じる。そこで、探索領域内の前景領域において類似性を判定する。こうすることで背景画像の影響による類似性の誤判定が減じられて、通話姿勢の検知精度が一層向上する。 Here, the search area may include a background portion, and if the similarity is unduly lowered due to the influence of the background portion, an erroneous determination of similarity occurs. Therefore, the similarity is determined in the foreground area in the search area. By doing so, the erroneous determination of similarity due to the influence of the background image is reduced, and the detection accuracy of the call posture is further improved.
通話姿勢検知手段５６は、類似性判定手段５５の判定結果及び手検出手段５４の検出結果を参照し、類似性判定手段５５が左右の探索領域間の類似性を判定せず、且つ手検出手段５４が左右いずれかの探索領域から所定量以上の前記手特徴を検出している場合に通話姿勢を検知して警報部６へ異常信号を出力し、そうでない場合に通話姿勢を検知しない。
このように手画像の多様性の影響や手周辺画像の影響を受けにくい類似性判定手段５５の判定結果に基づき通話姿勢を検知するので、通話姿勢の誤検知が減り、高精度な通話姿勢検知が可能となる。さらに手検出手段５４の検出結果を加味して通話姿勢を検知するので、手以外の要因により類似性が判定されないケースがあっても当該要因により通話姿勢を誤検知せず、通話姿勢を高精度に検知することができる。
The call posture detection unit 56 refers to the determination result of the similarity determination unit 55 and the detection result of the hand detection unit 54, the similarity determination unit 55 does not determine the similarity between the left and right search areas, and the hand detection unit When the hand feature 54 detects a predetermined amount or more of the hand features from either the left or right search area, the call posture is detected and an abnormal signal is output to the alarm unit 6; otherwise, the call posture is not detected.
As described above, since the call posture is detected based on the determination result of the similarity determination means 55 that is not easily affected by the diversity of hand images and the image around the hand, false detection of the call posture is reduced and highly accurate call posture detection is performed. Is possible. Furthermore, since the call posture is detected in consideration of the detection result of the hand detection means 54, even if there is a case where similarity is not determined due to factors other than the hand, the call posture is not erroneously detected due to the factor, and the call posture is highly accurate. Can be detected.
警報部６は、振り込め詐欺を警報する音声データを再生するスピーカー、及び通信回線を介して振り込め詐欺を警報する異常信号を警備会社の監視センタ又は銀行の顧客センタに設置されたセンタ装置へ送信する通信手段などを含んでなり、振り込め詐欺被害の発生を外部へ警報する。すなわち、警報部６は、音声データの再生により利用者や行員、店員に警報を与え、異常信号の送信により監視員に警報を与える。 The alarm unit 6 transmits a speaker that reproduces voice data that warns of a transfer fraud and an abnormal signal that warns of the transfer fraud to a center device installed in a monitoring center of a security company or a customer center of a bank via a communication line. It includes communication means, etc., and warns the outside of the occurrence of wire fraud damage. That is, the alarm unit 6 gives an alarm to the user, a clerk, and a store clerk by reproducing the audio data, and gives an alarm to the monitor by sending an abnormal signal.
［画像監視装置１の動作］
以下、図４を参照して、画像監視装置１の動作を説明する。
[Operation of the image monitoring apparatus 1]
Hereinafter, the operation of the image monitoring apparatus 1 will be described with reference to FIG.
監視空間が無人であることを確認した管理者が装置に電源を投入すると、各部、各手段が所定の初期化が行われ、動作が始まる（Ｓ１）。初期化の後は、撮像部２から信号処理部５へ新たな画像が入力されるたびにＳ２〜Ｓ８の処理が繰り返される。 When an administrator who confirms that the monitoring space is unmanned turns on the power to the apparatus, each unit and each means are initialized, and the operation starts (S1). After the initialization, the processing of S2 to S8 is repeated each time a new image is input from the imaging unit 2 to the signal processing unit 5.
新たな画像が入力されると（Ｓ２）、まず、信号処理部５は人検知部３から人検知信号が入力されているか否かを確認する（Ｓ３）。人検知信号が入力されていなければ（Ｓ４にてＮＯ）、照明変動等の背景変化に対応するために信号処理部５の前景領域抽出手段５１はステップＳ１５にて新たに入力された画像を背景画像として記憶部４に記憶させる（Ｓ５）。その後、信号処理部５は処理をステップＳ２へ戻す。 When a new image is input (S2), first, the signal processing unit 5 checks whether or not a human detection signal is input from the human detection unit 3 (S3). If no human detection signal is input (NO in S4), the foreground region extraction means 51 of the signal processing unit 5 uses the newly input image in step S15 as a background in order to cope with background changes such as illumination fluctuations. The image is stored in the storage unit 4 as an image (S5). Thereafter, the signal processing unit 5 returns the processing to step S2.
一方、人検知信号が入力されていれば（Ｓ４にてＹＥＳ）、信号処理部５はステップＳ２にて新たに入力された画像（監視画像）を分析して異常監視、すなわち利用者８の通話姿勢の検知、を行う（Ｓ６）。 On the other hand, if a human detection signal has been input (YES in S4), the signal processing unit 5 analyzes the newly input image (monitoring image) in step S2 to monitor for abnormalities, that is, a call by the user 8 The posture is detected (S6).
図５を参照して、異常監視処理の詳細を説明する。 Details of the abnormality monitoring process will be described with reference to FIG.
まず、信号処理部５の前景領域抽出手段５１は監視画像と記憶部４に記憶されている背景画像を差分処理して前景領域を抽出する（Ｓ６０）。抽出結果は、前景に属する画素の画素値を１、それ以外の画素の画素値を０とした２値画像（以下、前景画像）で保持する。 First, the foreground area extraction means 51 of the signal processing unit 5 performs differential processing on the monitoring image and the background image stored in the storage unit 4 to extract a foreground area (S60). The extraction result is held as a binary image (hereinafter referred to as a foreground image) in which the pixel value of pixels belonging to the foreground is 1 and the pixel values of other pixels are 0.
次に、信号処理部５の顔検出手段５２は事前に学習させた識別器を用いて監視画像から顔領域を検出する（Ｓ６１）。顔領域が検出されなかった場合（Ｓ６２にてＮＯ）、信号処理部５の通話姿勢検知手段５６は通話姿勢を検知せず（Ｓ６９）、異常監視処理は終了する。 Next, the face detection means 52 of the signal processing unit 5 detects a face area from the monitoring image using a discriminator learned in advance (S61). When the face area is not detected (NO in S62), the call posture detection means 56 of the signal processing unit 5 does not detect the call posture (S69), and the abnormality monitoring process ends.
一方、顔領域が検出された場合（Ｓ６２にてＹＥＳ）、処理はステップＳ６３へ進み、信号処理部５の探索領域設定手段５３は検出された顔領域の位置と大きさを基に顔領域の左右に手の探索領域を設定する。 On the other hand, if a face area is detected (YES in S62), the process proceeds to step S63, and search area setting means 53 of signal processing unit 5 determines the face area based on the detected position and size of the face area. Set the hand search area to the left and right.
続いて、手検出手段５４は各探索領域に手が存在するか否かを判定する（Ｓ６４）。 Subsequently, the hand detection unit 54 determines whether or not a hand exists in each search area (S64).
図６、図７を参照して、手検出処理の詳細を説明する。図６は手検出処理のフローチャート、図７は手検出処理のイメージを示している。 Details of the hand detection process will be described with reference to FIGS. 6 shows a flowchart of the hand detection process, and FIG. 7 shows an image of the hand detection process.
手検出手段５４は、監視画像のＨ成分を分析して肌色画素を抽出し、肌色画素の画素値を１、それ以外の画素の画素値を０とした２値画像を生成し、生成された２値画像と図５のステップＳ６０にて生成された前景画像との論理積画像を演算する（Ｓ６４０）。演算された論理積画像は肌色画像として保持される。肌色画像において画素値が１の画素は前景部分の肌色画素を表す。
図７の画像９３は肌色画像であり、肌色画素を黒、そうでない画素を白で表している。肌色画像９３ａは利用者が通話姿勢をとっているときのものであり、顔と手の部分に肌色画素が抽出されている。肌色画像９３ｂは利用者が通話姿勢をとっていないときのものであり、手が含まれていない。
The hand detection means 54 analyzes the H component of the monitoring image to extract skin color pixels, generates a binary image in which the pixel value of the skin color pixel is 1 and the pixel value of the other pixels is 0. A logical product image of the binary image and the foreground image generated in step S60 of FIG. 5 is calculated (S640). The calculated logical product image is held as a skin color image. A pixel having a pixel value of 1 in the skin color image represents a skin color pixel in the foreground portion.
An image 93 in FIG. 7 is a skin color image, and the skin color pixels are represented by black and the other pixels are represented by white. The skin color image 93a is obtained when the user is in a call posture, and skin color pixels are extracted in the face and hand portions. The skin color image 93b is obtained when the user is not in a call posture and does not include a hand.
また、手検出手段５４は、監視画像にＳｏｂｅｌフィルタを施してエッジ画素を抽出する（Ｓ６４１）。抽出結果は、エッジ画素の画素値を１、それ以外の画素の画素値を０とした２値画像（以下、エッジ画像）で保持する。
図７の画像９４はエッジ画像であり、エッジ画素を黒、そうでない画素を白で表している。エッジ画像９４ａは利用者が通話姿勢をとっているときのものであり、顔の右側に手の輪郭が抽出されている。エッジ画像９４ｂは利用者が通話姿勢をとっていないときのものであり、手が含まれていない。
In addition, the hand detection unit 54 applies a Sobel filter to the monitoring image to extract edge pixels (S641). The extraction result is held as a binary image (hereinafter referred to as an edge image) in which the pixel value of the edge pixel is 1 and the pixel values of the other pixels are 0.
An image 94 in FIG. 7 is an edge image, and the edge pixels are represented in black and the other pixels are represented in white. The edge image 94a is obtained when the user is in a call posture, and the contour of the hand is extracted on the right side of the face. The edge image 94b is obtained when the user is not in a call posture and does not include a hand.
そして、手検出手段５４は、肌色画像とエッジ画像の論理積画像を演算し、演算した論理積画像を肌色エッジ画像として保持する（Ｓ６４２）。肌色エッジ画像において画素値が１の画素は前景部分の肌色画素でもエッジ画素でもある画素を表す。
図７の画像９５は肌色エッジ画像であり、肌色画素でもエッジ画素でもある画素を黒、そうでない画素を白で表している。肌色エッジ画像９５ａは利用者が通話姿勢をとっているときのものであり、顔と手の部分に多くの画素が抽出されている。エッジ画像９５ｂは利用者が通話姿勢をとっていないときのものであり、手が含まれていない。
The hand detecting unit 54 calculates a logical product image of the skin color image and the edge image, and holds the calculated logical product image as a skin color edge image (S642). In the skin color edge image, a pixel having a pixel value of 1 represents a pixel that is both a skin color pixel and an edge pixel in the foreground portion.
An image 95 in FIG. 7 is a flesh-colored edge image, and pixels that are both flesh-colored pixels and edge pixels are represented in black, and other pixels are represented in white. The skin color edge image 95a is obtained when the user is in a call posture, and many pixels are extracted in the face and hand portions. The edge image 95b is obtained when the user is not in a call posture and does not include a hand.
続いて、手検出手段５４は、左側の探索領域内において肌色画像の画素値が１の画素を計数して肌色画素数とし（Ｓ６４３）、左側の探索領域内において肌色エッジ画像の画素値が１の画素を計数して肌色エッジ数とする（Ｓ６４４）。 Subsequently, the hand detection unit 54 counts the pixels whose skin color image has a pixel value of 1 in the left search area to obtain the number of skin color pixels (S643), and the skin color edge image has a pixel value of 1 in the left search area. Are counted as the number of skin color edges (S644).
そして、手検出手段５４は、ステップＳ６４３にて計数された肌色画素数がしきい値Ｔｓｋｉｎ以上であり（Ｓ６４５にてＹＥＳ）、且つステップＳ６４４にて計数された肌色エッジ数がしきい値Ｔｅｄｇｅ以上であれば（Ｓ６４６にてＹＥＳ）、左側の探索領域内に手の存在を検出する（Ｓ６４７）。一方、肌色画素数がＴｓｋｉｎ未満（Ｓ６４５にてＮＯ）、又は肌色エッジ数がＴｅｄｇｅ未満（Ｓ６４６にてＹＥＳ）であれば、手検出手段５４は、左側の探索領域内に手の存在を検出しない。 Then, the hand detection means 54 has the number of skin color pixels counted in step S643 equal to or greater than the threshold value T skin (YES in S645), and the number of skin color edges counted in step S644 is equal to the threshold value T. If it is not less than edge (YES in S646), the presence of a hand is detected in the left search area (S647). On the other hand, if the number of skin color pixels is less than T skin (NO in S645) or the number of skin color edges is less than T edge (YES in S646), hand detection means 54 detects the presence of a hand in the left search area. Do not detect.
右側の探索領域についても左側の探索領域と同様の処理が行われる。すなわち、手検出手段５４は、右側の探索領域内において肌色画像の画素値が１の画素を肌色画素数として計数し（Ｓ６４８）、左側の探索領域内において肌色エッジ画像の画素値が１の画素を肌色エッジ数として計数し（Ｓ６４９）、ステップＳ６４８にて計数された肌色画素数がＴｓｋｉｎ以上であり（Ｓ６５０にてＹＥＳ）、且つステップＳ６４９にて計数された肌色エッジ数がＴｅｄｇｅ以上であれば（Ｓ６５１にてＹＥＳ）、右側の探索領域内に手の存在を検出する（Ｓ６５２）。
図７の矩形９２は探索領域である。左側の探索領域９２−１ａ及び右側の探索領域９２−２ａは利用者が通話姿勢をとっているときのものである。左側の探索領域９２−１ｂ及び右側の探索領域９２−２ｂは利用者が通話姿勢をとっていないときのものである。利用者が通話姿勢をとっているときの右側の探索領域９２−２ａには他と比べて肌色画素及び肌色画素でもエッジ画素でもある画素が多く含まれている。この例では、右側の探索領域９２−２ａのみが条件を満たし、当該領域に手の存在が検出される（Ｓ６５０にてＹＥＳ→Ｓ６５１にてＹＥＳ→Ｓ６５２）。
The right search area is also processed in the same way as the left search area. That is, the hand detection unit 54 counts the number of skin color pixels having a skin color image pixel value of 1 in the right search region as the number of skin color pixels (S648), and the skin color edge image has a pixel value of 1 in the left search region. As the number of skin color edges (S649), the number of skin color pixels counted in step S648 is T skin or more (YES in S650), and the number of skin color edges counted in step S649 is T edge or more. If there is (YES in S651), the presence of a hand is detected in the search area on the right side (S652).
A rectangle 92 in FIG. 7 is a search area. The search area 92-1a on the left side and the search area 92-2a on the right side are when the user is in a call posture. The search area 92-1b on the left side and the search area 92-2b on the right side are when the user is not in a call posture. The search area 92-2a on the right side when the user is in a call posture includes a lot of pixels that are both skin color pixels and skin color pixels and edge pixels as compared to others. In this example, only the right search area 92-2a satisfies the condition, and the presence of a hand in the area is detected (YES in S650 → YES in S651 → S652).
以上で図６、図７の手検出処理は終了し、処理は再び図５へ戻る。 Thus, the hand detection process in FIGS. 6 and 7 ends, and the process returns to FIG. 5 again.
信号処理部５の通話姿勢検知手段５６は、ステップＳ６４の検出結果を参照し、いずれの探索領域からも手の存在が検出されなかった場合（Ｓ６５にてＮＯ）は、通話姿勢を検知せず（Ｓ６９）、異常監視処理は終了する。一方、いずれかの探索領域から手の存在が検出された場合（Ｓ６５にてＹＥＳ）、処理はステップＳ６６へ進む。 The call posture detection means 56 of the signal processing unit 5 refers to the detection result of step S64, and if no hand is detected from any search area (NO in S65), the call posture is not detected. (S69), the abnormality monitoring process ends. On the other hand, when the presence of a hand is detected from any of the search areas (YES in S65), the process proceeds to step S66.
ステップＳ６６において、信号処理部５の類似性判定手段５５は、左右の探索領域間で類似性を判定する。 In step S66, the similarity determination unit 55 of the signal processing unit 5 determines the similarity between the left and right search areas.
図８、図９を参照して、類似性判定処理の詳細を説明する。図８は類似性判定処理のフローチャート、図９は類似性判定処理のイメージを示している。 Details of the similarity determination process will be described with reference to FIGS. FIG. 8 is a flowchart of the similarity determination process, and FIG. 9 shows an image of the similarity determination process.
まず、類似性判定手段５５は、監視画像を前景画像でマスクする（Ｓ６６０）。すなわち、前景画像において画素値が１の画素と対応する画素に監視画像の画素値がコピーされ、それ以外の画素の画素値に０が設定された前景監視画像を生成する。 First, the similarity determination unit 55 masks the monitoring image with the foreground image (S660). That is, the foreground monitoring image is generated in which the pixel value of the monitoring image is copied to the pixel corresponding to the pixel having the pixel value of 1 in the foreground image, and the pixel values of the other pixels are set to 0.
次に、類似性判定手段５５は、右側の探索領域に対応する前景監視画像の部分を左右反転させて反転画像を生成し（Ｓ６６１）、左側の探索領域に対応する前景監視画像の部分と反転画像との間の画像相関値を算出し（Ｓ６６２）、画像相関値をしきい値ＴＤｃｏｒｒと比較する（Ｓ６６３）。背景部分の画素については相関値が積算されないことに注意されたい。 Next, the similarity determination unit 55 generates a reverse image by horizontally inverting the portion of the foreground monitoring image corresponding to the right search area (S661), and reverses the portion of the foreground monitoring image corresponding to the left search area. An image correlation value with the image is calculated (S662), and the image correlation value is compared with a threshold value TD corr (S663). Note that no correlation value is accumulated for pixels in the background portion.
画像相関値がＴＤｃｏｒｒ以上の場合（Ｓ６６３にてＮＯ）、類似性判定手段５５は類似性ありとして（Ｓ６７３）、類似性判定処理を終了する。他方、画像相関値がＴＤｃｏｒｒ未満の場合（Ｓ６６３にてＹＥＳ）、処理はステップＳ６６４へ進む。
図９の画像９６は探索領域９２内の画像である。画像９６−１ａ、画像９６−２ａはそれぞれ利用者が通話姿勢をとっているときの左側の画像、右側の反転画像であり、両者は手の部分で大きく異なる。これらの間では低い画像相関値が算出され、類似性なしが判定される（Ｓ６６３にてＹＥＳ）。画像９６−１ｂ、画像９６−２ｂはそれぞれ利用者が通話姿勢をとっていないときの左側の画像、右側の反転画像であり、両者はよく似ている。これらの間では高い画像相関値が算出される（Ｓ６６３にてＮＯ→Ｓ６７３）。
If the image correlation value is equal to or greater than TD corr (NO in S663), similarity determination means 55 determines that there is similarity (S673) and ends the similarity determination processing. On the other hand, if the image correlation value is less than TD corr (YES in S663), the process proceeds to step S664.
An image 96 in FIG. 9 is an image in the search area 92. An image 96-1a and an image 96-2a are a left image and a reverse image on the right side when the user is in a talking posture, and both are greatly different in the hand portion. Between these, a low image correlation value is calculated, and it is determined that there is no similarity (YES in S663). An image 96-1b and an image 96-2b are an image on the left side and a reverse image on the right side when the user is not in a talking posture, and both are very similar. Between these, a high image correlation value is calculated (NO in S663 → S673).
続いて、類似性判定手段５５は、左右の探索領域それぞれに対応する前景監視画像の部分について色ヒストグラムを算出し（Ｓ６６４，Ｓ６６５）、これらの色ヒストグラム間の差を算出し（Ｓ６６６）、算出された差をしきい値ＴＤｈｉｓｔと比較する（Ｓ６６７）。但し、このとき画素値が０の画素については無視して色ヒストグラムを算出することで前景部分のみの色ヒストグラムを算出する。 Subsequently, the similarity determination unit 55 calculates a color histogram for the portion of the foreground monitoring image corresponding to each of the left and right search regions (S664, S665), calculates a difference between these color histograms (S666), and calculates The determined difference is compared with a threshold value TD hist (S667). However, at this time, the color histogram of only the foreground portion is calculated by ignoring the pixel having a pixel value of 0 and calculating the color histogram.
色ヒストグラム間の差がＴＤｈｉｓｔ未満の場合（Ｓ６６７にてＮＯ）、類似性判定手段５５は類似性ありとして（Ｓ６７３）、類似性判定処理を終了する。他方、色ヒストグラム間の差がＴＤｈｉｓｔ以上の場合（Ｓ６６７にてＹＥＳ）、処理はステップＳ６６８へ進む。
図９のグラフ９７は色ヒストグラムであり、グラフ９８は色ヒストグラムの差（積算前）である。色ヒストグラム９７−１ａ、色ヒストグラム９７−２ａはそれぞれ利用者が通話姿勢をとっているときの左側の色ヒストグラム、右側の色ヒストグラムであり、両者は手の影響で大きく異なる。これらの差９８ａは大きく、類似性なしが判定される（Ｓ６６７にてＹＥＳ）。色ヒストグラム９７−１ｂ、色ヒストグラム９７−２ｂはそれぞれ利用者が通話姿勢をとっていないときの左側の色ヒストグラム、右側の色ヒストグラムであり、両者はよく似ている。これらの差９８ｂは小さい（Ｓ６６７にてＮＯ→Ｓ６７３）。
If the difference between the color histograms is smaller than TD hist (NO at S667), the similarity determination unit 55 as there is a similarity (S673), and ends the similarity determination process. On the other hand, when the difference between the color histograms is equal to or greater than TD hist (YES at S667), the process proceeds to step S668.
A graph 97 in FIG. 9 is a color histogram, and a graph 98 is a difference between color histograms (before integration). The color histogram 97-1a and the color histogram 97-2a are respectively a left color histogram and a right color histogram when the user is in a call posture. These differences 98a are large, and it is determined that there is no similarity (YES in S667). The color histogram 97-1b and the color histogram 97-2b are a left color histogram and a right color histogram when the user is not in a call posture, and both are very similar. These differences 98b are small (NO in S667 → S673).
続いて、類似性判定手段５５は、図６のステップＳ６４２にて計数された左側の探索領域における肌色画素数と、同図のステップＳ６４８にて計数された右側の探索領域における肌色画素数との差（の絶対値）を算出し（Ｓ６６８）、算出された差をしきい値ＴＤｓｋｉｎと比較する（Ｓ６６９）。肌色画素数の差がＴＤｓｋｉｎ未満の場合（Ｓ６６９にてＮＯ）、類似性判定手段５５は類似性ありとして（Ｓ６７３）、類似性判定処理を終了する。 Subsequently, the similarity determination unit 55 calculates the number of skin color pixels in the left search area counted in step S642 in FIG. 6 and the number of skin color pixels in the right search area counted in step S648 in FIG. A difference (absolute value thereof) is calculated (S668), and the calculated difference is compared with a threshold value TD skin (S669). If the difference in the number of skin color pixels is less than TD skin (NO in S669), similarity determination means 55 determines that there is similarity (S673) and ends the similarity determination processing.
他方、肌色画素数の差がＴＤｓｋｉｎ以上の場合（Ｓ６６９にてＹＥＳ）、処理はステップＳ６７０へ進む。類似性判定手段５５は、図６のステップＳ６４４にて計数された左側の探索領域における肌色エッジ数と、同図のステップＳ６５０にて計数された右側の探索領域における肌色エッジ数との差（の絶対値）を算出し（Ｓ６７０）、算出された差をしきい値ＴＤｅｄｇｅと比較する（Ｓ６７１）。 On the other hand, if the difference in the number of skin color pixels is equal to or greater than TD skin (YES in S669), the process proceeds to step S670. Similarity determination means 55 determines the difference between the number of skin color edges in the left search area counted in step S644 in FIG. 6 and the number of skin color edges in the right search area counted in step S650 in FIG. absolute value) is calculated (S670), the calculated difference is compared with a threshold value TD edge (S671).
肌色エッジ数の差がＴＤｅｄｇｅ以上の場合（Ｓ６７１にてＹＥＳ）、類似性判定手段５５は類似性なしと判定し（Ｓ６７２）、肌色エッジ数の差がＴＤｅｄｇｅ未満の場合（Ｓ６７１にてＮＯ）は類似性ありと判定する（Ｓ６７３）。 If the difference in the number of skin color edges is greater than or equal to TD edge (YES in S671), the similarity determination means 55 determines that there is no similarity (S672), and if the difference in the number of skin color edges is less than TD edge (NO in S671) ) Is determined to be similar (S673).
以上で図８、図９の類似性判定処理は終了し、処理は再び図５へ戻る。 Thus, the similarity determination process of FIGS. 8 and 9 ends, and the process returns to FIG. 5 again.
信号処理部５の通話姿勢検知手段５６は、ステップＳ６６の判定結果を参照し、探索領域間の類似性が判定されない場合（Ｓ６７にてＹＥＳ）は通話姿勢を検知し（Ｓ６８）、探索領域間の類似性が判定された場合（Ｓ６７にてＮＯ）は通話姿勢を検知しない（Ｓ６９）。 The call attitude detection means 56 of the signal processing unit 5 refers to the determination result of step S66, and if the similarity between the search areas is not determined (YES in S67), detects the call attitude (S68), and between the search areas Is determined (NO in S67), the call attitude is not detected (S69).
以上で図６の異常監視処理は終了し、処理は再び図４へ戻る。 Thus, the abnormality monitoring process in FIG. 6 ends, and the process returns to FIG. 4 again.
ステップＳ６において通話姿勢が検知された場合（Ｓ７にてＹＥＳ）、信号処理部５の通話姿勢検知手段５６は、記憶部４から振り込め詐欺を警報する音声データを読み出して警報部６へ出力する（Ｓ８）。音声データの内容は例えば「振り込め詐欺のおそれがあります。携帯電話をお切り下さい。」などとする。警報部６は入力された音声データを再生して利用者や行員、店員に警報する。そして、これを受けた利用者が振込行為を取りやめたり、これを受けた行員や店員が利用者に声をかけたりして振り込め詐欺被害が防止される。 When the call posture is detected in step S6 (YES in S7), the call posture detection means 56 of the signal processing unit 5 reads the voice data for warning of the transfer fraud from the storage unit 4 and outputs it to the warning unit 6 ( S8). The content of the audio data is, for example, “There is a risk of wire fraud. Please hang up your mobile phone.” The alarm unit 6 reproduces the input voice data and alerts the user, the clerk, and the store clerk. And the user who received this cancels the transfer act, and the bank employee or the store clerk who received this speaks to the user, and the damage of the transfer fraud is prevented.
また、通話姿勢検知手段５６は、通話姿勢が検知された監視画像を含めた異常信号をも警報部６へ出力する。警報部６は通信線を介してセンタ装置へ異常信号を送信する。異常信号を受信したセンタ装置は警報音の鳴動や監視画像の表示等を行う。そして、監視画像により状況確認した監視員は必要に応じて対処を行い振り込め詐欺被害を防ぐ。 Further, the call posture detection means 56 also outputs an abnormal signal including a monitoring image in which the call posture is detected to the alarm unit 6. The alarm unit 6 transmits an abnormal signal to the center device via the communication line. The center device that has received the abnormal signal sounds an alarm sound and displays a monitoring image. Then, the monitoring person who confirms the situation by the monitoring image takes measures as necessary to prevent the transfer fraud damage.
＜実施形態２＞
次に、実施形態１における類似性判定手段５５での類似性の判定を、手特徴量を用いることなく行う実施形態２について説明する。
<Embodiment 2>
Next, a second embodiment in which the similarity determination by the similarity determination means 55 in the first embodiment is performed without using hand feature amounts will be described.
実施形態１において類似性判定手段５５は、画像相関値や色ヒストグラムを用いた探索領域の全体的な比較と、肌色画素数や肌色エッジ数を用いた手特徴量に特化した探索領域の比較とを組み合わせて判定した。実施形態２において類似性判定手段５５は、探索領域の全体的な比較のみを行なう。すなわち、図８を参照して説明した類似性判定処理のフローチャートにおいてステップＳ６６８〜Ｓ６７１が省略される。その他は実施形態１と同一の形態をとる。 In the first embodiment, the similarity determination unit 55 compares the entire search area using the image correlation value and the color histogram, and compares the search area specialized for hand features using the number of skin color pixels and the number of skin color edges. And was determined in combination. In the second embodiment, the similarity determination unit 55 performs only overall comparison of search areas. That is, steps S668 to S671 are omitted in the flowchart of the similarity determination process described with reference to FIG. Others take the same form as the first embodiment.
実施形態２においても、類似性の判定結果に基づく通話姿勢の判定によって通話機を把持する手の多様性や手周辺の画像の影響による通話姿勢の誤検知が減り、従来技術よりも高精度な通話姿勢検知が可能となる。また、実施形態１と比べ、しきい値ＴＤｅｄｇｅ、ＴＤｓｋｉｎを設定する手間や処理時間を減じることができる。 Also in the second embodiment, the determination of the call posture based on the similarity determination result reduces the misdetection of the call posture due to the diversity of the hand holding the phone and the influence of the image around the hand, and is more accurate than the conventional technology. Call attitude detection is possible. Compared to the first embodiment, it is possible to reduce labor and processing time for setting the threshold values TD edge and TD skin .
＜実施形態３＞
次に、実施形態１における手検出手段５４を省略し、類似性判定手段５５において手特徴量を用いた実施形態３について説明する。
<Embodiment 3>
Next, Embodiment 3 in which the hand detection unit 54 in Embodiment 1 is omitted and the similarity determination unit 55 uses hand feature amounts will be described.
実施形態１において画像監視装置１は、手検出手段５４を備え、通話姿勢検知手段５６は類似性判定手段５５による判定結果と手検出手段５４による検出結果を参照して通話姿勢を検知した。実施形態３において画像監視装置１は、手検出手段５４を有さず、通話姿勢検知手段５６は類似性判定手段５５による判定結果のみから通話姿勢を検知する。この場合、上述した手特徴量である肌色画素数や肌色エッジ数は類似性判定手段５５において算出される。 In the first embodiment, the image monitoring apparatus 1 includes the hand detection unit 54, and the call posture detection unit 56 detects the call posture with reference to the determination result by the similarity determination unit 55 and the detection result by the hand detection unit 54. In the third embodiment, the image monitoring apparatus 1 does not have the hand detection unit 54, and the call posture detection unit 56 detects the call posture based only on the determination result by the similarity determination unit 55. In this case, the similarity determination means 55 calculates the number of skin color pixels and the number of skin color edges, which are the above-described hand features.
すなわち、図３を参照して説明した異常監視処理のフローチャートにおいてはステップＳ６４，Ｓ６５が省略され、図８を参照して説明した類似性判定処理のフローチャートのステップＳ６６８において類似性判定手段５５がステップＳ６４０，Ｓ６４３，Ｓ６４８と同様の処理をさらに行って肌色画素数差を算出し、同フローチャートのステップＳ６７０において類似性判定手段５５がステップＳ６４１，Ｓ６４２，Ｓ６４４，Ｓ６４９と同様の処理をさらに行って肌色エッジ数差を算出する。その他は実施形態１と同一の形態をとる。 That is, steps S64 and S65 are omitted in the flowchart of the abnormality monitoring process described with reference to FIG. 3, and the similarity determination unit 55 performs step in step S668 of the flowchart of the similarity determination process described with reference to FIG. The same processing as S640, S643, and S648 is further performed to calculate the difference in the number of skin color pixels. In step S670 of the flowchart, the similarity determination unit 55 further performs the same processing as that of steps S641, S642, S644, and S649 to determine the skin color. The edge number difference is calculated. Others take the same form as the first embodiment.
実施形態３においても、類似性の判定結果に基づく通話姿勢の判定によって通話機を把持する手の多様性や手周辺の画像の影響による通話姿勢の誤検知が減り、従来技術よりも高精度な通話姿勢検知が可能となる。また、実施形態１と比べ、しきい値Ｔｅｄｇｅ、Ｔｓｋｉｎを設定する手間や処理時間を減じることができる。 Even in the third embodiment, the determination of the call posture based on the similarity determination result reduces the misdetection of the call posture due to the diversity of the hand holding the phone and the influence of the image around the hand, and is more accurate than the conventional technology. Call attitude detection is possible. Compared with the first embodiment, it is possible to reduce time and processing time for setting the threshold values T edge and T skin .
１・・・画像監視装置
２・・・撮像部
３・・・人検知部
４・・・記憶部
５・・・信号処理部
６・・・警報部
５１・・・前景領域抽出手段
５２・・・顔検出手段
５３・・・探索領域設定手段
５４・・・手検出手段
５５・・・類似性判定手段
５６・・・通話姿勢検知手段
DESCRIPTION OF SYMBOLS 1 ... Image monitoring apparatus 2 ... Imaging part 3 ... Human detection part 4 ... Memory | storage part 5 ... Signal processing part 6 ... Alarm part 51 ... Foreground area extraction means 52 ... -Face detection means 53 ... Search area setting means 54 ... Hand detection means 55 ... Similarity determination means 56 ... Call posture detection means
Claims (5)
監視空間を撮像する撮像部と、
前記監視空間に人物が存在するときに当該人物の顔とその周辺が撮像された監視画像から予め設定された顔特徴を有する顔領域を検出する顔検出手段と、
前記顔検出手段により検出された顔領域の左右周辺の当該顔領域に対して左右対称な位置に探索領域を設定する探索領域設定手段と、
前記監視画像内で左右の前記探索領域間の類似性を判定する類似性判定手段と、
前記類似性が判定されない場合に前記人物の通話姿勢を検知する通話姿勢検知手段と、
を備えたことを特徴とする画像監視装置。 An image monitoring device that abnormally outputs when detecting a person's call posture,
An imaging unit for imaging the surveillance space;
Face detection means for detecting a face region having a preset facial feature from a monitoring image obtained by capturing the person's face and its surroundings when a person is present in the monitoring space;
Search area setting means for setting a search area at a position symmetrical to the face area around the left and right sides of the face area detected by the face detection means;
Similarity determination means for determining the similarity between the left and right search areas in the monitoring image;
A call posture detection means for detecting the call posture of the person when the similarity is not determined;
An image monitoring apparatus comprising:
前記監視画像と前記背景画像とを比較して当該監視画像における前景領域を抽出する前景領域抽出手段と、をさらに備え、
前記類似性判定手段は、前記探索領域内の前記前景領域において前記類似性を判定する請求項１又は２に記載の画像監視装置。 A storage unit for storing a background image captured when no person is present in the monitoring space;
Foreground region extraction means for comparing the monitoring image with the background image and extracting a foreground region in the monitoring image;
The image monitoring apparatus according to claim 1, wherein the similarity determination unit determines the similarity in the foreground area in the search area.
前記通話姿勢検知手段は、前記手検出手段により所定量以上の前記手特徴が検出され、且つ前記類似性が判定されない場合に通話姿勢を検知する請求項１に記載の画像監視装置。 Hand detection means for detecting hand features preset in each of the search areas;
The image monitoring apparatus according to claim 1, wherein the call posture detection unit detects the call posture when the hand detection unit detects the hand feature of a predetermined amount or more and the similarity is not determined.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009020306A JP5127735B2 (en) | 2009-01-30 | 2009-01-30 | Image monitoring device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009020306A JP5127735B2 (en) | 2009-01-30 | 2009-01-30 | Image monitoring device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010176531A true JP2010176531A (en) | 2010-08-12 |
| JP5127735B2 JP5127735B2 (en) | 2013-01-23 |
Family
ID=42707418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009020306A Active JP5127735B2 (en) | 2009-01-30 | 2009-01-30 | Image monitoring device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5127735B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013146206A1 (en) * | 2012-03-28 | 2013-10-03 | 株式会社メガチップス | Object detection device and program |
| JP2016103242A (en) * | 2014-11-28 | 2016-06-02 | キヤノン株式会社 | Image processing method, image processor and program |
| JP2020149448A (en) * | 2019-03-14 | 2020-09-17 | 東芝エレベータ株式会社 | Image processing device and image processing method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004094491A (en) * | 2002-08-30 | 2004-03-25 | Nec Corp | Face orientation estimation device and method and its program |
| JP2007249478A (en) * | 2006-03-15 | 2007-09-27 | Denso Corp | Mobile phone use warning device |
| JP2007265290A (en) * | 2006-03-29 | 2007-10-11 | Oki Electric Ind Co Ltd | Queue information notification system |
| JP2008197939A (en) * | 2007-02-14 | 2008-08-28 | Hitachi Omron Terminal Solutions Corp | Suspicious behavior monitoring method and device |
-
2009
- 2009-01-30 JP JP2009020306A patent/JP5127735B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004094491A (en) * | 2002-08-30 | 2004-03-25 | Nec Corp | Face orientation estimation device and method and its program |
| JP2007249478A (en) * | 2006-03-15 | 2007-09-27 | Denso Corp | Mobile phone use warning device |
| JP2007265290A (en) * | 2006-03-29 | 2007-10-11 | Oki Electric Ind Co Ltd | Queue information notification system |
| JP2008197939A (en) * | 2007-02-14 | 2008-08-28 | Hitachi Omron Terminal Solutions Corp | Suspicious behavior monitoring method and device |
Non-Patent Citations (4)
| Title |
|---|
| CSNG200202329015; 佐橋 正也: '耳と顔の特徴の位置関係に基づく顔画像からの視線方向の推定' 電子情報通信学会技術研究報告 第９７巻 第５９６号, 19980313, ｐ．１１３-１２０, 社団法人電子情報通信学会 * |
| CSNJ200810080150; 永吉 洋登: '振込め詐欺防止のための複合画像特徴を用いた手検知による携帯電話利用検知' 電子情報通信学会２００８年総合大会講演論文集 情報・システム２ , 20080305, ｐ．１５０, 社団法人電子情報通信学会 * |
| JPN6012055005; 永吉 洋登: '振込め詐欺防止のための複合画像特徴を用いた手検知による携帯電話利用検知' 電子情報通信学会２００８年総合大会講演論文集 情報・システム２ , 20080305, ｐ．１５０, 社団法人電子情報通信学会 * |
| JPN6012055007; 佐橋 正也: '耳と顔の特徴の位置関係に基づく顔画像からの視線方向の推定' 電子情報通信学会技術研究報告 第９７巻 第５９６号, 19980313, ｐ．１１３-１２０, 社団法人電子情報通信学会 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013146206A1 (en) * | 2012-03-28 | 2013-10-03 | 株式会社メガチップス | Object detection device and program |
| JP2013228995A (en) * | 2012-03-28 | 2013-11-07 | Mega Chips Corp | Object detection device and program |
| US9514545B2 (en) | 2012-03-28 | 2016-12-06 | Megachips Corporation | Object detection apparatus and storage medium |
| JP2016103242A (en) * | 2014-11-28 | 2016-06-02 | キヤノン株式会社 | Image processing method, image processor and program |
| JP2020149448A (en) * | 2019-03-14 | 2020-09-17 | 東芝エレベータ株式会社 | Image processing device and image processing method |
| CN111689324A (en) * | 2019-03-14 | 2020-09-22 | 东芝电梯株式会社 | Image processing apparatus and image processing method |
| CN111689324B (en) * | 2019-03-14 | 2022-01-11 | 东芝电梯株式会社 | Image processing apparatus and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5127735B2 (en) | 2013-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7324670B2 (en) | Face image processing apparatus and method | |
| JP7031588B2 (en) | Suspicious person detection device, suspicious person detection method and program | |
| JP4156430B2 (en) | Face verification method and system using automatic database update method | |
| JP6494253B2 (en) | Object detection apparatus, object detection method, image recognition apparatus, and computer program | |
| EP1426898A2 (en) | Human detection through face detection and motion detection | |
| US7783083B2 (en) | Apparatus and method for detecting occluded face and apparatus and method for discriminating illegal user using the same | |
| JP3801137B2 (en) | Intruder detection device | |
| EP2336949B1 (en) | Apparatus and method for registering plurality of facial images for face recognition | |
| JP4945297B2 (en) | Terminal monitoring device | |
| JP2001216515A (en) | Method and device for detecting face of person | |
| JPH0944685A (en) | Face image processor | |
| TWI603270B (en) | Method and apparatus for detecting person to use handheld device | |
| KR101252843B1 (en) | Method of Managing Image in a Mobile Communication Terminal | |
| CN107346419B (en) | Iris recognition method, electronic device, and computer-readable storage medium | |
| WO2018233637A1 (en) | Video processing method and apparatus, electronic device, and storage medium | |
| JP2000232638A (en) | Person monitor system to evaluate image information | |
| US9064172B2 (en) | System and method for object detection | |
| JP6396357B2 (en) | Face image authentication device | |
| KR100347058B1 (en) | Method for photographing and recognizing a face | |
| JP5127735B2 (en) | Image monitoring device | |
| JP2002191044A (en) | Face image supervisory system | |
| JP2004272933A (en) | Face image monitoring system | |
| JP4708835B2 (en) | Face detection device, face detection method, and face detection program | |
| JP2012068948A (en) | Face attribute estimating apparatus and method therefor | |
| JP2020052788A (en) | Image processing system and method therefor, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121016 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121030 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121030 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5127735 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151109 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |