JP4744466B2 - Image processing apparatus, image processing system, and image processing program - Google Patents

Image processing apparatus, image processing system, and image processing program Download PDF

Info

Publication number
JP4744466B2
JP4744466B2 JP2007072730A JP2007072730A JP4744466B2 JP 4744466 B2 JP4744466 B2 JP 4744466B2 JP 2007072730 A JP2007072730 A JP 2007072730A JP 2007072730 A JP2007072730 A JP 2007072730A JP 4744466 B2 JP4744466 B2 JP 4744466B2
Authority
JP
Japan
Prior art keywords
image
moving image
frame
face
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007072730A
Other languages
Japanese (ja)
Other versions
JP2008236345A (en
Inventor
啓介 横山
賢二 兒玉
照雄 下村
国和 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2007072730A priority Critical patent/JP4744466B2/en
Publication of JP2008236345A publication Critical patent/JP2008236345A/en
Application granted granted Critical
Publication of JP4744466B2 publication Critical patent/JP4744466B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、映像データを画像処理して記録する画像処理装置、画像処理システム及び画像処理プログラムに関し、特に、人物が写り込む映像データを動画像又は静止画像で記録する画像処理装置、画像処理システム及び画像処理プログラムに関する。   The present invention relates to an image processing apparatus, an image processing system, and an image processing program that process and record video data, and in particular, an image processing apparatus and an image processing system that record video data in which a person is captured as a moving image or a still image. And an image processing program.

ＣＤ(Cash Dispenser)やＡＴＭ(Automated Teller Machine)などの無人端末には、防犯目的で監視カメラが設置され、画像が記録されている。この記録されている画像の記録方式は様々種類があるが、主要なものとしてテープ媒体（ＶＴＲ(Video Tape Recorder)）、デジタルデータ（ＭＰＥＧ４(Moving Picture Experts Group phase 4)、モーションＪＰＥＧ(Motion-Joint Photographic Experts Group)など）がある。   Surveillance cameras are installed on unmanned terminals such as CDs (Cash Dispenser) and ATMs (Automated Teller Machines), and images are recorded. There are various types of recording methods of recorded images, but the main ones are tape media (VTR (Video Tape Recorder)), digital data (MPEG4 (Moving Picture Experts Group phase 4), motion JPEG (Motion-Joint). Photographic Experts Group).

前記デジタルデータとして画像を記録した場合には、画像処理を施すことで利用効率を上げるなど、応用的な活用も考えられる。画像処理の応用例としては、例えば、動き自動検出機能、行列自動カウント機能がある。この動き自動検出機能は、画像中の動く対象を検出すると画質と記録レートを自動的に上げて記録し、アラームを鳴動させる。また、行列自動カウント機能は、行列に並ぶ人の数を自動的にカウントし、混雑状況を把握可能なものである。
また、利用客を特定するイメージ情報を用いて不正使用の防止及び検出を目的とした現金自動取引方法が、特許文献１に開示されている。 When an image is recorded as the digital data, it can be applied practically, for example, by increasing the use efficiency by performing image processing. Application examples of image processing include, for example, an automatic motion detection function and a matrix automatic count function. This automatic motion detection function automatically raises the image quality and recording rate when a moving object in the image is detected, and sounds an alarm. Further, the matrix automatic counting function can automatically count the number of people in the queue and grasp the congestion situation.
Further, Patent Document 1 discloses an automatic cash transaction method for the purpose of preventing and detecting unauthorized use using image information that identifies a customer.

この特許文献１の現金自動取引方法は、利用客のイメージ情報を取り込むためのイメージ情報取り込み部を有し、現金自動取引装置と接続されたデータ記憶装置に記憶されるイメージ情報に基づいて前記イメージ情報を識別し、識別の結果、所定の特徴が識別された場合に、通常とは異なる取引を行う構成である。
特許第２９６０４９０号公報 The automatic cash transaction method of Patent Document 1 has an image information capturing unit for capturing image information of a customer, and the image is based on image information stored in a data storage device connected to the automatic cash transaction apparatus. In this configuration, information is identified, and when a predetermined characteristic is identified as a result of the identification, a transaction different from normal is performed.
Japanese Patent No. 2960490

ところで、昨今、預金者保護の観点から、偽造カード、盗難カード等を用いた無人端末での不正取引を防止する施策が提案され、預金無人端末での監視カメラで撮像された画像の長期保管も望まれている。   By the way, recently, from the viewpoint of depositor protection, measures have been proposed to prevent fraudulent transactions at unmanned terminals using counterfeit cards, theft cards, etc., and long-term storage of images taken by surveillance cameras at unattended terminals It is desired.

しかしながら、画像は記録方式による差異はあるものの、多くの記憶領域を使用するため、例えば１年以上の長期保管を実現しようとする場合には現在実現されている各種システムでは記憶媒体の量に制約を受けるという課題を有する。   However, although there are differences depending on the recording method, images use a large amount of storage area. For example, when long-term storage of one year or more is to be realized, the amount of storage media is limited in various currently implemented systems. Have the problem of receiving.

具体的に、ＶＴＲで画像を記録している場合には、保管期間が長期間になるに従ってテープの購入費用が嵩むと共に、その画像を記録したテープの保管場所の確保が困難であり、また、無数にあるテープから該当のテープを探す手間も生じる。   Specifically, when an image is recorded with a VTR, the purchase cost of the tape increases as the storage period becomes longer, and it is difficult to secure a storage place for the tape on which the image is recorded. It also takes time to search for the corresponding tape from countless tapes.

他方、デジタルデータで記録した場合には、ＶＴＲで画像を記録する場合と比べ、記録媒体の保管場所の確保、並びに、該当画像の検索性は改善するものの、大量のデータを記録する装置のコストが莫大となり、また、大量のデータを記録する装置もある程度の設置場所を要するという課題を解決することができない。   On the other hand, in the case of recording with digital data, the storage cost of the recording medium and the searchability of the corresponding image are improved as compared with the case of recording the image with the VTR, but the cost of the apparatus for recording a large amount of data is improved. However, it is impossible to solve the problem that a device for recording a large amount of data requires a certain amount of installation space.

ここで、現在記録している品質よりも相当程度劣化させた品質で撮像して記録する方法を容易推考の方法として採り得るかもしれないが、劣化させた画像から肝心の不正取引者が困難となれば本末転倒である。   Here, it may be possible to take a method of imaging and recording with a quality considerably deteriorated from the quality currently recorded as an easy inference method. If it becomes, it is a fall at the end.

さらに、前記特許文献１の現金自動取引方法によれば、防犯カメラを手で隠したり、防犯カメラの視野に入らないような位置で取引したり、サングラス等で顔を隠したりして取引する場合には、その取引が不正な取引である可能性があり、精密に撮影したり、取引時間を長引かせるようにしたり、窓口に誘導するようにして、不正の取引をしようとする者に対して抑制作用がある。しかし、この特許文献１の現金自動取引方法によっても、前説した記録した画像の長期保管による課題を解決することはできない。   Furthermore, according to the automatic cash transaction method of Patent Document 1, when dealing with a security camera hidden by hand, trading at a position that does not enter the field of view of the security camera, or hiding the face with sunglasses or the like. The transaction may be fraudulent. For those who try to conduct fraudulent transactions, such as taking precise photographs, prolonging the transaction time, or guiding them to the counter. There is an inhibitory action. However, the automatic cash transaction method disclosed in Patent Document 1 cannot solve the above-described problem caused by long-term storage of recorded images.

本発明は前記課題を解決するためになされたものであり、不正使用者を撮像した画像を劣化させることなしに、長期保管する必要性の小さな画像を排除して長期保管での記憶容量を減少させる画像処理装置、画像処理システム及び画像処理プログラムを提供することを目的とする。   The present invention has been made to solve the above-mentioned problems, and reduces the storage capacity in long-term storage by eliminating images that are not necessary for long-term storage without deteriorating images captured by unauthorized users. An object of the present invention is to provide an image processing apparatus, an image processing system, and an image processing program.

図１は本発明の画像記憶の原理説明図である。
図１に示すように、監視カメラで撮影された映像データをもとに、以下の画像処理を施し、必要度に合わせた形式で保存する。
＜１＞シーンチェンジ検出
刻々と記録される映像データから、人物等が現れた箇所の画像の変化を検知し、そのシーンのみを抽出する。例えば、図１（１）に示した例では、背景のみ表示されているフレームから、女性が歩いて監視カメラ側に近づいていくフレームに移行し、さらに、顔が大写しされたフレームにまで移行している。シーンチェンジ時のフレームのみを抽出してもよいし、既定のシーンからのシーンチェンジから再び既定のシーンに戻るシーンチェンジまでのフレーム（その一部）を抽出してもよい。ここで、既定のシーンとは、監視対象となる人物等が写り込んでいないフレームである。 FIG. 1 is a diagram for explaining the principle of image storage according to the present invention.
As shown in FIG. 1, the following image processing is performed based on video data captured by a surveillance camera and stored in a format that suits the necessity.
<1> Scene Change Detection From a video data recorded every moment, a change in an image where a person or the like appears is detected and only the scene is extracted. For example, in the example shown in FIG. 1 (1), a frame in which only the background is displayed shifts to a frame in which a woman walks and approaches the surveillance camera side, and further shifts to a frame in which a face is magnified. ing. Only a frame at the time of a scene change may be extracted, or a frame (part thereof) from a scene change from a default scene to a scene change returning to the default scene may be extracted. Here, the default scene is a frame in which a person or the like to be monitored is not reflected.

＜２＞顔の向き検出
前記＜1＞で抽出されたシーン（人物が映っているシーン）から顔の向きを自動的に検知する。
・顔が正面を向いているものは、静止画像として記録して保存する。図１（２）上部右側では正面を向いている女性の顔画像を静止画像として記録し、他方、図１（２）上部左側では前記＜１＞により抽出されたフレームであるものの顔の向きを検出することができず記録されない。
・顔の向きが常に正面を向かず例えば下を終始みているもの又は激しく変化しているものについては、覗き見や不正引出などの可能性があると判断し、操作の一部始終を記録し保存する。 <2> Face orientation detection The face orientation is automatically detected from the scene extracted in <1> (a scene in which a person is shown).
・ If the face is facing the front, record and save it as a still image. On the upper right side of FIG. 1 (2), the face image of a woman facing the front is recorded as a still image, while on the upper left side of FIG. 1 (2), the face orientation of the frame extracted by <1> is displayed. It cannot be detected and is not recorded.
・ If the face does not always face the front, for example if it is down all the way or changes drastically, it is judged that there is a possibility of peeping or fraudulent withdrawal, and the entire operation is recorded. save.

＜３＞開眼状況
前記＜２＞で静止画又は動画として記録するとの切り分けは実行せずに、顔の向き検出で顔が正面を向いているとされたシーンから開眼状況を自動的に検知する。
・開眼状況が正常とみられるものは、静止画像として記録して保存する。
・開眼状況が異常（サングラス等）であって認識できなかったものについては、覗き見や不正引出などの可能性があると判断し、操作の一部始終を記録し保存する。
ここで、前記＜２＞顔の向き検出を行うことなく、開眼状況を把握できる場合には静止画像として記録し、他方、開眼状況を認識できない場合には前記＜１＞のシーンチェンジで検出されたフレーム全てからなる動画像を記録する構成にすることもできる。 <3> Eye-opening situation The eye-opening situation is automatically detected from a scene in which the face is faced to the front by detecting the orientation of the face without performing the separation of recording as a still image or a moving image in <2>. .
・ If the eye opening condition is normal, record and save it as a still image.
・ If the eye opening condition is abnormal (such as sunglasses) and cannot be recognized, it is determined that there is a possibility of peeping or fraudulent withdrawal, etc., and the entire operation is recorded and saved.
Here, when the eye opening state can be grasped without performing the <2> face orientation detection, it is recorded as a still image, whereas when the eye opening state cannot be recognized, it is detected by the scene change of <1>. It is also possible to record a moving image consisting of all the frames.

監視カメラから送られてくる映像データに対して前記＜１＞の処理を行うことで、監視カメラで撮像された全てのフレームが記録されるのではなく、人物が写りこんだフレームのみを記録する。また、同じ人物を撮像した連続したフレームの集合である検出動画像のフレーム毎に前記＜２＞＜３＞の処理を実行し、撮像されている人物の顔が正面を向いているフレームがある場合、撮像されている人物が開眼しているフレームがある場合、又は、撮像されている人物の顔が正面を向き且つその人物が開眼しているフレームがある場合には、検出動画像を記録するのではなく該当フレームを記録する。
また、このように一部抽出されたフレームを読み出して表示する場合においては、記録すべきデータ量を減少させることになるだけでなく、検索対象となるデータ量も小さくなるため検索時のレスポンスも向上する。 By performing the process <1> on the video data sent from the surveillance camera, not all the frames captured by the surveillance camera are recorded, but only the frames in which a person is captured are recorded. . In addition, there is a frame in which the process of <2><3> is executed for each frame of the detected moving image that is a set of consecutive frames in which the same person is imaged, and the face of the person being imaged faces the front. If there is a frame in which the person being imaged is open, or if there is a frame in which the face of the person being imaged is facing front and the eye is open, the detected moving image is recorded. Instead of recording, the corresponding frame is recorded.
In addition, in the case of reading and displaying a partially extracted frame in this way, not only will the amount of data to be recorded be reduced, but the amount of data to be searched will also be small, so the response at the time of search will also be improves.

（１）顔の正面検出による動画像の静止画像化
本発明に係る画像処理装置は、撮像領域に不定期に人物が写り込む映像データから同一人物が連続して写り込んでいるフレームからなる検出動画像を検出する手段と、前記検出された検出動画像を構成するフレームに写り込んでいる人物の顔が正面を向いているか否かを判断する顔の正面検出処理手段と、前記顔の正面検出処理手段により前記検出動画像が顔の正面が写り込んでいる検出フレームを有すると判断された場合に、当該検出フレームを抽出静止画像として抽出する静止画抽出処理手段と、前記顔の正面検出処理手段により前記検出動画像が顔の正面が写り込んでいる検出フレームを有しないと判断された場合に、前記検出した検出動画像を前記映像データから切出す動画切出処理手段とを備え、前記静止画抽出処理手段が、前記検出動画像の代わりに前記抽出した抽出静止画像を記録すると共に当該抽出静止画像を除く前記映像データを記録せず、前記動画切出処理手段が、前記切出した検出動画像を記録すると共に当該検出動画像を除く前記映像データを記録しないものである。 (1) Still Image Conversion of Moving Image by Face Front Detection The image processing apparatus according to the present invention is composed of frames in which the same person is continuously captured from video data in which the person is irregularly captured in the imaging region. means for detecting a moving picture, and the front detection processing means of the face which the face of a person crowded-through the frames constituting the detected detected moving image determines whether facing the front, the front of the face When the detection processing unit determines that the detected moving image has a detection frame in which the front of the face is reflected, a still image extraction processing unit that extracts the detection frame as an extracted still image; and front detection of the face when the detecting moving image is determined to no detectable frames crowded-through the front of the face by the processing means, video clipping processor hand cut detection moving image the detected from the image data With the door, the still image extraction processing means, without recording the image data excluding the extracted still images records the extracted still images the extracted instead of the detection moving image, said moving image cutout process unit The cut out detected moving image is recorded, and the video data excluding the detected moving image is not recorded .

このように本発明においては、前記検出動画像を検出する手段により検出動画像を映像データから検出し、前記顔の正面検出処理手段が当該検出した検出動画像を構成するフレームに写り込んでいる人物の顔が正面を向いているか否かを判断し、前記検出動画像に顔が正面を向いた人物が写り込んでいる検出フレームがある場合に前記静止画抽出処理手段が検出フレームを抽出静止画像として抽出し、前記検出動画像を記録する代わりに当該抽出静止画像を記録するので、人物が写っていない動画像を含む映像データと比して人物が写っている検出動画像を記録することで相当の記憶容量を節約することができ、さらに、検出動画像の中で写り込んでいる人物の顔が正面を向いている検出フレームを有する検出動画像は抽出静止画像を検出動画像の代わりに記録するため、一層画像記録に必要となる記憶容量を減少させることができるという効果を奏する。   Thus, in the present invention, the detected moving image is detected from the video data by the means for detecting the detected moving image, and the face front detection processing means is reflected in the frame constituting the detected moving image. It is determined whether or not a person's face is facing the front, and when the detected moving image includes a detection frame in which a person whose face is facing the front is reflected, the still image extraction processing means extracts the detection frame Since the extracted still image is recorded instead of recording as the image and the detected moving image is recorded, the detected moving image in which the person is photographed is recorded as compared with the video data including the moving image in which the person is not photographed. Can save a considerable amount of memory, and a detected moving image having a detection frame in which the face of the person in the detected moving image faces the front is detected as a moving image. To record instead of an image, an effect that it is possible to reduce the storage capacity required for further image recording.

後説する実施形態では、人物が写り込んでいるフレームであって顔が正面を向き、且つ、開眼している人物が写り込んでいる検出フレームを検出動画像が有する場合に、検出動画像の代わりに検出フレームを抽出静止画像として抽出して記録する例を示したが、顔が正面を向いている人物が写り込んでいる検出フレームを検出動画像が有する場合に開眼の有無に拘らず検出動画像の代わりに検出フレームを抽出静止画像として抽出して記録してもよいし、開眼している人物が写り込んでいる検出フレームを検出動画像が有する場合に顔が正面を向いているか否かに拘らず検出動画像の代わりに検出フレームを抽出静止画像として抽出して記録してもよい。
前記検出動画像を検出する手段は、後説する実施形態においてはシーンチェンジ検出処理部に相当する。 In an embodiment to be described later, when a detected moving image has a detection frame in which a person is captured, a face is facing forward, and an opened eye is reflected, the detected moving image Instead, a detection frame is extracted and recorded as an extracted still image, but it is detected regardless of whether the eye is open or not when the detection moving image has a detection frame in which a person whose face is facing the front is reflected. The detection frame may be extracted and recorded as an extracted still image instead of the moving image, or if the detection moving image has a detection frame in which a person with an open eye is reflected, whether or not the face is facing front Regardless, the detected frame may be extracted and recorded as an extracted still image instead of the detected moving image.
The means for detecting the detected moving image corresponds to a scene change detection processing unit in the embodiment described later.

（２）顔の正面検出及び開眼検出による動画像の静止画像化
本発明に係る画像処理装置は必要に応じて、前記顔の正面検出処理手段により顔の正面が写り込んでいるとされたフレームの人物が開眼しているか否かを判断する開眼状況検出処理手段とを備え、当該開眼状況検出処理手段により検出動画像が開眼している検出フレームを有すると判断された場合に、前記静止画抽出処理手段が当該検出フレームを抽出静止画像として抽出するものである。 (2) Making Still Image of Moving Image by Face Front Detection and Eye Opening Detection In the image processing apparatus according to the present invention, a frame in which the front of the face is reflected by the face front detection processing unit as necessary Eye opening state detection processing means for determining whether or not the person is open, and the still image is detected when the eye movement state detection processing means determines that the detected moving image has an open detection frame. The extraction processing means extracts the detected frame as an extracted still image.

このように本発明においては、写り込んでいる人物の顔が正面を向いているだけでなく、開眼している検出フレームを検出動画像が有している場合に検出動画像の代わりに抽出静止画像を記録するので、顔が正面を向いているだけでなく開眼しているより望ましい状態で人物が写り込んでいる場合にだけデータ量の少ない静止画像で記録しており、記録した後に詳細に精査を必要とする検出動画像を静止画像として記録するという状況を回避しつつ、仮に静止画像を精査する場合にあってもその静止画像により人物を確実に確認することができるという効果を有する。   As described above, according to the present invention, not only the face of the person being reflected is facing the front, but also when the detected moving image has a detection frame that is open, the extracted still image is substituted for the detected moving image. Since the image is recorded, it is recorded as a still image with a small amount of data only when the person is reflected in a more desirable state where the face is not only facing the front but also with the eyes open. While avoiding the situation of recording a detected moving image that requires scrutiny as a still image, there is an effect that a person can be surely confirmed by the still image even when the still image is scrutinized.

（３）開眼検出による動画像の静止画像化
本発明に係る画像処理装置は、撮像領域に不定期に人物が写り込む映像データから同一人物が連続して写り込んでいる検出動画像を検出する手段と、前記検出された検出動画像を構成するフレームの人物が開眼しているか否かを判断する開眼状況検出処理手段と、前記開眼状況検出処理手段により前記検出動画像が開眼している人物が写り込んでいる検出フレームを有すると判断された場合に、当該検出フレームを抽出静止画像として抽出する静止画抽出処理手段と、前記開眼状況検出処理手段により前記検出動画像が開眼している人物が写り込んでいる検出フレームを有しないと判断された場合に、前記検出した検出動画像を前記映像データから切出す動画切出処理手段とを備え、前記静止画抽出処理手段が、前記検出動画像の代わりに前記抽出した抽出静止画像を記録すると共に当該抽出静止画像を除く前記映像データを記録せず、前記動画切出処理手段が、前記切出した検出動画像を記録すると共に当該検出動画像を除く前記映像データを記録しないものである。 (3) Making Still Image of Moving Image by Open Eye Detection The image processing apparatus according to the present invention detects a detected moving image in which the same person is continuously captured from video data in which the person is irregularly captured in the imaging region. means and, people and eye opening state detection process means a person frames constituting the detected detected moving image determines whether enlightened, the detection moving image by the eye opening status detection processing means are enlightened person if it is determined to have a detection frame that crowded-through, and still image extraction processing means for extracting the detection frame as extracted still image, the detection moving image by the eye opening status detection processing means are enlightened when it is determined that no detection frame is crowded-through, the detection moving image the detected and a video clipping processor means for cutting out from the image data, the still image extracted Is physical means, without recording the image data excluding the extracted still images records the extracted still images the extracted instead of the detection moving image, the moving image cutout processing means, the detection moving images the cut In addition to recording, the video data excluding the detected moving image is not recorded .

（４）画像への撮像日時の付加
本発明に係る画像処理装置は必要に応じて、前記静止画抽出処理手段が抽出した抽出静止画像に撮像日時を付加して記録し、前記動画切出処理手段が切出した検出動画像に撮像日時を付加して記録するものである。
このように本発明においては、撮像日時を付加して抽出静止画像又は検出動画像を記録しているので、画像処理装置から抽出静止画像又は検出動画像を取得する場合の検索性に優れるという効果を有する。 (4) Addition of imaging date / time to an image The image processing apparatus according to the present invention adds an imaging date / time to an extracted still image extracted by the still image extraction processing means and records the extracted still image as necessary. The detected moving image extracted by the means is recorded with the imaging date and time added.
As described above, in the present invention, since the extracted still image or the detected moving image is recorded with the imaging date and time added, the search performance when the extracted still image or the detected moving image is acquired from the image processing apparatus is excellent. Have

（５）複数の画像処理装置による構成
本発明に係る画像処理システムは、撮像領域に不定期に人物が写り込む映像データから同一人物が連続して写り込んでいる検出動画像を検出する手段と、当該検出した検出動画像を前記映像データから切出す第１の動画切出処理手段とを備える第１の画像処理装置と、前記第１の画像処理装置が前記切出した検出動画像を構成するフレームに写り込んでいる人物の顔が正面を向いているか否かを判断する顔の正面検出処理手段と、当該顔の正面検出処理手段により前記検出動画像が顔の正面が写り込んでいる検出フレームを有すると判断された場合に、当該検出フレームを抽出静止画像として抽出する静止画抽出処理手段と、前記顔の正面検出処理手段により前記検出動画像が顔の正面が写り込んでいる検出フレームを有しないと判断された場合に、前記切出した検出動画像を記録する第２の動画切出処理手段とを備える第２の画像処理装置とを備え、前記第２の画像処理装置の静止画抽出処理手段が、前記検出動画像の代わりに抽出した抽出静止画像を記録すると共に当該抽出静止画像を除く前記映像データを記録せず、前記第１の画像処理装置の第１の動画切出処理手段が、前記切出した検出動画像を記録すると共に当該検出動画像を除く前記映像データを記録しない画像処理システムである。 (5) Configuration by a plurality of image processing apparatuses An image processing system according to the present invention detects means for detecting a detected moving image in which the same person is continuously captured from video data in which the person is irregularly captured in the imaging region. , constituting a first image processing apparatus comprising a first video clipping processor means cutting out the detection moving image the detected from the image data, the detection moving image of the first image processing apparatus is cut the and the front detection processing means of the face which the face of a person crowded-through the frame to determine whether facing forward, detecting the detection moving image by the front detection processing means of the face is crowded-through the front face If it is determined that a frame, and the still image extraction processing means for extracting the detection frame as extracted still image, the detected moving image by the front detection processing means of the face is crowded-through the front face Out when it is determined that no frame, and a second image processing apparatus and a second video clipping processor means for recording the detected moving image the cut, the second image processing apparatus still image extraction processing means, without recording the image data excluding the extracted still images records the extracted still image extracted in place of the detecting moving image, the first video switching of the first image processing apparatus The output processing means records the cut out detected moving image and does not record the video data excluding the detected moving image.

これまで本発明を画像処理装置又は画像処理システムとして捉えてきたが、これまでの説示により画像処理方法又は画像処理プログラムとして把握することもできる。
これら前記の発明の概要は、本発明に必須となる特徴を列挙したものではなく、これら複数の特徴のサブコンビネーションも発明となり得る。 Although the present invention has been understood as an image processing apparatus or an image processing system, it can be grasped as an image processing method or an image processing program according to previous explanations.
These outlines of the invention do not enumerate the features essential to the present invention, and a sub-combination of these features can also be an invention.

ＣＤやＡＴＭなどの無人端末を運営する金融機関では、防犯上の記録画像の無駄を大幅に削減でき、保管の効率化を図ることができる。
同時に、保管の長期化も実現でき、預金者の信頼度を向上することができる。
万一、犯罪が起こった場合、金融機関や捜査当局にとって、証拠性の向上や事実関係の解明に役立つものとなる。そして、より迅速な解決が期待できる。 In financial institutions that operate unattended terminals such as CDs and ATMs, it is possible to greatly reduce the waste of recorded images for crime prevention and to improve storage efficiency.
At the same time, storage can be prolonged and the reliability of depositors can be improved.
In the unlikely event that a crime occurs, it will be useful for financial institutions and investigative authorities to improve evidence and clarify facts. And a quicker solution can be expected.

本実施の形態では、主にシステムについて説明するが、所謂当業者であれば明らかな通り、本発明はコンピュータで使用可能なプログラム及び方法としても実施できる。また、本発明は、ハードウェア、ソフトウェア、または、ソフトウェア及びハードウェアの実施形態で実施可能である。プログラムは、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光記憶装置または磁気記憶装置等の任意のコンピュータ可読媒体に記録できる。さらに、プログラムはネットワークを介した他のコンピュータに記録することができる。   In the present embodiment, the system will be mainly described. However, as will be apparent to those skilled in the art, the present invention can also be implemented as a program and method usable in a computer. In addition, the present invention can be implemented in hardware, software, or software and hardware embodiments. The program can be recorded on any computer-readable medium such as a hard disk, CD-ROM, DVD-ROM, optical storage device, or magnetic storage device. Furthermore, the program can be recorded on another computer via a network.

（本発明の第１の実施形態）
本発明の第１の実施形態に係る画像サーバを用いた監視システムについて図面を用いて説明する。
［１．システム構成］
図２は本実施形態に係る監視システムのシステム構成図である。
本実施形態に係る監視システムは、監視カメラ１、この監視カメラ１から送られる映像データを情報処理して記録する画像サーバ２、並びに、この画像サーバ２で記録されている画像情報を読み出して表示するための画像クライアント３を含む。 (First embodiment of the present invention)
A monitoring system using an image server according to a first embodiment of the present invention will be described with reference to the drawings.
[1. System configuration]
FIG. 2 is a system configuration diagram of the monitoring system according to the present embodiment.
The monitoring system according to the present embodiment reads out and displays a monitoring camera 1, an image server 2 that processes and records video data sent from the monitoring camera 1, and image information recorded in the image server 2. An image client 3 is included.

監視カメラ１は、例えば、銀行などのＡＴＭ(Automated Teller Machine)毎に設置され、そのＡＴＭを使用する利用者を撮像している。本実施形態に係る画像サーバ２においては、後説するように、利用者の顔の正面や開眼状況を把握するために利用者の顔の正面や眼が写り込んだフレームが得られるように、ＡＴＭを操作している利用者と対向方向に監視カメラ１のレンズを設けることが望ましい。   The surveillance camera 1 is installed, for example, for each ATM (Automated Teller Machine) such as a bank, and images a user who uses the ATM. In the image server 2 according to the present embodiment, as will be described later, in order to grasp the front of the user's face and the open eye situation, a frame in which the front of the user's face and the eyes are reflected is obtained. It is desirable to provide the lens of the monitoring camera 1 in a direction opposite to the user operating the ATM.

監視カメラ１が画像サーバ２に映像データを出力するための接続形態は、監視カメラ１が監視カメラ用の信号線（例えば、信号線の種類としては、ＲＣＡ−ＲＣＡケーブル、ＢＮＣ−ＢＮＣケーブル、ＢＮＣ−ＲＣＡケーブル、ＲＣＡ−ＢＮＣケーブルなどがある。ここで、ＲＣＡ、ＢＮＣは例示であり、他の映像インタフェースであってもよい。）で画像サーバ２に直接的に接続するタイプと、監視カメラ１が監視カメラ用の信号線で中継装置（図示しない）に接続し、この中継装置と画像サーバ２が信号線で接続するタイプと、ネットワークを介して画像サーバ２に映像データを送信するために監視カメラ１がＬＡＮ(Local Area Network)などのネットワークに接続するタイプなどがある。図２は監視カメラ１が直接的に接続するタイプと、監視カメラ１がネットワークに接続するタイプを例示している。
画像サーバ２と画像クライアント３は同一のＬＡＮに接続して通信可能となっている。 The connection form for the surveillance camera 1 to output video data to the image server 2 is that the surveillance camera 1 has a signal line for the surveillance camera (for example, the types of signal lines are RCA-RCA cable, BNC-BNC cable, BNC -RCA cable, RCA-BNC cable, etc. Here, RCA and BNC are examples, and other video interfaces may be used.) Is connected to a relay device (not shown) via a signal line for a monitoring camera, the relay device and the image server 2 are connected via a signal line, and monitoring is performed to transmit video data to the image server 2 via a network. There is a type in which the camera 1 is connected to a network such as a LAN (Local Area Network). FIG. 2 illustrates a type in which the surveillance camera 1 is directly connected and a type in which the surveillance camera 1 is connected to the network.
The image server 2 and the image client 3 are connected to the same LAN and can communicate with each other.

［１．１ ハードウェア構成］
画像サーバ２は、画像サーバプログラムをインストールしてロード可能となることでコンピュータ上に構築される。画像クライアント３も、同様に、画像クライアントプログラムをインストールしてロード可能となることでコンピュータ上に構築される。 [1.1 Hardware configuration]
The image server 2 is constructed on a computer by installing and loading an image server program. Similarly, the image client 3 is constructed on a computer by installing and loading an image client program.

画像サーバ２又は画像クラインと３が構築されているコンピュータは、図３に示すように、ＣＰＵ１０、メインメモリ１１、ＭＢチップセット１２、ビデオカード１３、ＨＤＤ１４、ブリッジ回路１５、光学ドライブ１６、キーボード１７、マウス１８及びネットワークインタフェース１９を含む。この図３のハードウェア構成は一例であり、この例に限定されない。   As shown in FIG. 3, the computer in which the image server 2 or the image line 3 is constructed includes a CPU 10, a main memory 11, an MB chip set 12, a video card 13, an HDD 14, a bridge circuit 15, an optical drive 16, and a keyboard 17. A mouse 18 and a network interface 19. The hardware configuration in FIG. 3 is an example, and the present invention is not limited to this example.

［１．２ システム構成要素］
図４は本実施形態に係る画像サーバのブロック構成図である。
前記画像サーバ２は、シーンチェンジ検出処理部２１、顔の正面検出処理部２２、開眼状況検出処理部２３、正常取引／不正取引判断処理部２４、静止画抽出処理部２５、動画切出処理部２６及びメタ情報（日時等）付加保存処理部２７を含む。 [1.2 System components]
FIG. 4 is a block diagram of the image server according to this embodiment.
The image server 2 includes a scene change detection processing unit 21, a face front detection processing unit 22, an eye-opening state detection processing unit 23, a normal transaction / illegal transaction determination processing unit 24, a still image extraction processing unit 25, and a moving image extraction processing unit. 26 and meta information (date etc.) additional storage processing unit 27.

前記シーンチェンジ検出処理部２１は、人物が撮像領域に入る際及び人物が撮像領域から出る際の映像であるシーンの変わり目を自動検出する機能を有する。監視カメラ１から送られてくる映像データには、人物が写っている画像と人物が写っていない画像がある。人物が写っていない画像は既定の画像とする。既定の画像は予め設定する他、監視カメラ１から送られてくる画像が所定時間以上略同一である場合に既定の画像とする構成であってもよく、このように構成することで画像内の固定的に写っているもの（壁の色、壁に貼っているポスター）が変化した場合であっても既定の画像の設定を変更することなく対応することができる。   The scene change detection processing unit 21 has a function of automatically detecting a scene change that is an image when a person enters an imaging region and when a person leaves the imaging region. The video data sent from the surveillance camera 1 includes an image that includes a person and an image that does not include a person. An image in which no person is shown is a default image. The default image may be set in advance, or may be configured to be a default image when the images sent from the monitoring camera 1 are substantially the same for a predetermined time or more. Even if the fixed image (wall color, poster attached to the wall) changes, it is possible to cope without changing the default image settings.

この既定の画像と処理対象の画像の差分情報を求める。その差分情報が所定閾値以上であれば人物がいると判断する。この画像の差分情報を用いて人物の有無の判断する方法の他、複数のフレームを利用して撮像領域において動くオブジェクトがあるか否かを判断することにより人物がいるか否かを判断することができる。なお、画像の差分を求める手法や、動画像内で動くオブジェクトを特定する手法は既に公知、周知、慣用技術であるためここでの説明は省略する。また、前記差分情報を求める領域を画像内の特定領域（それぞれの環境によって異なるが、利用者が写り込む可能性がある領域。利用者が写り込む可能性がある領域のみを対象とすることで利用者が写る可能性がない領域を排除できる。）とすることもできる。   Difference information between the default image and the image to be processed is obtained. If the difference information is equal to or greater than a predetermined threshold, it is determined that there is a person. In addition to the method of determining the presence / absence of a person using the difference information of the image, it is possible to determine whether there is a person by determining whether there is a moving object in the imaging region using a plurality of frames. it can. Note that a method for obtaining a difference between images and a method for specifying an object moving in a moving image are already known, well-known, and commonly used techniques, and thus description thereof is omitted here. Further, the area for which the difference information is to be obtained is a specific area in the image (which differs depending on each environment, but an area in which the user may be reflected. By targeting only an area in which the user may be reflected. It is also possible to exclude an area where there is no possibility that the user will be captured.

前記顔の正面検出処理部２２は、前記シーンチェンジ検出処理部２１が検出した同じ人物が写っている連続したフレームの集合である検出動画像中のフレームの顔が正面を向いているのか否かを判断する機能を有する。顔の正面検出の手法は、例えば、特開２００４−２３４３６７号公報に開示がある（この他にも複数の公報の開示があり、例えば、特開２０００−９７６７６号公報、特開２００６−３３８３２９号公報、特開２００６−２６８２４８号公報、特開２００６−７２７７０号公報がある）。この開示されている顔の向き検出手法は、顔が撮像された静止画像の垂直方向の画素データを夫々加算し、算出した複数の加算値に基づき顔の向きを検出するものである。この顔の向き検出手法を用いれば画像を入力することで顔の向きを求めることができる。正確には、左右方向の顔の傾き角度求めることができ、この求めた角度と、予め設定されている顔が正面を向いているとされる左右方向の顔の傾き角度範囲内にあるか否かで処理対象の画像内の顔が正面を向いているのか否かを判断することができる。この他、画像内の顔を特定する手法が周知、慣用技術となっており、画像内の顔を特定した後に、顔の正面検出の手法を適用することが望ましい。   The face front detection processing unit 22 determines whether or not the face of a frame in a detected moving image that is a set of consecutive frames in which the same person detected by the scene change detection processing unit 21 is facing forward. It has the function to judge. For example, Japanese Unexamined Patent Application Publication No. 2004-234367 discloses a method of detecting the front of the face (in addition to this, there are disclosures of plural publications such as Japanese Unexamined Patent Application Publication Nos. 2000-97676 and 2006-338329). And JP 2006-268248 A and JP 2006-72770 A). This disclosed face orientation detection method adds pixel data in the vertical direction of a still image obtained by capturing a face, and detects the face orientation based on a plurality of calculated addition values. If this face orientation detection method is used, the face orientation can be obtained by inputting an image. To be precise, the tilt angle of the face in the left-right direction can be obtained, and whether or not the obtained angle is within the range of the tilt angle of the face in the left-right direction that the preset face is facing the front. Therefore, it can be determined whether or not the face in the image to be processed is facing the front. In addition, a method for identifying a face in an image is well known and commonly used, and it is desirable to apply a method for detecting the front of the face after identifying the face in the image.

前記開眼状況検出処理部２３は、検出動画像中のフレームの顔が開眼しているか否かを判断する機能を有する。開眼状況の検出手法は、例えば、特開２００４−２３４４９４号公報に開示がある（この他にも複数の公報の開示があり、例えば、特開平６−３２１５４号公報、特表２００２−５０９３２０号公報、特開２００５−３１２８６８号公報がある）。この開示されている眼の状態判定手法は、顔が撮像された静止画像中の眼の領域を特定し、特定した眼の領域内の瞼の形状を検出し、検出した瞼の形状に基づき眼の開閉状態を判定するものである。この眼の状態判定手法を用いれば画像又は動画像を入力することで開眼しているか否かを判断することができる。   The eye-opening state detection processing unit 23 has a function of determining whether or not the face of the frame in the detected moving image is open. A method for detecting an open eye condition is disclosed in, for example, Japanese Patent Application Laid-Open No. 2004-234494 (a plurality of other publications are disclosed, for example, Japanese Patent Application Laid-Open No. 6-32154 and Japanese Patent Application Publication No. 2002-509320). JP, 2005-31868, A). This disclosed eye state determination method specifies an eye region in a still image in which a face is imaged, detects a wrinkle shape in the specified eye region, and performs eye detection based on the detected wrinkle shape. The open / closed state is determined. If this eye state determination method is used, it is possible to determine whether or not the eyes are open by inputting an image or a moving image.

前記正常取引／不正取引判断処理部２４は、前記顔の正面検出処理部２２での処理結果及び開眼状況検出処理部２３での処理結果に基づいて正常取引か不正取引かを判断する機能を有する。より具体的には、この正常取引／不正取引判断処理部２４は、顔の正面検出処理部２２で正面を向いていると判断され、且つ、開眼状況検出処理部２３で開眼していると判断されている場合に正常取引だと判断し、それ以外の場合には不正取引の可能性があると判断する。それ以外とは、正面を向いていないと判断されている場合、正面を向いているが開眼していない場合である。   The normal transaction / unauthorized transaction determination processing unit 24 has a function of determining whether the transaction is a normal transaction or an unauthorized transaction based on the processing result in the face front detection processing unit 22 and the processing result in the eye-opening state detection processing unit 23. . More specifically, the normal transaction / illegal transaction determination processing unit 24 is determined to be facing the front by the face front detection processing unit 22 and is determined to be opened by the eye opening state detection processing unit 23. If it is, it is determined that the transaction is a normal transaction, otherwise it is determined that there is a possibility of an illegal transaction. Other than that, when it is determined that it is not facing the front, it is the case where it is facing the front but the eyes are not opened.

前記静止画抽出処理部２５は、前記正常取引／不正取引判断処理部２４で正常取引であると判断された場合に、顔の正面検出処理部２２で正面を向いていると判断され、且つ、開眼状況検出処理部２３で開眼していると判断されている検出フレームを前記検出動画像から抽出静止画像として抽出する。検出動画像を構成するフレームから人物の顔の正面であり、開眼している検出フレームを顔の正面検出処理部２２及び開眼状況検出処理部２３により検出した場合に、検出動画像から検出フレームが一枚検出された時点でその一枚のフレームを抽出静止画像として静止画抽出処理部２５により抽出してもよい。また、検出動画像から全ての検出フレームを検出して全ての検出フレームを抽出静止画像として抽出してもよいし、その複数の検出フレームの中で最も正面を向き（上下傾き角度０［度］、左右傾き角度０［度］）、最も開眼状態のよい（上まぶたと下まぶたで閉じられた領域の面積が最大）検出フレームを抽出静止画像として抽出してもよい。さらに、検出フレームが検出された時点で所定間隔で検出動画像から静止画像を抽出してもよい。さらにまた、検出フレームが検出された時点で検出動画像の中から前フレームとの比較で差分情報が所定閾値以上のフレームを静止画像として抽出してもよい。   When the still image extraction processing unit 25 determines that the normal transaction / unauthorized transaction determination processing unit 24 is a normal transaction, the still image extraction processing unit 25 determines that the face front detection processing unit 22 faces the front, and A detection frame that is determined to be opened by the eye-opening state detection processing unit 23 is extracted from the detected moving image as an extracted still image. When a detection frame that is in front of a person's face from a frame that constitutes the detection moving image and is open is detected by the face front detection processing unit 22 and the eye opening state detection processing unit 23, the detection frame is detected from the detection moving image. When one image is detected, the one frame may be extracted by the still image extraction processing unit 25 as an extracted still image. Alternatively, all the detection frames may be detected from the detected moving image, and all the detection frames may be extracted as extracted still images, or the most front direction (up / down inclination angle 0 [degree]) among the plurality of detection frames may be extracted. , Left-right tilt angle 0 [degree]), and the detection frame with the best eye open state (the area of the region closed by the upper and lower eyelids is the maximum) may be extracted as an extracted still image. Further, a still image may be extracted from the detected moving image at a predetermined interval when the detection frame is detected. Furthermore, when the detection frame is detected, a frame whose difference information is a predetermined threshold or more may be extracted as a still image from the detected moving image by comparison with the previous frame.

前記動画切出処理部２６は、前記正常取引／不正取引判断処理部２４で不正取引であると判断された場合に、検出動画像をそのまま切出す機能を有する。
前記メタ情報付加保存処理部２７は、前記静止画像抽出処理部２５が処理した抽出静止画像又は前記動画切出処理部２６が処理した検出動画像に対してその抽出静止画像、検出動画像の撮像日時等の属性情報を付加して保存する機能を有する。撮像日時は監視カメラ１からの映像データに付与されている場合には、フレーム毎に取得することができる。撮像日時は、例えば、抽出静止画像には抽出静止画像の撮像日時又は抽出静止画像を抽出した検出動画像の開始フレーム及び／又は最終フレームの撮像日時を付加し、検出動画像には検出動画像の開始フレーム及び／又は最終フレームの撮像日時を付加する。 The moving image cutout processing unit 26 has a function of cutting out the detected moving image as it is when the normal transaction / unauthorized transaction determination processing unit 24 determines that the transaction is illegal.
The meta information addition storage processing unit 27 captures the extracted still image and the detected moving image of the extracted still image processed by the still image extraction processing unit 25 or the detected moving image processed by the moving image cutout processing unit 26. It has a function of adding and storing attribute information such as date and time. The imaging date and time can be acquired for each frame when it is given to the video data from the monitoring camera 1. As for the imaging date and time, for example, the imaging date and time of the extracted still image or the imaging and starting date and time of the detected moving image from which the extracted still image is extracted are added to the extracted still image, and the detected moving image is added to the detected moving image. The imaging date and time of the start frame and / or the last frame is added.

図５は本実施形態に係る画像サーバの画像抽出の説明図である。所定期間の映像データがあるとして、この映像データの画像サーバ２での処理は、人物がいるシーンチェンジを検出して検出動画像を処理対象とし（図５（ｂ）参照）、この検出動画像を構成するフレームについて人物の顔が正面を向いているか否かを判断し、さらに、人物の顔が正面を向いているとされたフレームについて人物が開眼しているか否かを判断し、人物の顔が正面を向いており、且つ、人物が開眼している検出フレームがある場合には該当する検出動画像に代えて抽出静止画像とし（図５（ｃ）参照）、そのような検出フレームを有しない検出動画像はそのまま動画像として記録する（図５（ｄ）参照）。   FIG. 5 is an explanatory diagram of image extraction of the image server according to the present embodiment. Assuming that there is video data for a predetermined period, the processing of this video data in the image server 2 detects a scene change in which a person is present and sets the detected moving image as a processing target (see FIG. 5B). It is determined whether the person's face is facing the front with respect to the frame constituting the frame, and further, it is determined whether the person is open with respect to the frame where the person's face is facing the front. If there is a detection frame in which the face is facing the front and the person is open, an extracted still image is used instead of the corresponding detection moving image (see FIG. 5C). The detected moving image that is not included is recorded as a moving image as it is (see FIG. 5D).

［２．動作］
図６は本実施形態に係る画像サーバの動作フローチャートである。
監視カメラ１は常時撮像領域を撮像し、画像サーバ２に映像データを送信している。
画像サーバ２が監視カメラ１からの映像データを受信して取り込む（ステップＳ１０１）。画像サーバ２のシーンチェンジ検出処理部２１が映像データを構成するフレーム単位に人物が写り込んでいるか否かを判断する（ステップＳ１１１）。処理対象のフレームに人物が写り込んでいない場合には画像サーバ２はアイドル状態とみなして映像を記録することなく廃棄する（ステップＳ１２１）。シーンチェンジ検出処理部２１が処理対象のフレームに人物が写り込んでいる場合にはその人物が写り込んでいるフレームを一時的に蓄積する（ステップＳ１１２）。シーンチェンジ検出処理部２１は、一時的に蓄積したフレームに連続する映像データの次のフレームを処理対象とし（ステップＳ１１３）、この処理対象のフレームに人物が写り込んでいるか否かを判断する（ステップＳ１１４）。一時的に蓄積したフレームに連続するフレームに人物が写り込んでいると判断した場合には、前記ステップＳ１１２に戻る。 [2. Operation]
FIG. 6 is an operation flowchart of the image server according to the present embodiment.
The surveillance camera 1 always captures an imaging area and transmits video data to the image server 2.
The image server 2 receives and takes in video data from the monitoring camera 1 (step S101). The scene change detection processing unit 21 of the image server 2 determines whether or not a person is captured for each frame constituting the video data (step S111). If no person is reflected in the frame to be processed, the image server 2 regards it as an idle state and discards it without recording a video (step S121). When the person is reflected in the frame to be processed by the scene change detection processing unit 21, the frame in which the person is reflected is temporarily accumulated (step S112). The scene change detection processing unit 21 sets the next frame of the video data continuous to the temporarily accumulated frame as a processing target (step S113), and determines whether or not a person is reflected in the processing target frame (step S113). Step S114). If it is determined that a person is reflected in a frame continuous with the temporarily accumulated frame, the process returns to step S112.

前記ステップＳ１１４において蓄積したフレームに連続するフレームに人物が写り込んでいないと判断した場合には、顔の正面検出処理部２２が蓄積したフレームの集合である検出動画像を構成するフレームの中に顔の向きが正面であるフレームがあるか否かを判断する（ステップＳ１３１）。   If it is determined in step S114 that no person is captured in a frame that is continuous with the accumulated frame, the face front detection processing unit 22 includes a frame that is a set of frames accumulated in the detected moving image. It is determined whether or not there is a frame whose face direction is the front (step S131).

前記ステップＳ１３１で顔の向きが正面であるフレームを有する検出動画像であると判断した場合には、開眼状況検出処理部２３が顔の向きが正面であると判断されたフレームに写り込んでいる人物が開眼しているか否かを判断する（ステップＳ１４１）。検出フレームがあると判断した場合には正常取引／不正取引判断処理部２４が正常取引とみなして、静止画抽出処理部２５を介して蓄積しているフレームの中から検出フレームを静止画像として抽出する（ステップＳ１５１）。   If it is determined in step S131 that the detected moving image has a frame whose face is front, the eye-opening state detection processing unit 23 is reflected in the frame whose face is determined to be front. It is determined whether or not the person is open (step S141). When it is determined that there is a detected frame, the normal transaction / illegal transaction determination processing unit 24 regards it as a normal transaction and extracts the detection frame as a still image from the frames accumulated through the still image extraction processing unit 25. (Step S151).

前記ステップＳ１３１で顔の向きが正面であるフレームがないと判断した場合、又は、前記ステップＳ１４１で開眼しているフレームがないと判断した場合、正常取引／不正取引判断処理部２４が不正取引の可能があるとして動画切出処理部２６を介して検出動画像をそのまま切出す（ステップＳ１６１）。   If it is determined in step S131 that there is no frame whose face is front, or if it is determined that there is no open frame in step S141, the normal transaction / illegal transaction determination processing unit 24 As it is possible, the detected moving image is cut out as it is through the moving picture cutout processing unit 26 (step S161).

メタ情報（日時等）付加保存処理部２７が記録したフレームに対して対応する撮像日時などのメタ情報を付加する（ステップＳ１７１）。
続けて、メタ情報（日時等）付加保存処理部２７がメタ情報を付加した前記ステップＳ１５１で抽出した抽出静止画像、又は、メタ情報を付加したステップＳ１６１で切出した検出動画像を記録する（ステップＳ１８１）。 Meta information (such as date and time) addition storage unit 27 adds meta information such as the corresponding imaging date and time to the frame recorded (step S171).
Subsequently, the extracted still image extracted in step S151 to which the meta information (date etc.) addition storage processing unit 27 has added the meta information or the detected moving image extracted in step S161 to which the meta information has been added is recorded (step S151). S181).

このようにメタ情報を付加して記録された抽出静止画像、検出動画像を画像クライアント３で撮像日時を指定して画像サーバ２から所望の静止画、動画を取得して表示することができる。監視システムの管理者は、定期的又は必要に応じて動作を取得して実際に不正取引がないかを取引ログも参照しながら確認する。例えば、何度も暗証番号を間違えて且つ挙動不審である場合には不正取引を実行しようとしたか、若しくは、実際に実行したかの可能性極めて高い。他の例としては、取引ログから明らかに不正取引がなされていることが判明している場合に、その取引時間を検索キーとして抽出静止画、検出動画像を取得することで不正取引の実行犯を容易に特定することができる。このように従来のように全ての動画像を記録せず使用する記録領域を小さくしつつも、従来と同様に必要に応じて実行犯の特定に使用でき、逆に、抽出静止画、検出動画像のデータ容量が小さいために検索のレスポンスも高く、利便性に富む。   In this manner, the extracted still image and the detected moving image recorded with the meta information added thereto can be acquired by displaying the desired still image and moving image from the image server 2 by specifying the imaging date and time with the image client 3 and displayed. The administrator of the monitoring system acquires an operation periodically or as necessary to check whether there is actually an illegal transaction while referring to the transaction log. For example, if the PIN number is mistaken many times and the behavior is suspicious, it is highly possible that the fraudulent transaction is attempted or actually executed. As another example, if it is clear from the transaction log that an illegal transaction has been made, the execution time of the illegal transaction can be obtained by acquiring an extracted still image and a detected moving image using the transaction time as a search key. Can be easily identified. In this way, while not recording all moving images as in the prior art, it can be used to identify the offender as necessary, as in the past, and on the contrary, extracted still images and detected videos Since the image data volume is small, the search response is high and the convenience is high.

なお、本実施形態においては、検出フレームを有する検出動画像の場合には抽出静止画像を抽出したが、検出フレームを有するとされた検出動画像の全てのフレームを抽出静止画像に置き換えることもできる。このように構成することで、ＭＰＥＧ(Moving Picture Experts Group)のように動きベクトルを考慮して圧縮して記録する映像方式の場合には同じフレームが連続することで大幅に記憶容量を低減することができる。   In the present embodiment, the extracted still image is extracted in the case of the detected moving image having the detection frame. However, all the frames of the detected moving image having the detection frame can be replaced with the extracted still image. . By configuring in this way, in the case of a video system that records by compressing in consideration of motion vectors as in MPEG (Moving Picture Experts Group), the storage capacity can be greatly reduced by continuing the same frame. Can do.

（本発明の第２の実施形態）
図７は本実施形態に係る監視システムのシステム構成図である。
前記第１の実施形態では、一つの監視カメラ１に接続する画像サーバ２が映像データから正常取引か不正取引かの判断も行い、正常取引の場合には検出動画像内の検出フレームである抽出静止画像で記録し、他方、不正取引の場合には検出動画像で記録する構成を説示した。本実施形態では、図７に示すように、複数の画像サーバ２が連携して最終的に正常取引か不正取引かの判断も行い、抽出静止画像又は検出動画像で記録することを異にする構成である。本実施形態の画像サーバは、映像データをそのまま記録する１次データ用画像サーバ４と、この１次データ用画像サーバ４が記録している動画像を受けて人物が写っている画像のみを記録する２次データ用画像サーバ５（シーンチェンジ検出処理部２１及び動画切出処理部２６の機能を有する）と、この２次データ用画像サーバ５が記録している動画像を受けて正常取引であると判断した場合には抽出静止画で記録し、不正取引であると判断した場合には検出動画像そのままで記録する３次データ用画像サーバ７（顔の正面検出処理部２２、開眼状況検出処理部２３、正常取引／不正取引判断処理部２４、静止画抽出処理部２５、動画切出処理部２６及びメタ情報付加保存処理部２７の機能を有する）とからなる。 (Second embodiment of the present invention)
FIG. 7 is a system configuration diagram of the monitoring system according to the present embodiment.
In the first embodiment, the image server 2 connected to one surveillance camera 1 also determines whether the transaction is a normal transaction or an unauthorized transaction from the video data, and in the case of a normal transaction, extraction is a detection frame in the detected moving image. On the other hand, a configuration was described in which a still image is recorded and, on the other hand, a fraudulent transaction is recorded as a detected moving image. In the present embodiment, as shown in FIG. 7, a plurality of image servers 2 cooperate to finally determine whether the transaction is a normal transaction or an unauthorized transaction, and recording with an extracted still image or a detected moving image is different. It is a configuration. The image server according to the present embodiment records only the primary data image server 4 that records the video data as it is, and only the image in which a person is captured in response to the moving image recorded by the primary data image server 4. The secondary data image server 5 (having the functions of the scene change detection processing unit 21 and the moving image cut-out processing unit 26) and the moving image recorded by the secondary data image server 5 are received in a normal transaction. When it is determined that there is an image, it is recorded as an extracted still image, and when it is determined that the transaction is fraudulent, it is recorded as the detected moving image as it is, and the tertiary data image server 7 (face front detection processing unit 22, eye opening state detection). A processing unit 23, a normal transaction / unauthorized transaction determination processing unit 24, a still image extraction processing unit 25, a moving image extraction processing unit 26, and a meta information addition storage processing unit 27).

前記２次データ用画像サーバ５と同一のＬＡＮに接続する２次データ用画像クライアント６は、この２次データ用画像サーバ５から画像を検索、取得して表示する機能を有する。
前記３次データ用画像サーバ７と同一のＬＡＮに接続する３次データ用画像クライアント８は、この３次データ用画像サーバ７から静止画、動画像を検索、取得して表示する機能を有する。 The secondary data image client 6 connected to the same LAN as the secondary data image server 5 has a function of retrieving, acquiring, and displaying an image from the secondary data image server 5.
The tertiary data image client 8 connected to the same LAN as the tertiary data image server 7 has a function of retrieving, obtaining and displaying still images and moving images from the tertiary data image server 7.

図８は本実施形態に係る監視システムの画像データの記憶過程の説明図である。
例えば、監視カメラ１からの映像データを受けて１次データ用画像サーバ４が所定期間（例えば、１日）の動画像を記録した後に、２次データ用画像サーバ５にその所定期間の画像を一括処理で送信する。このとき、送信した所定期間の動画像は１次データ用画像サーバ４が第１の指定期間だけ記録し、この記録から第１の指定期間経過後に削除する。
２次データ用画像サーバ５が前記所定期間の動画像を検出動画像にして記録した後に、３次データ用画像サーバ７に送信する。このとき、検出動画像は２次データ用画像サーバ５が第２の指定期間だけ記録し、この記録から第２の指定期間経過後に削除する。 FIG. 8 is an explanatory diagram of a storage process of image data of the monitoring system according to the present embodiment.
For example, after the video data from the monitoring camera 1 is received and the primary data image server 4 records a moving image for a predetermined period (for example, one day), the image for the predetermined period is displayed on the secondary data image server 5. Send in batch processing. At this time, the transmitted moving image of a predetermined period is recorded by the primary data image server 4 only for the first designated period, and is deleted after the first designated period has elapsed from this recording.
The secondary data image server 5 records the moving image of the predetermined period as a detected moving image, and transmits the detected moving image to the tertiary data image server 7. At this time, the detected moving image is recorded by the secondary data image server 5 for the second designated period, and is deleted after the second designated period has elapsed from this recording.

３次データ用画像サーバ７が同じ人物が写り込んでいる連続するフレームからなる検出動画像毎に正常取引か不正取引かを判断し、正常取引であればその検出動画像から抽出静止画像を抽出して記録し、不正取引であれば検出動画像のまま記録する。このとき、抽出静止画像と検出動画像からなる動画像を３次データ用画像サーバ７が第３の指定期間だけ記録し、この記録から第３の指定期間経過後に削除する。   The tertiary data image server 7 determines whether the transaction is a normal transaction or an illegal transaction for each detected moving image including consecutive frames in which the same person is reflected. If the transaction is a normal transaction, an extracted still image is extracted from the detected moving image. If it is an illegal transaction, the detected moving image is recorded. At this time, the moving image composed of the extracted still image and the detected moving image is recorded by the tertiary data image server 7 for the third designated period, and is deleted after the third designated period has elapsed from this recording.

第１の指定期間、第２の指定期間、第３の指定期間の順で期間は長くなる。特に、図７で例示した銀行本店に配設された３次データ用画像サーバ７においては第３の指定期間が特に長く、従来であれば銀行本店であっても銀行支点と同様に監視カメラ１から送信されてきた画像そのまま記録しており大きなデータ容量を必要としていたが、大幅に必要となる記憶容量を減少させることができる。   The period becomes longer in the order of the first designated period, the second designated period, and the third designated period. In particular, in the tertiary data image server 7 disposed in the bank head office illustrated in FIG. 7, the third designated period is particularly long. Conventionally, even in the bank head office, the surveillance camera 1 is similar to the bank fulcrum. Although the image sent from is recorded as it is and requires a large data capacity, the required storage capacity can be greatly reduced.

（その他の実施形態）
［複数の人物が写り込んでいる映像］
監視カメラ１の撮像方向及びズームイン・アウトによっては監視対象以外の人物も監視対象の人物と一緒に画像に写り込むことがある。監視カメラ１の撮像方向及びズームイン・アウトの設定を調整することで対応することができる他の解決方法を以下説明する。 (Other embodiments)
[Video with multiple people reflected]
Depending on the imaging direction of the monitoring camera 1 and zooming in / out, a person other than the monitoring target may appear in the image together with the monitoring target person. Other solutions that can be dealt with by adjusting the imaging direction of the surveillance camera 1 and the zoom-in / out settings will be described below.

前記第１の実施形態では、前記ステップＳ１１１での画像変化の開始から前記ステップＳ１１４での画像変化の終了までを検出動画像として検出したが、このままでは監視対象の人物と監視対象以外の人物が写り込む映像の場合には、監視対象の人物がＡＴＭの操作を終了して今まで監視対象以外の人物が次の監視対象の人物となる際の移り変わりを検出することができず、監視対象の人物が変わったにも拘らず同一の検出動画像として検出させる可能性がある。このような状況に対応すべく、前記ステップＳ１１１での画像変化の開始のフレームから、終了のフレームを検出するために顔の正面検出及び／又は開眼状況検出を実行し、顔が正面を向いている場合には顔が正面を向かなくなるまでのフレーム、開眼している場合には開眼しなくなるまでのフレーム、又は、顔が正面を向いて開眼している場合には顔が正面を向かなくなるまで若しくは開眼しなくなるまでのフレームを検出動画像として検出する構成とする。このとき、画像変化の開始のフレームから、正面を向かなくなって所定時間後のフレームまで、若しくは、開眼しなくなって所定時間後のフレームまでを検出動画像とすることもでき、正面を向かなくなっても、開眼しなくなっても暫くは監視対象の人物のフレームとして処理することができる。例えば、図９は、顔が正面を向いている場合に顔が正面を向かなくなるまでのフレームまでを検出動画像とする構成の動作フローチャートを示す。同じステップ番号が付与されているステップは同様な動作をするために説明を省略する。ステップＳ１１２で画像を一時的に蓄積した後、顔の正面検出処理部２２が顔の向きが正面であるか否かを判断し（ステップＳ２０１）、顔の向きが正面を向いていないと判断した場合にはステップＳ１１３に進む。前記ステップＳ２０１で顔の向きが正面を向いていると判断した場合には、顔の正面検出処理部２２は、次のフレームを処理対象とし（ステップＳ２０２）、この処理対象のフレームに写っている人物の顔が正面を向いているか否かを判断する（ステップＳ２０３）。処理対象のフレームで顔が正面を向いていると判断した場合には、シーンチェンジ検出処理部２１が画像を一時的に蓄積し（ステップＳ２０４）、ステップＳ２０２に戻る。前記ステップＳ２０３で処理対象のフレームで顔が正面を向いていないと判断した場合には、ステップＳ１３１に進む。   In the first embodiment, the detection moving image from the start of the image change in the step S111 to the end of the image change in the step S114 is detected as a detection moving image. In the case of a captured image, it is impossible to detect a transition when a person to be monitored ends the ATM operation and a person other than the person to be monitored becomes the next person to be monitored. There is a possibility that the same detected moving image is detected although the person has changed. In order to deal with such a situation, face front detection and / or eye opening situation detection is executed to detect the end frame from the image change start frame in step S111, and the face faces front. The frame until the face stops facing forward, the frame until the eye stops opening when the face is open, or the face is facing front when the face is facing front A frame is detected as a detected moving image until no more eyes are opened or no eyes are opened. At this time, it is also possible to use the detected moving image from the frame at the start of the image change to the frame after a predetermined time from no longer facing the front, or until the frame after the predetermined time after no eye opening. Even if it disappears, it can be processed as a frame of a person to be monitored for a while even if it is not opened. For example, FIG. 9 shows an operation flowchart of a configuration in which, when the face is facing the front, up to frames until the face stops facing the front are detected moving images. Steps to which the same step numbers are assigned operate in the same manner, and thus description thereof is omitted. After temporarily storing the images in step S112, the face front detection processing unit 22 determines whether or not the face direction is the front (step S201), and determines that the face direction is not facing the front. In that case, the process proceeds to step S113. When it is determined in step S201 that the face is facing the front, the face front detection processing unit 22 sets the next frame as a processing target (step S202), and is reflected in the processing target frame. It is determined whether or not the person's face is facing the front (step S203). When it is determined that the face is facing the front in the processing target frame, the scene change detection processing unit 21 temporarily accumulates images (step S204), and the process returns to step S202. If it is determined in step S203 that the face is not facing front in the processing target frame, the process proceeds to step S131.

以上の前記各実施形態により本発明を説明したが、本発明の技術的範囲は実施形態に記載の範囲には限定されず、これら各実施形態に多様な変更又は改良を加えることが可能である。そして、かような変更又は改良を加えた実施の形態も本発明の技術的範囲に含まれる。このことは、特許請求の範囲及び課題を解決する手段からも明らかなことである。   Although the present invention has been described with the above embodiments, the technical scope of the present invention is not limited to the scope described in the embodiments, and various modifications or improvements can be added to these embodiments. . And embodiment which added such a change or improvement is also contained in the technical scope of the present invention. This is apparent from the claims and the means for solving the problems.

本発明の画像記憶の原理説明図である。It is a principle explanatory view of image storage of the present invention. 本発明の第１の実施形態に係る監視システムのシステム構成図である。1 is a system configuration diagram of a monitoring system according to a first embodiment of the present invention. 本発明の第１の実施形態に係るコンピュータのハードウェア構成図である。It is a hardware block diagram of the computer which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係る画像サーバのブロック構成図である。It is a block block diagram of the image server which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係る画像サーバの画像抽出の説明図である。It is explanatory drawing of the image extraction of the image server which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係る画像サーバの動作フローチャートである。It is an operation | movement flowchart of the image server which concerns on the 1st Embodiment of this invention. 本発明の第２の実施形態に係る監視システムのシステム構成図である。It is a system configuration figure of a surveillance system concerning a 2nd embodiment of the present invention. 本発明の第２の実施形態に係る監視システムの画像データの記憶過程の説明図である。It is explanatory drawing of the memory | storage process of the image data of the monitoring system which concerns on the 2nd Embodiment of this invention. 本発明のその他の実施形態に係る画像サーバの動作フローチャートである。It is an operation | movement flowchart of the image server which concerns on other embodiment of this invention.

符号の説明Explanation of symbols

１ 監視カメラ
２ 画像サーバ
３ 画像クライアント
１０ ＣＰＵ
１１ メインメモリ
１２ ＭＢチップセット
１３ ビデオカード
１４ ＨＤＤ
１５ ブリッジ回路
１６ 光学ドライブ
１７ キーボード
１８ マウス
１９ ネットワークインタフェース
２１ シーンチェンジ検出処理部
２２ 顔の正面検出処理部
２３ 開眼状況検出処理部
２４ 正常取引／不正取引判断処理部
２５ 静止画抽出処理部
２６ 動画切出処理部
２７ メタ情報（日時等）付加保存処理部
４ １次データ用画像サーバ
５ ２次データ用画像サーバ
６ ２次データ用画像クライアント
７ ３次データ用画像サーバ
８ ３次データ用画像クライアント 1 surveillance camera 2 image server 3 image client 10 CPU
11 Main memory 12 MB chipset 13 Video card 14 HDD
DESCRIPTION OF SYMBOLS 15 Bridge circuit 16 Optical drive 17 Keyboard 18 Mouse 19 Network interface 21 Scene change detection process part 22 Face front detection process part 23 Eye-opening condition detection process part 24 Normal transaction / fraudulent transaction judgment process part 25 Still image extraction process part 26 Movie cut off Output processing unit 27 Meta information (date and time) additional storage processing unit 4 Primary data image server 5 Secondary data image server 6 Secondary data image client 7 Tertiary data image server 8 Tertiary data image client

Claims (10)

撮像領域に不定期に人物が写り込む映像データから同一人物が連続して写り込んでいるフレームからなる検出動画像を検出する手段と、
前記検出された検出動画像を構成するフレームに写り込んでいる人物の顔が正面を向いているか否かを判断する顔の正面検出処理手段と、
前記顔の正面検出処理手段により前記検出動画像が顔の正面が写り込んでいる検出フレームを有すると判断された場合に、当該検出フレームを抽出静止画像として抽出する静止画抽出処理手段と、
前記顔の正面検出処理手段により前記検出動画像が顔の正面が写り込んでいる検出フレームを有しないと判断された場合に、前記検出した検出動画像を前記映像データから切出す動画切出処理手段とを備え、
前記静止画抽出処理手段が、前記検出動画像の代わりに前記抽出した抽出静止画像を記録すると共に当該抽出静止画像を除く前記映像データを記録せず、
前記動画切出処理手段が、前記切出した検出動画像を記録すると共に当該検出動画像を除く前記映像データを記録しない画像処理装置。 Means for detecting a detection moving image composed of frames in which the same person is continuously captured from video data in which the person is irregularly captured in the imaging region;
And the front detection processing means of the face which the face of a person crowded-through the frames constituting the detected detected moving image to determine whether facing forward,
When the detecting moving image is determined to have a detection frame that crowded-through the front face by a front detection processing means of the face, the still image extraction processing means for extracting the detection frame as extracted still images,
If the detected moving image by the front detection processing means of the face is determined to no detectable frames crowded-through the front face, the video cut detected detection motion picture from the video data cutout process Means and
The still image extraction processing means, without recording the image data excluding the extracted still images records the extracted still images the extracted instead of the detection motion picture,
Said moving cutting processing means, an image processing apparatus which does not record the video data excluding the detected moving image records the detected moving image the cut. 前記顔の正面検出処理手段により顔の正面が写り込んでいるとされたフレームの人物が開眼しているか否かを判断する開眼状況検出処理手段とを備え、
前記開眼状況検出処理手段により検出動画像が開眼している検出フレームを有すると判断された場合に、前記静止画抽出処理手段が当該検出フレームを抽出静止画像として抽出する
前記請求項１に記載の画像処理装置。 Eye opening state detection processing means for determining whether or not the person of the frame in which the front of the face is reflected by the face front detection processing means is opened,
The said still image extraction process means extracts the said detection frame as an extraction still image, when it is judged by the said eye-opening condition detection process means that the detection moving image has the detection frame which is eye-opening. Image processing device. 前記検出動画像を検出する手段が、前記顔の正面検出処理手段により前記顔の正面が写り込んでいる検出フレームの次のフレームが顔の正面が写り込んでいないフレームであると判断された場合に、当該顔の人物の写り込み開始のフレームから当該顔の正面が写り込んでいるフレームまでの連続するフレームを前記検出動画像として検出する
前記請求項１又は２に記載の画像処理装置。 When the means for detecting the detected moving image is determined by the face front detection processing means that the frame next to the detection frame in which the front of the face is reflected is a frame in which the front of the face is not reflected In addition, a continuous frame from a frame in which the person of the face is reflected to a frame in which the front of the face is reflected is detected as the detected moving image.
The image processing apparatus according to claim 1 or 2 . 撮像領域に不定期に人物が写り込む映像データから同一人物が連続して写り込んでいる検出動画像を検出する手段と、
前記検出された検出動画像を構成するフレームの人物が開眼しているか否かを判断する開眼状況検出処理手段と、
前記開眼状況検出処理手段により前記検出動画像が開眼している人物が写り込んでいる検出フレームを有すると判断された場合に、当該検出フレームを抽出静止画像として抽出する静止画抽出処理手段と、
前記開眼状況検出処理手段により前記検出動画像が開眼している人物が写り込んでいる検出フレームを有しないと判断された場合に、前記検出した検出動画像を前記映像データから切出す動画切出処理手段とを備え、
前記静止画抽出処理手段が、前記検出動画像の代わりに前記抽出した抽出静止画像を記録すると共に当該抽出静止画像を除く前記映像データを記録せず、
前記動画切出処理手段が、前記切出した検出動画像を記録すると共に当該検出動画像を除く前記映像データを記録しない画像処理装置。 Means for detecting a detected moving image in which the same person is continuously captured from video data in which the person is irregularly captured in the imaging area;
Eye-opening state detection processing means for determining whether or not a person of a frame constituting the detected moving image is open;
A still image extraction processing unit that extracts the detected frame as an extracted still image when the eye opening state detection processing unit determines that the detected moving image has a detection frame in which a person whose eyes are open is reflected;
When the eye-opening state detection processing unit determines that the detected moving image does not have a detection frame in which a person whose eyes are opened is cut out from the video data, the detected moving image is cut out. Processing means,
The still image extraction processing means records the extracted extracted still image instead of the detected moving image and does not record the video data excluding the extracted still image,
An image processing apparatus in which the moving image cutout processing unit records the cut out detected moving image and does not record the video data excluding the detected moving image . 前記検出動画像を検出する手段が、前記開眼状況検出処理手段により前記開眼している人物が写り込んでいる検出フレームの次のフレームが開眼している人物が写り込んでいないフレームであると判断された場合に、当該開眼している人物の写り込み開始のフレームから当該開眼している人物が写り込んでいるフレームまでの連続するフレームを前記検出動画像として検出する  The means for detecting the detected moving image is determined by the eye-opening state detection processing means that the frame next to the detection frame in which the person whose eyes are opened is reflected is a frame in which the person whose eyes are opened is not reflected. If the detected moving image is detected, a continuous frame from the start frame of the person whose eyes are opened to the frame where the person whose eyes are opened is reflected is detected as the detected moving image.
前記請求項４に記載の画像処理装置。  The image processing apparatus according to claim 4. 前記静止画抽出処理手段が抽出した抽出静止画像に撮像日時を付加して記録し、Add and record the shooting date and time to the extracted still image extracted by the still image extraction processing means,
前記動画切出処理手段が切出した検出動画像に撮像日時を付加して記録する  The detected moving image cut out by the moving image cut-out processing means is added with the shooting date and recorded.
前記請求項１ないし５のいずれかに記載の画像処理装置。  The image processing apparatus according to claim 1. 撮像領域に不定期に人物が写り込む映像データから同一人物が連続して写り込んでいる検出動画像を検出する手段と、当該検出した検出動画像を前記映像データから切出す第１の動画切出処理手段とを備える第１の画像処理装置と、Means for detecting a detected moving image in which the same person is continuously captured from video data in which a person is irregularly captured in the imaging area, and a first moving image cutout that extracts the detected detected moving image from the video data A first image processing apparatus comprising output processing means;
前記第１の画像処理装置が前記切出した検出動画像を構成するフレームに写り込んでいる人物の顔が正面を向いているか否かを判断する顔の正面検出処理手段と、当該顔の正面検出処理手段により前記検出動画像が顔の正面が写り込んでいる検出フレームを有すると判断された場合に、当該検出フレームを抽出静止画像として抽出する静止画抽出処理手段と、前記顔の正面検出処理手段により前記検出動画像が顔の正面が写り込んでいる検出フレームを有しないと判断された場合に、前記切出した検出動画像を記録する第２の動画切出処理手段とを備える第２の画像処理装置とを備え、  A face front detection processing means for determining whether or not the face of the person reflected in the frame constituting the cut out detected moving image by the first image processing apparatus faces the front; and front detection of the face When it is determined by the processing means that the detected moving image has a detection frame in which the front of the face is reflected, a still image extraction processing means for extracting the detection frame as an extracted still image, and the face front detection processing And a second moving image cut-out processing unit that records the cut out detected moving image when the means determines that the detected moving image does not have a detection frame in which the front of the face is reflected. An image processing apparatus,
前記第２の画像処理装置の静止画抽出処理手段が、前記検出動画像の代わりに抽出した抽出静止画像を記録すると共に当該抽出静止画像を除く前記映像データを記録せず、  The still image extraction processing means of the second image processing apparatus records the extracted still image extracted instead of the detected moving image and does not record the video data excluding the extracted still image,
前記第１の画像処理装置の第１の動画切出処理手段が、前記切出した検出動画像を記録すると共に当該検出動画像を除く前記映像データを記録しない画像処理システム。  An image processing system in which the first moving image cutout processing means of the first image processing apparatus records the cut out detected moving image and does not record the video data excluding the detected moving image. 前記検出動画像を検出する手段が、前記顔の正面検出処理手段により前記顔の正面が写り込んでいる検出フレームの次のフレームが顔の正面が写り込んでいないフレームであると判断された場合に、当該顔の人物の写り込み開始のフレームから当該顔の正面が写り込んでいるフレームまでの連続するフレームを前記検出動画像として検出する  When the means for detecting the detected moving image is determined by the face front detection processing means that the frame next to the detection frame in which the front of the face is reflected is a frame in which the front of the face is not reflected In addition, a continuous frame from a frame in which the person of the face is reflected to a frame in which the front of the face is reflected is detected as the detected moving image.
前記請求項７に記載の画像処理システム。  The image processing system according to claim 7. 撮像領域に不定期に人物が写り込む映像データから同一人物が連続して写り込んでいるフレームからなる検出動画像を検出する手段と、Means for detecting a detection moving image composed of frames in which the same person is continuously captured from video data in which the person is irregularly captured in the imaging region;
前記検出された検出動画像を構成するフレームに写り込んでいる人物の顔が正面を向いているか否かを判断する顔の正面検出処理手段と、  A face front detection processing means for determining whether or not the face of a person reflected in a frame constituting the detected moving image is facing the front;
前記顔の正面検出処理手段により顔の正面が写り込んでいるとされたフレームの人物が開眼しているか否かを判断する開眼状況検出処理手段と、  An eye-opening state detection processing means for determining whether or not a person in a frame in which the front of the face is reflected by the face front detection processing means is opened;
前記開眼状況検出処理手段により前記検出動画像が開眼している検出フレームを有すると判断された場合に、当該検出フレームを抽出静止画像として抽出する静止画抽出処理手段と、  A still image extraction processing unit that extracts the detection frame as an extracted still image when the eye-opening state detection processing unit determines that the detected moving image has a detection frame that is opened;
前記開眼状況検出処理手段により前記検出動画像が開眼している検出フレームを有しないと判断された場合に、前記検出した検出動画像を前記映像データから切出す動画切出処理手段としてコンピュータを動作させるための画像処理プログラムであって、  When the eye-opening state detection processing unit determines that the detected moving image does not have an open detection frame, the computer operates as a moving image cut-out processing unit that cuts out the detected moving image from the video data. An image processing program for causing
前記静止画抽出処理手段が、前記検出動画像の代わりに抽出した抽出静止画像を記録すると共に当該抽出静止画像を除く前記映像データを記録せず、  The still image extraction processing unit records the extracted still image extracted instead of the detected moving image and does not record the video data excluding the extracted still image,
前記動画切出処理手段が、前記切出した検出動画像を記録すると共に当該検出動画像を除く前記映像データを記録しない画像処理プログラム。  An image processing program in which the moving image cutout processing unit records the cut out detected moving image and does not record the video data excluding the detected moving image. 前記検出動画像を検出する手段が、前記顔の正面検出処理手段により前記顔の正面が写り込んでいる検出フレームの次のフレームが顔の正面が写り込んでいないフレームであると判断された場合に、当該顔の人物の写り込み開始のフレームから当該顔の正面が写り込んでいるフレームまでの連続するフレームを前記検出動画像として検出する  When the means for detecting the detected moving image is determined by the face front detection processing means that the frame next to the detection frame in which the front of the face is reflected is a frame in which the front of the face is not reflected In addition, a continuous frame from a frame in which the person of the face is reflected to a frame in which the front of the face is reflected is detected as the detected moving image.
前記請求項９に記載の画像処理装置。  The image processing apparatus according to claim 9.
JP2007072730A 2007-03-20 2007-03-20 Image processing apparatus, image processing system, and image processing program Expired - Fee Related JP4744466B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007072730A JP4744466B2 (en) 2007-03-20 2007-03-20 Image processing apparatus, image processing system, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007072730A JP4744466B2 (en) 2007-03-20 2007-03-20 Image processing apparatus, image processing system, and image processing program

Publications (2)

Publication Number Publication Date
JP2008236345A JP2008236345A (en) 2008-10-02
JP4744466B2 true JP4744466B2 (en) 2011-08-10

Family

ID=39908587

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007072730A Expired - Fee Related JP4744466B2 (en) 2007-03-20 2007-03-20 Image processing apparatus, image processing system, and image processing program

Country Status (1)

Country Link
JP (1) JP4744466B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5742282B2 (en) * 2011-02-17 2015-07-01 株式会社ニコン camera
JP5906817B2 (en) * 2012-03-02 2016-04-20 株式会社ニコン Image processing device
JP5627811B1 (en) * 2014-04-16 2014-11-19 新生電子株式会社 Amusement center management system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000232638A (en) * 1999-02-09 2000-08-22 Toshiba Corp Person monitor system to evaluate image information
JP2003046911A (en) * 2001-05-22 2003-02-14 Matsushita Electric Ind Co Ltd Monitoring recording system and method therefor
JP2005227957A (en) * 2004-02-12 2005-08-25 Mitsubishi Electric Corp Optimal face image recording device and optimal face image recording method
JP2006238102A (en) * 2005-02-25 2006-09-07 Sony Corp Imaging apparatus and method for distributing image
JP2007013480A (en) * 2005-06-29 2007-01-18 Fujifilm Holdings Corp Monitoring system, monitoring method, and monitoring program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000232638A (en) * 1999-02-09 2000-08-22 Toshiba Corp Person monitor system to evaluate image information
JP2003046911A (en) * 2001-05-22 2003-02-14 Matsushita Electric Ind Co Ltd Monitoring recording system and method therefor
JP2005227957A (en) * 2004-02-12 2005-08-25 Mitsubishi Electric Corp Optimal face image recording device and optimal face image recording method
JP2006238102A (en) * 2005-02-25 2006-09-07 Sony Corp Imaging apparatus and method for distributing image
JP2007013480A (en) * 2005-06-29 2007-01-18 Fujifilm Holdings Corp Monitoring system, monitoring method, and monitoring program

Also Published As

Publication number Publication date
JP2008236345A (en) 2008-10-02

Similar Documents

Publication Publication Date Title
US10477156B2 (en) Video analytics system
US20090201372A1 (en) Method and apparatus for integrated atm surveillance
JP4961158B2 (en) Automatic transaction device and suspicious object detection system
WO2011131016A1 (en) Cash dispenser or teller machine with instant security monitoring function
JP6447234B2 (en) Terminal monitoring apparatus, terminal monitoring method and program
CN101710978A (en) Video recording control method and video recording control device for ATM video monitoring
JP5139947B2 (en) Surveillance image storage system and surveillance image storage method for surveillance image storage system
JP4744466B2 (en) Image processing apparatus, image processing system, and image processing program
JP4448321B2 (en) Automatic cash transaction apparatus and automatic cash transaction apparatus monitoring method
JP5288786B2 (en) Security device, automatic teller machine, program, and suspicious person judgment method
JP2001034813A (en) Automatic transaction device
JP2004104572A (en) Method and system for controlling monitoring camera, program for making computer implement monitoring camera controlling method, and recording medium with the program recorded thereon
CN111639592A (en) Electronic display screen anti-photographing system and method
TW200837661A (en) Video surveillance system hiding and video encoding method based on data
JP2002032571A (en) Device for monitoring store and atm of financial institution
TWI730374B (en) Automatic teller machine warning system
KR100717212B1 (en) Rise to the outside shock in an atm and method for operating the same
KR101830186B1 (en) Smart System and method for preventing from skimming using video analyzing function
JP5310351B2 (en) Detection gate device
KR100521617B1 (en) Automated teller machine with DVR system
KR20050020729A (en) The ATM and the Method for Preventing Disturbing CCTV in Photographing and an Illegal Withdrawal
KR200262163Y1 (en) Apparatus for recording scene of watch by using digital video recorder
KR20040065821A (en) Method for managing customer image using auto teller machine
KR100419182B1 (en) Method and system for time synchronization of digital video recorders and automatic teller machine
KR20050009506A (en) Method And Apparatus for Discernment User Cash Dispenser

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110510

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110510

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees