JP6331583B2 - Obstacle determination device and program - Google Patents

Obstacle determination device and program Download PDF

Info

Publication number
JP6331583B2
JP6331583B2 JP2014071656A JP2014071656A JP6331583B2 JP 6331583 B2 JP6331583 B2 JP 6331583B2 JP 2014071656 A JP2014071656 A JP 2014071656A JP 2014071656 A JP2014071656 A JP 2014071656A JP 6331583 B2 JP6331583 B2 JP 6331583B2
Authority
JP
Japan
Prior art keywords
image
unit
face
obstacle
face detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014071656A
Other languages
Japanese (ja)
Other versions
JP2015194833A (en
Inventor
英祐 山下
英祐 山下
真吾 川本
真吾 川本
充典 杉浦
充典 杉浦
摩利子 沖
摩利子 沖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2014071656A priority Critical patent/JP6331583B2/en
Publication of JP2015194833A publication Critical patent/JP2015194833A/en
Application granted granted Critical
Publication of JP6331583B2 publication Critical patent/JP6331583B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Pinball Game Machines (AREA)

Description

本発明は、障害物判定装置、およびプログラムに関する。   The present invention relates to an obstacle determination device and a program.

特許文献１には、パチンコホールの出入口を通行する遊技客の顔画像が撮影可能となるように出入口の近傍に設置されたカメラにより撮影された撮影画像を解析して顔情報を取得し、取得した顔情報を含む来店履歴情報を来店履歴情報テーブルに登録する来店状況管理システムが記載されている。   In Patent Document 1, face information is obtained by analyzing a photographed image taken by a camera installed in the vicinity of the entrance so that a face image of a player passing through the entrance of the pachinko hall can be photographed. A store visit status management system that registers store visit history information including the face information in the store visit history information table is described.

特許文献１ 特開２００７−２０６５３号公報   Japanese Patent Application Laid-Open No. 2007-20653

出入口の近傍など予め定められた場所を通行する人などを撮像する撮像装置が、撮影領域に障害物が置かれることで、照合などに用いることができる顔を含む画像を撮像できなくなる場合がある。   An imaging device that captures an image of a person who passes through a predetermined place such as the vicinity of an entrance may not be able to capture an image including a face that can be used for collation or the like because an obstacle is placed in the imaging region. .

本発明の一態様に係る障害物判定装置は、予め定められた撮像領域が撮像された複数の画像から撮像領域を移動する移動体を含まない画像を取得する画像取得部と、画像取得部により取得された画像と、予め定められた基準背景画像と比較する画像比較部と、画像比較部による比較結果に基づいて、撮像領域に障害物が存在するか否かを判定する障害物判定部とを備える。   An obstacle determination apparatus according to an aspect of the present invention includes an image acquisition unit that acquires an image that does not include a moving body that moves an imaging region from a plurality of images in which a predetermined imaging region is captured, and an image acquisition unit. An image comparison unit that compares the acquired image with a predetermined reference background image, an obstacle determination unit that determines whether or not an obstacle exists in the imaging region based on a comparison result by the image comparison unit; Is provided.

上記障害物判定装置は、複数の画像から検出された顔の数を示す顔検出数を取得する顔検出数取得部をさらに備え、画像取得部は、顔検出数が予め定められた数より小さい場合、撮像領域を移動する移動体を含まない画像を取得してよい。   The obstacle determination apparatus further includes a face detection number acquisition unit that acquires a face detection number indicating the number of faces detected from a plurality of images, and the image acquisition unit has a face detection number smaller than a predetermined number. In this case, an image that does not include a moving body that moves in the imaging region may be acquired.

上記障害物判定装置は、障害物判定部が撮像領域に障害物が存在すると判定した場合、撮像領域に障害物が存在することを通知部により通知させる通知制御部をさらに備えてよい。   The obstacle determination apparatus may further include a notification control unit that, when the obstacle determination unit determines that an obstacle exists in the imaging region, causes the notification unit to notify that an obstacle exists in the imaging region.

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。   The summary of the invention does not enumerate all the features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.

本実施形態に係る撮像システムの全体の構成を示す図である。1 is a diagram illustrating an overall configuration of an imaging system according to an embodiment. 撮像装置が撮像する撮像領域について説明するための図である。It is a figure for demonstrating the imaging area which an imaging device images. 撮像装置が撮像する撮像領域に障害物がある場合について説明するための図である。It is a figure for demonstrating the case where there exists an obstruction in the imaging area which an imaging device images. 画像処理部の機能ブロックの一例を示す図である。It is a figure which shows an example of the functional block of an image process part. 障害物判定装置の機能ブロックの一例を示す図である。It is a figure which shows an example of the functional block of an obstruction determination apparatus. 複数の画像の中から移動体を含まない画像を取得することについて説明するための図である。It is a figure for demonstrating acquiring the image which does not contain a moving body from several images. 移動体を含まない画像と基準背景画像との比較について説明するための図である。It is a figure for demonstrating the comparison with the image which does not contain a moving body, and a reference | standard background image. 表示端末に表示される表示画面の一例を示す図である。It is a figure which shows an example of the display screen displayed on a display terminal. 障害物判定装置が撮像装置により撮像される撮像領域に障害物があるか否かを判定する処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence which an obstacle determination apparatus determines whether there exists an obstruction in the imaging area imaged with an imaging device. 本実施形態に係る障害物判定装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of the obstacle determination apparatus which concerns on this embodiment.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。   Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.

図１は、本実施形態に係る撮像システムの全体の構成を示す図である。撮影システムは、予め定められた場所を通過する人の顔を撮像し、顔を含む画像をデータベースに登録するシステムなどに適用できる。撮影システムは、例えば、パチンコ、パチスロなどの遊技機が設置された遊技店の出入口付近を通過する来店者の顔を撮影し、来店者の顔を含む画像をデータベースに登録する。   FIG. 1 is a diagram illustrating an overall configuration of an imaging system according to the present embodiment. The imaging system can be applied to a system that captures an image of a person's face passing through a predetermined location and registers an image including the face in a database. The imaging system, for example, captures the face of a visitor passing near the entrance / exit of a game store in which a gaming machine such as a pachinko or pachislot machine is installed, and registers an image including the visitor's face in a database.

撮影システムは、撮像装置１００、画像処理部２００、障害物判定装置３００、および表示端末４００を備える。撮像装置１００は、例えば、遊技店の出入口付近を通過する来店者の顔を撮像する。撮像システムは、複数の撮像装置１００を備えてよい。画像処理部２００は、撮像装置１００から提供される画像から顔を含む画像を抽出し、障害物判定装置３００に提供する。撮像システムが複数の撮像装置１００を備える場合には、撮像システムは、複数の撮像装置１００毎に画像処理部２００を備えてよい。障害物判定装置３００は、画像処理部２００から提供される顔を含む画像を管理する。障害物判定装置３００において管理される顔を含む画像は、例えば、遊技店での顧客管理などに利用されてよい。   The imaging system includes an imaging device 100, an image processing unit 200, an obstacle determination device 300, and a display terminal 400. The imaging device 100 images, for example, the face of a customer who passes near the entrance of a game store. The imaging system may include a plurality of imaging devices 100. The image processing unit 200 extracts an image including a face from the image provided from the imaging device 100 and provides the extracted image to the obstacle determination device 300. When the imaging system includes a plurality of imaging devices 100, the imaging system may include the image processing unit 200 for each of the plurality of imaging devices 100. The obstacle determination device 300 manages an image including a face provided from the image processing unit 200. The image including the face managed by the obstacle determination apparatus 300 may be used for customer management at a game store, for example.

撮像装置１００は、例えば、図２に示すような撮像領域の画像５００を撮像する。撮像領域に障害物がなければ、画像処理部２００は、来店者５０２の顔を適切に抽出できる。一方、撮像装置１００が、例えば、図３に示すような撮像領域に障害物５０４が存在する画像５００を撮像した場合、画像処理部２００は、来店者５０２の顔を適切に抽出できない可能性がある。   For example, the imaging apparatus 100 captures an image 500 in an imaging region as illustrated in FIG. If there is no obstacle in the imaging area, the image processing unit 200 can appropriately extract the face of the customer 502. On the other hand, for example, when the imaging apparatus 100 captures an image 500 in which an obstacle 504 is present in the imaging region as illustrated in FIG. 3, the image processing unit 200 may not be able to appropriately extract the face of the store visitor 502. is there.

そこで、障害物判定装置３００は、画像処理部２００から提供される画像に基づいて撮像装置１００が撮像する撮像領域内に障害物があるか否かを判定する。表示端末４００は、障害物判定装置３００が撮像領域内に障害物があると判定した場合、撮像領域内に障害物があることを画面に表示するなどして外部に通知する。   Therefore, the obstacle determination device 300 determines whether there is an obstacle in the imaging area captured by the imaging device 100 based on the image provided from the image processing unit 200. When the obstacle determination device 300 determines that there is an obstacle in the imaging region, the display terminal 400 notifies the outside that the obstacle is in the imaging region by displaying it on the screen.

表示端末４００は、通知部の一例である。従業員は、通知を受けることで、障害物の存在を認識でき、その障害物を撮像領域外に移動させるなどの対策を講ぜられる。これにより、撮影領域に障害物が置かれることで、撮像装置１００が、照合などに用いることができる顔を含む画像を撮像できなくなっている期間を短縮できる。よって、撮像装置１００が、長期間、照合などに用いることができる顔を含む画像を撮像できなくなることを防止できる。   The display terminal 400 is an example of a notification unit. Upon receiving the notification, the employee can recognize the presence of the obstacle and take measures such as moving the obstacle out of the imaging area. Thereby, it is possible to shorten a period during which the imaging apparatus 100 cannot capture an image including a face that can be used for matching or the like by placing an obstacle in the imaging region. Therefore, it is possible to prevent the imaging apparatus 100 from taking an image including a face that can be used for collation for a long time.

図４は、画像処理部２００の機能ブロックの一例を示す図である。画像処理部２００は、画像受信部２０２、顔画像抽出部２０４、特徴量導出部２０６、顔信頼度導出部２０８、および画像送信部２１０を備える。   FIG. 4 is a diagram illustrating an example of functional blocks of the image processing unit 200. The image processing unit 200 includes an image receiving unit 202, a face image extracting unit 204, a feature amount deriving unit 206, a face reliability deriving unit 208, and an image transmitting unit 210.

画像受信部２０２は、撮像装置１００により撮像された画像を受信する。顔画像抽出部２０４は、画像受信部２０２により受信された画像から顔を含む画像を抽出する。顔画像抽出部２０４は、受信された画像内から顔を構成する部位の配置などのパターンにより顔を含む画像を抽出する。   The image receiving unit 202 receives an image captured by the imaging device 100. The face image extraction unit 204 extracts an image including a face from the image received by the image reception unit 202. The face image extraction unit 204 extracts an image including a face from the received image using a pattern such as the arrangement of parts constituting the face.

特徴量導出部２０６は、顔画像抽出部２０４により抽出された画像に含まれる顔の特徴量を導出する。特徴量は、人物などの対象物を識別可能な情報であればよく、画像の画素値の情報、または画像に含まれる顔の目、鼻、口の間隔または大きさ、肌の色、髪型などの外見的特徴を数値で示した情報などでよい。   The feature amount deriving unit 206 derives the feature amount of the face included in the image extracted by the face image extracting unit 204. The feature amount may be any information that can identify an object such as a person, such as pixel value information of the image, or the distance or size of the face eyes, nose, mouth included in the image, skin color, hairstyle, etc. It may be information indicating the appearance feature of the numerical value.

顔信頼度導出部２０８は、顔画像抽出部２０４により抽出された画像に含まれる顔の顔らしさを示す顔信頼度を導出する。例えば、顔信頼度導出部２０８は、画像に含まれる顔から、顔を構成する器官（例えば、目、耳、鼻、口、額、顎、輪郭）を抽出し、抽出された器官の位置情報を導出する。そして、顔信頼度導出部２０８は、抽出された器官と、抽出された器官の位置情報とに基づいて、顔を含む画像毎の顔信頼度を導出する。   The face reliability deriving unit 208 derives a face reliability indicating the face likeness of the face included in the image extracted by the face image extracting unit 204. For example, the face reliability deriving unit 208 extracts organs (for example, eyes, ears, nose, mouth, forehead, jaws, contours) constituting the face from the faces included in the image, and the position information of the extracted organs Is derived. Then, the face reliability deriving unit 208 derives the face reliability for each image including the face based on the extracted organ and the extracted position information of the organ.

ここで、顔信頼度は、顔を含む画像毎の照合処理に適する度合いを示すものである。したがって、顔信頼度が高い画像ほど、照合に適した画像である。例えば、顔信頼度は、器官のうち、例えば、目、耳、鼻、口、額、顎、輪郭などの有無により、器官毎に器官特徴点の合計となる数値でよい。また、顔信頼度は、左右の目または耳と、鼻または口との距離の比率、あるいは、額および鼻の距離と、顎および鼻の距離との比率などに基づいて導出される数値でよい。   Here, the face reliability indicates a degree suitable for collation processing for each image including a face. Therefore, an image with higher face reliability is an image suitable for collation. For example, the face reliability may be a numerical value that is the sum of organ feature points for each organ depending on, for example, the presence or absence of eyes, ears, nose, mouth, forehead, chin, contour, etc. The face reliability may be a numerical value derived based on the ratio of the distance between the left and right eyes or ears and the nose or mouth, or the ratio of the forehead and nose distance to the chin and nose distance. .

画像送信部２１０は、顔画像抽出部２０４により抽出された顔を含む画像を、特徴量導出部２０６により導出された特徴量、および顔信頼度導出部２０８により導出された顔信頼度とともに、障害物判定装置３００に送信する。顔画像抽出部２０４が画像受信部２０２により受信された画像から顔を抽出できなかった場合、画像送信部２１０は、画像受信部２０２により受信された画像を障害物判定装置３００に送信する。   The image transmission unit 210 displays an image including the face extracted by the face image extraction unit 204 together with the feature amount derived by the feature amount deriving unit 206 and the face reliability derived by the face reliability deriving unit 208, It transmits to the object determination apparatus 300. When the face image extraction unit 204 cannot extract a face from the image received by the image reception unit 202, the image transmission unit 210 transmits the image received by the image reception unit 202 to the obstacle determination device 300.

図５は、障害物判定装置３００の機能ブロックの一例を示す図である。障害物判定装置３００は、画像受信部３０２、画像登録部３０４、画像格納部３０６、基準顔検出数決定部３０８、顔検出数取得部３１０、画像取得部３２０、画像比較部３３０、障害物判定部３４０、および通知制御部３５０を備える。   FIG. 5 is a diagram illustrating an example of functional blocks of the obstacle determination device 300. The obstacle determination device 300 includes an image reception unit 302, an image registration unit 304, an image storage unit 306, a reference face detection number determination unit 308, a face detection number acquisition unit 310, an image acquisition unit 320, an image comparison unit 330, and an obstacle determination. Unit 340 and notification control unit 350.

画像受信部３０２は、画像処理部２００から撮像装置１００により撮像された画像を受信する。画像登録部３０４は、受信した画像を画像格納部３０６に登録する。画像受信部３０２は、顔を含まない画像、撮像装置１００の撮像領域を移動する来店者などの移動体を含まない画像を画像処理部２００から受信する。画像受信部３０２は、画像処理部２００から顔を含む画像、画像に含まれる顔の信頼度、および顔の特徴量を受信してよい。画像登録部３０４は、受信した顔を含む画像、顔の信頼度、および顔の特徴量を関連付けて画像格納部３０６に登録してよい。   The image receiving unit 302 receives an image captured by the imaging device 100 from the image processing unit 200. The image registration unit 304 registers the received image in the image storage unit 306. The image receiving unit 302 receives from the image processing unit 200 an image that does not include a face and an image that does not include a moving body such as a visitor who moves in the imaging region of the imaging apparatus 100. The image receiving unit 302 may receive the image including the face, the reliability of the face included in the image, and the feature amount of the face from the image processing unit 200. The image registration unit 304 may register the received image including the face, the reliability of the face, and the feature amount of the face in the image storage unit 306 in association with each other.

画像登録部３０４は、予め定められた期間、例えば、一日を単位として、画像格納部３０６に顔を含む画像を登録してよい。画像受信部３０２が受信した画像に含まれる顔が、一日のうちにすでに顔を含む画像が画像格納部３０６に登録されている来店者の顔の場合には、画像登録部３０４は、その画像を画像格納部３０６に新たな来店者として登録しなくてよい。   The image registration unit 304 may register an image including a face in the image storage unit 306 in a predetermined period, for example, one day. When the face included in the image received by the image receiving unit 302 is a face of a customer who has already registered an image including a face in the image storage unit 306 in one day, the image registration unit 304 The image does not have to be registered as a new store visitor in the image storage unit 306.

画像格納部３０６は、画像受信部３０２が受信した画像を格納する。画像格納部３０６は、顔を含まない画像、撮像装置１００の撮像領域を移動する来店者などの移動体を含まない画像を格納する。画像格納部３０６は、顔を含む画像、画像に含まれる顔の信頼度、および顔の特徴量を関連付けて格納する。画像格納部３０６は、さらに、撮像装置１００の撮像領域を移動する来店者などの移動体を含まない基準背景画像を格納する。撮像装置１００は、撮像領域を移動する移動体が存在しない可能性が高い時間帯、例えば遊技店が閉店している時間帯に、基準背景画像を撮像してよい。   The image storage unit 306 stores the image received by the image reception unit 302. The image storage unit 306 stores an image that does not include a face and an image that does not include a moving object such as a visitor who moves in the imaging area of the imaging apparatus 100. The image storage unit 306 stores the image including the face, the reliability of the face included in the image, and the face feature amount in association with each other. The image storage unit 306 further stores a reference background image that does not include a moving body such as a visitor who moves in the imaging region of the imaging device 100. The imaging apparatus 100 may capture the reference background image in a time zone in which there is a high possibility that there is no moving object moving in the imaging area, for example, a time zone in which the amusement store is closed.

基準顔検出数決定部３０８は、撮像装置１００が顔を含む画像を適切に撮像しているか否かを判断するための基準となる基準顔検出数を決定する。基準顔検出数決定部３０８は、画像格納部３０６を参照して、例えば、過去７日間のそれぞれに撮像装置１００により撮像された複数の画像から検出された顔の数を示す顔検出数を取得する。なお、顔検出数は、顔らしさを示す顔信頼度が予め定められた基準値以上の顔を含む画像の数でよい。基準顔検出数決定部３０８は、取得したそれぞれの顔検出数に基づいて基準顔検出数を決定してよい。基準顔検出数決定部３０８は、取得したそれぞれの顔検出数の最小値または平均値に基づいて基準顔検出数を決定してよい。基準顔検出数決定部３０８は、取得したそれぞれの顔検出数の最小値また平均値をユーザに提示して、ユーザからの指示に基づいて基準顔検出数を決定してよい。   The reference face detection number determination unit 308 determines a reference face detection number serving as a reference for determining whether or not the imaging apparatus 100 appropriately captures an image including a face. The reference face detection number determination unit 308 refers to the image storage unit 306 and acquires, for example, the number of face detections indicating the number of faces detected from a plurality of images captured by the imaging device 100 for each of the past seven days. To do. Note that the number of face detections may be the number of images including faces whose face reliability indicating the likelihood of a face is equal to or greater than a predetermined reference value. The reference face detection number determination unit 308 may determine the reference face detection number based on the acquired face detection numbers. The reference face detection number determination unit 308 may determine the reference face detection number based on the minimum value or the average value of the acquired face detection numbers. The reference face detection number determination unit 308 may present the minimum value or average value of the acquired face detection numbers to the user, and may determine the reference face detection number based on an instruction from the user.

予め定められた期間、例えば１日の顔検出数が、基準顔検出数より少ない場合、撮像装置１００が顔を含む画像を適切に撮像していない可能性がある。そこで、撮像装置１００が顔を含む画像を適切に撮像できているか否かの判断の指標の１つとして、基準顔検出数決定部３０８は、基準顔検出数を決定する。   When the number of face detections per day for a predetermined period, for example, is smaller than the reference face detection number, there is a possibility that the imaging device 100 has not properly captured an image including a face. Therefore, the reference face detection number determination unit 308 determines the reference face detection number as one index for determining whether or not the imaging apparatus 100 can appropriately capture an image including a face.

なお、本実施形態では、一日を期間として、基準顔検出数決定部３０８が、基準顔検出数を決定する例について説明する。しかし、予め定められた期間は、２４時間には限定されず、基準顔検出数決定部３０８は、例えば、１時間を単位として、過去７日間のそれぞれ同一の時間帯の顔検出数に基づいて、それぞれの時間帯の基準顔検出数を決定してよい。   In the present embodiment, an example will be described in which the reference face detection number determination unit 308 determines the reference face detection number for one day. However, the predetermined period is not limited to 24 hours, and the reference face detection number determination unit 308, for example, based on the number of face detections in the same time period for the past seven days in units of one hour. The reference face detection number in each time zone may be determined.

顔検出数取得部３１０は、撮像装置１００により撮像された複数の画像から検出された顔の数を示す顔検出数を取得する。顔検出数取得部３１０は、障害物の有無の判定を行う対象日の一日の顔検出数を取得してよい。顔検出数取得部３１０は、画像格納部３０６を参照することで、顔が検出された来店者の人数を顔検出数として取得してよい。顔検出数取得部３１０は、来店人数ではなく、撮像装置１００により撮像された画像のうち画像処理部２００により抽出された顔を含む画像の総数を顔検出数として取得してよい。この場合、基準顔検出数決定部３０８は、来店人数ではなく、画像処理部２００により抽出された顔を含む画像の総数に基づいて基準顔検出数を決定する。   The face detection number acquisition unit 310 acquires a face detection number indicating the number of faces detected from a plurality of images captured by the imaging device 100. The face detection number acquisition unit 310 may acquire the number of face detections per day on the target day for determining whether there is an obstacle. The face detection number acquisition unit 310 may acquire the number of customers who detected a face as the face detection number by referring to the image storage unit 306. The face detection number acquisition unit 310 may acquire the total number of images including the face extracted by the image processing unit 200 from the images captured by the imaging device 100, not the number of customers visiting the store, as the face detection number. In this case, the reference face detection number determination unit 308 determines the reference face detection number based on the total number of images including the face extracted by the image processing unit 200 instead of the number of customers visiting the store.

画像取得部３２０は、撮像装置１００により撮像された複数の画像の中から撮像領域を移動する移動体を含まない画像を取得する。画像取得部３２０は、予め定められたタイミングで、撮像装置１００により撮像された複数の画像の中から撮像領域を移動する移動体を含まない画像を取得してよい。画像取得部３２０は、予め定められた周期で、撮像装置１００により撮像された複数の画像の中から撮像領域を移動する移動体を含まない画像を取得してよい。また、画像取得部３２０は、顔検出数取得部３１０により取得された顔検出数が、基準顔検出数決定部３０８により決定された基準顔検出数以上か否かを判定してよい。そして、画像取得部３２０は、顔検出数が基準顔検出数より小さい場合に、画像格納部３０６を参照して、例えば、図６に示すように、対象日に撮像装置１００により撮像された複数の画像５００の中から撮像領域を移動する移動体を含まない画像５００を取得し、画像比較部３３０に提供してよい。画像取得部３２０は、顔検出数が基準顔検出数より小さい場合、画像格納部３０６を参照して、撮像装置１００に対応する基準背景画像を取得し、画像比較部３３０に提供する。   The image acquisition unit 320 acquires an image that does not include a moving body that moves in the imaging region from among a plurality of images captured by the imaging device 100. The image acquisition unit 320 may acquire an image that does not include a moving body that moves in the imaging region from a plurality of images captured by the imaging device 100 at a predetermined timing. The image acquisition unit 320 may acquire an image that does not include a moving body that moves in the imaging region from a plurality of images captured by the imaging device 100 at a predetermined cycle. The image acquisition unit 320 may determine whether or not the face detection number acquired by the face detection number acquisition unit 310 is equal to or greater than the reference face detection number determined by the reference face detection number determination unit 308. Then, when the face detection number is smaller than the reference face detection number, the image acquisition unit 320 refers to the image storage unit 306, for example, as shown in FIG. The image 500 that does not include the moving object that moves the imaging region may be acquired from the image 500 and provided to the image comparison unit 330. When the face detection number is smaller than the reference face detection number, the image acquisition unit 320 refers to the image storage unit 306, acquires a reference background image corresponding to the imaging device 100, and provides it to the image comparison unit 330.

画像取得部３２０は、対象日に撮像された複数の画像を比較することで、撮像装置１００の撮像領域を移動する移動体を含まない画像を取得してよい。画像取得部３２０は、顔検出数が基準顔検出数より小さい場合、対象日に撮像された複数の画像を比較することで、撮像装置１００の撮像領域を移動する移動体を含まない画像を取得してよい。画像取得部３２０は、撮像領域を移動する移動体がいる可能性が低い時間帯、例えば、対象日の閉店後に撮像装置１００により撮像された画像を、撮像装置１００の撮像領域を移動する移動体を含まない画像として取得してよい。   The image acquisition unit 320 may acquire an image that does not include a moving body that moves in the imaging region of the imaging device 100 by comparing a plurality of images captured on the target day. When the face detection count is smaller than the reference face detection count, the image acquisition unit 320 acquires an image that does not include a moving body that moves the imaging region of the imaging apparatus 100 by comparing a plurality of images captured on the target day. You can do it. The image acquisition unit 320 moves a moving object that moves in the imaging region of the imaging device 100 for a time zone in which there is a low possibility of a moving object moving in the imaging region, for example, an image captured by the imaging device 100 after the store is closed on the target day. You may acquire as an image which does not contain.

画像比較部３３０は、画像取得部３２０により提供される基準背景画像と、移動体を含まない画像とを比較する。画像比較部３３０は、例えば、図７に示すように、対象日に撮像された移動体を含まない画像５００と予め定められた基準背景画像６００とを比較してよい。   The image comparison unit 330 compares the reference background image provided by the image acquisition unit 320 with an image that does not include a moving object. For example, as illustrated in FIG. 7, the image comparison unit 330 may compare an image 500 that does not include a moving body imaged on the target date with a predetermined reference background image 600.

画像比較部３３０は、移動体を含まない画像５００と基準背景画像６００との類似度を導出することで、移動体を含まない画像と基準背景画像とを比較してよい。障害物判定部３４０は、画像比較部３３０による比較結果に基づいて、撮像領域に障害物が存在するか否かを判定する。障害物判定部３４０は、画像比較部３３０により導出された類似度が、基準類似度以上か否かにより、撮像領域に障害物が存在するか否かを判定してよい。   The image comparison unit 330 may compare the image that does not include the moving object and the reference background image by deriving the similarity between the image 500 that does not include the moving object and the reference background image 600. The obstacle determination unit 340 determines whether an obstacle exists in the imaging region based on the comparison result by the image comparison unit 330. The obstacle determination unit 340 may determine whether there is an obstacle in the imaging region based on whether the similarity derived by the image comparison unit 330 is equal to or higher than the reference similarity.

通知制御部３５０は、障害物判定部３４０が撮像領域に障害物が存在すると判定した場合、撮像領域に障害物が存在することを表示端末４００により通知させる。通知制御部３５０は、例えば図８に示すような画像７００を表示端末４００に表示することで、撮像領域に障害物が存在することを外部に通知させてよい。   When the obstacle determination unit 340 determines that an obstacle exists in the imaging region, the notification control unit 350 causes the display terminal 400 to notify that the obstacle exists in the imaging region. For example, the notification control unit 350 may display an image 700 as illustrated in FIG. 8 on the display terminal 400 to notify the outside that an obstacle exists in the imaging region.

図９は、障害物判定装置３００が撮像装置１００により撮像される撮像領域に障害物があるか否かを判定する処理手順の一例を示すフローチャートである。なお、図９に示す処理手順では、画像取得部３２０は、顔検出数が基準顔検出数より小さい場合に、撮像装置１００により撮像された複数の画像の中から撮像領域を移動する移動体を含まない画像を取得する。しかし、画像取得部３２０は、予め定められたタイミング、例えば予め定められた周期で、撮像装置１００により撮像された複数の画像の中から撮像領域を移動する移動体を含まない画像を取得してよい。   FIG. 9 is a flowchart illustrating an example of a processing procedure in which the obstacle determination device 300 determines whether there is an obstacle in the imaging region captured by the imaging device 100. In the processing procedure illustrated in FIG. 9, the image acquisition unit 320 detects a moving body that moves an imaging region from among a plurality of images captured by the imaging device 100 when the number of detected faces is smaller than the reference number of detected faces. Acquire images that are not included. However, the image acquisition unit 320 acquires an image that does not include a moving body that moves the imaging region from a plurality of images captured by the imaging device 100 at a predetermined timing, for example, at a predetermined cycle. Good.

基準顔検出数決定部３０８は、画像格納部３０６を参照して、対象日より過去の７日間の複数の画像の顔検出数を取得する（Ｓ１００）。基準顔検出数決定部３０８は、取得した過去７日間の顔検出数に基づいて基準顔検出数を決定する（Ｓ１０２）。顔検出数取得部３１０は、画像格納部３０６を参照して、対象日の複数の画像の顔検出数を取得する（Ｓ１０４）。   The reference face detection number determination unit 308 refers to the image storage unit 306 and acquires the number of face detections of a plurality of images in the past seven days from the target date (S100). The reference face detection number determination unit 308 determines the reference face detection number based on the acquired face detection numbers for the past seven days (S102). The face detection number acquisition unit 310 refers to the image storage unit 306 and acquires the number of face detections of a plurality of images on the target day (S104).

次いで、画像取得部３２０は、顔検出数取得部３１０により取得された顔検出数が、基準顔検出数決定部３０８により決定された基準顔検出数以上か否かを判定する（Ｓ１０６）。顔検出数が基準顔検出数以上であれば、処理を終了する。   Next, the image acquisition unit 320 determines whether the face detection number acquired by the face detection number acquisition unit 310 is greater than or equal to the reference face detection number determined by the reference face detection number determination unit 308 (S106). If the face detection number is equal to or greater than the reference face detection number, the process ends.

顔検出数が基準顔検出数より小さい場合、画像取得部３２０は、対象日に撮像された複数の画像の中から、移動体を含まない画像を取得し、画像比較部３３０に提供する（Ｓ１０８）。また、画像取得部３２０は、顔検出数が基準顔検出数より小さければ、画像格納部３０６を参照して、撮像装置１００に対応する基準背景画像を取得し、画像比較部３３０に提供する。画像比較部３３０は、対象日に接続された移動体を含まない画像と、予め定められた基準背景画像との間の類似度を導出する（Ｓ１１０）。障害物判定部３４０は、画像比較部３３０により導出された類似度が、基準類似度以上か否かを判定することで、撮像領域に障害物があるか否かを判定する（Ｓ１１２）。類似度が基準類似度以上であれば、処理を終了する。   When the face detection number is smaller than the reference face detection number, the image acquisition unit 320 acquires an image that does not include a moving body from a plurality of images captured on the target day, and provides the acquired image to the image comparison unit 330 (S108). ). If the face detection number is smaller than the reference face detection number, the image acquisition unit 320 refers to the image storage unit 306 to acquire a reference background image corresponding to the imaging device 100 and provides the acquired image to the image comparison unit 330. The image comparison unit 330 derives a similarity between an image that does not include a moving object connected to the target date and a predetermined reference background image (S110). The obstacle determination unit 340 determines whether there is an obstacle in the imaging region by determining whether the similarity derived by the image comparison unit 330 is greater than or equal to the reference similarity (S112). If the similarity is greater than or equal to the reference similarity, the process ends.

類似度が基準類似度より小さければ、通知制御部３５０が、撮像領域に障害物がある可能性があることを表示端末４００を介して外部に通知する（Ｓ１１４）。   If the similarity is smaller than the reference similarity, the notification control unit 350 notifies the outside through the display terminal 400 that there is a possibility that there is an obstacle in the imaging region (S114).

本実施形態によれば、障害物判定装置３００は、対象期間中に検出された顔検出数が予め定められた基準顔検出数より少ない場合、撮像装置１００が撮像する撮像領域内に障害物がある可能性がある判断する。そして、障害物判定装置３００は、対象期間中に撮像された画像のうち移動体を含まない画像と、撮像装置１００が撮像する撮像領域に対応する基準背景画像とを比較することにより、撮像装置１００が撮像する撮像領域内に障害物があるか否かを判断する。さらに、障害物判定装置３００が撮像領域内に障害物があると判定した場合、例えば、表示端末４００が、撮像領域内に障害物があることを画面に表示するなどして外部に通知する。   According to the present embodiment, the obstacle determination device 300, when the number of detected faces detected during the target period is smaller than a predetermined reference face detection number, there is an obstacle in the imaging region captured by the imaging device 100. Judge that there is a possibility. Then, the obstacle determination apparatus 300 compares the image that does not include the moving body among the images captured during the target period with the reference background image corresponding to the imaging area that the imaging apparatus 100 captures. It is determined whether or not there is an obstacle in the imaging area that 100 captures. Further, when the obstacle determination apparatus 300 determines that there is an obstacle in the imaging region, for example, the display terminal 400 notifies the outside that the obstacle is in the imaging region by displaying it on the screen.

表示端末４００などを介して従業員などが通知を受けることで、例えば、従業員が、障害物の存在を認識でき、その障害物を撮像領域外に移動させるなどの対策を講ぜられる。これにより、出入口の近傍など予め定められた場所を通行する人などを撮像する撮像装置１００が、撮影領域に障害物が置かれることで、照合などに用いることができる顔を含む画像を撮像できなくなっている期間を短縮できる。よって、撮像装置１００が、長期間、照合などに用いることができる顔を含む画像を撮像できなくなることを防止できる。   By receiving the notification via the display terminal 400 or the like, for example, the employee can recognize the presence of an obstacle and take measures such as moving the obstacle out of the imaging area. Accordingly, the imaging apparatus 100 that captures a person who passes through a predetermined place such as the vicinity of the entrance / exit can capture an image including a face that can be used for collation or the like by placing an obstacle in the imaging region. You can shorten the time period. Therefore, it is possible to prevent the imaging apparatus 100 from taking an image including a face that can be used for collation for a long time.

なお、本実施形態に係る障害物判定装置３００が備える各部は、撮像領域の障害物の有無を判定する障害物判定に関する各種処理を行う、コンピュータ読み取り可能な記録媒体に記録されたプログラムをインストールし、このプログラムをコンピュータに実行させることで、構成してもよい。つまり、コンピュータに障害物判定に関する各種処理を行うプログラムを実行させることにより、障害物判定装置３００が備える各部としてコンピュータを機能させることで、障害物判定装置３００を構成してもよい。   Note that each unit included in the obstacle determination apparatus 300 according to the present embodiment installs a program recorded on a computer-readable recording medium that performs various processes related to obstacle determination for determining the presence or absence of an obstacle in the imaging region. The program may be executed by a computer. In other words, the obstacle determination apparatus 300 may be configured by causing a computer to function as each unit included in the obstacle determination apparatus 300 by causing a computer to execute a program that performs various processes related to obstacle determination.

図１０は、本実施形態に係る障害物判定装置３００のハードウェア構成の一例を示す図である。本実施形態に係る障害物判定装置３００は、ホストコントローラ９０２により相互に接続されるＣＰＵ９０４、ＲＡＭ９０６を有するＣＰＵ周辺部と、入出力コントローラ９０８によりホストコントローラ９０２に接続されるＲＯＭ９１０、および通信インターフェイス９１２を備える。   FIG. 10 is a diagram illustrating an example of a hardware configuration of the obstacle determination apparatus 300 according to the present embodiment. The obstacle determination apparatus 300 according to this embodiment includes a CPU peripheral unit having a CPU 904 and a RAM 906 connected to each other by a host controller 902, a ROM 910 connected to the host controller 902 by an input / output controller 908, and a communication interface 912. Prepare.

ホストコントローラ９０２は、ＲＡＭ９０６と、高い転送レートでＲＡＭ９０６をアクセスするＣＰＵ９０４とを接続する。ＣＰＵ９０４は、ＲＯＭ９１０およびＲＡＭ９０６に格納されたプログラムに基づいて動作して、各部を制御する。入出力コントローラ９０８は、ホストコントローラ９０２と、比較的高速な入出力装置である通信インターフェイス９１２と、ＲＯＭ９１０とを接続する。   The host controller 902 connects the RAM 906 and the CPU 904 that accesses the RAM 906 at a high transfer rate. The CPU 904 operates based on programs stored in the ROM 910 and the RAM 906 to control each unit. The input / output controller 908 connects the host controller 902, the communication interface 912 that is a relatively high-speed input / output device, and the ROM 910.

通信インターフェイス９１２は、撮像装置１００および画像処理部２００などと通信する。ＲＯＭ９１０は、障害物判定装置３００内のＣＰＵ９０４が使用するプログラムおよびデータを格納する。また、ＲＯＭ９１０は、障害物判定装置３００が起動時に実行するブート・プログラム、障害物判定装置３００のハードウェアに依存するプログラム等を格納する。   The communication interface 912 communicates with the imaging device 100, the image processing unit 200, and the like. The ROM 910 stores programs and data used by the CPU 904 in the obstacle determination device 300. The ROM 910 stores a boot program that the obstacle determination device 300 executes at startup, a program that depends on the hardware of the obstacle determination device 300, and the like.

ＲＡＭ９０６を介してＲＯＭ９１０に提供されるプログラムは、ＣＤ−ＲＯＭ、またはＵＳＢメモリ等のコンピュータが読み取り可能な記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ９０６を介して障害物判定装置３００内のＲＯＭ９１０にインストールされ、ＣＰＵ９０４において実行される。   A program provided to the ROM 910 via the RAM 906 is stored in a computer-readable recording medium such as a CD-ROM or a USB memory and provided by the user. The program is read from the recording medium, installed in the ROM 910 in the obstacle determination apparatus 300 via the RAM 906, and executed by the CPU 904.

障害物判定装置３００にインストールされて実行されるプログラムは、ＣＰＵ９０４等に働きかけて、障害物判定装置３００を、図１から図９にかけて説明した画像受信部３０２、画像受信部３０２、画像登録部３０４、画像格納部３０６、基準顔検出数決定部３０８、顔検出数取得部３１０、画像取得部３２０、画像比較部３３０、障害物判定部３４０、および通知制御部３５０として機能させる。   A program that is installed and executed in the obstacle determination apparatus 300 works on the CPU 904 or the like to cause the obstacle determination apparatus 300 to perform the image reception unit 302, the image reception unit 302, and the image registration unit 304 described with reference to FIGS. , Image storage unit 306, reference face detection number determination unit 308, face detection number acquisition unit 310, image acquisition unit 320, image comparison unit 330, obstacle determination unit 340, and notification control unit 350.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。   The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.

１００ 撮像装置
２００ 画像処理部
２０２ 画像受信部
２０４ 顔画像抽出部
２０６ 特徴量導出部
２０８ 顔信頼度導出部
２１０ 画像送信部
３００ 障害物判定装置
３０２ 画像受信部
３０４ 画像登録部
３０６ 画像格納部
３０８ 基準顔検出数決定部
３１０ 顔検出数取得部
３２０ 画像取得部
３３０ 画像比較部
３４０ 障害物判定部
４００ 表示端末
９０２ ホストコントローラ
９０４ ＣＰＵ
９０６ ＲＡＭ
９０８ 入出力コントローラ
９１０ ＲＯＭ
９１２ 通信インターフェイス 100 imaging device 200 image processing unit 202 image receiving unit 204 face image extracting unit 206 feature quantity deriving unit 208 face reliability deriving unit 210 image transmitting unit 300 obstacle determining device 302 image receiving unit 304 image registration unit 306 image storage unit 308 Face detection number determination unit 310 Face detection number acquisition unit 320 Image acquisition unit 330 Image comparison unit 340 Obstacle determination unit 400 Display terminal 902 Host controller 904 CPU
906 RAM
908 I / O controller 910 ROM
912 Communication interface

Claims (3)

予め定められた撮像領域が撮像された複数の画像から前記撮像領域を移動する移動体を含まない画像を取得する画像取得部と、
前記画像取得部により取得された前記画像と、予め定められた基準背景画像と比較する画像比較部と、
前記画像比較部による比較結果に基づいて、前記撮像領域に障害物が存在するか否かを判定する障害物判定部と、
前記複数の画像から検出された顔の数を示す顔検出数を取得する顔検出数取得部とを備え、
前記画像取得部は、前記顔検出数が予め定められた数より小さい場合、前記撮像領域を移動する移動体を含まない画像を取得する、障害物判定装置。 An image acquisition unit that acquires an image that does not include a moving body that moves the imaging region from a plurality of images in which a predetermined imaging region is captured;
An image comparison unit that compares the image acquired by the image acquisition unit with a predetermined reference background image;
An obstacle determination unit that determines whether an obstacle exists in the imaging region based on a comparison result by the image comparison unit ;
A face detection number acquisition unit for acquiring a face detection number indicating the number of faces detected from the plurality of images ,
The said image acquisition part is an obstruction determination apparatus which acquires the image which does not contain the moving body which moves the said imaging area, when the said face detection number is smaller than the predetermined number . 前記障害物判定部が前記撮像領域に障害物が存在すると判定した場合、前記撮像領域に障害物が存在することを通知部により通知させる通知制御部をさらに備える請求項１に記載の障害物判定装置。 The obstacle determination according to claim 1 , further comprising: a notification control unit configured to notify a notification unit that an obstacle exists in the imaging region when the obstacle determination unit determines that an obstacle exists in the imaging region. apparatus. 請求項１または２に記載の障害物判定装置としてコンピュータを機能させるためのプログラム。 Program for causing a computer to function as an obstacle determination device according to claim 1 or 2.
JP2014071656A 2014-03-31 2014-03-31 Obstacle determination device and program Active JP6331583B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014071656A JP6331583B2 (en) 2014-03-31 2014-03-31 Obstacle determination device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014071656A JP6331583B2 (en) 2014-03-31 2014-03-31 Obstacle determination device and program

Publications (2)

Publication Number Publication Date
JP2015194833A JP2015194833A (en) 2015-11-05
JP6331583B2 true JP6331583B2 (en) 2018-05-30

Family

ID=54433804

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014071656A Active JP6331583B2 (en) 2014-03-31 2014-03-31 Obstacle determination device and program

Country Status (1)

Country Link
JP (1) JP6331583B2 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10285586A (en) * 1997-04-02 1998-10-23 Omron Corp Image processor, monitoring image display system, image processing method and monitoring image display method
JP4472603B2 (en) * 2005-09-12 2010-06-02 Ｎｅｃエンジニアリング株式会社 Monitoring method and monitoring program

Also Published As

Publication number Publication date
JP2015194833A (en) 2015-11-05

Similar Documents

Publication Publication Date Title
CN105612533B (en) Living body detection method, living body detection system, and computer program product
JP6544244B2 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
WO2015165365A1 (en) Facial recognition method and system
CN111212594B (en) Electronic device and method for determining conjunctival congestion degree by using electronic device
CN109299658B (en) Face detection method, face image rendering device and storage medium
CN108812407B (en) Animal health state monitoring method, equipment and storage medium
JP2013101633A5 (en) Program and makeup simulation device
JP6822482B2 (en) Line-of-sight estimation device, line-of-sight estimation method, and program recording medium
JP6969878B2 (en) Discriminator learning device and discriminator learning method
KR101640014B1 (en) Iris recognition apparatus for detecting false face image
JP6291927B2 (en) Identification method, identification program, identification apparatus and identification system
CN108229493A (en) Banknote validation method, apparatus and electronic equipment
JP2017151832A (en) Wait time calculation system
CN111597910A (en) Face recognition method, face recognition device, terminal equipment and medium
CN108875556A (en) Method, apparatus, system and the computer storage medium veritified for the testimony of a witness
US20200065609A1 (en) System And Method For Correcting Color Of Digital Image Based On The Human Sclera And Pupil
JP2011150497A (en) Person identification device, person identification method, and software program thereof
CN108875549A (en) Image-recognizing method, device, system and computer storage medium
JP6318775B2 (en) Obstacle determination device and program
EP3770780B1 (en) Identification system, method, and program
JP6331583B2 (en) Obstacle determination device and program
JP6567638B2 (en) Noseprint matching system, noseprint matching method, and noseprint matching program
CN109492585A (en) A kind of biopsy method and electronic equipment
CN109190495A (en) Gender identification method, device and electronic equipment
JP6438693B2 (en) Authentication apparatus, authentication method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180416

R150 Certificate of patent or registration of utility model

Ref document number: 6331583

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250