JP2017085507A - Control device, control method, and program - Google Patents
Control device, control method, and program Download PDFInfo
- Publication number
- JP2017085507A JP2017085507A JP2015214935A JP2015214935A JP2017085507A JP 2017085507 A JP2017085507 A JP 2017085507A JP 2015214935 A JP2015214935 A JP 2015214935A JP 2015214935 A JP2015214935 A JP 2015214935A JP 2017085507 A JP2017085507 A JP 2017085507A
- Authority
- JP
- Japan
- Prior art keywords
- person
- control unit
- notification
- moving image
- persons
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、動画像から人物を検出し、通知装置に通知処理を実行させる制御装置、制御方法及びプログラムに関する。 The present invention relates to a control device, a control method, and a program that detect a person from a moving image and cause a notification device to execute notification processing.
従来、画像から人物を検出する方法が知られている。特許文献１では画像から遮蔽された人物を検出する方法が開示されている。
Conventionally, a method for detecting a person from an image is known.
上述の特許文献１に開示された技術では、画像中の人物の位置を知らせることが可能である。例えば、前記技術では、画像中に存在する人物を丸で囲み、ユーザーに人物の位置を提示することができる。しかし、前記技術に基づいて人物の位置を示すのみでは、ユーザーは、検出された人物が集団から孤立して単独で作業を行っているか、それとも他の人物と近い位置で共同作業を行っているかを一目で判断できない課題があった。例えば、漏えいを防止すべきデータを扱っている現場では、単独で作業をすることを禁止するルールを課していることがあり、作業監視員が撮像装置を介して作業者らを監視し、集団から孤立して単独で作業を行っている単独作業者に対して注意を促したい場合がある。しかし、撮像画像を見るのみでは、作業監視員は撮像画像中の作業者らそれぞれが、単独で作業を行っているのか、それとも複数で作業を行っているのか、を一目で判断できない。また、作業監視員が常に作業者を監視し続けることは負担も大きい。
本発明は、画像中の人物が単独であった場合、ユーザーに通知することを目的とする。
With the technique disclosed in
An object of the present invention is to notify a user when a person in an image is alone.
そこで、本発明の制御装置は、動画像から人物を検出する検出手段と、前記検出手段によって検出される人物の位置、人物の顔の向き、及び人物間の距離、の内の少なくとも何れかに基づいて、人物同士を関連付ける関連付け手段と、前記関連付け手段によって他の人物と関連付けられない人物が含まれる動画像の期間に応じて、通知装置に通知処理を実行させる通知制御手段と、を有することを特徴とする。 In view of this, the control device of the present invention provides at least one of detection means for detecting a person from a moving image and the position of the person detected by the detection means, the direction of the face of the person, and the distance between the persons. An association means for associating persons with each other, and a notification control means for causing the notification apparatus to perform a notification process in accordance with a moving image period including a person who is not associated with another person by the association means. It is characterized by.
本発明によれば、画像中の人物が単独であった場合、ユーザーに通知することができる。 According to the present invention, when a person in an image is alone, the user can be notified.
以下、本発明の実施形態について図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
＜実施形態１＞
本実施形態では、作業者に対して二人以上で作業を行うことが義務付けられている漏えいを防止すべきデータを扱う現場において、各作業者の中に単独作業者（他の人物と関連付けられない人物）が存在した場合、作業監視員にその旨を通知する処理について説明する。このような状況は、本実施形態を用いることができる状況の一例であり、人物が単独であるか、複数であるかを判断したい種々の状況で用いることができる。例えば、本発明は、通行人や入場者等が単独であるかグループであるかを判断して、マーケティングや、社会問題の解決等に利用する状況にも用いることができる。
本実施形態におけるシステムのシステム構成及びハードウェア構成の一例を図１に示す。図１において、撮像装置１１０は、撮像を行う。クライアント装置１２０は、撮像装置１１０の駆動、撮像装置１１０で撮像された撮像画像の表示を行う。入力装置１３０は、マウスやキーボード等から構成され、クライアント装置１２０へのユーザー入力を行う。表示装置１４０は、ディスプレイ等から構成され、クライアント装置１２０が出力した画像の表示を行う。図１ではクライアント装置１２０と表示装置１４０とを各々独立した装置として示したが、クライアント装置１２０と表示装置１４０とを一体化して構成してもよい。また、入力装置１３０と表示装置１４０とを一体化して構成してもよいし、クライアント装置１２０と入力装置１３０と表示装置１４０とを一体化して構成してもよい。ネットワーク１５０は撮像装置１１０とクライアント装置１２０とを接続する。ネットワーク１５０は、例えばローカルネットワーク等の通信規格を満たす複数のルータ、スイッチ、ケーブル等から構成される。本実施形態においては撮像装置、クライアント間の通信を行うことができるものであればその通信規格、規模、構成を問わない。例えば、ネットワーク１５０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されてもよい。また、クライアント装置１２０に接続される撮像装置の数は１台に限られず、複数台であってもよい。
<
In the present embodiment, each worker is associated with a single worker (associated with another person) at the site where data that should be prevented from being leaked is required to be performed by two or more workers. A process for notifying the work supervisor when there is a person who does not exist will be described. Such a situation is an example of a situation in which the present embodiment can be used, and can be used in various situations where it is desired to determine whether a person is alone or plural. For example, the present invention can be used in situations where it is used for marketing, solving social problems, etc., by determining whether passersby, visitors, etc. are alone or in groups.
An example of the system configuration and hardware configuration of the system according to the present embodiment is shown in FIG. In FIG. 1, the
撮像装置１１０のハードウェア構成について説明する。撮像装置１１０は、ハードウェア構成として、撮像部１１と、ＣＰＵ１２と、メモリ１３と、通信Ｉ／Ｆ１４と、を含む。撮像部１１は、撮像素子と撮像素子上に被写体の工学系とを有し、ＣＰＵ１２の制御に基づき光学系の光軸と撮像素子との交点を撮像中心として撮像素子上に撮像を行う。撮像素子は、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）又はＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子である。ＣＰＵ１２は、撮像装置１１０の全体を制御する。メモリ１３は、プログラムや撮像部１１で撮像された画像、ＣＰＵ１２が処理を実行する際に利用するデータ等を記憶する。通信Ｉ／Ｆ１４は、ＣＰＵ１２の制御に基づきネットワーク１５０を介したクライアント装置１２０との通信を制御する。ＣＰＵ１２がメモリ１３に記憶されたプログラムに基づき処理を実行することにより、撮像装置１１０の機能等が実現される。なお、ＣＰＵ以外の他のプロセッサーを用いてもよい。
クライアント装置１２０のハードウェア構成について説明する。クライアント装置１２０は、ハードウェア構成として、メモリ２１と、ＣＰＵ２２と、通信Ｉ／Ｆ２３と、入力Ｉ／Ｆ２４と、表示Ｉ／Ｆ２５と、を含む。ＣＰＵ２２は、クライアント装置１２０の全体を制御する。メモリ２１は、プログラムや撮像装置１１０から送信された撮像画像、ＣＰＵ２２が処理を実行する際に利用するデータ等を記憶する。通信Ｉ／Ｆ２３は、ＣＰＵ２２の制御に基づきネットワーク１５０を介した撮像装置１１０との通信を制御する。入力Ｉ／Ｆ２４は、クライアント装置１２０と入力装置１３０とを接続し、入力装置１３０からの情報の入力を制御する。表示Ｉ／Ｆ２５は、クライアント装置１２０と表示装置１４０とを接続し、表示装置１４０への情報の出力を制御する。ＣＰＵ２２がメモリ２１に記憶されたプログラムに基づき処理を実行することにより、クライアント装置１２０の機能及び後述する図３のフローチャートの処理等が実現される。但し、クライアント装置１２０のハードウェア構成は、図１に示されるものに限定されない。例えば、クライアント装置１２０は、通知装置の一例であるスピーカー等の音声出力装置を有していてもよい。クライアント装置１２０が音声出力装置をハードウェア構成として有する場合、通知処理の一例は、警告等の音声の出力処理である。
A hardware configuration of the
A hardware configuration of the
図２は、撮像装置１１０及びクライアント装置１２０の機能構成の一例を示す図である。撮像装置１１０は、機能構成として、制御部１１１と、信号処理部１１２と、駆動制御部１１３と、通信制御部１１４と、を含む。制御部１１１は、撮像装置１１０を制御する。信号処理部１１２は、撮像部１１によって撮像された画像信号の処理を行う。例えば、信号処理部１１２は、撮像部１１によって撮像された画像の符号化を行う。信号処理部１１２は、符号化方式として、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）を用いることができる。又は、信号処理部１１２は、符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下Ｈ．２６４）を用いることができる。又は、信号処理部１１２は、符号化方式として、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ符号化方式）を用いることができる。但し符号化方式はこれらに限らない。また、信号処理部１１２は、複数の符号化方式の中から符号化方式を選択して符号化を行うようにしてもよい。
駆動制御部１１３は、撮像部１１の撮像方向、及び画角を変更させる制御を行う。本実施形態では、撮像部１１は、パン方向、チルト方向に撮像方向を変更でき、撮像画角を変更することができる場合について説明するが、これに限らない。撮像装置１１０は、パン方向、チルト方向に撮像方向を変更する機能を有さなくてもよいし、画角を変更する機能を有さなくてもよい。通信制御部１１４は、信号処理部１１２で処理が行われた撮像画像をクライアント装置１２０に送信する。更に通信制御部１１４は、クライアント装置１２０から撮像装置１１０に対する制御命令を受信する。
クライアント装置１２０は、機能構成として、制御部１２１と、通信制御部１２３と、情報取得部１２４と、表示制御部１２５と、を含む。制御部１２１は、クライアント装置１２０を制御する。通信制御部１２３は、撮像画像をクライアント装置１２０から受信する。情報取得部１２４は、入力装置１３０によるユーザー入力を受け付け、入力装置１３０より入力情報を取得する。表示制御部１２５は、映像を表示装置１４０へ出力し、後述する表示処理を表示装置１４０に実行させる。表示装置１４０は、通知装置の一例である。また、表示処理は、通知処理の一例である。
FIG. 2 is a diagram illustrating an example of a functional configuration of the
The
The
次に、本実施形態における通知制御の処理の流れを、図３を用いて説明する。図３は、クライアント装置１２０における通知制御の処理の一例を示すフローチャートである。クライアント装置１２０は、撮像装置１１０から繰り返し、撮像画像、即ち動画像、を取得し、取得した撮像画像中の単独作業者が存在した場合、ユーザーである作業監視員に通知する。
制御部１２１は、撮像装置１１０から撮像画像を取得する（Ｓ２００）。図４は、クライアント装置１２０が撮像装置１１０から取得した撮像画像３００の一例を示す図である。図４において作業者３０１、３０２及び作業者３０３、３０４は二人一組で作業を行っている共同作業者（他の人物と関連付けられる人物）を表す。一方、作業者３０５は一人で作業を行っている単独作業者を表す。また、作業台３０６は撮像装置１１０から遠い位置に存在する作業台を表わす。作業台３０７は撮像装置１１０に近い位置に存在する作業台を表す。
このとき、クライアント装置１２０が取得する撮像画像は、作業者ができるだけ重ならないように撮像装置１１０の撮像部１１の位置や取り付け角度、画角を予め調整しておくことが好ましい。本実施形態ではクライアント装置１２０は、撮像装置１１０から取得した撮像画像に対し処理を行う。これによって、リアルタイムのライブ映像に対して処理を行うことができる。しかしながらこれに限らない。例えば、クライアント装置１２０は、撮像装置１１０内に保存されている動画を取得し、各フレームに対し処理を行ってもよいし、クライアント装置１２０内に保存されている動画の各フレームに対して処理を行ってもよい。又はクライアント装置１２０は、録画サーバ等にアクセスし、録画サーバ内に保存されている動画の各フレームに対して処理を行ってもよい。また本実施形態では、共同作業者を二人一組としたが、これに限らない。クライアント装置１２０は、三人以上を共同作業者としてもよい。
Next, the flow of notification control processing in this embodiment will be described with reference to FIG. FIG. 3 is a flowchart illustrating an example of notification control processing in the
The
At this time, it is preferable that the position, the mounting angle, and the angle of view of the
次に、制御部１２１は、Ｓ２００で取得した撮像画像３００に対し、人物検出処理を行う（Ｓ２０１）。制御部１２１は、人物検出処理を行うため、本実施形態ではまず、撮像画像３００に対し、様々なサイズでスケーリングを行う。スケーリングを行うことで、様々なサイズの人物を検出することができる。次に、制御部１２１は、各スケールの撮像画像に対し、特定のサイズの検出窓を用いてラスタースキャンする。このとき、制御部１２１は、予め学習データを用いて人物の特徴量を計算しておき、スキャン時に検出窓内で計算された特徴量と、前述の学習データに基づく特徴量との誤差が閾値よりも小さい場合に人物であると判断する。人物検出処理はこのようなパターンマッチング処理等の種々の方法を用いることができる。
図５は、撮像画像３００に対して人物検出を行った結果を示す画像４００の一例を示す図である。図５の（Ａ）において楕円４０１〜４０５はそれぞれ、作業者３０１〜３０５を検出した位置を表す。また、矢印４０６〜４０８は各人物の顔の向き表現するための、矢印の末尾側を基点、頭部側を無限に伸ばすとする半直線である。また、上記のように、人物の特徴量を使用する検出方法の他、図５の（Ｂ）のように、作業者のルールとして、予め定められた制服、ビブス（ベスト状の衣服）、帽子の内の少なくとも何れかを着用することを決める等するようにしてもよい。即ち、作業者として検出すべき人物が身につけた物の特徴量を予めルールを設定ファイルとしてクライアント装置１２０のメモリ２１等に記憶しておくようにしてもよい。このようにすれば、制御部１２１は、設定ファイルのルール及び撮像画像の処理対象の人物が身につけた物の色・形状等の特徴量に基づいて、ルールに合致した特徴量の制服等を身につけた作業者を検出することもできる。
Next, the
FIG. 5 is a diagram illustrating an example of an
次に、制御部１２１は、Ｓ１０１で検出した人物の位置を、撮像画像の撮影範囲を真上から平画面投影した水平面画像上の座標へ変換する（Ｓ２０２）。本実施形態では、撮像画像上の各点が、水平面画像上のどの点と対応付くか、予め決定されているものとする。例えば、ユーザーは、表示装置１４０等に表示された撮像画像上の四点と、水平面画像上の四点とを、入力装置１３０等を操作して指定する。制御部１２１は、ユーザーによって入力された撮像画像上の四点と、水平面画像上の四点と、以下に示す式（１）、（２）等に基づき予めホモグラフィ行列Ｈを計算しておく。
次に制御部１２１は、撮像画像上のｘ座標ｐｘ、Ｙ座標ｐｙとホモグラフィ行列Ｈとに対し、以下の式（３）を適用することにより、ｐｘ、ｐｙに対応する水平面画像上のＸ座標ｑｘと、Ｙ座標ｑｙとを計算することができる。
Next, the
図６は、作業現場の水平面画像５００の一例を示す図である。図６において座標５０１〜５０５はそれぞれ人物検出位置である楕円４０１〜４０５の代表点を水平面画像上の座標へ変換した結果を表す。本実施形態では、代表点は一例として人物検出位置の中心とした。代表点は人物の頭に対応する領域の中心としてもよい。また、領域５０６、５０７はそれぞれ、作業台３０６、３０７を水平面画像上で表現した場合の領域を表す。本実施形態では、水平面画像としてＣＡＤ等で作成された作業現場の見取り図を使用したものとするが、この限りではない。例えば、撮像画像を変形させた画像を用いてもよいし、手書きの画像でもよい。また、画像がなくてもよく、プログラム内部で前述の座標の情報を持つだけでもよい。つまり、水平面画像５００は生成しなくてもよく、水平面画像５００上の座標位置の算出だけを行ってもよい。また、水平面画像５００に近い構図（俯瞰等）で撮像すれば、必ずしもＳ２０３の処理を行わなくてもよい。この場合は撮像した画像上の距離を用いて単独作業者か共同作業者かを判断できる。また、水平面画像５００の生成方法はその他の種々の方法を用いてもよい。
FIG. 6 is a diagram illustrating an example of a
次に、制御部１２１は、検出された人物のリストを更新する（Ｓ２０３）。繰り返し処理の最初であれば、制御部１２１は、検出された人物の全てをリスト化する。このとき、制御部１２１は、リスト内の各ノードには人物が検出された撮像画像上の代表点の座標と、水平面画像上の代表点の座標と、を格納する。繰り返し処理の二回目以降であれば、制御部１２１は、検出された全ての人物に対して以下の処理を行う。
（処理１）．制御部１２１は、リスト内の各ノードに保存されている人物の撮像画像上の座標と、自身の撮像画像上の座標と、の距離を計算し、閾値以下であれば対象のノードを自身のデータで置き換える。このとき、制御部１２１は、今までノード内に保存された座標の履歴を保存する。
（処理２）．制御部１２１は、（処理１）内の条件を満たすノードが無ければリストの末尾に自身のデータを追加する。また、制御部１２１は、検出された全ての人物に対し上記の処理を終えた後は以下の処理を行う。
（処理３）．制御部１２１は、更新されなかったノードを削除する。
Next, the
(Process 1). The
(Process 2). If there is no node that satisfies the condition in (Process 1), the
(Process 3). The
次に制御部１２１は、撮像画像内に単独作業者が存在するか否かを判断する（Ｓ２０４〜Ｓ２０６）。処理の流れは以下の通りである。
（処理１）．制御部１２１は、リストの先頭を処理対象とする（Ｓ２０４）。
（処理２）．制御部１２１は、処理対象の人物が単独作業者かどうかを判断する（Ｓ２０５）。本実施形態では、制御部１２１は、単独作業者かどうか判断するため、処理対象の人物に対して以下の項目を確認する。
（項目１）．制御部１２１は、処理対象の人物の水平面画像上の座標を中心として、半径Ｒ以内に検出された人物が存在するかを判断する。
この半径Ｒは本実施形態が適用される状況に応じて適宜設定すればよい。例えば、室内での作業を監視する場合、半径Ｒは２ｍに相当する距離とすることができる。但しこのとき、制御部１２１は、処理対象の人物のノードに保存されている座標履歴を参照し、処理対象の人物が移動中であると判断した場合、移動中ではないと判断したときよりも、閾値であるＲの値を大きくする。またこのとき、制御部１２１は、共同作業者同士が水平面画像上のｘ軸方向に並んで作業を行うのであれば、半径Ｒの円をｙ軸方向に縮めた楕円を用いてもよい。同様に、制御部１２１は、共同作業者同士が水平面画像上のｙ軸方向に並んで作業を行うのであれば、半径Ｒの円をｘ軸方向に縮めた楕円を用いてもよい。制御部１２１は、（項目１）の条件に当てはまった人物を単独作業者の候補とし、以下の（項目２）及び（項目３）を確認する。
（項目２）．制御部１２１は、（項目１）を満たす人物が存在した場合、顔の向きを表す半直線は、処理対象の人物の顔の向きを表す半直線と交わるかを判断する。
但しこのとき、制御部１２１は、顔の向きを検知できていなければ、（項目２）を後述する単独作業者か、又は共同作業者かどうかの判断に含めない。
（項目３）．制御部１２１は、（項目１）を満たす人物が存在した場合、その人物は非検知領域外に存在するかを判断する。
本実施形態では、制御部１２１は、入力装置１３０等を操作してユーザーによって指定された領域を作業者が存在しえない非検知領域に設定するものとする。これにより、例えばガラス張りの壁の向こう側を移動する非作業者、及び机の上に置かれたポスター等に映る人物を共同作業者と誤検知することを抑制することができる。非検知領域の設定は、ユーザーによる入力装置１３０等を介した入力に限られない。制御部１２１は、撮像画像上に配置されたマーカーで囲まれた領域を非検知領域として自動で設定してもよい。マーカーを用いて検出する方法としては、例えば、非検知領域の四隅に設置された二次元のマーカーを、撮像画像をラスタースキャンすることで予めクライアント装置１２０に登録してある前述の二次元のマーカーの情報とパターンマッチングする方法がある。
制御部１２１は、上記（項目１）〜（項目３）の全てを満たす場合は共同作業者であると判断し、（処理３−１）へ進む。つまり、制御部１２１は、上記（項目１）〜（項目３）の全てを満たす作業者同士を関連付けて、共同独作業者であると判定する。このように、制御部１２１は関連付け部としての機能を有している。また、制御部１２１は、少なくとも一つを満たさない場合、処理対象の人物は単独作業者であると判断し、（処理３−２）へ進む。
Next, the
(Process 1). The
(Process 2). The
(Item 1). The
The radius R may be set as appropriate according to the situation to which this embodiment is applied. For example, when monitoring an indoor work, the radius R can be a distance corresponding to 2 m. However, at this time, the
(Item 2). When there is a person satisfying (Item 1), the
However, at this time, if the direction of the face cannot be detected, the
(Item 3). When there is a person who satisfies (Item 1), the
In the present embodiment, the
If all of the above (Item 1) to (Item 3) are satisfied, the
ここで、単独作業者か、共同作業者かを判断する処理は、上述した処理に限られない。例えば、制御部１２１は、撮像画像から検出された人物の位置、人物の顔の向き、及び人物間の距離、の内の少なくとも何れかに基づいて、人物同士を関連付けて共同作業者であると判定するようにしてもよい。例えば制御部１２１は、撮像画像の所定のオブジェクト、例えば作業台等、から所定の範囲の位置にいる人物同士を関連付けるようにしてもよいし、人物の顔の向き（又は目線）を推定し、顔の向き（又は目線）が交差する人物同士を関連付けるようにしてもよい。また、例えば制御部１２１は、人物間の距離が所定の距離以内の人物同士を関連付けるようにしてもよい。そして、制御部１２１は、他の人物と関連付けられる人物同士を共同作業者、他の人物と関連付けられない人物を単独作業者と判断するようにしてもよい。また、制御部１２１は、更に、人物の制服、又はビブス（ベスト状の衣服）、又は帽子の色、又は形状に基づき、人物同士を関連付けるようにしてもよい。例えば、制御部１２１は、人物間の距離が所定の距離以内の人物の内、制服の形状が同じ人物同士を関連付け、人物間の距離が所定の距離以内の人物であっても、制服の形状が異なる人物同士は関連付けないようにしてもよい。
Here, the process of determining whether the worker is a single worker or a collaborator is not limited to the above-described process. For example, the
上記（項目１）〜（項目３）における判定について図７を用いて説明する。図７において、座標６０１〜６０５は人物検出位置である楕円４０１〜４０５の中心を水平面画像上の座標へ変換した結果を表す。また、領域６０６、６０７はユーザーによって指定された非検知領域を表す。また、楕円６００は以下の式（４）を満たすｘ、ｙから成る楕円を表す。
例えば、制御部１２１は、リストの走査の最中、人物検出位置である楕円４０２の人物を処理対象としたとする。このとき、制御部１２１は、人物検出位置である楕円４０２に対応する水平面画像上の座標６０２に関して、上記（項目１）〜（項目３）の判定を行う。
まず（項目１）では、制御部１２１は、楕円６００の内部に検出された人物が存在するか否かを判定する。図７で表す状況においては、人物検出位置の楕円４０１に対応した水平面画像上の座標６０１が楕円内に含まれているため、制御部１２１は、要件を満たすと判断する。
次に（項目２）では、制御部１２１は、人物検出位置である楕円４０２の顔の向きを表す半直線４０７と、（項目１）の条件を満たした人物の人物検出位置である楕円４０１の顔の向きを表す矢印４０６と、が交差するかどうかを判定する。本実施形態の例で説明する状況下では、矢印４０６、及び４０７は、交差するため、制御部１２１は、要件を満たすと判断する。
次に（項目３）では、制御部１２１は、（項目１）の条件を満たした人物の人物検出位置である楕円４０１に対応した水平面画像上の座標６０１が、非検知領域である領域６０６、６０７に含まれていないかを判定する。本実施形態の例で説明する状況下では、座標６０１が、非検知領域である領域６０６、６０７に含まれていないため、制御部１２１は、要件を満たすと判断する。以上、（項目１）〜（項目３）の全ての要件を満たしていたため、制御部１２１は、人物検出位置である楕円４０２の人物を共同作業者であると判断する。
また、本実施形態では、制御部１２１は、（項目１）の条件に当てはまる人物を単独作業者の候補とした。しかしながらこの限りでは無く、制御部１２１は、領域の指定に基づく判断を行ってもよい。例えば、制御部１２１は、ユーザー入力に基づき、撮像画像又は水平面画像上に、各作業者のペアが存在するであろう領域を複数設定する。このとき、制御部１２１は、（項目１）の条件を、注目する人物と同じ検知領域に人物が存在するか、としてもよい。
For example, it is assumed that the
First, in (item 1), the
Next, in (Item 2), the
Next, in (Item 3), the
Further, in the present embodiment, the
（処理３−１）．制御部１２１は、リストの末尾を処理対象としているか否かを判断する（Ｓ２０６）。
制御部１２１は、リストの末尾で無ければ次の人物を処理対象とし、（処理２）へ戻る（Ｓ２０７）。制御部１２１は、リストの末尾であればリスト内の走査を終了し、単独作業者が存在する累積フレーム数を０にする（Ｓ２０８）。
（処理３−２）．制御部１２１は、単独作業者が存在する累積フレーム数をインクリメントする、即ち変数の値を１増やす（Ｓ２０９）。
次に制御部１２１は、単独作業者が存在する旨をユーザーへ通知するか否かを判断し、条件を満たしていた場合は通知を行う（Ｓ２１０、Ｓ２１１）。本実施形態では、制御部１２１は、単独作業者が存在する累積フレーム数（累積期間）が閾値を超えた場合、ユーザーに警告を通知することとする。この判断条件を用いることで、例えば共同作業者であるにもかかわらず、一瞬人物の検出に失敗したことによって単独作業者であると誤通知することを抑制することが可能になる。なお、制御部１２１は、累積フレーム数で判断するのではなく、単独作業者が存在する時間が閾値を超えた場合にユーザーに警告を通知するようにしてもよい。制御部１２１は、単独作業者が存在する期間（累積フレーム数や時間）が閾値を超えた場合にユーザーに警告を通知すればよい。また、制御部１２１は、単独作業者が存在する状態が連続している期間（連続期間）が所定の閾値を超えた場合にユーザーに警告を通知するようにしてもよい。ここで、閾値は、例えば、メモリ２１に記憶されているものとする。制御部１２１は、入力装置１３０等を介してユーザーの設定操作に応じて、前記閾値を変更することができる。また、閾値をゼロとしてもよい。つまり、単独作業者が存在する場合、ただちにユーザーへ通知するようにしてもよい。
また、本実施形態では単独作業者が存在することをユーザーへ通知する方法として、表示装置１４０へ単独作業者が存在する旨を表すＵＩを表示する方法を例に説明を行う。例えば、制御部１２１は、表示制御部１２５を介して、表示装置１４０に、撮像画像３００、又は水平面画像５００上の単独作業者の位置に二重丸を重畳する、赤丸を重畳する等の表示処理を実行させる。しかしながらこの限りでは無く、制御部１２１は、ユーザーにメールを送信してもよいし、スピーカーからアラートを発する等を行ってもよい。また、ＬＥＤ等の発光手段を発光させることで通知を行ってもよい。
次に、制御部１２１は、撮像画像の取得（Ｓ２００）からユーザーへ単独者業者の有無を通知するかどうかの判断（Ｓ２１０、Ｓ２１１）までの処理を繰り返すかどうかを判断する（Ｓ２１２）。本実施形態では、制御部１２１は、撮像装置１１０からの撮像画像の取得が不可能になった場合、又はユーザーによる繰り返し処理中断の指示が有った場合に、繰り返し処理を終了すると判断する。
以上のように、動画像において、他の人物と関連付けられない単独作業者が含まれる動画像の期間があると、それに応じて、通知処理を実行させる。これによって単独作業者が存在することを監視者に伝えることができる。
(Process 3-1). The
If it is not at the end of the list, the
(Process 3-2). The
Next, the
In this embodiment, as a method for notifying the user that there is a single worker, a method for displaying a UI indicating that a single worker exists on the
Next, the
As described above, if there is a moving image period in which a single worker who is not associated with another person is included in the moving image, the notification process is executed accordingly. As a result, it is possible to inform the supervisor that there is a single worker.
本実施形態では、制御部１２１は、検知領域を設定する例を用いて主に説明を行った。制御部１２１は、単独作業を検知したときに、単独作業を検知した際の検知領域を映像に重畳して表示装置１４０に表示させるようにしてもよい。また、制御部１２１は、全ての検知領域を映像に重畳して表示させておき、単独作業が行われた場合に、単独作業が行われた検知領域を他の検知領域と異なる色に変える、点滅表示にする等、明示、又は強調的に表示するようにしてもよい。このようにすることにより、作業監視員は視認性よく、映像中の人物が、単独か複数かを把握することができる。
また、本実施形態では、１台のクライアント装置で人物等を検出して表示する例を示したが、複数のクライアント装置で処理を行うようにしてもよい。例えば、映像が入力され、単独作業等を検知し、通知するための第１のクライアント装置と、前記通知を受けて警報を出力したり、重畳表示を行ったりする第２のクライアント装置と、で処理を行うようにしてもよい。第１のクライアント装置の一例は、ＶＣＡ（Ｖｉｄｅｏ Ｃｏｎｔｅｎｔ Ａｎａｌｙｓｉｓ）装置である。第２のクライアント装置の一例は、ＶＭＳ（Ｖｉｄｅｏ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）装置である。第１のクライアント装置と、第２のクライアント装置とのハードウェア構成は、図１のクライアント装置１２０のハードウェア構成と同様である。それぞれのクライアント装置のＣＰＵがそれぞれのクライアント装置のメモリに記憶されているプログラムに基づき処理を実行することによりそれぞれのクライアント装置の機能が実現される。
In the present embodiment, the
In the present embodiment, an example is shown in which a single client device detects and displays a person or the like, but processing may be performed by a plurality of client devices. For example, a first client device for detecting and notifying a single operation or the like when a video is input, and a second client device that outputs an alarm upon receiving the notification or performs superimposed display Processing may be performed. An example of the first client device is a VCA (Video Content Analysis) device. An example of the second client device is a VMS (Video Management System) device. The hardware configuration of the first client device and the second client device is the same as the hardware configuration of the
作業現場内に単独作業者が存在する旨の警告を受け取ることで、作業監視員は、ルールに違反している作業者見つけることができ、その作業者へ注意を促すことが可能になる。 By receiving a warning that there is a single worker in the work site, the work monitor can find a worker who violates the rule and can call attention to the worker.
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
<Other embodiments>
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium. It can also be realized by a process in which one or more processors in the computer of the system or apparatus read and execute the program. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。撮像装置１１０の機能構成は、ＣＰＵ１２がメモリ１３に記憶されたプログラムに基づき処理を実行することにより実現されるソフトウェア構成として撮像装置に実装されてもよい。また、撮像装置１１０の機能構成の一部又は全てはハードウェア構成として撮像装置１１０に実装されてもよい。同様に、クライアント装置１２０の機能構成はＣＰＵ２２がメモリ２１に記憶されたプログラムに基づき処理を実行することにより実現されるソフトウェア構成としてクライアント装置１２０に実装されてもよい。また、クライアント装置１２０の機能構成の一部又は全てはハードウェア構成としてクライアント装置１２０に実装されてもよい。
また、単独作業者の位置に二重丸を重畳する、赤丸を重畳する以外に、単独作業者に「単独作業者」と文字列を重畳させるようにしてもよいし、赤色等の警告色を撮像画像上の単独作業者に重畳させるようにしてもよい。また、これらを任意に組み合わせて重畳表示させるようにしてもよい。実線の楕円、二重線の楕円、「単独作業者」等の文字列、赤色等の警告色は、他の人物と関連付けられない人物であることを示すオブジェクトの例である。
また、上述したクライアント装置や撮像装置のハードウェア構成は一例であり、例えば、ＣＰＵやメモリ、通信Ｉ／Ｆ等は複数有していてもよい。
As mentioned above, although preferable embodiment of this invention was explained in full detail, this invention is not limited to the specific embodiment which concerns. The functional configuration of the
In addition to superimposing a double circle or a red circle on the position of the single worker, the single worker may be superimposed with a character string “single worker”, or a warning color such as red may be displayed. You may make it superimpose on the single worker on a captured image. Further, these may be arbitrarily combined and displayed. A solid line ellipse, a double line ellipse, a character string such as “single worker”, and a warning color such as red are examples of objects indicating that the person is not associated with another person.
The hardware configurations of the client device and the imaging device described above are examples, and for example, a plurality of CPUs, memories, communication I / Fs, and the like may be provided.
以上、上述した各実施形態の処理によれば、画像中の人物が単独であった場合、ユーザーに通知することができる。 As described above, according to the processing of each embodiment described above, when the person in the image is alone, the user can be notified.
２１ メモリ
２２ ＣＰＵ
１２０ クライアント装置
１４０ 表示装置
21
120
Claims (10)
前記検出手段によって検出される人物の位置、人物の顔の向き、及び人物間の距離、の内の少なくとも何れかに基づいて、人物同士を関連付ける関連付け手段と、
前記関連付け手段によって他の人物と関連付けられない人物が含まれる動画像の期間に応じて、通知装置に通知処理を実行させる通知制御手段と、
を有することを特徴とする制御装置。 Detecting means for detecting a person from a moving image;
Association means for associating persons based on at least one of the position of the person detected by the detection means, the face orientation of the person, and the distance between the persons;
A notification control unit that causes the notification device to execute a notification process according to a period of a moving image including a person that is not associated with another person by the association unit;
A control device comprising:
前記通知制御手段は、前記関連付け手段によって他の人物と関連付けられない人物が含まれる動画像の期間に応じて、前記表示装置に表示処理を実行させることで前記通知処理を実行させることを特徴とする請求項１又は２に記載の制御装置。 The notification device is a display device;
The notification control unit causes the display device to execute the notification process according to a period of a moving image including a person who is not associated with another person by the association unit. The control device according to claim 1 or 2.
前記検出手段は、前記取得手段により取得された前記動画像から人物を検出することを特徴とする請求項１乃至４の何れか１項に記載の制御装置。 It further has an acquisition means for acquiring a moving image from the imaging device,
The control device according to claim 1, wherein the detection unit detects a person from the moving image acquired by the acquisition unit.
動画像から人物を検出する検出工程と、
前記検出工程によって検出される人物の位置、人物の顔の向き、及び人物間の距離、の内の少なくとも何れかに基づいて、人物同士を関連付ける関連付け工程と、
前記関連付け工程によって他の人物と関連付けられない人物が含まれる動画像の期間に応じて、通知装置に通知処理を実行させる通知制御工程と、
を含むことを特徴とする制御方法。 A control method executed by a control device,
A detection step of detecting a person from a moving image;
An associating step of associating persons based on at least one of the position of the person detected by the detecting step, the orientation of the person's face, and the distance between the persons;
A notification control step of causing the notification device to execute notification processing according to a period of a moving image including a person that is not associated with another person by the association step;
The control method characterized by including.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015214935A JP2017085507A (en) | 2015-10-30 | 2015-10-30 | Control device, control method, and program |
| US15/334,990 US10372989B2 (en) | 2015-10-30 | 2016-10-26 | Control apparatus and control method for determining relation of persons included in an image, and storage medium storing a program therefor |
| US16/447,349 US10970551B2 (en) | 2015-10-30 | 2019-06-20 | Control apparatus and control method for determining relation of persons included in an image, and storage medium storing a program therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015214935A JP2017085507A (en) | 2015-10-30 | 2015-10-30 | Control device, control method, and program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020163242A Division JP7005717B2 (en) | 2020-09-29 | 2020-09-29 | Controls, control methods and programs |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017085507A true JP2017085507A (en) | 2017-05-18 |
Family
ID=58711394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015214935A Pending JP2017085507A (en) | 2015-10-30 | 2015-10-30 | Control device, control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017085507A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019106582A (en) * | 2017-12-11 | 2019-06-27 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, method for controlling information processing apparatus, and program |
| JP2019125058A (en) * | 2018-01-12 | 2019-07-25 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, image processing method and program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006092396A (en) * | 2004-09-27 | 2006-04-06 | Oki Electric Ind Co Ltd | Apparatus for detecting lone person and person in group |
| JP2007241965A (en) * | 2006-03-08 | 2007-09-20 | Yoshitaka Takeuchi | Infrared warning system for crime prevention |
| JP2011248548A (en) * | 2010-05-25 | 2011-12-08 | Fujitsu Ltd | Content determination program and content determination device |
-
2015
- 2015-10-30 JP JP2015214935A patent/JP2017085507A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006092396A (en) * | 2004-09-27 | 2006-04-06 | Oki Electric Ind Co Ltd | Apparatus for detecting lone person and person in group |
| JP2007241965A (en) * | 2006-03-08 | 2007-09-20 | Yoshitaka Takeuchi | Infrared warning system for crime prevention |
| JP2011248548A (en) * | 2010-05-25 | 2011-12-08 | Fujitsu Ltd | Content determination program and content determination device |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019106582A (en) * | 2017-12-11 | 2019-06-27 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, method for controlling information processing apparatus, and program |
| JP7007566B2 (en) | 2017-12-11 | 2022-01-24 | キヤノンマーケティングジャパン株式会社 | Information processing equipment, information processing equipment control methods, and programs |
| JP2019125058A (en) * | 2018-01-12 | 2019-07-25 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, image processing method and program |
| JP7130375B2 (en) | 2018-01-12 | 2022-09-05 | キヤノン株式会社 | Image processing device, imaging device, image processing method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6534499B1 (en) | MONITORING DEVICE, MONITORING SYSTEM, AND MONITORING METHOD | |
| Shrestha et al. | Hard‐hat detection for construction safety visualization | |
| US9947138B2 (en) | System and method for augmented reality display of dynamic environment information | |
| JP6712778B2 (en) | Object detection device, object detection system, and object detection method | |
| US10970551B2 (en) | Control apparatus and control method for determining relation of persons included in an image, and storage medium storing a program therefor | |
| JP6624629B2 (en) | Fish counting device, fish counting method, fish number prediction device, fish number prediction method, fish counting system and fish number prediction system | |
| US20240155080A1 (en) | Systems and methods for personnel location at a drilling site | |
| JP2011060058A (en) | Imaging apparatus and monitoring system | |
| JP7067604B2 (en) | Event monitoring system, event monitoring method, and program | |
| US20220036731A1 (en) | Method for detecting vehicle lane change, roadside device, and cloud control platform | |
| WO2018008702A1 (en) | Behavior detection system | |
| JP6648923B2 (en) | Control device, control method, and program | |
| CN113447128A (en) | Multi-person body temperature detection method and device, electronic equipment and storage medium | |
| JP2017085507A (en) | Control device, control method, and program | |
| JP7005717B2 (en) | Controls, control methods and programs | |
| JP5574551B2 (en) | Image processing apparatus and image processing method | |
| JP6987902B2 (en) | Controls, control methods and programs | |
| JP2014182628A (en) | Space importance determination device, space importance determination method and program | |
| JP2017084289A (en) | Display controller, display control method and program | |
| JP6412685B2 (en) | Video projection device | |
| JP7247310B2 (en) | CONTROL DEVICE, CONTROL METHOD, PROGRAM AND SYSTEM | |
| US10931923B2 (en) | Surveillance system, surveillance network construction method, and program | |
| WO2022239315A1 (en) | Information processing method, information processing device, and program | |
| WO2017169593A1 (en) | Monitoring system and terminal device | |
| JP2023133962A (en) | Image processing apparatus, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181005 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190731 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190806 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191002 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200204 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200630 |