JP2017085507A - Control device, control method, and program - Google Patents
Control device, control method, and program Download PDFInfo
- Publication number
- JP2017085507A JP2017085507A JP2015214935A JP2015214935A JP2017085507A JP 2017085507 A JP2017085507 A JP 2017085507A JP 2015214935 A JP2015214935 A JP 2015214935A JP 2015214935 A JP2015214935 A JP 2015214935A JP 2017085507 A JP2017085507 A JP 2017085507A
- Authority
- JP
- Japan
- Prior art keywords
- person
- control unit
- notification
- moving image
- persons
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、動画像から人物を検出し、通知装置に通知処理を実行させる制御装置、制御方法及びプログラムに関する。 The present invention relates to a control device, a control method, and a program that detect a person from a moving image and cause a notification device to execute notification processing.
従来、画像から人物を検出する方法が知られている。特許文献1では画像から遮蔽された人物を検出する方法が開示されている。
Conventionally, a method for detecting a person from an image is known.
上述の特許文献1に開示された技術では、画像中の人物の位置を知らせることが可能である。例えば、前記技術では、画像中に存在する人物を丸で囲み、ユーザーに人物の位置を提示することができる。しかし、前記技術に基づいて人物の位置を示すのみでは、ユーザーは、検出された人物が集団から孤立して単独で作業を行っているか、それとも他の人物と近い位置で共同作業を行っているかを一目で判断できない課題があった。例えば、漏えいを防止すべきデータを扱っている現場では、単独で作業をすることを禁止するルールを課していることがあり、作業監視員が撮像装置を介して作業者らを監視し、集団から孤立して単独で作業を行っている単独作業者に対して注意を促したい場合がある。しかし、撮像画像を見るのみでは、作業監視員は撮像画像中の作業者らそれぞれが、単独で作業を行っているのか、それとも複数で作業を行っているのか、を一目で判断できない。また、作業監視員が常に作業者を監視し続けることは負担も大きい。
本発明は、画像中の人物が単独であった場合、ユーザーに通知することを目的とする。
With the technique disclosed in
An object of the present invention is to notify a user when a person in an image is alone.
そこで、本発明の制御装置は、動画像から人物を検出する検出手段と、前記検出手段によって検出される人物の位置、人物の顔の向き、及び人物間の距離、の内の少なくとも何れかに基づいて、人物同士を関連付ける関連付け手段と、前記関連付け手段によって他の人物と関連付けられない人物が含まれる動画像の期間に応じて、通知装置に通知処理を実行させる通知制御手段と、を有することを特徴とする。 In view of this, the control device of the present invention provides at least one of detection means for detecting a person from a moving image and the position of the person detected by the detection means, the direction of the face of the person, and the distance between the persons. An association means for associating persons with each other, and a notification control means for causing the notification apparatus to perform a notification process in accordance with a moving image period including a person who is not associated with another person by the association means. It is characterized by.
本発明によれば、画像中の人物が単独であった場合、ユーザーに通知することができる。 According to the present invention, when a person in an image is alone, the user can be notified.
以下、本発明の実施形態について図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<実施形態1>
本実施形態では、作業者に対して二人以上で作業を行うことが義務付けられている漏えいを防止すべきデータを扱う現場において、各作業者の中に単独作業者(他の人物と関連付けられない人物)が存在した場合、作業監視員にその旨を通知する処理について説明する。このような状況は、本実施形態を用いることができる状況の一例であり、人物が単独であるか、複数であるかを判断したい種々の状況で用いることができる。例えば、本発明は、通行人や入場者等が単独であるかグループであるかを判断して、マーケティングや、社会問題の解決等に利用する状況にも用いることができる。
本実施形態におけるシステムのシステム構成及びハードウェア構成の一例を図1に示す。図1において、撮像装置110は、撮像を行う。クライアント装置120は、撮像装置110の駆動、撮像装置110で撮像された撮像画像の表示を行う。入力装置130は、マウスやキーボード等から構成され、クライアント装置120へのユーザー入力を行う。表示装置140は、ディスプレイ等から構成され、クライアント装置120が出力した画像の表示を行う。図1ではクライアント装置120と表示装置140とを各々独立した装置として示したが、クライアント装置120と表示装置140とを一体化して構成してもよい。また、入力装置130と表示装置140とを一体化して構成してもよいし、クライアント装置120と入力装置130と表示装置140とを一体化して構成してもよい。ネットワーク150は撮像装置110とクライアント装置120とを接続する。ネットワーク150は、例えばローカルネットワーク等の通信規格を満たす複数のルータ、スイッチ、ケーブル等から構成される。本実施形態においては撮像装置、クライアント間の通信を行うことができるものであればその通信規格、規模、構成を問わない。例えば、ネットワーク150は、インターネットや有線LAN(Local Area Network)、無線LAN(Wireless LAN)、WAN(Wide Area Network)等により構成されてもよい。また、クライアント装置120に接続される撮像装置の数は1台に限られず、複数台であってもよい。
<
In the present embodiment, each worker is associated with a single worker (associated with another person) at the site where data that should be prevented from being leaked is required to be performed by two or more workers. A process for notifying the work supervisor when there is a person who does not exist will be described. Such a situation is an example of a situation in which the present embodiment can be used, and can be used in various situations where it is desired to determine whether a person is alone or plural. For example, the present invention can be used in situations where it is used for marketing, solving social problems, etc., by determining whether passersby, visitors, etc. are alone or in groups.
An example of the system configuration and hardware configuration of the system according to the present embodiment is shown in FIG. In FIG. 1, the
撮像装置110のハードウェア構成について説明する。撮像装置110は、ハードウェア構成として、撮像部11と、CPU12と、メモリ13と、通信I/F14と、を含む。撮像部11は、撮像素子と撮像素子上に被写体の工学系とを有し、CPU12の制御に基づき光学系の光軸と撮像素子との交点を撮像中心として撮像素子上に撮像を行う。撮像素子は、CMOS(ComplementaryMetal−Oxide Semiconductor)又はCCD(Charged Coupled Device)等の撮像素子である。CPU12は、撮像装置110の全体を制御する。メモリ13は、プログラムや撮像部11で撮像された画像、CPU12が処理を実行する際に利用するデータ等を記憶する。通信I/F14は、CPU12の制御に基づきネットワーク150を介したクライアント装置120との通信を制御する。CPU12がメモリ13に記憶されたプログラムに基づき処理を実行することにより、撮像装置110の機能等が実現される。なお、CPU以外の他のプロセッサーを用いてもよい。
クライアント装置120のハードウェア構成について説明する。クライアント装置120は、ハードウェア構成として、メモリ21と、CPU22と、通信I/F23と、入力I/F24と、表示I/F25と、を含む。CPU22は、クライアント装置120の全体を制御する。メモリ21は、プログラムや撮像装置110から送信された撮像画像、CPU22が処理を実行する際に利用するデータ等を記憶する。通信I/F23は、CPU22の制御に基づきネットワーク150を介した撮像装置110との通信を制御する。入力I/F24は、クライアント装置120と入力装置130とを接続し、入力装置130からの情報の入力を制御する。表示I/F25は、クライアント装置120と表示装置140とを接続し、表示装置140への情報の出力を制御する。CPU22がメモリ21に記憶されたプログラムに基づき処理を実行することにより、クライアント装置120の機能及び後述する図3のフローチャートの処理等が実現される。但し、クライアント装置120のハードウェア構成は、図1に示されるものに限定されない。例えば、クライアント装置120は、通知装置の一例であるスピーカー等の音声出力装置を有していてもよい。クライアント装置120が音声出力装置をハードウェア構成として有する場合、通知処理の一例は、警告等の音声の出力処理である。
A hardware configuration of the
A hardware configuration of the
図2は、撮像装置110及びクライアント装置120の機能構成の一例を示す図である。撮像装置110は、機能構成として、制御部111と、信号処理部112と、駆動制御部113と、通信制御部114と、を含む。制御部111は、撮像装置110を制御する。信号処理部112は、撮像部11によって撮像された画像信号の処理を行う。例えば、信号処理部112は、撮像部11によって撮像された画像の符号化を行う。信号処理部112は、符号化方式として、例えば、JPEG(Joint Photographic Experts Group)を用いることができる。又は、信号処理部112は、符号化方式として、H.264/MPEG−4 AVC(以下H.264)を用いることができる。又は、信号処理部112は、符号化方式として、HEVC(High Efficiency Video Coding符号化方式)を用いることができる。但し符号化方式はこれらに限らない。また、信号処理部112は、複数の符号化方式の中から符号化方式を選択して符号化を行うようにしてもよい。
駆動制御部113は、撮像部11の撮像方向、及び画角を変更させる制御を行う。本実施形態では、撮像部11は、パン方向、チルト方向に撮像方向を変更でき、撮像画角を変更することができる場合について説明するが、これに限らない。撮像装置110は、パン方向、チルト方向に撮像方向を変更する機能を有さなくてもよいし、画角を変更する機能を有さなくてもよい。通信制御部114は、信号処理部112で処理が行われた撮像画像をクライアント装置120に送信する。更に通信制御部114は、クライアント装置120から撮像装置110に対する制御命令を受信する。
クライアント装置120は、機能構成として、制御部121と、通信制御部123と、情報取得部124と、表示制御部125と、を含む。制御部121は、クライアント装置120を制御する。通信制御部123は、撮像画像をクライアント装置120から受信する。情報取得部124は、入力装置130によるユーザー入力を受け付け、入力装置130より入力情報を取得する。表示制御部125は、映像を表示装置140へ出力し、後述する表示処理を表示装置140に実行させる。表示装置140は、通知装置の一例である。また、表示処理は、通知処理の一例である。
FIG. 2 is a diagram illustrating an example of a functional configuration of the
The
The
次に、本実施形態における通知制御の処理の流れを、図3を用いて説明する。図3は、クライアント装置120における通知制御の処理の一例を示すフローチャートである。クライアント装置120は、撮像装置110から繰り返し、撮像画像、即ち動画像、を取得し、取得した撮像画像中の単独作業者が存在した場合、ユーザーである作業監視員に通知する。
制御部121は、撮像装置110から撮像画像を取得する(S200)。図4は、クライアント装置120が撮像装置110から取得した撮像画像300の一例を示す図である。図4において作業者301、302及び作業者303、304は二人一組で作業を行っている共同作業者(他の人物と関連付けられる人物)を表す。一方、作業者305は一人で作業を行っている単独作業者を表す。また、作業台306は撮像装置110から遠い位置に存在する作業台を表わす。作業台307は撮像装置110に近い位置に存在する作業台を表す。
このとき、クライアント装置120が取得する撮像画像は、作業者ができるだけ重ならないように撮像装置110の撮像部11の位置や取り付け角度、画角を予め調整しておくことが好ましい。本実施形態ではクライアント装置120は、撮像装置110から取得した撮像画像に対し処理を行う。これによって、リアルタイムのライブ映像に対して処理を行うことができる。しかしながらこれに限らない。例えば、クライアント装置120は、撮像装置110内に保存されている動画を取得し、各フレームに対し処理を行ってもよいし、クライアント装置120内に保存されている動画の各フレームに対して処理を行ってもよい。又はクライアント装置120は、録画サーバ等にアクセスし、録画サーバ内に保存されている動画の各フレームに対して処理を行ってもよい。また本実施形態では、共同作業者を二人一組としたが、これに限らない。クライアント装置120は、三人以上を共同作業者としてもよい。
Next, the flow of notification control processing in this embodiment will be described with reference to FIG. FIG. 3 is a flowchart illustrating an example of notification control processing in the
The
At this time, it is preferable that the position, the mounting angle, and the angle of view of the
次に、制御部121は、S200で取得した撮像画像300に対し、人物検出処理を行う(S201)。制御部121は、人物検出処理を行うため、本実施形態ではまず、撮像画像300に対し、様々なサイズでスケーリングを行う。スケーリングを行うことで、様々なサイズの人物を検出することができる。次に、制御部121は、各スケールの撮像画像に対し、特定のサイズの検出窓を用いてラスタースキャンする。このとき、制御部121は、予め学習データを用いて人物の特徴量を計算しておき、スキャン時に検出窓内で計算された特徴量と、前述の学習データに基づく特徴量との誤差が閾値よりも小さい場合に人物であると判断する。人物検出処理はこのようなパターンマッチング処理等の種々の方法を用いることができる。
図5は、撮像画像300に対して人物検出を行った結果を示す画像400の一例を示す図である。図5の(A)において楕円401〜405はそれぞれ、作業者301〜305を検出した位置を表す。また、矢印406〜408は各人物の顔の向き表現するための、矢印の末尾側を基点、頭部側を無限に伸ばすとする半直線である。また、上記のように、人物の特徴量を使用する検出方法の他、図5の(B)のように、作業者のルールとして、予め定められた制服、ビブス(ベスト状の衣服)、帽子の内の少なくとも何れかを着用することを決める等するようにしてもよい。即ち、作業者として検出すべき人物が身につけた物の特徴量を予めルールを設定ファイルとしてクライアント装置120のメモリ21等に記憶しておくようにしてもよい。このようにすれば、制御部121は、設定ファイルのルール及び撮像画像の処理対象の人物が身につけた物の色・形状等の特徴量に基づいて、ルールに合致した特徴量の制服等を身につけた作業者を検出することもできる。
Next, the
FIG. 5 is a diagram illustrating an example of an
次に、制御部121は、S101で検出した人物の位置を、撮像画像の撮影範囲を真上から平画面投影した水平面画像上の座標へ変換する(S202)。本実施形態では、撮像画像上の各点が、水平面画像上のどの点と対応付くか、予め決定されているものとする。例えば、ユーザーは、表示装置140等に表示された撮像画像上の四点と、水平面画像上の四点とを、入力装置130等を操作して指定する。制御部121は、ユーザーによって入力された撮像画像上の四点と、水平面画像上の四点と、以下に示す式(1)、(2)等に基づき予めホモグラフィ行列Hを計算しておく。
次に制御部121は、撮像画像上のx座標px、Y座標pyとホモグラフィ行列Hとに対し、以下の式(3)を適用することにより、px、pyに対応する水平面画像上のX座標qxと、Y座標qyとを計算することができる。
Next, the
図6は、作業現場の水平面画像500の一例を示す図である。図6において座標501〜505はそれぞれ人物検出位置である楕円401〜405の代表点を水平面画像上の座標へ変換した結果を表す。本実施形態では、代表点は一例として人物検出位置の中心とした。代表点は人物の頭に対応する領域の中心としてもよい。また、領域506、507はそれぞれ、作業台306、307を水平面画像上で表現した場合の領域を表す。本実施形態では、水平面画像としてCAD等で作成された作業現場の見取り図を使用したものとするが、この限りではない。例えば、撮像画像を変形させた画像を用いてもよいし、手書きの画像でもよい。また、画像がなくてもよく、プログラム内部で前述の座標の情報を持つだけでもよい。つまり、水平面画像500は生成しなくてもよく、水平面画像500上の座標位置の算出だけを行ってもよい。また、水平面画像500に近い構図(俯瞰等)で撮像すれば、必ずしもS203の処理を行わなくてもよい。この場合は撮像した画像上の距離を用いて単独作業者か共同作業者かを判断できる。また、水平面画像500の生成方法はその他の種々の方法を用いてもよい。
FIG. 6 is a diagram illustrating an example of a
次に、制御部121は、検出された人物のリストを更新する(S203)。繰り返し処理の最初であれば、制御部121は、検出された人物の全てをリスト化する。このとき、制御部121は、リスト内の各ノードには人物が検出された撮像画像上の代表点の座標と、水平面画像上の代表点の座標と、を格納する。繰り返し処理の二回目以降であれば、制御部121は、検出された全ての人物に対して以下の処理を行う。
(処理1).制御部121は、リスト内の各ノードに保存されている人物の撮像画像上の座標と、自身の撮像画像上の座標と、の距離を計算し、閾値以下であれば対象のノードを自身のデータで置き換える。このとき、制御部121は、今までノード内に保存された座標の履歴を保存する。
(処理2).制御部121は、(処理1)内の条件を満たすノードが無ければリストの末尾に自身のデータを追加する。また、制御部121は、検出された全ての人物に対し上記の処理を終えた後は以下の処理を行う。
(処理3).制御部121は、更新されなかったノードを削除する。
Next, the
(Process 1). The
(Process 2). If there is no node that satisfies the condition in (Process 1), the
(Process 3). The
次に制御部121は、撮像画像内に単独作業者が存在するか否かを判断する(S204〜S206)。処理の流れは以下の通りである。
(処理1).制御部121は、リストの先頭を処理対象とする(S204)。
(処理2).制御部121は、処理対象の人物が単独作業者かどうかを判断する(S205)。本実施形態では、制御部121は、単独作業者かどうか判断するため、処理対象の人物に対して以下の項目を確認する。
(項目1).制御部121は、処理対象の人物の水平面画像上の座標を中心として、半径R以内に検出された人物が存在するかを判断する。
この半径Rは本実施形態が適用される状況に応じて適宜設定すればよい。例えば、室内での作業を監視する場合、半径Rは2mに相当する距離とすることができる。但しこのとき、制御部121は、処理対象の人物のノードに保存されている座標履歴を参照し、処理対象の人物が移動中であると判断した場合、移動中ではないと判断したときよりも、閾値であるRの値を大きくする。またこのとき、制御部121は、共同作業者同士が水平面画像上のx軸方向に並んで作業を行うのであれば、半径Rの円をy軸方向に縮めた楕円を用いてもよい。同様に、制御部121は、共同作業者同士が水平面画像上のy軸方向に並んで作業を行うのであれば、半径Rの円をx軸方向に縮めた楕円を用いてもよい。制御部121は、(項目1)の条件に当てはまった人物を単独作業者の候補とし、以下の(項目2)及び(項目3)を確認する。
(項目2).制御部121は、(項目1)を満たす人物が存在した場合、顔の向きを表す半直線は、処理対象の人物の顔の向きを表す半直線と交わるかを判断する。
但しこのとき、制御部121は、顔の向きを検知できていなければ、(項目2)を後述する単独作業者か、又は共同作業者かどうかの判断に含めない。
(項目3).制御部121は、(項目1)を満たす人物が存在した場合、その人物は非検知領域外に存在するかを判断する。
本実施形態では、制御部121は、入力装置130等を操作してユーザーによって指定された領域を作業者が存在しえない非検知領域に設定するものとする。これにより、例えばガラス張りの壁の向こう側を移動する非作業者、及び机の上に置かれたポスター等に映る人物を共同作業者と誤検知することを抑制することができる。非検知領域の設定は、ユーザーによる入力装置130等を介した入力に限られない。制御部121は、撮像画像上に配置されたマーカーで囲まれた領域を非検知領域として自動で設定してもよい。マーカーを用いて検出する方法としては、例えば、非検知領域の四隅に設置された二次元のマーカーを、撮像画像をラスタースキャンすることで予めクライアント装置120に登録してある前述の二次元のマーカーの情報とパターンマッチングする方法がある。
制御部121は、上記(項目1)〜(項目3)の全てを満たす場合は共同作業者であると判断し、(処理3−1)へ進む。つまり、制御部121は、上記(項目1)〜(項目3)の全てを満たす作業者同士を関連付けて、共同独作業者であると判定する。このように、制御部121は関連付け部としての機能を有している。また、制御部121は、少なくとも一つを満たさない場合、処理対象の人物は単独作業者であると判断し、(処理3−2)へ進む。
Next, the
(Process 1). The
(Process 2). The
(Item 1). The
The radius R may be set as appropriate according to the situation to which this embodiment is applied. For example, when monitoring an indoor work, the radius R can be a distance corresponding to 2 m. However, at this time, the
(Item 2). When there is a person satisfying (Item 1), the
However, at this time, if the direction of the face cannot be detected, the
(Item 3). When there is a person who satisfies (Item 1), the
In the present embodiment, the
If all of the above (Item 1) to (Item 3) are satisfied, the
ここで、単独作業者か、共同作業者かを判断する処理は、上述した処理に限られない。例えば、制御部121は、撮像画像から検出された人物の位置、人物の顔の向き、及び人物間の距離、の内の少なくとも何れかに基づいて、人物同士を関連付けて共同作業者であると判定するようにしてもよい。例えば制御部121は、撮像画像の所定のオブジェクト、例えば作業台等、から所定の範囲の位置にいる人物同士を関連付けるようにしてもよいし、人物の顔の向き(又は目線)を推定し、顔の向き(又は目線)が交差する人物同士を関連付けるようにしてもよい。また、例えば制御部121は、人物間の距離が所定の距離以内の人物同士を関連付けるようにしてもよい。そして、制御部121は、他の人物と関連付けられる人物同士を共同作業者、他の人物と関連付けられない人物を単独作業者と判断するようにしてもよい。また、制御部121は、更に、人物の制服、又はビブス(ベスト状の衣服)、又は帽子の色、又は形状に基づき、人物同士を関連付けるようにしてもよい。例えば、制御部121は、人物間の距離が所定の距離以内の人物の内、制服の形状が同じ人物同士を関連付け、人物間の距離が所定の距離以内の人物であっても、制服の形状が異なる人物同士は関連付けないようにしてもよい。
Here, the process of determining whether the worker is a single worker or a collaborator is not limited to the above-described process. For example, the
上記(項目1)〜(項目3)における判定について図7を用いて説明する。図7において、座標601〜605は人物検出位置である楕円401〜405の中心を水平面画像上の座標へ変換した結果を表す。また、領域606、607はユーザーによって指定された非検知領域を表す。また、楕円600は以下の式(4)を満たすx、yから成る楕円を表す。
例えば、制御部121は、リストの走査の最中、人物検出位置である楕円402の人物を処理対象としたとする。このとき、制御部121は、人物検出位置である楕円402に対応する水平面画像上の座標602に関して、上記(項目1)〜(項目3)の判定を行う。
まず(項目1)では、制御部121は、楕円600の内部に検出された人物が存在するか否かを判定する。図7で表す状況においては、人物検出位置の楕円401に対応した水平面画像上の座標601が楕円内に含まれているため、制御部121は、要件を満たすと判断する。
次に(項目2)では、制御部121は、人物検出位置である楕円402の顔の向きを表す半直線407と、(項目1)の条件を満たした人物の人物検出位置である楕円401の顔の向きを表す矢印406と、が交差するかどうかを判定する。本実施形態の例で説明する状況下では、矢印406、及び407は、交差するため、制御部121は、要件を満たすと判断する。
次に(項目3)では、制御部121は、(項目1)の条件を満たした人物の人物検出位置である楕円401に対応した水平面画像上の座標601が、非検知領域である領域606、607に含まれていないかを判定する。本実施形態の例で説明する状況下では、座標601が、非検知領域である領域606、607に含まれていないため、制御部121は、要件を満たすと判断する。以上、(項目1)〜(項目3)の全ての要件を満たしていたため、制御部121は、人物検出位置である楕円402の人物を共同作業者であると判断する。
また、本実施形態では、制御部121は、(項目1)の条件に当てはまる人物を単独作業者の候補とした。しかしながらこの限りでは無く、制御部121は、領域の指定に基づく判断を行ってもよい。例えば、制御部121は、ユーザー入力に基づき、撮像画像又は水平面画像上に、各作業者のペアが存在するであろう領域を複数設定する。このとき、制御部121は、(項目1)の条件を、注目する人物と同じ検知領域に人物が存在するか、としてもよい。
For example, it is assumed that the
First, in (item 1), the
Next, in (Item 2), the
Next, in (Item 3), the
Further, in the present embodiment, the
(処理3−1).制御部121は、リストの末尾を処理対象としているか否かを判断する(S206)。
制御部121は、リストの末尾で無ければ次の人物を処理対象とし、(処理2)へ戻る(S207)。制御部121は、リストの末尾であればリスト内の走査を終了し、単独作業者が存在する累積フレーム数を0にする(S208)。
(処理3−2).制御部121は、単独作業者が存在する累積フレーム数をインクリメントする、即ち変数の値を1増やす(S209)。
次に制御部121は、単独作業者が存在する旨をユーザーへ通知するか否かを判断し、条件を満たしていた場合は通知を行う(S210、S211)。本実施形態では、制御部121は、単独作業者が存在する累積フレーム数(累積期間)が閾値を超えた場合、ユーザーに警告を通知することとする。この判断条件を用いることで、例えば共同作業者であるにもかかわらず、一瞬人物の検出に失敗したことによって単独作業者であると誤通知することを抑制することが可能になる。なお、制御部121は、累積フレーム数で判断するのではなく、単独作業者が存在する時間が閾値を超えた場合にユーザーに警告を通知するようにしてもよい。制御部121は、単独作業者が存在する期間(累積フレーム数や時間)が閾値を超えた場合にユーザーに警告を通知すればよい。また、制御部121は、単独作業者が存在する状態が連続している期間(連続期間)が所定の閾値を超えた場合にユーザーに警告を通知するようにしてもよい。ここで、閾値は、例えば、メモリ21に記憶されているものとする。制御部121は、入力装置130等を介してユーザーの設定操作に応じて、前記閾値を変更することができる。また、閾値をゼロとしてもよい。つまり、単独作業者が存在する場合、ただちにユーザーへ通知するようにしてもよい。
また、本実施形態では単独作業者が存在することをユーザーへ通知する方法として、表示装置140へ単独作業者が存在する旨を表すUIを表示する方法を例に説明を行う。例えば、制御部121は、表示制御部125を介して、表示装置140に、撮像画像300、又は水平面画像500上の単独作業者の位置に二重丸を重畳する、赤丸を重畳する等の表示処理を実行させる。しかしながらこの限りでは無く、制御部121は、ユーザーにメールを送信してもよいし、スピーカーからアラートを発する等を行ってもよい。また、LED等の発光手段を発光させることで通知を行ってもよい。
次に、制御部121は、撮像画像の取得(S200)からユーザーへ単独者業者の有無を通知するかどうかの判断(S210、S211)までの処理を繰り返すかどうかを判断する(S212)。本実施形態では、制御部121は、撮像装置110からの撮像画像の取得が不可能になった場合、又はユーザーによる繰り返し処理中断の指示が有った場合に、繰り返し処理を終了すると判断する。
以上のように、動画像において、他の人物と関連付けられない単独作業者が含まれる動画像の期間があると、それに応じて、通知処理を実行させる。これによって単独作業者が存在することを監視者に伝えることができる。
(Process 3-1). The
If it is not at the end of the list, the
(Process 3-2). The
Next, the
In this embodiment, as a method for notifying the user that there is a single worker, a method for displaying a UI indicating that a single worker exists on the
Next, the
As described above, if there is a moving image period in which a single worker who is not associated with another person is included in the moving image, the notification process is executed accordingly. As a result, it is possible to inform the supervisor that there is a single worker.
本実施形態では、制御部121は、検知領域を設定する例を用いて主に説明を行った。制御部121は、単独作業を検知したときに、単独作業を検知した際の検知領域を映像に重畳して表示装置140に表示させるようにしてもよい。また、制御部121は、全ての検知領域を映像に重畳して表示させておき、単独作業が行われた場合に、単独作業が行われた検知領域を他の検知領域と異なる色に変える、点滅表示にする等、明示、又は強調的に表示するようにしてもよい。このようにすることにより、作業監視員は視認性よく、映像中の人物が、単独か複数かを把握することができる。
また、本実施形態では、1台のクライアント装置で人物等を検出して表示する例を示したが、複数のクライアント装置で処理を行うようにしてもよい。例えば、映像が入力され、単独作業等を検知し、通知するための第1のクライアント装置と、前記通知を受けて警報を出力したり、重畳表示を行ったりする第2のクライアント装置と、で処理を行うようにしてもよい。第1のクライアント装置の一例は、VCA(Video Content Analysis)装置である。第2のクライアント装置の一例は、VMS(Video Management System)装置である。第1のクライアント装置と、第2のクライアント装置とのハードウェア構成は、図1のクライアント装置120のハードウェア構成と同様である。それぞれのクライアント装置のCPUがそれぞれのクライアント装置のメモリに記憶されているプログラムに基づき処理を実行することによりそれぞれのクライアント装置の機能が実現される。
In the present embodiment, the
In the present embodiment, an example is shown in which a single client device detects and displays a person or the like, but processing may be performed by a plurality of client devices. For example, a first client device for detecting and notifying a single operation or the like when a video is input, and a second client device that outputs an alarm upon receiving the notification or performs superimposed display Processing may be performed. An example of the first client device is a VCA (Video Content Analysis) device. An example of the second client device is a VMS (Video Management System) device. The hardware configuration of the first client device and the second client device is the same as the hardware configuration of the
作業現場内に単独作業者が存在する旨の警告を受け取ることで、作業監視員は、ルールに違反している作業者見つけることができ、その作業者へ注意を促すことが可能になる。 By receiving a warning that there is a single worker in the work site, the work monitor can find a worker who violates the rule and can call attention to the worker.
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
<Other embodiments>
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium. It can also be realized by a process in which one or more processors in the computer of the system or apparatus read and execute the program. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。撮像装置110の機能構成は、CPU12がメモリ13に記憶されたプログラムに基づき処理を実行することにより実現されるソフトウェア構成として撮像装置に実装されてもよい。また、撮像装置110の機能構成の一部又は全てはハードウェア構成として撮像装置110に実装されてもよい。同様に、クライアント装置120の機能構成はCPU22がメモリ21に記憶されたプログラムに基づき処理を実行することにより実現されるソフトウェア構成としてクライアント装置120に実装されてもよい。また、クライアント装置120の機能構成の一部又は全てはハードウェア構成としてクライアント装置120に実装されてもよい。
また、単独作業者の位置に二重丸を重畳する、赤丸を重畳する以外に、単独作業者に「単独作業者」と文字列を重畳させるようにしてもよいし、赤色等の警告色を撮像画像上の単独作業者に重畳させるようにしてもよい。また、これらを任意に組み合わせて重畳表示させるようにしてもよい。実線の楕円、二重線の楕円、「単独作業者」等の文字列、赤色等の警告色は、他の人物と関連付けられない人物であることを示すオブジェクトの例である。
また、上述したクライアント装置や撮像装置のハードウェア構成は一例であり、例えば、CPUやメモリ、通信I/F等は複数有していてもよい。
As mentioned above, although preferable embodiment of this invention was explained in full detail, this invention is not limited to the specific embodiment which concerns. The functional configuration of the
In addition to superimposing a double circle or a red circle on the position of the single worker, the single worker may be superimposed with a character string “single worker”, or a warning color such as red may be displayed. You may make it superimpose on the single worker on a captured image. Further, these may be arbitrarily combined and displayed. A solid line ellipse, a double line ellipse, a character string such as “single worker”, and a warning color such as red are examples of objects indicating that the person is not associated with another person.
The hardware configurations of the client device and the imaging device described above are examples, and for example, a plurality of CPUs, memories, communication I / Fs, and the like may be provided.
以上、上述した各実施形態の処理によれば、画像中の人物が単独であった場合、ユーザーに通知することができる。 As described above, according to the processing of each embodiment described above, when the person in the image is alone, the user can be notified.
21 メモリ
22 CPU
120 クライアント装置
140 表示装置
21
120
Claims (10)
前記検出手段によって検出される人物の位置、人物の顔の向き、及び人物間の距離、の内の少なくとも何れかに基づいて、人物同士を関連付ける関連付け手段と、
前記関連付け手段によって他の人物と関連付けられない人物が含まれる動画像の期間に応じて、通知装置に通知処理を実行させる通知制御手段と、
を有することを特徴とする制御装置。 Detecting means for detecting a person from a moving image;
Association means for associating persons based on at least one of the position of the person detected by the detection means, the face orientation of the person, and the distance between the persons;
A notification control unit that causes the notification device to execute a notification process according to a period of a moving image including a person that is not associated with another person by the association unit;
A control device comprising:
前記通知制御手段は、前記関連付け手段によって他の人物と関連付けられない人物が含まれる動画像の期間に応じて、前記表示装置に表示処理を実行させることで前記通知処理を実行させることを特徴とする請求項1又は2に記載の制御装置。 The notification device is a display device;
The notification control unit causes the display device to execute the notification process according to a period of a moving image including a person who is not associated with another person by the association unit. The control device according to claim 1 or 2.
前記検出手段は、前記取得手段により取得された前記動画像から人物を検出することを特徴とする請求項1乃至4の何れか1項に記載の制御装置。 It further has an acquisition means for acquiring a moving image from the imaging device,
The control device according to claim 1, wherein the detection unit detects a person from the moving image acquired by the acquisition unit.
動画像から人物を検出する検出工程と、
前記検出工程によって検出される人物の位置、人物の顔の向き、及び人物間の距離、の内の少なくとも何れかに基づいて、人物同士を関連付ける関連付け工程と、
前記関連付け工程によって他の人物と関連付けられない人物が含まれる動画像の期間に応じて、通知装置に通知処理を実行させる通知制御工程と、
を含むことを特徴とする制御方法。 A control method executed by a control device,
A detection step of detecting a person from a moving image;
An associating step of associating persons based on at least one of the position of the person detected by the detecting step, the orientation of the person's face, and the distance between the persons;
A notification control step of causing the notification device to execute notification processing according to a period of a moving image including a person that is not associated with another person by the association step;
The control method characterized by including.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015214935A JP2017085507A (en) | 2015-10-30 | 2015-10-30 | Control device, control method, and program |
US15/334,990 US10372989B2 (en) | 2015-10-30 | 2016-10-26 | Control apparatus and control method for determining relation of persons included in an image, and storage medium storing a program therefor |
US16/447,349 US10970551B2 (en) | 2015-10-30 | 2019-06-20 | Control apparatus and control method for determining relation of persons included in an image, and storage medium storing a program therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015214935A JP2017085507A (en) | 2015-10-30 | 2015-10-30 | Control device, control method, and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020163242A Division JP7005717B2 (en) | 2020-09-29 | 2020-09-29 | Controls, control methods and programs |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017085507A true JP2017085507A (en) | 2017-05-18 |
Family
ID=58711394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015214935A Pending JP2017085507A (en) | 2015-10-30 | 2015-10-30 | Control device, control method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017085507A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019106582A (en) * | 2017-12-11 | 2019-06-27 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, method for controlling information processing apparatus, and program |
JP2019125058A (en) * | 2018-01-12 | 2019-07-25 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, image processing method and program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006092396A (en) * | 2004-09-27 | 2006-04-06 | Oki Electric Ind Co Ltd | Apparatus for detecting lone person and person in group |
JP2007241965A (en) * | 2006-03-08 | 2007-09-20 | Yoshitaka Takeuchi | Infrared warning system for crime prevention |
JP2011248548A (en) * | 2010-05-25 | 2011-12-08 | Fujitsu Ltd | Content determination program and content determination device |
-
2015
- 2015-10-30 JP JP2015214935A patent/JP2017085507A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006092396A (en) * | 2004-09-27 | 2006-04-06 | Oki Electric Ind Co Ltd | Apparatus for detecting lone person and person in group |
JP2007241965A (en) * | 2006-03-08 | 2007-09-20 | Yoshitaka Takeuchi | Infrared warning system for crime prevention |
JP2011248548A (en) * | 2010-05-25 | 2011-12-08 | Fujitsu Ltd | Content determination program and content determination device |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019106582A (en) * | 2017-12-11 | 2019-06-27 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, method for controlling information processing apparatus, and program |
JP7007566B2 (en) | 2017-12-11 | 2022-01-24 | キヤノンマーケティングジャパン株式会社 | Information processing equipment, information processing equipment control methods, and programs |
JP2019125058A (en) * | 2018-01-12 | 2019-07-25 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, image processing method and program |
JP7130375B2 (en) | 2018-01-12 | 2022-09-05 | キヤノン株式会社 | Image processing device, imaging device, image processing method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6534499B1 (en) | MONITORING DEVICE, MONITORING SYSTEM, AND MONITORING METHOD | |
Shrestha et al. | Hard‐hat detection for construction safety visualization | |
US9947138B2 (en) | System and method for augmented reality display of dynamic environment information | |
JP6712778B2 (en) | Object detection device, object detection system, and object detection method | |
US10970551B2 (en) | Control apparatus and control method for determining relation of persons included in an image, and storage medium storing a program therefor | |
JP6624629B2 (en) | Fish counting device, fish counting method, fish number prediction device, fish number prediction method, fish counting system and fish number prediction system | |
US20240155080A1 (en) | Systems and methods for personnel location at a drilling site | |
JP2011060058A (en) | Imaging apparatus and monitoring system | |
JP7067604B2 (en) | Event monitoring system, event monitoring method, and program | |
US20220036731A1 (en) | Method for detecting vehicle lane change, roadside device, and cloud control platform | |
WO2018008702A1 (en) | Behavior detection system | |
JP6648923B2 (en) | Control device, control method, and program | |
CN113447128A (en) | Multi-person body temperature detection method and device, electronic equipment and storage medium | |
JP2017085507A (en) | Control device, control method, and program | |
JP7005717B2 (en) | Controls, control methods and programs | |
JP5574551B2 (en) | Image processing apparatus and image processing method | |
JP6987902B2 (en) | Controls, control methods and programs | |
JP2014182628A (en) | Space importance determination device, space importance determination method and program | |
JP2017084289A (en) | Display controller, display control method and program | |
JP6412685B2 (en) | Video projection device | |
JP7247310B2 (en) | CONTROL DEVICE, CONTROL METHOD, PROGRAM AND SYSTEM | |
US10931923B2 (en) | Surveillance system, surveillance network construction method, and program | |
WO2022239315A1 (en) | Information processing method, information processing device, and program | |
WO2017169593A1 (en) | Monitoring system and terminal device | |
JP2023133962A (en) | Image processing apparatus, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181005 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190806 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191002 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200204 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200630 |