JP2018142169A - Worker state grasping device, worker state grasping system, and worker state grasping method - Google Patents
Worker state grasping device, worker state grasping system, and worker state grasping method Download PDFInfo
- Publication number
- JP2018142169A JP2018142169A JP2017035997A JP2017035997A JP2018142169A JP 2018142169 A JP2018142169 A JP 2018142169A JP 2017035997 A JP2017035997 A JP 2017035997A JP 2017035997 A JP2017035997 A JP 2017035997A JP 2018142169 A JP2018142169 A JP 2018142169A
- Authority
- JP
- Japan
- Prior art keywords
- worker
- abnormality
- acceleration
- unit
- determination unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Alarm Systems (AREA)
- Telephonic Communication Services (AREA)
- Maintenance And Inspection Apparatuses For Elevators (AREA)
- Emergency Alarm Devices (AREA)
Abstract
Description
本発明は、保守作業の現場等で作業する作業者の安全管理のための作業者状態把握装置、作業者状態把握システム及び作業者状態把握方法に関する。 The present invention relates to a worker state grasping device, a worker state grasping system, and a worker state grasping method for safety management of a worker who works at a maintenance work site or the like.
従来から、エレベーター装置に設けられたカメラや保守員がその身体に装着したカメラにより、保守作業の画像を撮影して取得し、危険な場所で作業する作業者の安否確認を行うための作業支援システムが提案されている(例えば、特許文献1参照)。 Conventionally, work support for taking images of maintenance work with cameras installed on elevators and cameras attached to the body of maintenance personnel and confirming the safety of workers working in dangerous places A system has been proposed (see, for example, Patent Document 1).
特許文献1に記載の技術は、エレベーター装置の保守作業の安全性を向上させるために、保守作業の対象となるエレベーター装置の仕様と保守員の実作業(保守作業)に応じた危険事例を取得し、この取得した危険事例を保守員に通知するものである。ここで、危険事例とは、保守作業において生じ得る事故や危険等に関する情報であり、事故等の内容、事故が発生したエレベーター装置の仕様、保守作業の内容、及び保守員の状態等の情報が含まれる。 The technology described in Patent Document 1 acquires the dangerous cases corresponding to the specifications of the elevator device that is the subject of the maintenance work and the actual work (maintenance work) of the maintenance personnel in order to improve the safety of the maintenance work of the elevator device. The maintenance personnel is notified of the acquired dangerous case. Here, danger cases are information on accidents and dangers that can occur in maintenance work, and include information on the contents of accidents, the specifications of the elevator equipment in which the accident occurred, the contents of maintenance work, the status of maintenance personnel, etc. included.
従来の技術は、カメラ画像によって作業者の危険を検知して作業者へ安否確認の通知を行うものであった。この技術では、作業者から送られたカメラ画像を見て、管理者等が作業者に対する安否確認を行い、作業者からの回答がなければ、当該作業者の近くで作業を行っている他の作業者へ知らせるようにする。しかし、カメラ画像で作業者の危険を察知できない場合には、危険通知が出されないため、作業者の危険状態を精確に把握することができないという問題があった。 In the conventional technique, a worker's danger is detected from a camera image and a safety confirmation is notified to the worker. In this technology, the administrator etc. confirms the safety of the worker by looking at the camera image sent from the worker, and if there is no response from the worker, other work is performed near the worker. Let the operator know. However, when the danger of the worker cannot be detected from the camera image, the danger notification is not issued, and thus the danger state of the worker cannot be accurately grasped.
本発明の目的は、作業者の危険状態を精確に把握することが可能な作業者状態把握装置、作業者状態把握システム及び作業状態把握方法を提供することにある。 An object of the present invention is to provide a worker state grasping device, a worker state grasping system, and a work state grasping method capable of accurately grasping a worker's dangerous state.
本発明の作業者状態把握装置は、上記課題を解決するために、作業者が携帯しているカメラからの画像を受信して異常を判定するカメラ画像判定部、作業者が携帯しているマイクで検出された音声を受信して異常を判定する音声判定部、作業者の携帯している加速度センサからの情報を受信して異常を判定する加速度判定部、のうちの少なくとも2つの判定部を備える。そして、少なくとも2つの判定部で、異常が発生したと判定されたときに、作業者状態把握部において作業者に異常が発生したと判定する。 In order to solve the above-described problem, the worker state grasping apparatus of the present invention receives a camera image carried by the worker and determines whether there is an abnormality, a camera image determination unit, and a microphone carried by the worker. At least two determination units: a voice determination unit that receives a sound detected in step S1 to determine abnormality and an acceleration determination unit that receives information from an acceleration sensor carried by the worker and determines abnormality. Prepare. And when it determines with abnormality having generate | occur | produced by the at least 2 determination part, it determines with abnormality in a worker having occurred in the worker state grasping | ascertainment part.
本発明によれば、現場で作業中の作業者の状態をより正確に把握することが可能である。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
According to the present invention, it is possible to grasp the state of the worker who is working on the site more accurately.
Problems, configurations, and effects other than those described above will be clarified by the following description of embodiments.
[本発明の一実施の形態例の全体構成の説明]
以下、図面を参照して本発明の一実施の形態例について説明する。
図1は、本発明の作業者状態把握システムの一実施の形態例(以下、「本例」ということもある)を示すブロック図であり、特に作業者Aの携帯端末1A、作業者Bの携帯端末1B、ネットワーク3、サーバー装置4及び管理者Cの管理者端末5の接続関係を示す。特に、サーバー装置4については、本例の作業状態把握システムにおける情報処理の機能をブロックとして示している。
[Description of Overall Configuration of One Embodiment of the Present Invention]
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing an embodiment of the worker status grasping system according to the present invention (hereinafter sometimes referred to as “this example”). In particular, the portable terminal 1A of the worker A and the worker B The connection relationship of the
作業者Aと作業者Bは、それぞれカメラ2Aと2Bを装着して作業を行うことになる。このカメラ2A及び2Bには不図示のマイクが内蔵されており、カメラ2A及び2Bからはカメラ画像とマイクで拾った音声が出力される。また、カメラ2A及び2Bは、無線により作業者A及びBが保有する携帯端末1A、1Bと通信することができるようになっている。なお、携帯端末1A、1Bには、不図示の加速度センサが内蔵されている。
The worker A and the worker B work by wearing the
携帯端末1A、1Bは、ネットワーク3を経由してサーバー装置4と接続されている。また、管理者Cが操作する管理者端末5は、直接あるいは不図示のネットワーク経由でサーバー装置4に接続される。
以下、作業者Aと作業者Bを区別しないで、作業者A、Bが保有する携帯端末1A、1Bを総称して述べるときは、「携帯端末1」と記載し、同様にカメラ2A、2Bについても「カメラ2」と記載することとする。なお、本例では、説明の都合上、作業者Aと作業者Bの2名を挙げているが、作業者の数は、2名を超える複数の人数の場合も同様に取り扱われることはいうまでもない。
The mobile terminals 1 </ b> A and 1 </ b> B are connected to the server device 4 via the network 3. The administrator terminal 5 operated by the administrator C is connected to the server device 4 directly or via a network (not shown).
Hereinafter, when the
サーバー装置4は、本例における処理部のソフトウェア機能として、カメラ画像判定部41、加速度判定部42、音声判定部43、作業者位置確認部44及び作業者状態把握部45を備える。これらの各機能は、後述するCPUからなる制御部46によって制御される。
The server device 4 includes a camera
カメラ画像判定部41は、作業者A及び作業者Bのカメラ2A及び2Bからのカメラ画像から作業者Aまたは作業者Bの作業状態が良好であるか、あるいは作業者Aまたは作業者Bに事故等の異常事態が発生していないかどうかを判定する。加速度判定部42は、携帯端末1A及び1Bに内蔵されている加速度センサの測定波形の変化を検知することにより、作業者AまたはBの良好または異常を判定する。また、音声判定部43は、作業者A及び作業者Bの装着するカメラ2A及び2Bから作業者の叫び声などの異常音を検出するものであり、異常音が発生した場合には作業者Aまたは作業者Bに何らかの異常事態が発生したと判断する。
The camera
作業者位置確認部44は、GPS(Global Positioning System) 機能が搭載された携帯端末1A及び1Bからの情報に基づいて各作業者A及び作業者Bの位置を確認する。
作業者状態把握部45は、カメラ画像判定部41、加速度判定部42、音声判定部43及び作業者位置確認部44からの情報に基づいて、作業者Aまたは作業者Bに事故等の異常が発生していないかどうかを把握する。なお、カメラ画像判定部41、加速度判定部42及び音声判定部43における判定結果から作業者の異常状態を判定する具体例については後述する。
The worker
Based on information from the camera
作業者状態把握部45は、カメラ画像判定部41、加速度判定部42,音声判定部43及び作業者位置確認部44からの情報に基づいて作業者の状態を常時把握している。そして、作業者状態把握部45において、例えば作業者Bの状態が異常と判定した場合(図1参照)は、事務所の管理端末5に通知して管理者Cに知らせる。また、作業者位置確認部44により抽出された作業者Bの最も近くで作業している作業者Aに対して、その保有する携帯端末1Aを経由して作業者Bの異常を通知する。
The worker
[携帯端末1及び管理者端末5のハードウェア構成の説明]
図2は、本例の作業者状態把握システムに用いられる、携帯端末1及び管理者端末5のハードウェア構成を示す。
まず、図2は、作業者Aまたは作業者Bが身に付けている携帯端末1A及び1Bのハードウェア構成及び管理者端末5のハードウェア構成を示している。
[Description of Hardware Configuration of Portable Terminal 1 and Administrator Terminal 5]
FIG. 2 shows a hardware configuration of the mobile terminal 1 and the administrator terminal 5 used in the worker state grasping system of this example.
First, FIG. 2 shows the hardware configuration of the
図2に示すように、携帯端末1及び管理者端末5は、バス30に接続されたCPU(Central Processing Unit)21、ROM(Read Only Memory)22、RAM(Random Access Memory)23、不揮発性ストレージ24を備える。また、外部との通信を行うためのネットワークインタフェース25、入力部26及び表示部27を備える。
As shown in FIG. 2, the mobile terminal 1 and the administrator terminal 5 include a CPU (Central Processing Unit) 21, a ROM (Read Only Memory) 22, a RAM (Random Access Memory) 23, and a nonvolatile storage connected to the bus 30. 24. In addition, a
CPU21は、本例の作業者状態把握システムに関係する各機能を実現するソフトウェアのプログラムコードをROM22から読み出して実行する。RAM23には、演算処理の途中に発生した変数等が一時的に書き込まれる。CPU21がROM22に記録されているプログラムコードを実行することにより、携帯端末1及び管理者端末5の各種機能が実現される。
The
不揮発性ストレージ24は、通常スマートフォン等に用いられるSSD(Solid State Drive)等の不揮発性のメモリである。ROM22と不揮発性ストレージ24には、CPU21が動作するために必要なプログラムやデータ等が、半永久的に記憶され、格納されている。
The
ネットワークインタフェース25としては、例えば、NIC(Network Interface Card)等が用いられ、このネットワークインタフェース25を通して、携帯端末1及び管理者端末5とサーバー装置4との通信が行われる。また、表示部26には、サーバー装置4から送られる情報や、作業者Aまたは作業者Bからのカメラ2A、2Bで撮影した映像などが表示される。
As the
携帯端末1と管理者端末5では、入力部26の動作が異なっている。携帯端末1では、作業者が装着するカメラ2からの映像情報、音声情報の他に携帯端末1に内蔵する加速度センサからの加速度データが入力される。一方、管理者端末5における入力部28は、管理者Cが入力装置として用いるキーボードやマウスを意味する。
The operation of the
[サーバー装置4のハードウェア構成の説明]
図3は、サーバー装置4のハードウェア構成を示す。図3に示すCPU31、ROM32、RAM33は、図2に示すCPU21、ROM22、RAM23と同じなのでここでは説明を省略する。図3に示すサーバー装置4では、不揮発性ストレージ34の内容が図2の不揮発性ストレージ24と異なっている。すなわち、図3の不揮発性ストレージ34は、画像データベース(画像DB)35、加速度データベース(加速度DB)36、及び音声データベース(音声DB)37を含む。
[Description of Hardware Configuration of Server Device 4]
FIG. 3 shows a hardware configuration of the server device 4. The
画像データベース35には、作業者A、Bが装着しているカメラ2A、2Bで撮影されたカメラ画像が記憶される。加速度データベース36には、作業者A、Bが保有する携帯端末1A、1Bに内蔵される加速度センサからのデータが記憶される。音声データベース37には、カメラ2A、2Bに付属する不図示のマイクで検出した音声が記憶される。なお、カメラ2A、2Bまたは携帯端末1A、1Bからの画像、加速度及び音声の各データは、通信インターフェース(通信1/F)38を通して、それぞれのデータベース35〜37に記憶される。
The
[作業者A、Bの作業が良好に行われている場合の処理フローの説明]
次に、本例のシステムが、良好に作動している状態について、図4を参照して説明する。
図4は、作業者A、Bに異常が発生しない状態で、本例に用いられる携帯端末1、サーバー装置4及び管理者端末5の定常的に動作しているときのシーケンス図である。
まず、作業者A、Bに装着されたカメラ2A、2Bで撮影した画像は、作業者A、Bの携帯端末1A、1Bを通して、サーバー装置4の画像データベース35に記憶される(ステップS41)。また、携帯端末1A、1Bに内蔵される不図示の加速度センサのデータが、サーバー装置4の加速度データベース36に記憶される(ステップS42)。また、作業者A、Bの装着したカメラ2A、2Bに付属するマイクで検出される作業中の音声が、携帯端末1A、1Bを通して、サーバー装置4の音声データベース37に記憶される(ステップS43)。
[Description of processing flow when workers A and B work well]
Next, a state in which the system of this example is operating well will be described with reference to FIG.
FIG. 4 is a sequence diagram when the mobile terminal 1, the server device 4, and the administrator terminal 5 used in this example are constantly operating in a state where no abnormality occurs in the workers A and B.
First, images taken by the
サーバー装置4は、画像データベース35,加速度データベース36,音声データベース37に記憶された各種データに基づいて、作業者A、Bに事故等の異常が発生したが否かの判定を行う(ステップS44)。そして、作業者A、Bの作業に異常が発生していないことを確認する(ステップS45)。続いて、サーバー装置4は、管理者端末5に対して作業者A、Bの作業の進捗状況が良好であることを通知する(ステップS46)。なお、作業者A、Bの作業が良好に進捗している場合には、管理者CによるステップS46の作業確認は省略してもよい。また、サーバー装置4は、必要に応じて作業者A、Bに対して今後の作業手順の指示を行う(ステップS47)。
The server device 4 determines whether or not an abnormality such as an accident has occurred in the workers A and B based on various data stored in the
[作業者Bに事故が発生した場合の処理フローの説明]
次に、図5のシーケンス図を参照して、作業者Bの現場で危険を伴う事故が発生したときの処理の流れを説明する。
図5に示すように、作業者Bに危険を伴う事故が発生する(ステップS50)と、作業者Bが装着しているカメラ2Bの画像が急変する(ステップS51)。すると、サーバー装置4のカメラ画像判定部41は、カメラ画像のブレを検知し(ステップS52)、作業者Bの携帯端末1Bに対して、画像急変の理由を問い合わせる(ステップS53)。そして、作業者Bから問題がない旨の返答があれば、「異常なし」の判定を行い、作業者Bから何の返答もないときに、作業者Bが異常状態に陥った可能性があると判定する。
[Explanation of the processing flow when an accident occurs in worker B]
Next, with reference to the sequence diagram of FIG. 5, the flow of processing when a dangerous accident occurs at the site of the worker B will be described.
As shown in FIG. 5, when an accident involving the worker B occurs (step S50), the image of the
また、作業者Bに危険を伴う事故が発生すると、作業者Bの保有する携帯端末1Bに内蔵される加速度センサにより異常な加速度が検出される(ステップS54)。すると、サーバー装置4の加速度判定部42は、異常加速度を検知し(ステップS55)、作業者Bの携帯端末1Bに対して、異常加速度検知の理由を問い合わせる(ステップS56)。そして、加速度判定部42は、作業者Bからの返答があれば、異常発生がなかったものと判定し、作業者Bからの応答がない場合には、作業者Bが異常状態に陥っている可能性があると判定する。
Further, when an accident involving the worker B occurs, an abnormal acceleration is detected by the acceleration sensor built in the
また、作業者Bに危険を伴う事故が発生すると、作業者Bのカメラ1Bに内蔵されるマイクから転落時の衝撃音や悲鳴などの異常音が発生する(ステップS57)。サーバー装置4の音声判定部43はこの異常音を検出し(ステップS58)、作業者Bの携帯端末1Bに対して、異常音が発生した理由を問い合わせる(ステップS59)。これに対して、作業者Bからの返答があれば、音声判定部43は、作業者Bに異常発生がなかったと判定し、作業者Bからの応答がない場合のみ、作業者Bが異常状態になっている可能性があると判定する。
When an accident involving the worker B occurs, an abnormal sound such as an impact sound or a scream at the time of falling is generated from the microphone built in the
図6A〜Cは、カメラ画像判定部41、加速度判定部42及び音声判定部43で作業者の異常を判定するときの、波形図を示している。図6Aに示すように、作業者Bが事故等の危険に見舞われた場合、例えば転倒や異常振動などで、あるレベルを保っていたカメラ画像のレベルが一時的に急変し、その後レベル変動がほとんど観測されない状態が続く。カメラ画像判定部41は、この一時的に大きい画像レベルに変化したカメラ画像のブレ測定波形からカメラ画像の異常を判定する。ここで、カメラ画像判定部41は、例えば、所定期間(例えば1秒ごと)に前の画像と新しい画像の比較を行い、撮影された各画像中の平均明度または色情報等が所定の閾値を超えて変化したこと、あるいは両画像中で認識した任意の形状の位置、大きさ、または角度が所定の閾値を超えて変化したことを持って画像がブレたことを判定する。
6A to 6C show waveform diagrams when the camera
また、図6Bに示されるように、加速度判定部42は、作業者Bの携帯端末1Bの加速度センサからの信号に基づいて常時その加速度レベルを監視しており、定常的な作業状態であれば、この加速度レベルは多少の微小変動を伴うものの、ほぼ一定のレベルを保っている。しかし、作業者Bが転落や落下等の危険に見舞われた場合、所定のレベルを保っていた加速度レベルが一時的に急変し、その後レベル変動がほとんど見られなくなる。
Moreover, as shown in FIG. 6B, the
これは、事故後に作業者Bの携帯端末1Bに内蔵される加速度センサが、事故時に想定以上の加速度を検出し、その後携帯端末1Bがほぼ静止に近い状態(動いていない状態)になっていることを意味している。加速度判定部42は、図6Bに示されるような加速度センサの出力の急激な変化波形に基づいて、作業者Bの異常を判定する。
異常判定の一例を挙げると、加速度判定部42は、各作業者A、Bにおける通常であればある尤度をもって変化する過去何日間かの平均加速度を予め記憶している。そして、作業者Bの保有する加速度センサから新しく送られた加速度データが、過去の平均加速度を所定値以上上回り、その後加速度の検出値が一定期間、所定の範囲内であったときに異常が発生したと判定する。
This is because the acceleration sensor built in the
If an example of abnormality determination is given, the
また、図6Cに示すように、音声判定部43は、作業者Bに危険を伴う事故等が発生した場合、作業者Bが装着しているカメラ2Bに内蔵されているマイクからの音を検出する。作業者Bに何らかの事故が発生した場合、カメラ2Bに内蔵されているマイクによって、作業者Bの悲鳴や何らかの衝撃音が検出される。サーバー装置4の音声判定部43は、図6Cに示される音声情報の急激なレベル変化を異常音として捉え、このような波形が大きくなった異常音を検出したとき、作業者Bに異常が発生したと判定する。
Further, as shown in FIG. 6C, the
再び、図5に戻って説明を続ける。図7、図8により後述するように、サーバー装置4の作業者状態把握部45は、カメラ画像判定部41,加速度判定部42及び音声判定部43の、いずれか2つ以上で作業者Bの異常が判定された場合に、作業者Bに危険を伴う異常が発生したと判断する(ステップS60)。その後、作業者位置確認部44は、作業者Bの保有する携帯端末1Bの持つGPS機能を使って、作業者Bが危険にあったと思われる位置を確認する(ステップS61)。そして、管理者Cの操作する管理者端末5に対して、作業者Bが危険を伴う異常状態に陥った旨の通知を行う(ステップS62)。
Returning to FIG. 5 again, the description will be continued. As will be described later with reference to FIGS. 7 and 8, the worker
一方、サーバー装置4の作業者状態把握部45は、作業者Bに事故等の異常が発生したことを、作業者Bの近くで作業している作業者Aに対して通知する(ステップS63)。そして、作業者Aの携帯端末1Aに、作業者Bから送られてきた事故直前のカメラ画像を表示する(ステップS64)。また、サーバー装置4から作業者Bが事故等の異常状態になっている旨の通知を受けた管理者Cは、管理者端末5を介して近くの作業者Aに対して作業者Bの救助に向かうように指令する(ステップS66)。作業者Aは直ちに作業者Bの事故現場に向かい、作業者Bの異常状態の程度に応じて、適切な救助活動を行う(ステップS67)。
On the other hand, the worker
ここで、ステップS60において、作業者状態把握部45が、どのように作業者Bの異常を判定するか否かについて、図7を参照して説明する。
図7は、作業者状態把握部45が判定に用いるデータベースのテーブルを示したものである。図7に示すテーブルは、作業者状態フィールドと検出パラメータ判定フィールドと異常検知フィールドを含む。作業者の異常を検出する検出パラメータ判定フィールドには、カメラ画像フィールド、加速度変化フィールド、異常音変化フィールドの3つのフィールドが設けられている。
Here, how the worker
FIG. 7 shows a database table used by the worker
サーバー装置4のカメラ画像判定部41において、作業者のカメラ2から得られる画像に急激なブレ(図6A参照)が検出されない場合にはカメラ画像フィールドに「○」印を付し、大きなブレが検出されたときはカメラ画像フィールドに「×」印を付ける。
また、加速度判定部42において、作業者の携帯端末1に内蔵された加速度センサから得られる加速度に図6Bに示すような大きな変化がなければ、加速度判定部42は、加速度変化フィールドに「○」印を付け、大きな変化があれば「×」を付ける。
同様に、音声判定部43は、作業者のカメラ2に内蔵されたマイクから図6Cに示されるような大きな変化音を検出しなければ、異常音変化フィールドに「○」を付し、大きな変化音(異常音)を検出すると、異常音変化フィールドに「×」印を付ける。
When the camera
Further, in the
Similarly, if the
図5のステップS60で説明したように、作業者状態把握部45は、カメラ画像判定部41、加速度判定部42及び音声判定部43のいずれか2つ以上が作業者Bの異常を判定したときに、事故の発生等により作業者Bが異常状態に陥ったと判断する。カメラ画像判定部41、加速度判定部42及び音声判定部43の1つだけが異常を判定した場合には、作業者Bが異常状態に陥っていると判定しない。
なぜなら、カメラ画像のブレ、加速度の急変または異常音の発生のうち、1つの事象だけで異常判定をすることになると、誤判定により無駄な対応を取る可能性が増えて、作業効率を落とすことになりかねない。図7に示すように、本発明の実施形態例では、少なくとも2つの事象で異常が発生しとき、作業者Bに異常が発生したと判定している。
As described in step S <b> 60 of FIG. 5, the worker
This is because if an abnormality determination is made with only one event among camera image blurring, sudden acceleration change, or abnormal sound generation, the possibility of taking a wasteful response due to a misjudgment increases and the work efficiency is lowered. It can be. As shown in FIG. 7, in the embodiment of the present invention, when an abnormality occurs in at least two events, it is determined that an abnormality has occurred in the worker B.
なお、ステップS53、S56、S59に加えて、もしくは代えて、作業者状態把握部45が作業者Bの異常検知(ステップS60)後に、応答確認を行ってもよい。その場合、例えば、検出パラメータ判定結果で、異常を検知した数、またはその頻度が少なければ少ないほど、応答確認時間(何も応答がなければそのまま異常と判断する時間)を長く設定してもよい。その場合、異常が発生していない場合の作業者の応答負担を軽減することができる。つまり、異常と判定される感度が高いような場合は、作業中に何度も応答確認が通知され、そのたびに作業を中断してすぐに応答確認をすることになる。そこで、異常度(異常を検知した数やその頻度)に応じて応答確認時間を変更することで、作業者への負担を軽減しつつ、異常をより適切に判定することができる。
In addition to or instead of steps S53, S56, and S59, the worker
[本例のシステムにおける全体の処理フローの説明]
図8は、本例の作業者状態把握装置及びシステムにおいて、作業者の状態を把握してから、事故が発生した場合の対応までのシステム全体の処理の流れについて示したフローチャートである。図5の説明と重複する部分もあるが、全体を通して本例のシステムにおける処理の流れを説明する。
[Description of overall processing flow in the system of this example]
FIG. 8 is a flowchart showing the flow of processing of the entire system from grasping the worker's state to handling when an accident occurs in the worker state grasping apparatus and system of this example. Although there is a part overlapping with the description of FIG. 5, the flow of processing in the system of this example will be described throughout.
作業者が作業を開始すると(ステップS80)、カメラ画像判定部41は、作業者の携帯端末1から送られた画像に異常なブレが発生したか否かを判定する(ステップS81)。また、加速度判定部42は、作業者の携帯端末に内蔵される加速度センサが大きな加速度変化を検出したか否かを判定する(ステップS82)。更に、音声判定部43は、作業者のカメラ2に内蔵されているマイクから異常音が発生したか否かを判定する(ステップS83)。
When the worker starts work (step S80), the camera
次に、カメラ画像判定部41で、図6Aに示すような大きなブレが検出されると、カメラ画像判定部4は、異常を示した作業者Bの携帯端末1Bに異常を検出した旨の情報を通知して作業者Bからの応答を待つ(ステップS84)。同様に、加速度判定部42も、図6Bのような異常加速度を検知すると、異常を示した作業者Bの携帯端末1Bに異常を検出した旨の情報を通知して作業者Bからの応答を待つ(ステップS85)。音声判定部43も、図6Cのような異常音を検知すると、異常音が送信された作業者Bの携帯端末1Bに異常音を検出した旨の情報を通知して作業者Bからの応答を待つ(ステップS86)。
Next, when a large blur as shown in FIG. 6A is detected by the camera
次に、ステップS84〜S86に示す判定結果に基づいて、作業者情報把握部45は、作業者に事故等の異常が発生した否かを判定する。なお、ここではカメラ画像判定部41、加速度判定部42、及び音声判定部43の少なくとも2つが異常を示したか否かを判断する(ステップS87)。ステップS87においてカメラ画像判定部41、加速度判定部42、及び音声判定部43の少なくとも2つが異常を示していないとき(ステップS87のNO)は、新たなカメラ画像、加速度情報及び音声情報の監視状態に入る。
Next, based on the determination results shown in steps S84 to S86, the worker
ステップS87で作業者Bが異常状態に陥っていると判定した場合(ステップS87のYES)には、作業者情報把握部45は、近くの作業者Aの携帯端末1Aに向けて作業者Bに事故等の異常が発生した旨の通知を行う(ステップS88)。そして、作業者Bの事故直前のカメラ画像を作業者Aの携帯端末1Aに表示する(ステップS89)。また、作業者情報把握部45は、同時に管理者Cの管理者端末5に対して作業者Bの作業現場で事故が発生した旨を通知する(ステップS90)。
If it is determined in step S87 that the worker B is in an abnormal state (YES in step S87), the worker
作業者情報把握部45から通知を受けた管理者Cは、近くの作業者Aに作業者Bが事故に遭遇したようである旨を通知するとともに(ステップS91)、作業者Aに対して作業者Bの現場に向かうように指示する(ステップS92)。なお、作業者Bの状態により、更に他の必要な部署にも連絡する。ステップS88またはステップS91において、作業者情報把握部45または管理者Cから連絡を受けた作業者Aは、作業者Bの現場に直行し、事故に遭った作業者Bの状況に応じて適切な対応を取る(ステップS93)。
The manager C that has received the notification from the worker
[変形例]
以上説明したように、本発明の実施形態例では、図7、図8で説明したように、カメラ画像変化、加速度変化または音声変化のいずれか2つ以上に異常が発生したことに基づいて、作業者Bに異常が発生したと判断している。本例の第1の変形例として、カメラ画像における判定を主たる異常判定とし、それ以外に副として加速度センサによる異常が判定された場合に作業者の異常状態を判定することとしてもよい。この場合には、図1に示す音声判定部43、及び図3に示す音声データベース37は必ずしも必要とはされない。その際、例えば、カメラを作業者の頭部(首から上)に、加速度センサ(作業者の端末)を、作業者の胴体部(首から下)に装着させることで、異常判定精度をより向上できる。つまり、2つのセンサを頭部と胴体部のように異なる個所に装着することで、頭部だけの正常な動き(人に呼ばれて振り向いただけのような場合)に対して異常と誤判定される可能性を低くすることができる。
[Modification]
As described above, in the embodiment of the present invention, as described with reference to FIGS. 7 and 8, based on the fact that an abnormality has occurred in any two or more of the camera image change, acceleration change, or sound change, It is determined that an abnormality has occurred in worker B. As a first modification of this example, the determination in the camera image may be the main abnormality determination, and the abnormality state of the worker may be determined when an abnormality by the acceleration sensor is determined as a sub. In this case, the
同様に、第2の変形例として、主としてカメラ画像における異常判定を必須のものとして、加えて、副としてマイクによる異常音の発生があった場合に、作業者の異常を判定するようにしてもよい。この場合には、図1に示す加速度判定部43、及び図3に示す加速度データベース36は必ずしも必要とはされないことは言うまでもない。
Similarly, as a second modified example, abnormality determination mainly in a camera image is essential, and in addition, when abnormal sound is generated by a microphone as a sub, the operator's abnormality is determined. Good. In this case, needless to say, the
以上、本発明の実施形態例である作業者情報把握装置及びそれを用いたシステムについて説明した。図1に示す本例のシステムでは、サーバー装置4に、作業者情報を把握するための装置を設けているが、サーバー装置4内に設けられるカメラ画像判定部41、加速度判定部42、音声判定部43及び作業者状態把握部45は、必ずしもサーバー装置4内に設ける必要はない。例えば、管理者端末5内にこのような機能を持つソフトウェアを実装してもよいし、特定の作業者の携帯端末1に実装することも考えられる。
The worker information grasping apparatus and the system using the same according to the embodiment of the present invention have been described above. In the system of this example shown in FIG. 1, a device for grasping worker information is provided in the server device 4, but a camera
上述した各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現することもできる。また、上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
Each of the above-described configurations, functions, processing units, processing means, and the like can be realized in hardware by designing a part or all of them, for example, with an integrated circuit. Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor. Information such as programs, tables, and files for realizing each function can be stored in a recording device such as a memory, a hard disk, an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
Further, the control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
なお、本発明は、明細書または図面に開示した実施形態例に限定されるものではなく、特許請求の範囲に記載した内容を逸脱しない限りにおいて、他の応用例及び変形例を含むことは勿論である。 It should be noted that the present invention is not limited to the embodiments disclosed in the specification or the drawings, and of course includes other applications and modifications as long as they do not depart from the contents described in the claims. It is.
A、B・・・作業者、C・・・管理者、1A、1B・・・作業者A、Bが保有する携帯端末、2A、2B・・・作業者A、Bが装着するカメラ、3・・・ネットワーク、4・・・サーバー装置、5・・・管理者端末、41・・・カメラ画像判定部、42・・・加速度判定部、43・・・音声判定部、44・・・作業者位置確認部、45・・・作業者状態把握部、46・・・制御部、21、31・・・CPU、22、32・・・ROM、23、33・・・RAM、24,34・・・不揮発性ストレージ、35・・・画像データベース(画像DB)、36・・・加速度データベース(加速度DB)、37・・・音声データベース(音声DB)、25、38・・・通信インターフェース(通信I/F)、26・・・入力部、27・・・表示部 A, B ... worker, C ... manager, 1A, 1B ... portable terminals owned by workers A, B, 2A, 2B ... cameras worn by workers A, B, 3 ... Network, 4 ... Server device, 5 ... Administrator terminal, 41 ... Camera image determination unit, 42 ... Acceleration determination unit, 43 ... Voice determination unit, 44 ... Work Worker position confirmation unit, 45 ... worker state grasping unit, 46 ... control unit, 21, 31 ... CPU, 22, 32 ... ROM, 23, 33 ... RAM, 24, 34 · ..Non-volatile storage, 35 ... Image database (image DB), 36 ... Acceleration database (acceleration DB), 37 ... Audio database (audio DB), 25, 38 ... Communication interface (communication I) / F), 26 ... input unit, 27 ... display unit
Claims (9)
前記作業者が携帯しているマイクで検出された音声を受信して異常を判定する音声判定部、
前記作業者の携帯している加速度センサからの情報を受信して異常を判定する加速度判定部、のうち少なくとも2つの判定部を備え、
更に、前記少なくとも2つの判定部で、異常が発生したと判定されたときに、前記作業者に異常が発生したと判定する作業者状態把握部と、を備える、
作業者状態把握装置。 A camera image determination unit that receives an image from a camera carried by an operator and determines an abnormality;
A sound determination unit that receives sound detected by a microphone carried by the worker and determines abnormality;
An acceleration determination unit that receives information from the acceleration sensor carried by the worker and determines an abnormality, and includes at least two determination units;
And an operator state grasping unit that determines that an abnormality has occurred in the worker when the at least two determination units determine that an abnormality has occurred.
Worker status monitoring device.
前記作業者の胴体部に装着する前記加速度センサからの情報を受信する前記加速度判定部と、を備え、
前記作業者状態把握部は、前記カメラ画像判定部、及び前記加速度判定部で異常が発生したと判定された場合に、前記作業者に異常が発生したと判定する、
請求項1に記載の作業者状態把握装置。 The camera image determination unit for receiving an image from the camera worn on the head of the worker;
The acceleration determination unit that receives information from the acceleration sensor that is mounted on the trunk of the worker,
The worker state grasping unit determines that an abnormality has occurred in the worker when it is determined that an abnormality has occurred in the camera image determination unit and the acceleration determination unit.
The worker state grasping device according to claim 1.
前記作業者状態把握部は、前記作業者に異常が発生したと判定された場合に、前記作業者位置確認部から得られる前記作業者の位置情報に基づいて、前記作業者の異常状態を管理者端末に通知する、
請求項1または2に記載の作業者状態把握装置。 And a worker position confirmation unit for confirming the position of the worker,
The worker state grasping unit manages the abnormal state of the worker based on the worker position information obtained from the worker position confirmation unit when it is determined that an abnormality has occurred in the worker. Notification to the user terminal,
The worker state grasping device according to claim 1 or 2.
請求項3に記載の作業者状態把握装置。 When it is determined that an abnormality has occurred in the worker, the worker state grasping unit notifies the worker of a response confirmation for inquiring about the presence or absence of the abnormality, and within a predetermined period after the notification of the response confirmation When not receiving a response from the worker, the administrator terminal is notified of the abnormal state of the worker,
The worker state grasping device according to claim 3.
請求項3に記載の作業者状態把握装置。 The worker state grasping unit has an image immediately before the occurrence of an abnormality from the camera of the worker that has been determined to have an abnormality, the other closest to the operator to which the abnormality has been determined. Sent to the worker ’s mobile device for display,
The worker state grasping device according to claim 3.
前記作業者状態把握部は、前記カメラ画像判定部で前記作業者の異常を判定し、更に前記音声判定部または前記加速度判定部のいずれかで異常を判定した場合に、前記作業者に異常が発生したと把握する、
請求項1に記載の作業者状態把握装置。 Comprising the camera image determination unit;
The worker state grasping unit determines the worker's abnormality in the camera image determination unit, and further determines abnormality in the worker when the abnormality is determined by either the voice determination unit or the acceleration determination unit. Know that it happened,
The worker state grasping device according to claim 1.
前記作業者が装着する携帯端末と、
前記作業者の前記携帯端末と通信可能な、管理者が管理する管理者端末と、
前記作業者の前記携帯端末とネットワークを介して接続されるサーバー装置とからなる、作業者状態把握システムであって、
前記サーバー装置は、
作業者が装着しているカメラからの画像を受信して異常画像を判定するカメラ画像判定部と、
前記カメラに内蔵されたマイクで検出された音声を受信して異常音を判定する音声判定部と、
前記作業者の携帯している携帯端末に内蔵される加速度センサからの情報を受信して加速度の変化を判定する加速度判定部と、
前記カメラ画像判定部、前記音声判定部及び前記加速度判定部の少なくとも2つが異常を判定したときに、前記作業者に異常が発生したことを把握する作業者状態把握部と、
を備える、
作業者状態把握システム。 A camera worn by the operator, equipped with a microphone that shoots the work site and detects the sound of the work site,
A portable terminal worn by the worker;
An administrator terminal managed by an administrator capable of communicating with the portable terminal of the worker;
A worker status grasping system comprising a server device connected via a network to the portable terminal of the worker,
The server device is
A camera image determination unit that receives an image from a camera worn by an operator and determines an abnormal image;
A sound determination unit that receives sound detected by a microphone built in the camera and determines abnormal sound;
An acceleration determination unit that receives information from an acceleration sensor built in the portable terminal carried by the worker and determines a change in acceleration;
An operator state grasping unit for grasping that an abnormality has occurred in the worker when at least two of the camera image determining unit, the sound determining unit, and the acceleration determining unit determine an abnormality;
Comprising
Worker status monitoring system.
前記管理者端末は、前記作業者状態把握部からの通知を受けて、前記異常が発生した作業者の、最も近くにいる他の作業者の携帯端末に対して、異常が発生している作業者に対する救助を命じる指令を送信する、
請求項7に記載の作業者状態把握システム。 The worker state grasping unit, when grasping the abnormality of the worker, notifies the administrator terminal that the abnormality has occurred,
The administrator terminal receives a notification from the worker state grasping unit, and the work in which an abnormality has occurred with respect to the portable terminal of another worker nearest to the worker in which the abnormality has occurred Send a command to rescue the elderly,
The worker state grasping system according to claim 7.
前記カメラに内蔵されたマイクで検出された音声を受信して異常音を判定する異常音判定ステップと、
前記作業者の携帯している携帯端末に内蔵される加速度センサからの情報を受信して加速度の変化の異常を判定する加速度判定ステップと、
前記カメラ画像判定ステップ、前記異常音判定ステップ及び加速度判定ステップの中の2つ以上のステップで異常判定がなされたときに、作業者が異常状態に陥っていると把握する作業者状態把握ステップと、
前記作業者状態把握ステップで異常が発生していると判定された作業者の位置を確認する作業者位置確認ステップと、
前記作業者状態把握ステップで作業者の異常発生を把握した場合に、前記異常が発生した作業者の状態を管理者端末に通知するステップと、
を含む、
作業者状態把握方法。 A camera image determination step for determining an abnormality of a camera image for receiving an image from a camera worn by an operator and determining an abnormal image;
An abnormal sound determination step of receiving an audio detected by a microphone built in the camera and determining an abnormal sound;
An acceleration determination step of receiving information from an acceleration sensor built in the portable terminal carried by the worker and determining an abnormality in acceleration change;
An operator state grasping step for grasping that the worker is in an abnormal state when the abnormality determination is made in two or more of the camera image determining step, the abnormal sound determining step and the acceleration determining step; ,
A worker position confirmation step for confirming the position of the worker determined to have an abnormality in the worker state grasping step;
A step of notifying an administrator terminal of the state of the worker in which the abnormality has occurred, in the case where the abnormality of the worker is grasped in the worker state grasping step;
including,
Worker status grasp method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017035997A JP6691068B2 (en) | 2017-02-28 | 2017-02-28 | How to grasp the worker status |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017035997A JP6691068B2 (en) | 2017-02-28 | 2017-02-28 | How to grasp the worker status |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018142169A true JP2018142169A (en) | 2018-09-13 |
JP6691068B2 JP6691068B2 (en) | 2020-04-28 |
Family
ID=63528225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017035997A Active JP6691068B2 (en) | 2017-02-28 | 2017-02-28 | How to grasp the worker status |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6691068B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019012471A (en) * | 2017-06-30 | 2019-01-24 | 新日鐵住金株式会社 | Information processing system, information processing apparatus, terminal apparatus, information processing method and program |
JP2020071586A (en) * | 2018-10-30 | 2020-05-07 | 三菱電機ビルテクノサービス株式会社 | Safety management system, safety management method, and safety management program |
KR102498536B1 (en) * | 2022-11-14 | 2023-02-14 | (주)티에스엔지니어링건축사사무소 | Anti-theft system for apartment house and its construction method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010237781A (en) * | 2009-03-30 | 2010-10-21 | National Institute Of Advanced Industrial Science & Technology | Imaging apparatus for monitoring, and imaging system for monitoring |
JP2011243085A (en) * | 2010-05-20 | 2011-12-01 | Midori Anzen Co Ltd | Fall monitoring system for moving person |
JP2014133619A (en) * | 2013-01-09 | 2014-07-24 | Mitsubishi Electric Building Techno Service Co Ltd | Alarm system for elevator maintenance work and alarm method for elevator maintenance work |
JP2016108088A (en) * | 2014-12-05 | 2016-06-20 | 東芝エレベータ株式会社 | Device, system, and method for supporting maintenance work |
JP2017001789A (en) * | 2015-06-08 | 2017-01-05 | 東芝エレベータ株式会社 | Maintenance management system |
-
2017
- 2017-02-28 JP JP2017035997A patent/JP6691068B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010237781A (en) * | 2009-03-30 | 2010-10-21 | National Institute Of Advanced Industrial Science & Technology | Imaging apparatus for monitoring, and imaging system for monitoring |
JP2011243085A (en) * | 2010-05-20 | 2011-12-01 | Midori Anzen Co Ltd | Fall monitoring system for moving person |
JP2014133619A (en) * | 2013-01-09 | 2014-07-24 | Mitsubishi Electric Building Techno Service Co Ltd | Alarm system for elevator maintenance work and alarm method for elevator maintenance work |
JP2016108088A (en) * | 2014-12-05 | 2016-06-20 | 東芝エレベータ株式会社 | Device, system, and method for supporting maintenance work |
JP2017001789A (en) * | 2015-06-08 | 2017-01-05 | 東芝エレベータ株式会社 | Maintenance management system |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019012471A (en) * | 2017-06-30 | 2019-01-24 | 新日鐵住金株式会社 | Information processing system, information processing apparatus, terminal apparatus, information processing method and program |
JP2020071586A (en) * | 2018-10-30 | 2020-05-07 | 三菱電機ビルテクノサービス株式会社 | Safety management system, safety management method, and safety management program |
JP7171370B2 (en) | 2018-10-30 | 2022-11-15 | 三菱電機ビルソリューションズ株式会社 | Safety management system |
KR102498536B1 (en) * | 2022-11-14 | 2023-02-14 | (주)티에스엔지니어링건축사사무소 | Anti-theft system for apartment house and its construction method |
Also Published As
Publication number | Publication date |
---|---|
JP6691068B2 (en) | 2020-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI759339B (en) | Fall protective system and fall protective self-retracting lifeline apparatus | |
CN109416775B (en) | Personal Protection Equipment (PPE) with analysis flow handling for security event detection | |
JP5260955B2 (en) | Anomaly detection support system | |
JP2018142169A (en) | Worker state grasping device, worker state grasping system, and worker state grasping method | |
KR102219809B1 (en) | Safety Work Management System by Image Analysis | |
KR102315371B1 (en) | Smart cctv control and warning system | |
KR20170101385A (en) | Monitoring system using a wearable device and smartphone app | |
JP2018036985A (en) | Work management system | |
KR102332818B1 (en) | Risk notification system and the method thereof using virtual proxy sensor and virtual space-based danger zone setting with rtls sensor | |
JP2008007308A (en) | Operation report system used when earthquake occurs | |
JP2017156863A (en) | Monitoring system and program | |
JP2018006583A (en) | Component mounting machine and component mounting system | |
JP6909076B2 (en) | Information processing system, information processing device, information processing method and program | |
KR20160131678A (en) | Portable device for protecting having camera and method for taking picture | |
JP6322304B2 (en) | Fire alarm equipment support system | |
KR20220114668A (en) | industrial site safety management system using IoT smart safety helmet | |
KR20180055599A (en) | Safety managing system for worker | |
JP2010204924A (en) | Monitoring control system and monitoring method for maintenance apparatus | |
KR20220037614A (en) | Safety helmet with alarm function for working environment | |
JP2021173092A (en) | Building work monitoring system | |
CN109035115A (en) | Construction worker's method for managing security, device and electronic equipment | |
KR20200097537A (en) | field agent management system | |
US20230047013A1 (en) | System and method for artificial intelligence (ai)-based protocol compliance tracking for workplace applications | |
JP6491001B2 (en) | Terminal management system, portable terminal device, and program | |
JP7231804B2 (en) | Site management system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200409 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6691068 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |