JP6691068B2 - How to grasp the worker status - Google Patents
How to grasp the worker status Download PDFInfo
- Publication number
- JP6691068B2 JP6691068B2 JP2017035997A JP2017035997A JP6691068B2 JP 6691068 B2 JP6691068 B2 JP 6691068B2 JP 2017035997 A JP2017035997 A JP 2017035997A JP 2017035997 A JP2017035997 A JP 2017035997A JP 6691068 B2 JP6691068 B2 JP 6691068B2
- Authority
- JP
- Japan
- Prior art keywords
- worker
- abnormality
- acceleration
- abnormal
- camera image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Maintenance And Inspection Apparatuses For Elevators (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Telephonic Communication Services (AREA)
Description
本発明は、保守作業の現場等で作業する作業者の安全管理のための作業者状態把握方法に関する。 The present invention relates to a worker state bunch grip method for the safety management of the worker to work in the field, such as maintenance work.
従来から、エレベーター装置に設けられたカメラや保守員がその身体に装着したカメラにより、保守作業の画像を撮影して取得し、危険な場所で作業する作業者の安否確認を行うための作業支援システムが提案されている(例えば、特許文献１参照)。 Conventionally, work support is provided for taking images of maintenance work by taking images of maintenance work with a camera installed in the elevator device or a camera worn by maintenance personnel on the body, and confirming the safety of workers who work in dangerous places. A system has been proposed (for example, see Patent Document 1).
特許文献１に記載の技術は、エレベーター装置の保守作業の安全性を向上させるために、保守作業の対象となるエレベーター装置の仕様と保守員の実作業（保守作業）に応じた危険事例を取得し、この取得した危険事例を保守員に通知するものである。ここで、危険事例とは、保守作業において生じ得る事故や危険等に関する情報であり、事故等の内容、事故が発生したエレベーター装置の仕様、保守作業の内容、及び保守員の状態等の情報が含まれる。 In order to improve the safety of the maintenance work of the elevator device, the technology described in Patent Document 1 acquires a dangerous case according to the specifications of the elevator device that is the target of the maintenance work and the actual work (maintenance work) of the maintenance staff. However, the maintenance case is notified of the acquired dangerous case. Here, the dangerous case is information on accidents and dangers that can occur during maintenance work, and includes information such as the contents of the accident, the specifications of the elevator device where the accident occurred, the contents of the maintenance work, and the status of maintenance personnel. included.
従来の技術は、カメラ画像によって作業者の危険を検知して作業者へ安否確認の通知を行うものであった。この技術では、作業者から送られたカメラ画像を見て、管理者等が作業者に対する安否確認を行い、作業者からの回答がなければ、当該作業者の近くで作業を行っている他の作業者へ知らせるようにする。しかし、カメラ画像で作業者の危険を察知できない場合には、危険通知が出されないため、作業者の危険状態を精確に把握することができないという問題があった。 In the conventional technique, the danger of the worker is detected by the camera image and the safety confirmation is notified to the worker. With this technology, the administrator etc. confirms the safety of the worker by looking at the camera image sent from the worker, and if there is no reply from the worker, the other worker who is working near the worker Notify the workers. However, when the danger of the worker cannot be detected from the camera image, the danger notification is not issued, and thus there is a problem that the danger state of the worker cannot be accurately grasped.
本発明の目的は、作業者の危険状態を精確に把握することが可能な作業者状態把握方法を提供することにある。 An object of the present invention is to provide an accurate grasp operator status bunch grip method capable of a hazardous condition of the worker.
本発明の作業者状態把握方法は、以下（ａ）〜（ｋ）を含む。
（ａ）作業者が装着しているカメラからの画像を受信して異常画像を判定するカメラ画像の異常を判定するカメラ画像判定ステップ、
（ｂ）前記カメラに内蔵されたマイクで検出された音声を受信して異常音を判定する異常音判定ステップ、
（ｃ）前記作業者の携帯している携帯端末に内蔵される加速度センサからの情報を受信して加速度の変化の異常を判定する加速度判定ステップ、
（ｄ）前記カメラ画像判定ステップ、前記異常音判定ステップ及び前記加速度判定ステップの中の２つ以上のステップで異常判定がなされたときに、前記作業者が異常状態に陥っていると把握する作業者状態把握ステップ、
（ｅ）前記作業者状態把握ステップで異常が発生していると判定された前記作業者の位置を確認する作業者位置確認ステップ、
（ｆ）前記作業者が携帯しているカメラのカメラ画像が急変した場合に、前記作業者にその理由を問い合わせるステップ、
（ｇ）前記作業者から問題がない旨の返答があれば、異常なしの判定を行い、前記作業者から何の返答もないときに、前記作業者が異常状態に陥った可能性があると判定するステップ、
（ｈ）前記作業者が異常状態に陥った可能性があると判定した場合に、前記作業者に異常が発生した可能性があることを管理者端末に通知するステップ、
（ｉ）前記作業者に異常が発生した可能性がある通知を受けた前記管理者端末は、前記作業者が異常状態に陥った可能性があることを、前記作業者の近くで作業している他の作業者の携帯端末に通知するステップ、
（ｊ）前記他の作業者の携帯端末に、前記作業者が異常状態に陥る直前のカメラ画像を表示するステップ、
（ｋ）前記管理者端末からの通知を受けて、前記他の作業者は、前記作業者の現場に行き、前記作業者の異常状態に応じて対応するステップ。
The worker state grasping method of the present invention includes the following (a) to (k).
(A) A camera image determination step of determining an abnormality of a camera image by receiving an image from a camera worn by an operator and determining an abnormal image,
(B) an abnormal sound determination step of receiving an audio detected by a microphone built in the camera and determining an abnormal sound;
(C) An acceleration determination step of receiving information from an acceleration sensor incorporated in a portable terminal carried by the worker and determining an abnormality in a change in acceleration,
(D) Work for grasping that the worker is in an abnormal state when an abnormality determination is made in two or more steps of the camera image determination step, the abnormal sound determination step, and the acceleration determination step Person status grasping step,
(E) A worker position confirmation step of confirming the position of the worker determined to have an abnormality in the worker state grasping step,
(F) when the camera image of the camera carried by the worker changes suddenly, inquiring the worker of the reason thereof,
(G) If there is a response from the worker that there is no problem, it is determined that there is no abnormality, and if there is no response from the worker, it is possible that the worker has fallen into an abnormal state. Determining step,
(H) if it is determined that the worker may have fallen into an abnormal state, a step of notifying the administrator terminal that the worker may have an abnormality,
(I) The administrator terminal, which has received the notification that the worker may have an abnormality, performs a work near the worker that the worker may be in an abnormal state. Steps to notify the mobile device of another worker who is
(J) displaying a camera image immediately before the worker falls into an abnormal state on a mobile terminal of the other worker,
(K) Receiving the notification from the administrator terminal, the other worker goes to the site of the worker and responds according to the abnormal state of the worker.
本発明によれば、現場で作業中の作業者の状態をより正確に把握することが可能である。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
According to the present invention, it is possible to more accurately grasp the state of the worker who is working on the site.
Problems, configurations, and effects other than those described above will be clarified by the following description of the embodiments.
[本発明の一実施の形態例の全体構成の説明]
以下、図面を参照して本発明の一実施の形態例について説明する。
図１は、本発明の作業者状態把握方法を実現するための作業者状態把握システムの一実施の形態例（以下、「本例」ということもある）を示すブロック図であり、特に作業者Ａの携帯端末１Ａ、作業者Ｂの携帯端末１Ｂ、ネットワーク３、サーバー装置４及び管理者Ｃの管理者端末５の接続関係を示す。特に、サーバー装置４については、本例の作業状態把握システムにおける情報処理の機能をブロックとして示している。
[Description of Overall Configuration of Embodiment of the Present Invention]
An embodiment of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing an example of an embodiment (hereinafter, also referred to as “this example”) of a worker state grasping system for realizing a worker state grasping method of the present invention, and in particular, a worker The connection relationship of the
作業者Ａと作業者Ｂは、それぞれカメラ２Ａと２Ｂを装着して作業を行うことになる。このカメラ２Ａ及び２Ｂには不図示のマイクが内蔵されており、カメラ２Ａ及び２Ｂからはカメラ画像とマイクで拾った音声が出力される。また、カメラ２Ａ及び２Ｂは、無線により作業者Ａ及びＢが保有する携帯端末１Ａ、１Ｂと通信することができるようになっている。なお、携帯端末１Ａ、１Ｂには、不図示の加速度センサが内蔵されている。
The worker A and the worker B will wear the
携帯端末１Ａ、１Ｂは、ネットワーク３を経由してサーバー装置４と接続されている。また、管理者Ｃが操作する管理者端末５は、直接あるいは不図示のネットワーク経由でサーバー装置４に接続される。
以下、作業者Ａと作業者Ｂを区別しないで、作業者Ａ、Ｂが保有する携帯端末１Ａ、１Ｂを総称して述べるときは、「携帯端末１」と記載し、同様にカメラ２Ａ、２Ｂについても「カメラ２」と記載することとする。なお、本例では、説明の都合上、作業者Ａと作業者Ｂの２名を挙げているが、作業者の数は、２名を超える複数の人数の場合も同様に取り扱われることはいうまでもない。
The
Hereinafter, when the
サーバー装置４は、本例における処理部のソフトウェア機能として、カメラ画像判定部４１、加速度判定部４２、音声判定部４３、作業者位置確認部４４及び作業者状態把握部４５を備える。これらの各機能は、後述するＣＰＵからなる制御部４６によって制御される。
The server device 4 includes a camera
カメラ画像判定部４１は、作業者Ａ及び作業者Ｂのカメラ２Ａ及び２Ｂからのカメラ画像から作業者Ａまたは作業者Ｂの作業状態が良好であるか、あるいは作業者Ａまたは作業者Ｂに事故等の異常事態が発生していないかどうかを判定する。加速度判定部４２は、携帯端末１Ａ及び１Ｂに内蔵されている加速度センサの測定波形の変化を検知することにより、作業者ＡまたはＢの良好または異常を判定する。また、音声判定部４３は、作業者Ａ及び作業者Ｂの装着するカメラ２Ａ及び２Ｂから作業者の叫び声などの異常音を検出するものであり、異常音が発生した場合には作業者Ａまたは作業者Ｂに何らかの異常事態が発生したと判断する。
The camera
作業者位置確認部４４は、ＧＰＳ(Global Positioning System) 機能が搭載された携帯端末１Ａ及び１Ｂからの情報に基づいて各作業者Ａ及び作業者Ｂの位置を確認する。
作業者状態把握部４５は、カメラ画像判定部４１、加速度判定部４２、音声判定部４３及び作業者位置確認部４４からの情報に基づいて、作業者Ａまたは作業者Ｂに事故等の異常が発生していないかどうかを把握する。なお、カメラ画像判定部４１、加速度判定部４２及び音声判定部４３における判定結果から作業者の異常状態を判定する具体例については後述する。
The worker
Based on the information from the camera
作業者状態把握部４５は、カメラ画像判定部４１、加速度判定部４２，音声判定部４３及び作業者位置確認部４４からの情報に基づいて作業者の状態を常時把握している。そして、作業者状態把握部４５において、例えば作業者Ｂの状態が異常と判定した場合（図１参照）は、事務所の管理端末５に通知して管理者Ｃに知らせる。また、作業者位置確認部４４により抽出された作業者Ｂの最も近くで作業している作業者Ａに対して、その保有する携帯端末１Ａを経由して作業者Ｂの異常を通知する。
The worker
[携帯端末１及び管理者端末５のハードウェア構成の説明]
図２は、本例の作業者状態把握システムに用いられる、携帯端末１及び管理者端末５のハードウェア構成を示す。
まず、図２は、作業者Ａまたは作業者Ｂが身に付けている携帯端末１Ａ及び１Ｂのハードウェア構成及び管理者端末５のハードウェア構成を示している。
[Description of Hardware Configuration of Mobile Terminal 1 and Administrator Terminal 5]
FIG. 2 shows the hardware configuration of the mobile terminal 1 and the
First, FIG. 2 shows the hardware configuration of the
図２に示すように、携帯端末１及び管理者端末５は、バス３０に接続されたＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３、不揮発性ストレージ２４を備える。また、外部との通信を行うためのネットワークインタフェース２５、入力部２６及び表示部２７を備える。
As shown in FIG. 2, the mobile terminal 1 and the
ＣＰＵ２１は、本例の作業者状態把握システムに関係する各機能を実現するソフトウェアのプログラムコードをＲＯＭ２２から読み出して実行する。ＲＡＭ２３には、演算処理の途中に発生した変数等が一時的に書き込まれる。ＣＰＵ２１がＲＯＭ２２に記録されているプログラムコードを実行することにより、携帯端末１及び管理者端末５の各種機能が実現される。
The
不揮発性ストレージ２４は、通常スマートフォン等に用いられるＳＳＤ（Solid State Drive）等の不揮発性のメモリである。ＲＯＭ２２と不揮発性ストレージ２４には、ＣＰＵ２１が動作するために必要なプログラムやデータ等が、半永久的に記憶され、格納されている。
The non-volatile storage 24 is a non-volatile memory such as SSD (Solid State Drive) usually used in smartphones and the like. The
ネットワークインタフェース２５としては、例えば、ＮＩＣ（Network Interface Card）等が用いられ、このネットワークインタフェース２５を通して、携帯端末１及び管理者端末５とサーバー装置４との通信が行われる。また、表示部２６には、サーバー装置４から送られる情報や、作業者Ａまたは作業者Ｂからのカメラ２Ａ、２Ｂで撮影した映像などが表示される。
As the
携帯端末１と管理者端末５では、入力部２６の動作が異なっている。携帯端末１では、作業者が装着するカメラ２からの映像情報、音声情報の他に携帯端末１に内蔵する加速度センサからの加速度データが入力される。一方、管理者端末５における入力部２８は、管理者Ｃが入力装置として用いるキーボードやマウスを意味する。
The operation of the
[サーバー装置４のハードウェア構成の説明]
図３は、サーバー装置４のハードウェア構成を示す。図３に示すＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３は、図２に示すＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３と同じなのでここでは説明を省略する。図３に示すサーバー装置４では、不揮発性ストレージ３４の内容が図２の不揮発性ストレージ２４と異なっている。すなわち、図３の不揮発性ストレージ３４は、画像データベース（画像ＤＢ）３５、加速度データベース（加速度ＤＢ）３６、及び音声データベース（音声ＤＢ）３７を含む。
[Description of hardware configuration of server device 4]
FIG. 3 shows a hardware configuration of the server device 4. The
画像データベース３５には、作業者Ａ、Ｂが装着しているカメラ２Ａ、２Ｂで撮影されたカメラ画像が記憶される。加速度データベース３６には、作業者Ａ、Ｂが保有する携帯端末１Ａ、１Ｂに内蔵される加速度センサからのデータが記憶される。音声データベース３７には、カメラ２Ａ、２Ｂに付属する不図示のマイクで検出した音声が記憶される。なお、カメラ２Ａ、２Ｂまたは携帯端末１Ａ、１Ｂからの画像、加速度及び音声の各データは、通信インターフェース（通信１／Ｆ）３８を通して、それぞれのデータベース３５〜３７に記憶される。
The
[作業者Ａ、Ｂの作業が良好に行われている場合の処理フローの説明]
次に、本例のシステムが、良好に作動している状態について、図４を参照して説明する。
図４は、作業者Ａ、Ｂに異常が発生しない状態で、本例に用いられる携帯端末１、サーバー装置４及び管理者端末５の定常的に動作しているときのシーケンス図である。
まず、作業者Ａ、Ｂに装着されたカメラ２Ａ、２Ｂで撮影した画像は、作業者Ａ、Ｂの携帯端末１Ａ、１Ｂを通して、サーバー装置４の画像データベース３５に記憶される（ステップＳ４１）。また、携帯端末１Ａ、１Ｂに内蔵される不図示の加速度センサのデータが、サーバー装置４の加速度データベース３６に記憶される（ステップＳ４２）。また、作業者Ａ、Ｂの装着したカメラ２Ａ、２Ｂに付属するマイクで検出される作業中の音声が、携帯端末１Ａ、１Ｂを通して、サーバー装置４の音声データベース３７に記憶される（ステップＳ４３）。
[Explanation of the processing flow when the work of the workers A and B is performed well]
Next, a state in which the system of this example is operating well will be described with reference to FIG.
FIG. 4 is a sequence diagram when the mobile terminal 1, the server device 4, and the
First, the images captured by the
サーバー装置４は、画像データベース３５，加速度データベース３６，音声データベース３７に記憶された各種データに基づいて、作業者Ａ、Ｂに事故等の異常が発生したが否かの判定を行う（ステップＳ４４）。そして、作業者Ａ、Ｂの作業に異常が発生していないことを確認する（ステップＳ４５）。続いて、サーバー装置４は、管理者端末５に対して作業者Ａ、Ｂの作業の進捗状況が良好であることを通知する（ステップＳ４６）。なお、作業者Ａ、Ｂの作業が良好に進捗している場合には、管理者ＣによるステップＳ４６の作業確認は省略してもよい。また、サーバー装置４は、必要に応じて作業者Ａ、Ｂに対して今後の作業手順の指示を行う（ステップＳ４７）。
The server device 4 determines whether or not an abnormality such as an accident has occurred in the workers A and B based on various data stored in the
［作業者Ｂに事故が発生した場合の処理フローの説明］
次に、図５のシーケンス図を参照して、作業者Ｂの現場で危険を伴う事故が発生したときの処理の流れを説明する。
図５に示すように、作業者Ｂに危険を伴う事故が発生する（ステップＳ５０）と、作業者Ｂが装着しているカメラ２Ｂの画像が急変する（ステップＳ５１）。すると、サーバー装置４のカメラ画像判定部４１は、カメラ画像のブレを検知し（ステップＳ５２）、作業者Ｂの携帯端末１Ｂに対して、画像急変の理由を問い合わせる（ステップＳ５３）。そして、作業者Ｂから問題がない旨の返答があれば、「異常なし」の判定を行い、作業者Ｂから何の返答もないときに、作業者Ｂが異常状態に陥った可能性があると判定する。
[Explanation of processing flow when operator B has an accident]
Next, with reference to the sequence diagram of FIG. 5, a flow of processing when a dangerous accident occurs at the site of the worker B will be described.
As shown in FIG. 5, when an accident involving worker B occurs (step S50), the image of the
また、作業者Ｂに危険を伴う事故が発生すると、作業者Ｂの保有する携帯端末１Ｂに内蔵される加速度センサにより異常な加速度が検出される（ステップＳ５４）。すると、サーバー装置４の加速度判定部４２は、異常加速度を検知し（ステップＳ５５）、作業者Ｂの携帯端末１Ｂに対して、異常加速度検知の理由を問い合わせる（ステップＳ５６）。そして、加速度判定部４２は、作業者Ｂからの返答があれば、異常発生がなかったものと判定し、作業者Ｂからの応答がない場合には、作業者Ｂが異常状態に陥っている可能性があると判定する。
When an accident involving worker B occurs, an abnormal acceleration is detected by the acceleration sensor built in the
また、作業者Ｂに危険を伴う事故が発生すると、作業者Ｂのカメラ１Ｂに内蔵されるマイクから転落時の衝撃音や悲鳴などの異常音が発生する（ステップＳ５７）。サーバー装置４の音声判定部４３はこの異常音を検出し（ステップＳ５８）、作業者Ｂの携帯端末１Ｂに対して、異常音が発生した理由を問い合わせる（ステップＳ５９）。これに対して、作業者Ｂからの返答があれば、音声判定部４３は、作業者Ｂに異常発生がなかったと判定し、作業者Ｂからの応答がない場合のみ、作業者Ｂが異常状態になっている可能性があると判定する。
Further, when a dangerous accident occurs in the worker B, an abnormal sound such as an impact sound or a scream when the worker B falls is generated from the microphone built in the
図６Ａ〜Ｃは、カメラ画像判定部４１、加速度判定部４２及び音声判定部４３で作業者の異常を判定するときの、波形図を示している。図６Ａに示すように、作業者Ｂが事故等の危険に見舞われた場合、例えば転倒や異常振動などで、あるレベルを保っていたカメラ画像のレベルが一時的に急変し、その後レベル変動がほとんど観測されない状態が続く。カメラ画像判定部４１は、この一時的に大きい画像レベルに変化したカメラ画像のブレ測定波形からカメラ画像の異常を判定する。ここで、カメラ画像判定部４１は、例えば、所定期間（例えば１秒ごと）に前の画像と新しい画像の比較を行い、撮影された各画像中の平均明度または色情報等が所定の閾値を超えて変化したこと、あるいは両画像中で認識した任意の形状の位置、大きさ、または角度が所定の閾値を超えて変化したことを持って画像がブレたことを判定する。
6A to 6C show waveform diagrams when the camera
また、図６Ｂに示されるように、加速度判定部４２は、作業者Ｂの携帯端末１Ｂの加速度センサからの信号に基づいて常時その加速度レベルを監視しており、定常的な作業状態であれば、この加速度レベルは多少の微小変動を伴うものの、ほぼ一定のレベルを保っている。しかし、作業者Ｂが転落や落下等の危険に見舞われた場合、所定のレベルを保っていた加速度レベルが一時的に急変し、その後レベル変動がほとんど見られなくなる。
Further, as shown in FIG. 6B, the acceleration determination unit 42 constantly monitors the acceleration level based on the signal from the acceleration sensor of the
これは、事故後に作業者Ｂの携帯端末１Ｂに内蔵される加速度センサが、事故時に想定以上の加速度を検出し、その後携帯端末１Ｂがほぼ静止に近い状態（動いていない状態）になっていることを意味している。加速度判定部４２は、図６Ｂに示されるような加速度センサの出力の急激な変化波形に基づいて、作業者Ｂの異常を判定する。
異常判定の一例を挙げると、加速度判定部４２は、各作業者Ａ、Ｂにおける通常であればある尤度をもって変化する過去何日間かの平均加速度を予め記憶している。そして、作業者Ｂの保有する加速度センサから新しく送られた加速度データが、過去の平均加速度を所定値以上上回り、その後加速度の検出値が一定期間、所定の範囲内であったときに異常が発生したと判定する。
This is because the acceleration sensor built in the
As an example of the abnormality determination, the acceleration determination unit 42 stores in advance the average acceleration of each of the workers A and B over the past several days, which normally changes with a certain likelihood. Then, when the acceleration data newly sent from the acceleration sensor possessed by the worker B exceeds the past average acceleration by a predetermined value or more, and then the detected value of the acceleration is within a predetermined range for a certain period, an abnormality occurs. It is judged that it did.
また、図６Ｃに示すように、音声判定部４３は、作業者Ｂに危険を伴う事故等が発生した場合、作業者Ｂが装着しているカメラ２Ｂに内蔵されているマイクからの音を検出する。作業者Ｂに何らかの事故が発生した場合、カメラ２Ｂに内蔵されているマイクによって、作業者Ｂの悲鳴や何らかの衝撃音が検出される。サーバー装置４の音声判定部４３は、図６Ｃに示される音声情報の急激なレベル変化を異常音として捉え、このような波形が大きくなった異常音を検出したとき、作業者Ｂに異常が発生したと判定する。
Further, as shown in FIG. 6C, the
再び、図５に戻って説明を続ける。図７、図８により後述するように、サーバー装置４の作業者状態把握部４５は、カメラ画像判定部４１，加速度判定部４２及び音声判定部４３の、いずれか２つ以上で作業者Ｂの異常が判定された場合に、作業者Ｂに危険を伴う異常が発生したと判断する（ステップＳ６０）。その後、作業者位置確認部４４は、作業者Ｂの保有する携帯端末１Ｂの持つＧＰＳ機能を使って、作業者Ｂが危険にあったと思われる位置を確認する（ステップＳ６１）。そして、管理者Ｃの操作する管理者端末５に対して、作業者Ｂが危険を伴う異常状態に陥った旨の通知を行う(ステップＳ６２)。
Again, returning to FIG. 5, the description will be continued. As will be described later with reference to FIGS. 7 and 8, the worker
一方、サーバー装置４の作業者状態把握部４５は、作業者Ｂに事故等の異常が発生したことを、作業者Ｂの近くで作業している作業者Ａに対して通知する（ステップＳ６３）。そして、作業者Ａの携帯端末１Ａに、作業者Ｂから送られてきた事故直前のカメラ画像を表示する（ステップＳ６４）。また、サーバー装置４から作業者Ｂが事故等の異常状態になっている旨の通知を受けた管理者Ｃは、管理者端末５を介して近くの作業者Ａに対して作業者Ｂの救助に向かうように指令する（ステップＳ６６）。作業者Ａは直ちに作業者Ｂの事故現場に向かい、作業者Ｂの異常状態の程度に応じて、適切な救助活動を行う（ステップＳ６７）。
On the other hand, the worker
ここで、ステップＳ６０において、作業者状態把握部４５が、どのように作業者Ｂの異常を判定するか否かについて、図７を参照して説明する。
図７は、作業者状態把握部４５が判定に用いるデータベースのテーブルを示したものである。図７に示すテーブルは、作業者状態フィールドと検出パラメータ判定フィールドと異常検知フィールドを含む。作業者の異常を検出する検出パラメータ判定フィールドには、カメラ画像フィールド、加速度変化フィールド、異常音変化フィールドの３つのフィールドが設けられている。
Here, it will be described with reference to FIG. 7 how the worker
FIG. 7 shows a database table used by the worker
サーバー装置４のカメラ画像判定部４１において、作業者のカメラ２から得られる画像に急激なブレ（図６Ａ参照）が検出されない場合にはカメラ画像フィールドに「○」印を付し、大きなブレが検出されたときはカメラ画像フィールドに「×」印を付ける。
また、加速度判定部４２において、作業者の携帯端末１に内蔵された加速度センサから得られる加速度に図６Ｂに示すような大きな変化がなければ、加速度判定部４２は、加速度変化フィールドに「○」印を付け、大きな変化があれば「×」を付ける。
同様に、音声判定部４３は、作業者のカメラ２に内蔵されたマイクから図６Ｃに示されるような大きな変化音を検出しなければ、異常音変化フィールドに「○」を付し、大きな変化音（異常音）を検出すると、異常音変化フィールドに「×」印を付ける。
When the camera
Further, in the acceleration determination unit 42, if there is no large change in the acceleration obtained from the acceleration sensor built in the worker's mobile terminal 1 as shown in FIG. 6B, the acceleration determination unit 42 indicates “O” in the acceleration change field. Mark and mark “X” if there is a big change.
Similarly, if the
図５のステップＳ６０で説明したように、作業者状態把握部４５は、カメラ画像判定部４１、加速度判定部４２及び音声判定部４３のいずれか２つ以上が作業者Ｂの異常を判定したときに、事故の発生等により作業者Ｂが異常状態に陥ったと判断する。カメラ画像判定部４１、加速度判定部４２及び音声判定部４３の１つだけが異常を判定した場合には、作業者Ｂが異常状態に陥っていると判定しない。
なぜなら、カメラ画像のブレ、加速度の急変または異常音の発生のうち、１つの事象だけで異常判定をすることになると、誤判定により無駄な対応を取る可能性が増えて、作業効率を落とすことになりかねない。図７に示すように、本発明の実施形態例では、少なくとも２つの事象で異常が発生しとき、作業者Ｂに異常が発生したと判定している。
As described in step S60 of FIG. 5, when the worker
This is because, if the abnormality determination is made by only one of the camera image blur, the sudden change in acceleration, or the generation of abnormal sound, the possibility of taking unnecessary measures due to erroneous determination increases and the work efficiency decreases. Could be. As shown in FIG. 7, in the exemplary embodiment of the present invention, when abnormality occurs in at least two events, it is determined that the abnormality has occurred in the worker B.
なお、ステップＳ５３、Ｓ５６、Ｓ５９に加えて、もしくは代えて、作業者状態把握部４５が作業者Ｂの異常検知（ステップＳ６０）後に、応答確認を行ってもよい。その場合、例えば、検出パラメータ判定結果で、異常を検知した数、またはその頻度が少なければ少ないほど、応答確認時間（何も応答がなければそのまま異常と判断する時間）を長く設定してもよい。その場合、異常が発生していない場合の作業者の応答負担を軽減することができる。つまり、異常と判定される感度が高いような場合は、作業中に何度も応答確認が通知され、そのたびに作業を中断してすぐに応答確認をすることになる。そこで、異常度（異常を検知した数やその頻度）に応じて応答確認時間を変更することで、作業者への負担を軽減しつつ、異常をより適切に判定することができる。
In addition to or instead of steps S53, S56, and S59, the worker
[本例のシステムにおける全体の処理フローの説明]
図８は、本例の作業者状態把握システムにおいて、作業者の状態を把握してから、事故が発生した場合の対応までのシステム全体の処理の流れについて示したフローチャートである。図５の説明と重複する部分もあるが、全体を通して本例のシステムにおける処理の流れを説明する。
[Explanation of the overall processing flow in the system of this example]
Figure 8 is the operator status bunch Nigishi stem of the present example, after grasping the state of the worker is a flowchart showing the flow of processing of the entire system to response in the event of an accident. Although there is a part overlapping with the description of FIG. 5, the flow of processing in the system of this example will be described throughout.
作業者が作業を開始すると（ステップＳ８０）、カメラ画像判定部４１は、作業者の携帯端末１から送られた画像に異常なブレが発生したか否かを判定する（ステップＳ８１）。また、加速度判定部４２は、作業者の携帯端末に内蔵される加速度センサが大きな加速度変化を検出したか否かを判定する（ステップＳ８２）。更に、音声判定部４３は、作業者のカメラ２に内蔵されているマイクから異常音が発生したか否かを判定する（ステップＳ８３）。
When the worker starts work (step S80), the camera
次に、カメラ画像判定部４１で、図６Ａに示すような大きなブレが検出されると、カメラ画像判定部４は、異常を示した作業者Ｂの携帯端末１Ｂに異常を検出した旨の情報を通知して作業者Ｂからの応答を待つ（ステップＳ８４）。同様に、加速度判定部４２も、図６Ｂのような異常加速度を検知すると、異常を示した作業者Ｂの携帯端末１Ｂに異常を検出した旨の情報を通知して作業者Ｂからの応答を待つ（ステップＳ８５）。音声判定部４３も、図６Ｃのような異常音を検知すると、異常音が送信された作業者Ｂの携帯端末１Ｂに異常音を検出した旨の情報を通知して作業者Ｂからの応答を待つ（ステップＳ８６）。
Next, when the camera
次に、ステップＳ８４〜Ｓ８６に示す判定結果に基づいて、作業者情報把握部４５は、作業者に事故等の異常が発生した否かを判定する。なお、ここではカメラ画像判定部４１、加速度判定部４２、及び音声判定部４３の少なくとも２つが異常を示したか否かを判断する（ステップＳ８７）。ステップＳ８７においてカメラ画像判定部４１、加速度判定部４２、及び音声判定部４３の少なくとも２つが異常を示していないとき（ステップＳ８７のＮＯ）は、新たなカメラ画像、加速度情報及び音声情報の監視状態に入る。
Next, the worker
ステップＳ８７で作業者Ｂが異常状態に陥っていると判定した場合（ステップＳ８７のＹＥＳ）には、作業者情報把握部４５は、近くの作業者Ａの携帯端末１Ａに向けて作業者Ｂに事故等の異常が発生した旨の通知を行う（ステップＳ８８）。そして、作業者Ｂの事故直前のカメラ画像を作業者Ａの携帯端末１Ａに表示する（ステップＳ８９）。また、作業者情報把握部４５は、同時に管理者Ｃの管理者端末５に対して作業者Ｂの作業現場で事故が発生した旨を通知する（ステップＳ９０）。
When it is determined in step S87 that the worker B is in the abnormal state (YES in step S87), the worker
作業者情報把握部４５から通知を受けた管理者Ｃは、近くの作業者Ａに作業者Ｂが事故に遭遇したようである旨を通知するとともに（ステップＳ９１）、作業者Ａに対して作業者Ｂの現場に向かうように指示する（ステップＳ９２）。なお、作業者Ｂの状態により、更に他の必要な部署にも連絡する。ステップＳ８８またはステップＳ９１において、作業者情報把握部４５または管理者Ｃから連絡を受けた作業者Ａは、作業者Ｂの現場に直行し、事故に遭った作業者Ｂの状況に応じて適切な対応を取る（ステップＳ９３）。
Upon receiving the notification from the worker
［変形例］
以上説明したように、本発明の実施形態例では、図７、図８で説明したように、カメラ画像変化、加速度変化または音声変化のいずれか２つ以上に異常が発生したことに基づいて、作業者Ｂに異常が発生したと判断している。本例の第１の変形例として、カメラ画像における判定を主たる異常判定とし、それ以外に副として加速度センサによる異常が判定された場合に作業者の異常状態を判定することとしてもよい。この場合には、図１に示す音声判定部４３、及び図３に示す音声データベース３７は必ずしも必要とはされない。その際、例えば、カメラを作業者の頭部（首から上）に、加速度センサ（作業者の端末）を、作業者の胴体部（首から下）に装着させることで、異常判定精度をより向上できる。つまり、２つのセンサを頭部と胴体部のように異なる個所に装着することで、頭部だけの正常な動き（人に呼ばれて振り向いただけのような場合）に対して異常と誤判定される可能性を低くすることができる。
[Modification]
As described above, in the embodiment of the present invention, as described with reference to FIGS. 7 and 8, based on the occurrence of abnormality in two or more of the camera image change, the acceleration change, and the voice change, It is determined that the operator B has an abnormality. As a first modified example of the present example, the determination in the camera image may be the main abnormality determination, and the abnormality state of the worker may be determined when the abnormality of the acceleration sensor is determined as a subordinate determination. In this case, the
同様に、第２の変形例として、主としてカメラ画像における異常判定を必須のものとして、加えて、副としてマイクによる異常音の発生があった場合に、作業者の異常を判定するようにしてもよい。この場合には、図１に示す加速度判定部４３、及び図３に示す加速度データベース３６は必ずしも必要とはされないことは言うまでもない。
Similarly, as a second modification, the abnormality determination in the camera image is mainly required, and in addition, the abnormality of the worker may be determined when an abnormal sound is generated by the microphone. Good. In this case, it goes without saying that the
以上、本発明の実施形態例である作業者情報把握装置及びそれを用いたシステムについて説明した。図１に示す本例のシステムでは、サーバー装置４に、作業者情報を把握するための装置を設けているが、サーバー装置４内に設けられるカメラ画像判定部４１、加速度判定部４２、音声判定部４３及び作業者状態把握部４５は、必ずしもサーバー装置４内に設ける必要はない。例えば、管理者端末５内にこのような機能を持つソフトウェアを実装してもよいし、特定の作業者の携帯端末１に実装することも考えられる。
The worker information grasping apparatus and the system using the same, which are the embodiments of the present invention, have been described above. In the system of this example shown in FIG. 1, the server device 4 is provided with a device for grasping worker information. However, the camera
上述した各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現することもできる。また、上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
Each of the above-described configurations, functions, processing units, processing means, and the like can be realized in hardware by designing a part or all of them with, for example, an integrated circuit. Further, the above-described respective configurations and functions may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as a program, a table, and a file that realizes each function can be stored in a memory, a recording device such as a hard disk and an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, and a DVD.
Further, the control lines and information lines are shown as being considered necessary for explanation, and not all control lines and information lines are shown in the product. In reality, it may be considered that almost all the configurations are connected to each other.
なお、本発明は、明細書または図面に開示した実施形態例に限定されるものではなく、特許請求の範囲に記載した内容を逸脱しない限りにおいて、他の応用例及び変形例を含むことは勿論である。 It should be noted that the present invention is not limited to the embodiment examples disclosed in the specification or the drawings, and naturally includes other application examples and modified examples without departing from the content described in the claims. Is.
Ａ、Ｂ・・・作業者、Ｃ・・・管理者、１Ａ、１Ｂ・・・作業者Ａ、Ｂが保有する携帯端末、２Ａ、２Ｂ・・・作業者Ａ、Ｂが装着するカメラ、３・・・ネットワーク、４・・・サーバー装置、５・・・管理者端末、４１・・・カメラ画像判定部、４２・・・加速度判定部、４３・・・音声判定部、４４・・・作業者位置確認部、４５・・・作業者状態把握部、４６・・・制御部、２１、３１・・・ＣＰＵ、２２、３２・・・ＲＯＭ、２３、３３・・・ＲＡＭ、２４，３４・・・不揮発性ストレージ、３５・・・画像データベース（画像ＤＢ）、３６・・・加速度データベース（加速度ＤＢ）、３７・・・音声データベース（音声ＤＢ）、２５、３８・・・通信インターフェース（通信Ｉ／Ｆ）、２６・・・入力部、２７・・・表示部 A, B ... Workers, C ... Managers, 1A, 1B ... Mobile terminals owned by workers A, B, 2A, 2B ... Cameras worn by workers A, B, 3 ... network, 4 ... server device, 5 ... administrator terminal, 41 ... camera image determination unit, 42 ... acceleration determination unit, 43 ... voice determination unit, 44 ... work Person position confirmation unit, 45 ... Worker state grasping unit, 46 ... Control unit, 21, 31 ... CPU, 22, 32 ... ROM, 23, 33 ... RAM, 24, 34 ... ..Nonvolatile storage, 35 ... Image database (image DB), 36 ... Acceleration database (acceleration DB), 37 ... Voice database (voice DB), 25, 38 ... Communication interface (communication I / F), 26 ... Input unit, 27 ... Display unit
Claims (1)
前記カメラに内蔵されたマイクで検出された音声を受信して異常音を判定する異常音判定ステップと、
前記作業者の携帯している携帯端末に内蔵される加速度センサからの情報を受信して加速度の変化の異常を判定する加速度判定ステップと、
前記カメラ画像判定ステップ、前記異常音判定ステップ及び前記加速度判定ステップの中の２つ以上のステップで異常判定がなされたときに、前記作業者が異常状態に陥っていると把握する作業者状態把握ステップと、
前記作業者状態把握ステップで異常が発生していると判定された前記作業者の位置を確認する作業者位置確認ステップと、
前記作業者が携帯しているカメラのカメラ画像が急変した場合に、前記作業者にその理由を問い合わせるステップと、
前記作業者から問題がない旨の返答があれば、異常なしの判定を行い、前記作業者から何の返答もないときに、前記作業者が異常状態に陥った可能性があると判定するステップと、
前記作業者が異常状態に陥った可能性があると判定した場合に、前記作業者に異常が発生した可能性があることを管理者端末に通知するステップと、
前記作業者に異常が発生した可能性がある通知を受けた前記管理者端末は、前記作業者が異常状態に陥った可能性があることを、前記作業者の近くで作業している他の作業者の携帯端末に通知するステップと、
前記他の作業者の携帯端末に、前記作業者が異常状態に陥る直前のカメラ画像を表示するステップと、
前記管理者端末からの通知を受けて、前記他の作業者は、前記作業者の現場に行き、前記作業者の異常状態に応じて対応するステップと、を含む、
作業者状態把握方法。 A camera image determination step of determining an abnormality of a camera image by receiving an image from a camera worn by an operator and determining an abnormal image,
An abnormal sound determination step of receiving an audio detected by a microphone built in the camera and determining an abnormal sound;
An acceleration determination step of receiving information from an acceleration sensor built in a portable terminal carried by the worker and determining an abnormality in a change in acceleration,
The camera image determination step, when the abnormality determination in two or more steps in the abnormal sound determination step and the acceleration determination step is performed, the worker state grasping to understand and the worker is an abnormal state Steps,
And the operator position confirmation step of confirming an abnormality occurs and the determined location of the worker in the worker state acquisition step,
When the camera image of the camera carried by the worker changes suddenly, inquiring the reason to the worker,
If there is a response from the worker that there is no problem, it is determined that there is no abnormality, and if there is no response from the worker, a step of determining that the worker may have fallen into an abnormal state When,
When it is determined that the worker may have fallen into an abnormal state, a step of notifying the administrator terminal that the worker may have an abnormality,
The administrator terminal, which has received the notification that the worker may have an abnormality, indicates that the worker may have fallen into an abnormal state when another worker is working near the worker. A step of notifying the worker's mobile terminal,
A step of displaying a camera image immediately before the worker falls into an abnormal state on the mobile terminal of the other worker,
In response to the notification from the administrator terminal, the other worker goes to the worker's site, and responds according to an abnormal state of the worker,
How to know the worker status.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017035997A JP6691068B2 (en) | 2017-02-28 | 2017-02-28 | How to grasp the worker status |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017035997A JP6691068B2 (en) | 2017-02-28 | 2017-02-28 | How to grasp the worker status |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018142169A JP2018142169A (en) | 2018-09-13 |
| JP6691068B2 true JP6691068B2 (en) | 2020-04-28 |
Family
ID=63528225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017035997A Active JP6691068B2 (en) | 2017-02-28 | 2017-02-28 | How to grasp the worker status |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6691068B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6909076B2 (en) * | 2017-06-30 | 2021-07-28 | 日本製鉄株式会社 | Information processing system, information processing device, information processing method and program |
| JP7171370B2 (en) * | 2018-10-30 | 2022-11-15 | 三菱電機ビルソリューションズ株式会社 | Safety management system |
| KR102498536B1 (en) * | 2022-11-14 | 2023-02-14 | (주)티에스엔지니어링건축사사무소 | Anti-theft system for apartment house and its construction method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010237781A (en) * | 2009-03-30 | 2010-10-21 | National Institute Of Advanced Industrial Science & Technology | Imaging apparatus for monitoring, and imaging system for monitoring |
| JP2011243085A (en) * | 2010-05-20 | 2011-12-01 | Midori Anzen Co Ltd | Fall monitoring system for moving person |
| JP2014133619A (en) * | 2013-01-09 | 2014-07-24 | Mitsubishi Electric Building Techno Service Co Ltd | Alarm system for elevator maintenance work and alarm method for elevator maintenance work |
| JP5916000B1 (en) * | 2014-12-05 | 2016-05-11 | 東芝エレベータ株式会社 | Maintenance work support apparatus, system, and method |
| JP6022002B1 (en) * | 2015-06-08 | 2016-11-09 | 東芝エレベータ株式会社 | Maintenance management system |
-
2017
- 2017-02-28 JP JP2017035997A patent/JP6691068B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018142169A (en) | 2018-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI759339B (en) | Fall protective system and fall protective self-retracting lifeline apparatus | |
| JP6691068B2 (en) | How to grasp the worker status | |
| KR102295308B1 (en) | Wearable safety terminal and control method for accident prevention using the same | |
| US20220284366A1 (en) | Method and system for managing a crane and/or construction site | |
| JP5260955B2 (en) | Anomaly detection support system | |
| JP2019067207A (en) | Work determination program, work determination method and work determination apparatus | |
| KR20190116781A (en) | Apparatus and method for preventing fall accident using wearable device | |
| KR20150031985A (en) | System for tracking dangerous situation in cooperation with mobile device and method thereof | |
| JP2014115700A (en) | Confirmation requirement degree determination device, confirmation requirement degree determination method, and program | |
| KR20210086829A (en) | Smart cctv control and warning system | |
| JP2007213194A (en) | Situation analytical system and situation analytical method | |
| KR20200079001A (en) | Control system and method using integrated environmental monitoring | |
| KR20210086790A (en) | Risk notification system and the method thereof using virtual proxy sensor and virtual space-based danger zone setting with rtls sensor | |
| JP2008007308A (en) | Operation report system used when earthquake occurs | |
| JP6909076B2 (en) | Information processing system, information processing device, information processing method and program | |
| US6879931B2 (en) | System and method for protection of equipment during motion anomalies | |
| KR20160100723A (en) | Cctv image analysis apparatus and method of driving thereof | |
| KR102396625B1 (en) | Diagnostic system and method for tower crane | |
| KR102218840B1 (en) | Smart safety hook system | |
| KR20190069792A (en) | Construction secure safety equipment | |
| JP7453072B2 (en) | Information processing device, learning device, area setting method, and learning method | |
| JP2010204924A (en) | Monitoring control system and monitoring method for maintenance apparatus | |
| CN109035115A (en) | Construction worker's method for managing security, device and electronic equipment | |
| KR20220037614A (en) | Safety helmet with alarm function for working environment | |
| JP6954133B2 (en) | Production control system and production control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191105 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191031 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200317 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200409 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6691068 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |