JP2018142169A - Worker state grasping device, worker state grasping system, and worker state grasping method - Google Patents
Worker state grasping device, worker state grasping system, and worker state grasping method Download PDFInfo
- Publication number
- JP2018142169A JP2018142169A JP2017035997A JP2017035997A JP2018142169A JP 2018142169 A JP2018142169 A JP 2018142169A JP 2017035997 A JP2017035997 A JP 2017035997A JP 2017035997 A JP2017035997 A JP 2017035997A JP 2018142169 A JP2018142169 A JP 2018142169A
- Authority
- JP
- Japan
- Prior art keywords
- worker
- abnormality
- acceleration
- unit
- determination unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Alarm Systems (AREA)
- Telephonic Communication Services (AREA)
- Maintenance And Inspection Apparatuses For Elevators (AREA)
- Emergency Alarm Devices (AREA)
Abstract
Description
本発明は、保守作業の現場等で作業する作業者の安全管理のための作業者状態把握装置、作業者状態把握システム及び作業者状態把握方法に関する。 The present invention relates to a worker state grasping device, a worker state grasping system, and a worker state grasping method for safety management of a worker who works at a maintenance work site or the like.
従来から、エレベーター装置に設けられたカメラや保守員がその身体に装着したカメラにより、保守作業の画像を撮影して取得し、危険な場所で作業する作業者の安否確認を行うための作業支援システムが提案されている(例えば、特許文献１参照)。 Conventionally, work support for taking images of maintenance work with cameras installed on elevators and cameras attached to the body of maintenance personnel and confirming the safety of workers working in dangerous places A system has been proposed (see, for example, Patent Document 1).
特許文献１に記載の技術は、エレベーター装置の保守作業の安全性を向上させるために、保守作業の対象となるエレベーター装置の仕様と保守員の実作業（保守作業）に応じた危険事例を取得し、この取得した危険事例を保守員に通知するものである。ここで、危険事例とは、保守作業において生じ得る事故や危険等に関する情報であり、事故等の内容、事故が発生したエレベーター装置の仕様、保守作業の内容、及び保守員の状態等の情報が含まれる。 The technology described in Patent Document 1 acquires the dangerous cases corresponding to the specifications of the elevator device that is the subject of the maintenance work and the actual work (maintenance work) of the maintenance personnel in order to improve the safety of the maintenance work of the elevator device. The maintenance personnel is notified of the acquired dangerous case. Here, danger cases are information on accidents and dangers that can occur in maintenance work, and include information on the contents of accidents, the specifications of the elevator equipment in which the accident occurred, the contents of maintenance work, the status of maintenance personnel, etc. included.
従来の技術は、カメラ画像によって作業者の危険を検知して作業者へ安否確認の通知を行うものであった。この技術では、作業者から送られたカメラ画像を見て、管理者等が作業者に対する安否確認を行い、作業者からの回答がなければ、当該作業者の近くで作業を行っている他の作業者へ知らせるようにする。しかし、カメラ画像で作業者の危険を察知できない場合には、危険通知が出されないため、作業者の危険状態を精確に把握することができないという問題があった。 In the conventional technique, a worker's danger is detected from a camera image and a safety confirmation is notified to the worker. In this technology, the administrator etc. confirms the safety of the worker by looking at the camera image sent from the worker, and if there is no response from the worker, other work is performed near the worker. Let the operator know. However, when the danger of the worker cannot be detected from the camera image, the danger notification is not issued, and thus the danger state of the worker cannot be accurately grasped.
本発明の目的は、作業者の危険状態を精確に把握することが可能な作業者状態把握装置、作業者状態把握システム及び作業状態把握方法を提供することにある。 An object of the present invention is to provide a worker state grasping device, a worker state grasping system, and a work state grasping method capable of accurately grasping a worker's dangerous state.
本発明の作業者状態把握装置は、上記課題を解決するために、作業者が携帯しているカメラからの画像を受信して異常を判定するカメラ画像判定部、作業者が携帯しているマイクで検出された音声を受信して異常を判定する音声判定部、作業者の携帯している加速度センサからの情報を受信して異常を判定する加速度判定部、のうちの少なくとも２つの判定部を備える。そして、少なくとも２つの判定部で、異常が発生したと判定されたときに、作業者状態把握部において作業者に異常が発生したと判定する。 In order to solve the above-described problem, the worker state grasping apparatus of the present invention receives a camera image carried by the worker and determines whether there is an abnormality, a camera image determination unit, and a microphone carried by the worker. At least two determination units: a voice determination unit that receives a sound detected in step S1 to determine abnormality and an acceleration determination unit that receives information from an acceleration sensor carried by the worker and determines abnormality. Prepare. And when it determines with abnormality having generate | occur | produced by the at least 2 determination part, it determines with abnormality in a worker having occurred in the worker state grasping | ascertainment part.
本発明によれば、現場で作業中の作業者の状態をより正確に把握することが可能である。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
According to the present invention, it is possible to grasp the state of the worker who is working on the site more accurately.
Problems, configurations, and effects other than those described above will be clarified by the following description of embodiments.
[本発明の一実施の形態例の全体構成の説明]
以下、図面を参照して本発明の一実施の形態例について説明する。
図１は、本発明の作業者状態把握システムの一実施の形態例（以下、「本例」ということもある）を示すブロック図であり、特に作業者Ａの携帯端末１Ａ、作業者Ｂの携帯端末１Ｂ、ネットワーク３、サーバー装置４及び管理者Ｃの管理者端末５の接続関係を示す。特に、サーバー装置４については、本例の作業状態把握システムにおける情報処理の機能をブロックとして示している。
[Description of Overall Configuration of One Embodiment of the Present Invention]
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing an embodiment of the worker status grasping system according to the present invention (hereinafter sometimes referred to as “this example”). In particular, the portable terminal 1A of the worker A and the worker B The connection relationship of the
作業者Ａと作業者Ｂは、それぞれカメラ２Ａと２Ｂを装着して作業を行うことになる。このカメラ２Ａ及び２Ｂには不図示のマイクが内蔵されており、カメラ２Ａ及び２Ｂからはカメラ画像とマイクで拾った音声が出力される。また、カメラ２Ａ及び２Ｂは、無線により作業者Ａ及びＢが保有する携帯端末１Ａ、１Ｂと通信することができるようになっている。なお、携帯端末１Ａ、１Ｂには、不図示の加速度センサが内蔵されている。
The worker A and the worker B work by wearing the
携帯端末１Ａ、１Ｂは、ネットワーク３を経由してサーバー装置４と接続されている。また、管理者Ｃが操作する管理者端末５は、直接あるいは不図示のネットワーク経由でサーバー装置４に接続される。
以下、作業者Ａと作業者Ｂを区別しないで、作業者Ａ、Ｂが保有する携帯端末１Ａ、１Ｂを総称して述べるときは、「携帯端末１」と記載し、同様にカメラ２Ａ、２Ｂについても「カメラ２」と記載することとする。なお、本例では、説明の都合上、作業者Ａと作業者Ｂの２名を挙げているが、作業者の数は、２名を超える複数の人数の場合も同様に取り扱われることはいうまでもない。
The mobile terminals 1 </ b> A and 1 </ b> B are connected to the server device 4 via the network 3. The administrator terminal 5 operated by the administrator C is connected to the server device 4 directly or via a network (not shown).
Hereinafter, when the
サーバー装置４は、本例における処理部のソフトウェア機能として、カメラ画像判定部４１、加速度判定部４２、音声判定部４３、作業者位置確認部４４及び作業者状態把握部４５を備える。これらの各機能は、後述するＣＰＵからなる制御部４６によって制御される。
The server device 4 includes a camera
カメラ画像判定部４１は、作業者Ａ及び作業者Ｂのカメラ２Ａ及び２Ｂからのカメラ画像から作業者Ａまたは作業者Ｂの作業状態が良好であるか、あるいは作業者Ａまたは作業者Ｂに事故等の異常事態が発生していないかどうかを判定する。加速度判定部４２は、携帯端末１Ａ及び１Ｂに内蔵されている加速度センサの測定波形の変化を検知することにより、作業者ＡまたはＢの良好または異常を判定する。また、音声判定部４３は、作業者Ａ及び作業者Ｂの装着するカメラ２Ａ及び２Ｂから作業者の叫び声などの異常音を検出するものであり、異常音が発生した場合には作業者Ａまたは作業者Ｂに何らかの異常事態が発生したと判断する。
The camera
作業者位置確認部４４は、ＧＰＳ(Global Positioning System) 機能が搭載された携帯端末１Ａ及び１Ｂからの情報に基づいて各作業者Ａ及び作業者Ｂの位置を確認する。
作業者状態把握部４５は、カメラ画像判定部４１、加速度判定部４２、音声判定部４３及び作業者位置確認部４４からの情報に基づいて、作業者Ａまたは作業者Ｂに事故等の異常が発生していないかどうかを把握する。なお、カメラ画像判定部４１、加速度判定部４２及び音声判定部４３における判定結果から作業者の異常状態を判定する具体例については後述する。
The worker
Based on information from the camera
作業者状態把握部４５は、カメラ画像判定部４１、加速度判定部４２，音声判定部４３及び作業者位置確認部４４からの情報に基づいて作業者の状態を常時把握している。そして、作業者状態把握部４５において、例えば作業者Ｂの状態が異常と判定した場合（図１参照）は、事務所の管理端末５に通知して管理者Ｃに知らせる。また、作業者位置確認部４４により抽出された作業者Ｂの最も近くで作業している作業者Ａに対して、その保有する携帯端末１Ａを経由して作業者Ｂの異常を通知する。
The worker
[携帯端末１及び管理者端末５のハードウェア構成の説明]
図２は、本例の作業者状態把握システムに用いられる、携帯端末１及び管理者端末５のハードウェア構成を示す。
まず、図２は、作業者Ａまたは作業者Ｂが身に付けている携帯端末１Ａ及び１Ｂのハードウェア構成及び管理者端末５のハードウェア構成を示している。
[Description of Hardware Configuration of Portable Terminal 1 and Administrator Terminal 5]
FIG. 2 shows a hardware configuration of the mobile terminal 1 and the administrator terminal 5 used in the worker state grasping system of this example.
First, FIG. 2 shows the hardware configuration of the
図２に示すように、携帯端末１及び管理者端末５は、バス３０に接続されたＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３、不揮発性ストレージ２４を備える。また、外部との通信を行うためのネットワークインタフェース２５、入力部２６及び表示部２７を備える。
As shown in FIG. 2, the mobile terminal 1 and the administrator terminal 5 include a CPU (Central Processing Unit) 21, a ROM (Read Only Memory) 22, a RAM (Random Access Memory) 23, and a nonvolatile storage connected to the bus 30. 24. In addition, a
ＣＰＵ２１は、本例の作業者状態把握システムに関係する各機能を実現するソフトウェアのプログラムコードをＲＯＭ２２から読み出して実行する。ＲＡＭ２３には、演算処理の途中に発生した変数等が一時的に書き込まれる。ＣＰＵ２１がＲＯＭ２２に記録されているプログラムコードを実行することにより、携帯端末１及び管理者端末５の各種機能が実現される。
The
不揮発性ストレージ２４は、通常スマートフォン等に用いられるＳＳＤ（Solid State Drive）等の不揮発性のメモリである。ＲＯＭ２２と不揮発性ストレージ２４には、ＣＰＵ２１が動作するために必要なプログラムやデータ等が、半永久的に記憶され、格納されている。
The
ネットワークインタフェース２５としては、例えば、ＮＩＣ（Network Interface Card）等が用いられ、このネットワークインタフェース２５を通して、携帯端末１及び管理者端末５とサーバー装置４との通信が行われる。また、表示部２６には、サーバー装置４から送られる情報や、作業者Ａまたは作業者Ｂからのカメラ２Ａ、２Ｂで撮影した映像などが表示される。
As the
携帯端末１と管理者端末５では、入力部２６の動作が異なっている。携帯端末１では、作業者が装着するカメラ２からの映像情報、音声情報の他に携帯端末１に内蔵する加速度センサからの加速度データが入力される。一方、管理者端末５における入力部２８は、管理者Ｃが入力装置として用いるキーボードやマウスを意味する。
The operation of the
[サーバー装置４のハードウェア構成の説明]
図３は、サーバー装置４のハードウェア構成を示す。図３に示すＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３は、図２に示すＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３と同じなのでここでは説明を省略する。図３に示すサーバー装置４では、不揮発性ストレージ３４の内容が図２の不揮発性ストレージ２４と異なっている。すなわち、図３の不揮発性ストレージ３４は、画像データベース（画像ＤＢ）３５、加速度データベース（加速度ＤＢ）３６、及び音声データベース（音声ＤＢ）３７を含む。
[Description of Hardware Configuration of Server Device 4]
FIG. 3 shows a hardware configuration of the server device 4. The
画像データベース３５には、作業者Ａ、Ｂが装着しているカメラ２Ａ、２Ｂで撮影されたカメラ画像が記憶される。加速度データベース３６には、作業者Ａ、Ｂが保有する携帯端末１Ａ、１Ｂに内蔵される加速度センサからのデータが記憶される。音声データベース３７には、カメラ２Ａ、２Ｂに付属する不図示のマイクで検出した音声が記憶される。なお、カメラ２Ａ、２Ｂまたは携帯端末１Ａ、１Ｂからの画像、加速度及び音声の各データは、通信インターフェース（通信１／Ｆ）３８を通して、それぞれのデータベース３５〜３７に記憶される。
The
[作業者Ａ、Ｂの作業が良好に行われている場合の処理フローの説明]
次に、本例のシステムが、良好に作動している状態について、図４を参照して説明する。
図４は、作業者Ａ、Ｂに異常が発生しない状態で、本例に用いられる携帯端末１、サーバー装置４及び管理者端末５の定常的に動作しているときのシーケンス図である。
まず、作業者Ａ、Ｂに装着されたカメラ２Ａ、２Ｂで撮影した画像は、作業者Ａ、Ｂの携帯端末１Ａ、１Ｂを通して、サーバー装置４の画像データベース３５に記憶される（ステップＳ４１）。また、携帯端末１Ａ、１Ｂに内蔵される不図示の加速度センサのデータが、サーバー装置４の加速度データベース３６に記憶される（ステップＳ４２）。また、作業者Ａ、Ｂの装着したカメラ２Ａ、２Ｂに付属するマイクで検出される作業中の音声が、携帯端末１Ａ、１Ｂを通して、サーバー装置４の音声データベース３７に記憶される（ステップＳ４３）。
[Description of processing flow when workers A and B work well]
Next, a state in which the system of this example is operating well will be described with reference to FIG.
FIG. 4 is a sequence diagram when the mobile terminal 1, the server device 4, and the administrator terminal 5 used in this example are constantly operating in a state where no abnormality occurs in the workers A and B.
First, images taken by the
サーバー装置４は、画像データベース３５，加速度データベース３６，音声データベース３７に記憶された各種データに基づいて、作業者Ａ、Ｂに事故等の異常が発生したが否かの判定を行う（ステップＳ４４）。そして、作業者Ａ、Ｂの作業に異常が発生していないことを確認する（ステップＳ４５）。続いて、サーバー装置４は、管理者端末５に対して作業者Ａ、Ｂの作業の進捗状況が良好であることを通知する（ステップＳ４６）。なお、作業者Ａ、Ｂの作業が良好に進捗している場合には、管理者ＣによるステップＳ４６の作業確認は省略してもよい。また、サーバー装置４は、必要に応じて作業者Ａ、Ｂに対して今後の作業手順の指示を行う（ステップＳ４７）。
The server device 4 determines whether or not an abnormality such as an accident has occurred in the workers A and B based on various data stored in the
［作業者Ｂに事故が発生した場合の処理フローの説明］
次に、図５のシーケンス図を参照して、作業者Ｂの現場で危険を伴う事故が発生したときの処理の流れを説明する。
図５に示すように、作業者Ｂに危険を伴う事故が発生する（ステップＳ５０）と、作業者Ｂが装着しているカメラ２Ｂの画像が急変する（ステップＳ５１）。すると、サーバー装置４のカメラ画像判定部４１は、カメラ画像のブレを検知し（ステップＳ５２）、作業者Ｂの携帯端末１Ｂに対して、画像急変の理由を問い合わせる（ステップＳ５３）。そして、作業者Ｂから問題がない旨の返答があれば、「異常なし」の判定を行い、作業者Ｂから何の返答もないときに、作業者Ｂが異常状態に陥った可能性があると判定する。
[Explanation of the processing flow when an accident occurs in worker B]
Next, with reference to the sequence diagram of FIG. 5, the flow of processing when a dangerous accident occurs at the site of the worker B will be described.
As shown in FIG. 5, when an accident involving the worker B occurs (step S50), the image of the
また、作業者Ｂに危険を伴う事故が発生すると、作業者Ｂの保有する携帯端末１Ｂに内蔵される加速度センサにより異常な加速度が検出される（ステップＳ５４）。すると、サーバー装置４の加速度判定部４２は、異常加速度を検知し（ステップＳ５５）、作業者Ｂの携帯端末１Ｂに対して、異常加速度検知の理由を問い合わせる（ステップＳ５６）。そして、加速度判定部４２は、作業者Ｂからの返答があれば、異常発生がなかったものと判定し、作業者Ｂからの応答がない場合には、作業者Ｂが異常状態に陥っている可能性があると判定する。
Further, when an accident involving the worker B occurs, an abnormal acceleration is detected by the acceleration sensor built in the
また、作業者Ｂに危険を伴う事故が発生すると、作業者Ｂのカメラ１Ｂに内蔵されるマイクから転落時の衝撃音や悲鳴などの異常音が発生する（ステップＳ５７）。サーバー装置４の音声判定部４３はこの異常音を検出し（ステップＳ５８）、作業者Ｂの携帯端末１Ｂに対して、異常音が発生した理由を問い合わせる（ステップＳ５９）。これに対して、作業者Ｂからの返答があれば、音声判定部４３は、作業者Ｂに異常発生がなかったと判定し、作業者Ｂからの応答がない場合のみ、作業者Ｂが異常状態になっている可能性があると判定する。
When an accident involving the worker B occurs, an abnormal sound such as an impact sound or a scream at the time of falling is generated from the microphone built in the
図６Ａ〜Ｃは、カメラ画像判定部４１、加速度判定部４２及び音声判定部４３で作業者の異常を判定するときの、波形図を示している。図６Ａに示すように、作業者Ｂが事故等の危険に見舞われた場合、例えば転倒や異常振動などで、あるレベルを保っていたカメラ画像のレベルが一時的に急変し、その後レベル変動がほとんど観測されない状態が続く。カメラ画像判定部４１は、この一時的に大きい画像レベルに変化したカメラ画像のブレ測定波形からカメラ画像の異常を判定する。ここで、カメラ画像判定部４１は、例えば、所定期間（例えば１秒ごと）に前の画像と新しい画像の比較を行い、撮影された各画像中の平均明度または色情報等が所定の閾値を超えて変化したこと、あるいは両画像中で認識した任意の形状の位置、大きさ、または角度が所定の閾値を超えて変化したことを持って画像がブレたことを判定する。
6A to 6C show waveform diagrams when the camera
また、図６Ｂに示されるように、加速度判定部４２は、作業者Ｂの携帯端末１Ｂの加速度センサからの信号に基づいて常時その加速度レベルを監視しており、定常的な作業状態であれば、この加速度レベルは多少の微小変動を伴うものの、ほぼ一定のレベルを保っている。しかし、作業者Ｂが転落や落下等の危険に見舞われた場合、所定のレベルを保っていた加速度レベルが一時的に急変し、その後レベル変動がほとんど見られなくなる。
Moreover, as shown in FIG. 6B, the
これは、事故後に作業者Ｂの携帯端末１Ｂに内蔵される加速度センサが、事故時に想定以上の加速度を検出し、その後携帯端末１Ｂがほぼ静止に近い状態（動いていない状態）になっていることを意味している。加速度判定部４２は、図６Ｂに示されるような加速度センサの出力の急激な変化波形に基づいて、作業者Ｂの異常を判定する。
異常判定の一例を挙げると、加速度判定部４２は、各作業者Ａ、Ｂにおける通常であればある尤度をもって変化する過去何日間かの平均加速度を予め記憶している。そして、作業者Ｂの保有する加速度センサから新しく送られた加速度データが、過去の平均加速度を所定値以上上回り、その後加速度の検出値が一定期間、所定の範囲内であったときに異常が発生したと判定する。
This is because the acceleration sensor built in the
If an example of abnormality determination is given, the
また、図６Ｃに示すように、音声判定部４３は、作業者Ｂに危険を伴う事故等が発生した場合、作業者Ｂが装着しているカメラ２Ｂに内蔵されているマイクからの音を検出する。作業者Ｂに何らかの事故が発生した場合、カメラ２Ｂに内蔵されているマイクによって、作業者Ｂの悲鳴や何らかの衝撃音が検出される。サーバー装置４の音声判定部４３は、図６Ｃに示される音声情報の急激なレベル変化を異常音として捉え、このような波形が大きくなった異常音を検出したとき、作業者Ｂに異常が発生したと判定する。
Further, as shown in FIG. 6C, the
再び、図５に戻って説明を続ける。図７、図８により後述するように、サーバー装置４の作業者状態把握部４５は、カメラ画像判定部４１，加速度判定部４２及び音声判定部４３の、いずれか２つ以上で作業者Ｂの異常が判定された場合に、作業者Ｂに危険を伴う異常が発生したと判断する（ステップＳ６０）。その後、作業者位置確認部４４は、作業者Ｂの保有する携帯端末１Ｂの持つＧＰＳ機能を使って、作業者Ｂが危険にあったと思われる位置を確認する（ステップＳ６１）。そして、管理者Ｃの操作する管理者端末５に対して、作業者Ｂが危険を伴う異常状態に陥った旨の通知を行う(ステップＳ６２)。
Returning to FIG. 5 again, the description will be continued. As will be described later with reference to FIGS. 7 and 8, the worker
一方、サーバー装置４の作業者状態把握部４５は、作業者Ｂに事故等の異常が発生したことを、作業者Ｂの近くで作業している作業者Ａに対して通知する（ステップＳ６３）。そして、作業者Ａの携帯端末１Ａに、作業者Ｂから送られてきた事故直前のカメラ画像を表示する（ステップＳ６４）。また、サーバー装置４から作業者Ｂが事故等の異常状態になっている旨の通知を受けた管理者Ｃは、管理者端末５を介して近くの作業者Ａに対して作業者Ｂの救助に向かうように指令する（ステップＳ６６）。作業者Ａは直ちに作業者Ｂの事故現場に向かい、作業者Ｂの異常状態の程度に応じて、適切な救助活動を行う（ステップＳ６７）。
On the other hand, the worker
ここで、ステップＳ６０において、作業者状態把握部４５が、どのように作業者Ｂの異常を判定するか否かについて、図７を参照して説明する。
図７は、作業者状態把握部４５が判定に用いるデータベースのテーブルを示したものである。図７に示すテーブルは、作業者状態フィールドと検出パラメータ判定フィールドと異常検知フィールドを含む。作業者の異常を検出する検出パラメータ判定フィールドには、カメラ画像フィールド、加速度変化フィールド、異常音変化フィールドの３つのフィールドが設けられている。
Here, how the worker
FIG. 7 shows a database table used by the worker
サーバー装置４のカメラ画像判定部４１において、作業者のカメラ２から得られる画像に急激なブレ（図６Ａ参照）が検出されない場合にはカメラ画像フィールドに「○」印を付し、大きなブレが検出されたときはカメラ画像フィールドに「×」印を付ける。
また、加速度判定部４２において、作業者の携帯端末１に内蔵された加速度センサから得られる加速度に図６Ｂに示すような大きな変化がなければ、加速度判定部４２は、加速度変化フィールドに「○」印を付け、大きな変化があれば「×」を付ける。
同様に、音声判定部４３は、作業者のカメラ２に内蔵されたマイクから図６Ｃに示されるような大きな変化音を検出しなければ、異常音変化フィールドに「○」を付し、大きな変化音（異常音）を検出すると、異常音変化フィールドに「×」印を付ける。
When the camera
Further, in the
Similarly, if the
図５のステップＳ６０で説明したように、作業者状態把握部４５は、カメラ画像判定部４１、加速度判定部４２及び音声判定部４３のいずれか２つ以上が作業者Ｂの異常を判定したときに、事故の発生等により作業者Ｂが異常状態に陥ったと判断する。カメラ画像判定部４１、加速度判定部４２及び音声判定部４３の１つだけが異常を判定した場合には、作業者Ｂが異常状態に陥っていると判定しない。
なぜなら、カメラ画像のブレ、加速度の急変または異常音の発生のうち、１つの事象だけで異常判定をすることになると、誤判定により無駄な対応を取る可能性が増えて、作業効率を落とすことになりかねない。図７に示すように、本発明の実施形態例では、少なくとも２つの事象で異常が発生しとき、作業者Ｂに異常が発生したと判定している。
As described in step S <b> 60 of FIG. 5, the worker
This is because if an abnormality determination is made with only one event among camera image blurring, sudden acceleration change, or abnormal sound generation, the possibility of taking a wasteful response due to a misjudgment increases and the work efficiency is lowered. It can be. As shown in FIG. 7, in the embodiment of the present invention, when an abnormality occurs in at least two events, it is determined that an abnormality has occurred in the worker B.
なお、ステップＳ５３、Ｓ５６、Ｓ５９に加えて、もしくは代えて、作業者状態把握部４５が作業者Ｂの異常検知（ステップＳ６０）後に、応答確認を行ってもよい。その場合、例えば、検出パラメータ判定結果で、異常を検知した数、またはその頻度が少なければ少ないほど、応答確認時間（何も応答がなければそのまま異常と判断する時間）を長く設定してもよい。その場合、異常が発生していない場合の作業者の応答負担を軽減することができる。つまり、異常と判定される感度が高いような場合は、作業中に何度も応答確認が通知され、そのたびに作業を中断してすぐに応答確認をすることになる。そこで、異常度（異常を検知した数やその頻度）に応じて応答確認時間を変更することで、作業者への負担を軽減しつつ、異常をより適切に判定することができる。
In addition to or instead of steps S53, S56, and S59, the worker
[本例のシステムにおける全体の処理フローの説明]
図８は、本例の作業者状態把握装置及びシステムにおいて、作業者の状態を把握してから、事故が発生した場合の対応までのシステム全体の処理の流れについて示したフローチャートである。図５の説明と重複する部分もあるが、全体を通して本例のシステムにおける処理の流れを説明する。
[Description of overall processing flow in the system of this example]
FIG. 8 is a flowchart showing the flow of processing of the entire system from grasping the worker's state to handling when an accident occurs in the worker state grasping apparatus and system of this example. Although there is a part overlapping with the description of FIG. 5, the flow of processing in the system of this example will be described throughout.
作業者が作業を開始すると（ステップＳ８０）、カメラ画像判定部４１は、作業者の携帯端末１から送られた画像に異常なブレが発生したか否かを判定する（ステップＳ８１）。また、加速度判定部４２は、作業者の携帯端末に内蔵される加速度センサが大きな加速度変化を検出したか否かを判定する（ステップＳ８２）。更に、音声判定部４３は、作業者のカメラ２に内蔵されているマイクから異常音が発生したか否かを判定する（ステップＳ８３）。
When the worker starts work (step S80), the camera
次に、カメラ画像判定部４１で、図６Ａに示すような大きなブレが検出されると、カメラ画像判定部４は、異常を示した作業者Ｂの携帯端末１Ｂに異常を検出した旨の情報を通知して作業者Ｂからの応答を待つ（ステップＳ８４）。同様に、加速度判定部４２も、図６Ｂのような異常加速度を検知すると、異常を示した作業者Ｂの携帯端末１Ｂに異常を検出した旨の情報を通知して作業者Ｂからの応答を待つ（ステップＳ８５）。音声判定部４３も、図６Ｃのような異常音を検知すると、異常音が送信された作業者Ｂの携帯端末１Ｂに異常音を検出した旨の情報を通知して作業者Ｂからの応答を待つ（ステップＳ８６）。
Next, when a large blur as shown in FIG. 6A is detected by the camera
次に、ステップＳ８４〜Ｓ８６に示す判定結果に基づいて、作業者情報把握部４５は、作業者に事故等の異常が発生した否かを判定する。なお、ここではカメラ画像判定部４１、加速度判定部４２、及び音声判定部４３の少なくとも２つが異常を示したか否かを判断する（ステップＳ８７）。ステップＳ８７においてカメラ画像判定部４１、加速度判定部４２、及び音声判定部４３の少なくとも２つが異常を示していないとき（ステップＳ８７のＮＯ）は、新たなカメラ画像、加速度情報及び音声情報の監視状態に入る。
Next, based on the determination results shown in steps S84 to S86, the worker
ステップＳ８７で作業者Ｂが異常状態に陥っていると判定した場合（ステップＳ８７のＹＥＳ）には、作業者情報把握部４５は、近くの作業者Ａの携帯端末１Ａに向けて作業者Ｂに事故等の異常が発生した旨の通知を行う（ステップＳ８８）。そして、作業者Ｂの事故直前のカメラ画像を作業者Ａの携帯端末１Ａに表示する（ステップＳ８９）。また、作業者情報把握部４５は、同時に管理者Ｃの管理者端末５に対して作業者Ｂの作業現場で事故が発生した旨を通知する（ステップＳ９０）。
If it is determined in step S87 that the worker B is in an abnormal state (YES in step S87), the worker
作業者情報把握部４５から通知を受けた管理者Ｃは、近くの作業者Ａに作業者Ｂが事故に遭遇したようである旨を通知するとともに（ステップＳ９１）、作業者Ａに対して作業者Ｂの現場に向かうように指示する（ステップＳ９２）。なお、作業者Ｂの状態により、更に他の必要な部署にも連絡する。ステップＳ８８またはステップＳ９１において、作業者情報把握部４５または管理者Ｃから連絡を受けた作業者Ａは、作業者Ｂの現場に直行し、事故に遭った作業者Ｂの状況に応じて適切な対応を取る（ステップＳ９３）。
The manager C that has received the notification from the worker
［変形例］
以上説明したように、本発明の実施形態例では、図７、図８で説明したように、カメラ画像変化、加速度変化または音声変化のいずれか２つ以上に異常が発生したことに基づいて、作業者Ｂに異常が発生したと判断している。本例の第１の変形例として、カメラ画像における判定を主たる異常判定とし、それ以外に副として加速度センサによる異常が判定された場合に作業者の異常状態を判定することとしてもよい。この場合には、図１に示す音声判定部４３、及び図３に示す音声データベース３７は必ずしも必要とはされない。その際、例えば、カメラを作業者の頭部（首から上）に、加速度センサ（作業者の端末）を、作業者の胴体部（首から下）に装着させることで、異常判定精度をより向上できる。つまり、２つのセンサを頭部と胴体部のように異なる個所に装着することで、頭部だけの正常な動き（人に呼ばれて振り向いただけのような場合）に対して異常と誤判定される可能性を低くすることができる。
[Modification]
As described above, in the embodiment of the present invention, as described with reference to FIGS. 7 and 8, based on the fact that an abnormality has occurred in any two or more of the camera image change, acceleration change, or sound change, It is determined that an abnormality has occurred in worker B. As a first modification of this example, the determination in the camera image may be the main abnormality determination, and the abnormality state of the worker may be determined when an abnormality by the acceleration sensor is determined as a sub. In this case, the
同様に、第２の変形例として、主としてカメラ画像における異常判定を必須のものとして、加えて、副としてマイクによる異常音の発生があった場合に、作業者の異常を判定するようにしてもよい。この場合には、図１に示す加速度判定部４３、及び図３に示す加速度データベース３６は必ずしも必要とはされないことは言うまでもない。
Similarly, as a second modified example, abnormality determination mainly in a camera image is essential, and in addition, when abnormal sound is generated by a microphone as a sub, the operator's abnormality is determined. Good. In this case, needless to say, the
以上、本発明の実施形態例である作業者情報把握装置及びそれを用いたシステムについて説明した。図１に示す本例のシステムでは、サーバー装置４に、作業者情報を把握するための装置を設けているが、サーバー装置４内に設けられるカメラ画像判定部４１、加速度判定部４２、音声判定部４３及び作業者状態把握部４５は、必ずしもサーバー装置４内に設ける必要はない。例えば、管理者端末５内にこのような機能を持つソフトウェアを実装してもよいし、特定の作業者の携帯端末１に実装することも考えられる。
The worker information grasping apparatus and the system using the same according to the embodiment of the present invention have been described above. In the system of this example shown in FIG. 1, a device for grasping worker information is provided in the server device 4, but a camera
上述した各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現することもできる。また、上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
Each of the above-described configurations, functions, processing units, processing means, and the like can be realized in hardware by designing a part or all of them, for example, with an integrated circuit. Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor. Information such as programs, tables, and files for realizing each function can be stored in a recording device such as a memory, a hard disk, an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
Further, the control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
なお、本発明は、明細書または図面に開示した実施形態例に限定されるものではなく、特許請求の範囲に記載した内容を逸脱しない限りにおいて、他の応用例及び変形例を含むことは勿論である。 It should be noted that the present invention is not limited to the embodiments disclosed in the specification or the drawings, and of course includes other applications and modifications as long as they do not depart from the contents described in the claims. It is.
Ａ、Ｂ・・・作業者、Ｃ・・・管理者、１Ａ、１Ｂ・・・作業者Ａ、Ｂが保有する携帯端末、２Ａ、２Ｂ・・・作業者Ａ、Ｂが装着するカメラ、３・・・ネットワーク、４・・・サーバー装置、５・・・管理者端末、４１・・・カメラ画像判定部、４２・・・加速度判定部、４３・・・音声判定部、４４・・・作業者位置確認部、４５・・・作業者状態把握部、４６・・・制御部、２１、３１・・・ＣＰＵ、２２、３２・・・ＲＯＭ、２３、３３・・・ＲＡＭ、２４，３４・・・不揮発性ストレージ、３５・・・画像データベース（画像ＤＢ）、３６・・・加速度データベース（加速度ＤＢ）、３７・・・音声データベース（音声ＤＢ）、２５、３８・・・通信インターフェース（通信Ｉ／Ｆ）、２６・・・入力部、２７・・・表示部 A, B ... worker, C ... manager, 1A, 1B ... portable terminals owned by workers A, B, 2A, 2B ... cameras worn by workers A, B, 3 ... Network, 4 ... Server device, 5 ... Administrator terminal, 41 ... Camera image determination unit, 42 ... Acceleration determination unit, 43 ... Voice determination unit, 44 ... Work Worker position confirmation unit, 45 ... worker state grasping unit, 46 ... control unit, 21, 31 ... CPU, 22, 32 ... ROM, 23, 33 ... RAM, 24, 34 · ..Non-volatile storage, 35 ... Image database (image DB), 36 ... Acceleration database (acceleration DB), 37 ... Audio database (audio DB), 25, 38 ... Communication interface (communication I) / F), 26 ... input unit, 27 ... display unit
Claims (9)
前記作業者が携帯しているマイクで検出された音声を受信して異常を判定する音声判定部、
前記作業者の携帯している加速度センサからの情報を受信して異常を判定する加速度判定部、のうち少なくとも２つの判定部を備え、
更に、前記少なくとも２つの判定部で、異常が発生したと判定されたときに、前記作業者に異常が発生したと判定する作業者状態把握部と、を備える、
作業者状態把握装置。 A camera image determination unit that receives an image from a camera carried by an operator and determines an abnormality;
A sound determination unit that receives sound detected by a microphone carried by the worker and determines abnormality;
An acceleration determination unit that receives information from the acceleration sensor carried by the worker and determines an abnormality, and includes at least two determination units;
And an operator state grasping unit that determines that an abnormality has occurred in the worker when the at least two determination units determine that an abnormality has occurred.
Worker status monitoring device.
前記作業者の胴体部に装着する前記加速度センサからの情報を受信する前記加速度判定部と、を備え、
前記作業者状態把握部は、前記カメラ画像判定部、及び前記加速度判定部で異常が発生したと判定された場合に、前記作業者に異常が発生したと判定する、
請求項１に記載の作業者状態把握装置。 The camera image determination unit for receiving an image from the camera worn on the head of the worker;
The acceleration determination unit that receives information from the acceleration sensor that is mounted on the trunk of the worker,
The worker state grasping unit determines that an abnormality has occurred in the worker when it is determined that an abnormality has occurred in the camera image determination unit and the acceleration determination unit.
The worker state grasping device according to claim 1.
前記作業者状態把握部は、前記作業者に異常が発生したと判定された場合に、前記作業者位置確認部から得られる前記作業者の位置情報に基づいて、前記作業者の異常状態を管理者端末に通知する、
請求項１または２に記載の作業者状態把握装置。 And a worker position confirmation unit for confirming the position of the worker,
The worker state grasping unit manages the abnormal state of the worker based on the worker position information obtained from the worker position confirmation unit when it is determined that an abnormality has occurred in the worker. Notification to the user terminal,
The worker state grasping device according to claim 1 or 2.
請求項３に記載の作業者状態把握装置。 When it is determined that an abnormality has occurred in the worker, the worker state grasping unit notifies the worker of a response confirmation for inquiring about the presence or absence of the abnormality, and within a predetermined period after the notification of the response confirmation When not receiving a response from the worker, the administrator terminal is notified of the abnormal state of the worker,
The worker state grasping device according to claim 3.
請求項３に記載の作業者状態把握装置。 The worker state grasping unit has an image immediately before the occurrence of an abnormality from the camera of the worker that has been determined to have an abnormality, the other closest to the operator to which the abnormality has been determined. Sent to the worker ’s mobile device for display,
The worker state grasping device according to claim 3.
前記作業者状態把握部は、前記カメラ画像判定部で前記作業者の異常を判定し、更に前記音声判定部または前記加速度判定部のいずれかで異常を判定した場合に、前記作業者に異常が発生したと把握する、
請求項１に記載の作業者状態把握装置。 Comprising the camera image determination unit;
The worker state grasping unit determines the worker's abnormality in the camera image determination unit, and further determines abnormality in the worker when the abnormality is determined by either the voice determination unit or the acceleration determination unit. Know that it happened,
The worker state grasping device according to claim 1.
前記作業者が装着する携帯端末と、
前記作業者の前記携帯端末と通信可能な、管理者が管理する管理者端末と、
前記作業者の前記携帯端末とネットワークを介して接続されるサーバー装置とからなる、作業者状態把握システムであって、
前記サーバー装置は、
作業者が装着しているカメラからの画像を受信して異常画像を判定するカメラ画像判定部と、
前記カメラに内蔵されたマイクで検出された音声を受信して異常音を判定する音声判定部と、
前記作業者の携帯している携帯端末に内蔵される加速度センサからの情報を受信して加速度の変化を判定する加速度判定部と、
前記カメラ画像判定部、前記音声判定部及び前記加速度判定部の少なくとも２つが異常を判定したときに、前記作業者に異常が発生したことを把握する作業者状態把握部と、
を備える、
作業者状態把握システム。 A camera worn by the operator, equipped with a microphone that shoots the work site and detects the sound of the work site,
A portable terminal worn by the worker;
An administrator terminal managed by an administrator capable of communicating with the portable terminal of the worker;
A worker status grasping system comprising a server device connected via a network to the portable terminal of the worker,
The server device is
A camera image determination unit that receives an image from a camera worn by an operator and determines an abnormal image;
A sound determination unit that receives sound detected by a microphone built in the camera and determines abnormal sound;
An acceleration determination unit that receives information from an acceleration sensor built in the portable terminal carried by the worker and determines a change in acceleration;
An operator state grasping unit for grasping that an abnormality has occurred in the worker when at least two of the camera image determining unit, the sound determining unit, and the acceleration determining unit determine an abnormality;
Comprising
Worker status monitoring system.
前記管理者端末は、前記作業者状態把握部からの通知を受けて、前記異常が発生した作業者の、最も近くにいる他の作業者の携帯端末に対して、異常が発生している作業者に対する救助を命じる指令を送信する、
請求項７に記載の作業者状態把握システム。 The worker state grasping unit, when grasping the abnormality of the worker, notifies the administrator terminal that the abnormality has occurred,
The administrator terminal receives a notification from the worker state grasping unit, and the work in which an abnormality has occurred with respect to the portable terminal of another worker nearest to the worker in which the abnormality has occurred Send a command to rescue the elderly,
The worker state grasping system according to claim 7.
前記カメラに内蔵されたマイクで検出された音声を受信して異常音を判定する異常音判定ステップと、
前記作業者の携帯している携帯端末に内蔵される加速度センサからの情報を受信して加速度の変化の異常を判定する加速度判定ステップと、
前記カメラ画像判定ステップ、前記異常音判定ステップ及び加速度判定ステップの中の２つ以上のステップで異常判定がなされたときに、作業者が異常状態に陥っていると把握する作業者状態把握ステップと、
前記作業者状態把握ステップで異常が発生していると判定された作業者の位置を確認する作業者位置確認ステップと、
前記作業者状態把握ステップで作業者の異常発生を把握した場合に、前記異常が発生した作業者の状態を管理者端末に通知するステップと、
を含む、
作業者状態把握方法。 A camera image determination step for determining an abnormality of a camera image for receiving an image from a camera worn by an operator and determining an abnormal image;
An abnormal sound determination step of receiving an audio detected by a microphone built in the camera and determining an abnormal sound;
An acceleration determination step of receiving information from an acceleration sensor built in the portable terminal carried by the worker and determining an abnormality in acceleration change;
An operator state grasping step for grasping that the worker is in an abnormal state when the abnormality determination is made in two or more of the camera image determining step, the abnormal sound determining step and the acceleration determining step; ,
A worker position confirmation step for confirming the position of the worker determined to have an abnormality in the worker state grasping step;
A step of notifying an administrator terminal of the state of the worker in which the abnormality has occurred, in the case where the abnormality of the worker is grasped in the worker state grasping step;
including,
Worker status grasp method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017035997A JP6691068B2 (en) | 2017-02-28 | 2017-02-28 | How to grasp the worker status |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017035997A JP6691068B2 (en) | 2017-02-28 | 2017-02-28 | How to grasp the worker status |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018142169A true JP2018142169A (en) | 2018-09-13 |
| JP6691068B2 JP6691068B2 (en) | 2020-04-28 |
Family
ID=63528225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017035997A Active JP6691068B2 (en) | 2017-02-28 | 2017-02-28 | How to grasp the worker status |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6691068B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019012471A (en) * | 2017-06-30 | 2019-01-24 | 新日鐵住金株式会社 | Information processing system, information processing apparatus, terminal apparatus, information processing method and program |
| JP2020071586A (en) * | 2018-10-30 | 2020-05-07 | 三菱電機ビルテクノサービス株式会社 | Safety management system, safety management method, and safety management program |
| KR102498536B1 (en) * | 2022-11-14 | 2023-02-14 | (주)티에스엔지니어링건축사사무소 | Anti-theft system for apartment house and its construction method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010237781A (en) * | 2009-03-30 | 2010-10-21 | National Institute Of Advanced Industrial Science & Technology | Imaging apparatus for monitoring, and imaging system for monitoring |
| JP2011243085A (en) * | 2010-05-20 | 2011-12-01 | Midori Anzen Co Ltd | Fall monitoring system for moving person |
| JP2014133619A (en) * | 2013-01-09 | 2014-07-24 | Mitsubishi Electric Building Techno Service Co Ltd | Alarm system for elevator maintenance work and alarm method for elevator maintenance work |
| JP2016108088A (en) * | 2014-12-05 | 2016-06-20 | 東芝エレベータ株式会社 | Device, system, and method for supporting maintenance work |
| JP2017001789A (en) * | 2015-06-08 | 2017-01-05 | 東芝エレベータ株式会社 | Maintenance management system |
-
2017
- 2017-02-28 JP JP2017035997A patent/JP6691068B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010237781A (en) * | 2009-03-30 | 2010-10-21 | National Institute Of Advanced Industrial Science & Technology | Imaging apparatus for monitoring, and imaging system for monitoring |
| JP2011243085A (en) * | 2010-05-20 | 2011-12-01 | Midori Anzen Co Ltd | Fall monitoring system for moving person |
| JP2014133619A (en) * | 2013-01-09 | 2014-07-24 | Mitsubishi Electric Building Techno Service Co Ltd | Alarm system for elevator maintenance work and alarm method for elevator maintenance work |
| JP2016108088A (en) * | 2014-12-05 | 2016-06-20 | 東芝エレベータ株式会社 | Device, system, and method for supporting maintenance work |
| JP2017001789A (en) * | 2015-06-08 | 2017-01-05 | 東芝エレベータ株式会社 | Maintenance management system |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019012471A (en) * | 2017-06-30 | 2019-01-24 | 新日鐵住金株式会社 | Information processing system, information processing apparatus, terminal apparatus, information processing method and program |
| JP2020071586A (en) * | 2018-10-30 | 2020-05-07 | 三菱電機ビルテクノサービス株式会社 | Safety management system, safety management method, and safety management program |
| JP7171370B2 (en) | 2018-10-30 | 2022-11-15 | 三菱電機ビルソリューションズ株式会社 | Safety management system |
| KR102498536B1 (en) * | 2022-11-14 | 2023-02-14 | (주)티에스엔지니어링건축사사무소 | Anti-theft system for apartment house and its construction method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6691068B2 (en) | 2020-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI759339B (en) | Fall protective system and fall protective self-retracting lifeline apparatus | |
| CN109416775B (en) | Personal Protection Equipment (PPE) with analysis flow handling for security event detection | |
| JP5260955B2 (en) | Anomaly detection support system | |
| JP2018142169A (en) | Worker state grasping device, worker state grasping system, and worker state grasping method | |
| KR102219809B1 (en) | Safety Work Management System by Image Analysis | |
| KR102315371B1 (en) | Smart cctv control and warning system | |
| KR20170101385A (en) | Monitoring system using a wearable device and smartphone app | |
| JP2018036985A (en) | Work management system | |
| KR102332818B1 (en) | Risk notification system and the method thereof using virtual proxy sensor and virtual space-based danger zone setting with rtls sensor | |
| JP2008007308A (en) | Operation report system used when earthquake occurs | |
| JP2017156863A (en) | Monitoring system and program | |
| JP2018006583A (en) | Component mounting machine and component mounting system | |
| JP6909076B2 (en) | Information processing system, information processing device, information processing method and program | |
| KR20160131678A (en) | Portable device for protecting having camera and method for taking picture | |
| JP6322304B2 (en) | Fire alarm equipment support system | |
| KR20220114668A (en) | industrial site safety management system using IoT smart safety helmet | |
| KR20180055599A (en) | Safety managing system for worker | |
| JP2010204924A (en) | Monitoring control system and monitoring method for maintenance apparatus | |
| KR20220037614A (en) | Safety helmet with alarm function for working environment | |
| JP2021173092A (en) | Building work monitoring system | |
| CN109035115A (en) | Construction worker's method for managing security, device and electronic equipment | |
| KR20200097537A (en) | field agent management system | |
| US20230047013A1 (en) | System and method for artificial intelligence (ai)-based protocol compliance tracking for workplace applications | |
| JP6491001B2 (en) | Terminal management system, portable terminal device, and program | |
| JP7231804B2 (en) | Site management system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191105 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191031 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200317 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200409 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6691068 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |