JP2021009613A - Computer program, information processing device, and information processing method - Google Patents

Abstract

To provide a computer program and the like capable of utilizing information on dangerous states in a simple way.SOLUTION: A computer program acquires image information indicating a dangerous state from an encounterer who encounters the dangerous state, acquires dangerous state information regarding the dangerous state, and causes a computer to perform processing to output the acquired image information and the acquired dangerous state information.SELECTED DRAWING: Figure 1

Description

本技術は、コンピュータプログラム、情報処理装置、及び情報処理方法に関する。 The present technology relates to computer programs, information processing devices, and information processing methods.

従来、作業場や交通道路などにおける、怪我や事故には至らない危険な状態（ヒヤリハット）に関する情報を収集、活用する方法が開示されている。特許文献１には、実際に危険な状態が生じた地点を危険地点としてデータベース化して、データベースに登録されている危険地点に近づいたときに、車両に対して危険地点に近づいていることを報知する危険地点記録装置等が開示されている。 Conventionally, a method of collecting and utilizing information on a dangerous state (hiyari hat) that does not lead to injury or accident in a workplace or a traffic road has been disclosed. Patent Document 1 creates a database of points where a dangerous state actually occurs as dangerous points, and notifies the vehicle that the dangerous points are approaching when approaching the dangerous points registered in the database. The danger point recording device and the like are disclosed.

特開２０１０−９７３４５号公報Japanese Unexamined Patent Publication No. 2010-97345

しかしながら、特許文献１ではデータベースに登録される情報は限られているという問題がある。より安全を支援するためには、ヒヤリハット情報の収集量を多くすることが重要となる。 However, Patent Document 1 has a problem that the information registered in the database is limited. In order to support safety more, it is important to increase the amount of hiyari hat information collected.

本開示の目的は、簡単な方法で危険な状態の情報を活用することができるコンピュータプログラム等を提供することである。 An object of the present disclosure is to provide a computer program or the like that can utilize information on a dangerous state in a simple manner.

本開示の一態様に係るコンピュータプログラムは、危険な状態に遭遇した遭遇者から、前記危険な状態を示す画像情報を取得し、前記危険な状態に関する危険状況情報を取得し、取得した前記画像情報及び前記危険状況情報を出力する処理をコンピュータに実行させる。 The computer program according to one aspect of the present disclosure acquires image information indicating the dangerous state from an encounterer who encounters the dangerous state, acquires dangerous situation information regarding the dangerous state, and acquires the image information. And let the computer execute the process of outputting the danger situation information.

本開示の一態様に係る情報処理装置は、危険な状態に遭遇した遭遇者の端末装置から、危険な状態を示す画像情報及び前記危険な状態に関する危険状況情報を取得する第１取得部と、取得した前記画像情報又は前記危険状況情報に基づき、前記危険な状態に関する情報を分類する分類部とを備える。 The information processing device according to one aspect of the present disclosure includes a first acquisition unit that acquires image information indicating a dangerous state and dangerous situation information related to the dangerous state from a terminal device of an encounterer who has encountered a dangerous state. It is provided with a classification unit that classifies information on the dangerous state based on the acquired image information or the dangerous situation information.

本開示の一態様に係る情報処理方法は、危険な状態に遭遇した遭遇者から、前記危険な状態を示す画像情報を取得し、前記危険な状態に関する危険状況情報を取得し、取得した前記画像情報及び前記危険状況情報を出力する。 The information processing method according to one aspect of the present disclosure acquires image information indicating the dangerous state from an encounterer who encounters the dangerous state, acquires dangerous situation information regarding the dangerous state, and acquires the image. The information and the danger situation information are output.

上記構成によれば、簡単な方法で危険な状態の情報を活用することができる。 According to the above configuration, the information on the dangerous state can be utilized in a simple method.

本開示に係るコンピュータプログラム等にあっては、簡単な方法で危険な状態の情報を活用することができる。 In the computer program and the like according to the present disclosure, the information in the dangerous state can be utilized by a simple method.

実施形態１における危険情報処理システムの構成の概要を示す概要図である。It is a schematic diagram which shows the outline of the structure of the danger information processing system in Embodiment 1. FIG. 危険情報処理システムに含まれる第１端末装置の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the 1st terminal apparatus included in a danger information processing system. 危険情報処理システムに含まれる第２端末装置の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the 2nd terminal apparatus included in a danger information processing system. 危険情報処理システムに含まれる情報処理装置の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the information processing apparatus included in a dangerous information processing system. 危険情報ＤＢに記憶される情報の内容例を示す図である。It is a figure which shows the content example of the information stored in the danger information DB. 危険情報の収集処理の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the processing procedure of the collection processing of danger information. 登録受付画面の例を示す模式図である。It is a schematic diagram which shows the example of the registration reception screen. 対処情報の収集処理の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the processing procedure of the handling information collection processing. 第１端末装置の表示部に表示される表示画面の例を示す模式図である。It is a schematic diagram which shows the example of the display screen displayed on the display part of the 1st terminal apparatus. 第１端末装置の表示部に表示される表示画面の例を示す模式図である。It is a schematic diagram which shows the example of the display screen displayed on the display part of the 1st terminal apparatus. 危険情報処理システムが実行する処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the processing procedure which a danger information processing system executes. 実施形態２における情報処理装置の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the information processing apparatus in Embodiment 2. 学習済みモデルの生成処理に関する説明図である。It is explanatory drawing about the generation process of a trained model. 実施形態２における危険情報の収集処理の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the processing procedure of the dangerous information collection processing in Embodiment 2. 実施形態３における第１端末装置の表示部に表示される表示画面の例を示す模式図である。It is a schematic diagram which shows the example of the display screen displayed on the display part of the 1st terminal apparatus in Embodiment 3.

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施形態の概要） Hereinafter, the present invention will be described in detail with reference to the drawings showing the embodiments thereof.
(Outline of Embodiment)

実施形態に係るコンピュータプログラムは、危険な状態に遭遇した遭遇者から、前記危険な状態を示す画像情報を取得し、前記危険な状態に関する危険状況情報を取得し、取得した前記画像情報及び前記危険状況情報を出力する処理をコンピュータに実行させる。 The computer program according to the embodiment acquires image information indicating the dangerous state from an encounterer who encounters the dangerous state, acquires dangerous situation information regarding the dangerous state, and obtains the image information and the dangerous state. Have the computer execute the process of outputting status information.

上記構成によれば、簡単な方法で危険な状態の情報を活用することができる。 According to the above configuration, the information on the dangerous state can be utilized in a simple method.

上述のコンピュータプログラムにおいて、前記危険状況情報は、前記危険な状態の危険内容に関する情報、前記危険な状態が原因で発生した怪我又は病気に関する情報、及び前記危険な状態が原因で発生した怪我又は病気の度合いの少なくともいずれか１つを含む構成であってよい。 In the computer program described above, the danger situation information includes information on the danger content of the dangerous condition, information on an injury or illness caused by the dangerous condition, and an injury or illness caused by the dangerous condition. The configuration may include at least one of the degrees of.

上記構成によれば、危険な状態の情報に具体的な危険状況が含まれるため、危険な状態の情報を活用する価値を高めることができる。 According to the above configuration, since the information on the dangerous state includes a specific dangerous situation, the value of utilizing the information on the dangerous state can be increased.

上述のコンピュータプログラムにおいて、前記危険な状態が発生した位置情報、時間情報及び天候情報、並びに前記遭遇者の属性情報の少なくともいずれか１つをさらに取得する構成であってよい。 In the above-mentioned computer program, at least one of the location information, the time information and the weather information in which the dangerous state occurred, and the attribute information of the encounterer may be further acquired.

上記構成によれば、危険な状態の情報に詳細な危険源に関する情報が含まれるため、危険な状態の情報を活用する価値を高めることができる。 According to the above configuration, since the information on the dangerous state includes the information on the detailed danger source, the value of utilizing the information on the dangerous state can be increased.

上述のコンピュータプログラムにおいて、取得した前記画像情報に基づき、前記画像情報に含まれる前記危険な状態の誘発原因情報を特定する構成であってよい。 In the above-mentioned computer program, the configuration may be such that the induction cause information of the dangerous state included in the image information is specified based on the acquired image information.

上記構成によれば、危険な状態を示す画像情報に基づく誘発原因の特定をコンピュータに実行させることが可能になる。 According to the above configuration, it is possible to cause the computer to identify the trigger cause based on the image information indicating the dangerous state.

上述のコンピュータプログラムにおいて、前記画像情報を取得し、危険な状態を示す画像情報を入力した場合に該画像情報に含まれる前記危険な状態の誘発原因情報を出力する学習済みモデルに、取得した前記画像情報を入力して、出力される前記誘発原因情報を取得する構成であってよい。 In the above-mentioned computer program, when the image information is acquired and the image information indicating the dangerous state is input, the acquired model is output to the trained model that outputs the trigger cause information of the dangerous state included in the image information. The configuration may be such that image information is input and the output trigger cause information is acquired.

上記構成によれば、危険な状態を示す画像情報に基づく誘発原因の特定をコンピュータに実行させることが可能になる。 According to the above configuration, it is possible to cause the computer to identify the trigger cause based on the image information indicating the dangerous state.

上述のコンピュータプログラムにおいて、前記危険な状態への対処内容に関する対処情報を取得し、前記危険な状態の発生位置と、前記対処情報とを対応付けて地図上に表示させる構成であってよい。 In the above-mentioned computer program, the coping information regarding the content of coping with the dangerous state may be acquired, and the position where the dangerous state occurs and the coping information may be associated and displayed on a map.

上記構成によれば、危険な状態の発生位置に対応した対処情報を得ることができるため、危険な状態の情報を活用する価値を高めることができる。 According to the above configuration, since it is possible to obtain coping information corresponding to the position where the dangerous state occurs, it is possible to increase the value of utilizing the information on the dangerous state.

上述のコンピュータプログラムにおいて、複数の前記危険状況情報及び前記対処情報を取得し、種類毎に分類された複数の前記危険状況情報及び前記対処情報を表示させる構成であってよい。 In the above-mentioned computer program, a plurality of the danger situation information and the countermeasure information may be acquired, and the plurality of the danger situation information and the countermeasure information classified by type may be displayed.

上記構成によれば、種類毎に分類された情報を得ることができるため、遭遇者は容易に情報を認識することができる。 According to the above configuration, information classified by type can be obtained, so that the encounterer can easily recognize the information.

上述のコンピュータプログラムにおいて、複数の危険な状態に関する前記画像情報及び前記危険状況情報を取得し、取得した各画像情報及び各危険状況情報に基づき、新たな危険な状態の発生を予測し、予測した前記新たな危険な状態に関する情報をＡＲ映像にて表示させる構成であってよい。 In the above-mentioned computer program, the image information and the danger situation information regarding a plurality of dangerous states are acquired, and the occurrence of a new dangerous state is predicted and predicted based on each acquired image information and each danger situation information. The configuration may be such that information on the new dangerous state is displayed on an AR image.

上記構成によれば、蓄積された情報に基づき新たな危険な状態が発生する確率の予測をコンピュータに実行させることが可能になる。また、予測された情報をＡＲ映像にて容易に認識することができる。 According to the above configuration, it is possible to make the computer execute the prediction of the probability that a new dangerous state will occur based on the accumulated information. In addition, the predicted information can be easily recognized by the AR image.

実施形態に係る情報処理装置は、危険な状態に遭遇した遭遇者の端末装置から、危険な状態を示す画像情報及び前記危険な状態に関する危険状況情報を取得する第１取得部と、取得した前記画像情報又は前記危険状況情報に基づき、前記危険な状態に関する情報を分類する分類部とを備える。 The information processing apparatus according to the embodiment includes a first acquisition unit that acquires image information indicating a dangerous state and dangerous situation information related to the dangerous state from a terminal device of an encounterer who has encountered a dangerous state, and the acquired unit. It is provided with a classification unit that classifies information on the dangerous state based on image information or the dangerous situation information.

上記構成によれば、簡単な方法で危険な状態の情報を活用することができる。 According to the above configuration, the information on the dangerous state can be utilized in a simple method.

上述の情報処理装置において、前記危険状況情報は、前記危険な状態の危険内容に関する情報、前記危険な状態が原因で発生した怪我又は病気に関する情報、及び前記危険な状態が原因で発生した怪我又は病気の度合いの少なくともいずれか１つを含んでよい。 In the above-mentioned information processing apparatus, the danger situation information includes information on the danger content of the dangerous state, information on an injury or illness caused by the dangerous state, and an injury or injury caused by the dangerous state. It may include at least one of the degrees of illness.

上記構成によれば、危険な状態の情報に具体的な危険状況が含まれるため、危険な状態の情報を活用する価値を高めることができる。 According to the above configuration, since the information on the dangerous state includes a specific dangerous situation, the value of utilizing the information on the dangerous state can be increased.

上述の情報処理装置において、前記画像情報及び前記危険状況情報と、前記遭遇者を識別する識別情報とを対応付けて記憶する記憶部を備えてよい。 The information processing device described above may include a storage unit that stores the image information, the danger situation information, and the identification information that identifies the encounter person in association with each other.

上記構成によれば、遭遇者情報により画像情報及び危険状況情報が識別された画像情報及び危険状況情報を記憶することができ、危険な状態の情報を活用する価値を高めることができる。 According to the above configuration, the image information and the danger situation information in which the image information and the danger situation information are identified by the encounter information can be stored, and the value of utilizing the information in the dangerous state can be enhanced.

上述の情報処理装置において、前記画像情報に基づき、前記画像情報に含まれる前記危険な状態の誘発原因情報を特定する特定部を備え、前記記憶部は、前記画像情報に対応付けて特定した前記誘発原因情報を記憶する構成であってよい。 The information processing apparatus described above includes a specific unit that identifies the trigger cause information of the dangerous state included in the image information based on the image information, and the storage unit is specified in association with the image information. It may be configured to store the trigger cause information.

上記構成によれば、危険な状態を示す画像情報に基づく誘発原因の特定をコンピュータに実行させることが可能になる。また、特定された誘発原因が記憶されるため、危険な状態の情報を活用する価値を高めることができる。 According to the above configuration, it is possible to cause the computer to identify the trigger cause based on the image information indicating the dangerous state. In addition, since the identified trigger cause is stored, the value of utilizing the information on the dangerous state can be increased.

上述の情報処理装置において、前記特定部は、危険な状態を示す画像情報を入力した場合に該画像情報に含まれる前記危険な状態の誘発原因情報を出力する学習済みモデルに、前記画像情報を入力して、出力される前記誘発原因情報を取得する構成であってよい。 In the above-mentioned information processing device, when the specific unit inputs image information indicating a dangerous state, the specific unit transfers the image information to a trained model that outputs the induction cause information of the dangerous state included in the image information. The configuration may be such that the trigger cause information that is input and output is acquired.

上記構成によれば、危険な状態を示す画像情報に基づく誘発原因の特定をコンピュータに実行させることが可能になる。また、特定された誘発原因が記憶されるため、危険な状態の情報を活用する価値を高めることができる。 According to the above configuration, it is possible to cause the computer to identify the trigger cause based on the image information indicating the dangerous state. In addition, since the identified trigger cause is stored, the value of utilizing the information on the dangerous state can be increased.

上述の情報処理装置において、管理者端末装置から、前記危険な状態への対処内容に関する対処情報を取得する第２取得部を備え、前記記憶部は、前記危険状況情報に対応付けて前記対処情報を記憶する構成であってよい。 The above-mentioned information processing device includes a second acquisition unit that acquires coping information regarding the content of coping with the dangerous state from the administrator terminal device, and the storage unit is associated with the danger situation information and the coping information. May be configured to memorize.

上記構成によれば、危険な状態の発生位置に対応した対処情報を取得し、記憶することができるため、危険な状態の情報を活用する価値を高めることができる。 According to the above configuration, since it is possible to acquire and store the coping information corresponding to the position where the dangerous state occurs, it is possible to increase the value of utilizing the information on the dangerous state.

上述の情報処理装置において、前記対処情報と、前記危険な状態の発生位置とを対応付けて地図上に表示させる表示情報を出力する出力部を備えてよい。 The above-mentioned information processing device may include an output unit that outputs display information that is displayed on a map in association with the countermeasure information and the position where the dangerous state occurs.

上記構成によれば、危険な状態の発生位置に対応した対処情報を表示させることができるため、危険な状態の情報を活用する価値を高めることができる。 According to the above configuration, it is possible to display the coping information corresponding to the position where the dangerous state occurs, so that the value of utilizing the information on the dangerous state can be increased.

実施形態に係る情報処理方法は、危険な状態に遭遇した遭遇者から、前記危険な状態を示す画像情報を取得し、前記危険な状態に関する危険状況情報を取得し、取得した前記画像情報及び前記危険状況情報を出力する。 The information processing method according to the embodiment acquires image information indicating the dangerous state from an encounterer who encounters the dangerous state, acquires dangerous situation information regarding the dangerous state, and obtains the image information and the said image information. Output danger status information.

上記構成によれば、簡単な方法で危険な状態の情報を活用することができる。 According to the above configuration, the information on the dangerous state can be utilized in a simple method.

以下、本発明をその実施形態を示す図面を参照して具体的に説明する。以下の実施形態では、本開示の情報処理装置を適用して、危険情報を処理する危険情報処理システムを例に本発明を説明する。 Hereinafter, the present invention will be specifically described with reference to the drawings showing the embodiments thereof. In the following embodiment, the present invention will be described by applying the information processing apparatus of the present disclosure to an example of a danger information processing system that processes danger information.

（実施形態１）
図１は、実施形態１における危険情報処理システム１００の構成の概要を示す概要図である。危険情報処理システム１００は、危険情報を送受信する遭遇者の第１端末装置１、安全管理を担当する安全管理担当者の第２端末装置２、及び危険情報を収集管理する情報処理装置３により実現される。各装置は、夫々ネットワークＮを介して情報を送受信することが可能である。ネットワークＮは、所謂インターネットである公衆通信網キャリア事業者が提供するキャリアネットワーク、無線通信ネットワーク等を含む。 (Embodiment 1)
FIG. 1 is a schematic diagram showing an outline of the configuration of the danger information processing system 100 according to the first embodiment. The danger information processing system 100 is realized by a first terminal device 1 of an encounterer who sends and receives danger information, a second terminal device 2 of a safety management person in charge of safety management, and an information processing device 3 which collects and manages danger information. Will be done. Each device can send and receive information via the network N, respectively. The network N includes a carrier network, a wireless communication network, and the like provided by a public communication network carrier operator, which is the so-called Internet.

第１端末装置１は、撮影機能及び通信機能を有し、様々の情報処理、情報の送受信が可能な汎用の情報処理装置であり、例えばスマートフォン、タブレット端末等である。 The first terminal device 1 is a general-purpose information processing device having a photographing function and a communication function and capable of transmitting and receiving various information processing and information, such as a smartphone and a tablet terminal.

第２端末装置２は、通信機能を有し、様々の情報処理、情報の送受信が可能な汎用の情報処理装置であり、例えばパーソナルコンピュータ、サーバコンピュータ等である。 The second terminal device 2 is a general-purpose information processing device having a communication function and capable of transmitting and receiving various information processing and information, such as a personal computer and a server computer.

情報処理装置３は様々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。情報処理装置３は複数台設けられてもよいし、１台の情報処理装置内に設けられた複数の仮想マシンによって実現されてもよいし、クラウドサーバを用いて実現されてもよい。 The information processing device 3 is an information processing device capable of transmitting and receiving various information processing and information, such as a server computer and a personal computer. A plurality of information processing devices 3 may be provided, may be realized by a plurality of virtual machines provided in one information processing device, or may be realized by using a cloud server.

危険情報処理システム１００では、例えば工場従事者である遭遇者が、第１端末装置１により工場周辺で遭遇した危険な状態に関する危険情報を情報処理装置３へ送信する。工場の安全管理担当者は、提供された危険情報に対する安全化対応を実施し、対応内容である対処情報を第２端末装置２により情報処理装置３へ送信する。なお、危険情報処理システム１００の利用は、工場に限定されるものでないことは勿論である。例えば医療機関、教育機関、公共機関等の様々な場所に適用され得る。また以下では、便宜上第１端末装置１の管理者は危険な状態に関する情報を提供し、各種の危険な状態に関する情報を取得する遭遇者として説明するが、第１端末装置１の管理者には、各種の情報を取得するのみである利用者が含まれていてもよい。すなわち、本システムは利用者同士の情報の共有を実現するものである。 In the danger information processing system 100, for example, an encounterer who is a factory worker transmits danger information regarding a dangerous state encountered around the factory by the first terminal device 1 to the information processing device 3. The person in charge of safety management of the factory implements a safety response to the provided danger information, and transmits the response information, which is the content of the response, to the information processing device 3 by the second terminal device 2. Needless to say, the use of the danger information processing system 100 is not limited to the factory. For example, it can be applied to various places such as medical institutions, educational institutions, and public institutions. Further, in the following, for convenience, the administrator of the first terminal device 1 will be described as an encounterer who provides information on a dangerous state and acquires information on various dangerous states, but the administrator of the first terminal device 1 will be described. , Users who only acquire various information may be included. That is, this system realizes information sharing between users.

図２は、危険情報処理システム１００に含まれる第１端末装置１の内部構成を示すブロック図である。第１端末装置１は上述したように、スマートフォン等の通信機能を有するコンピュータを用いる。第１端末装置１は、制御部１０、記憶部１１、通信部１２、表示部１３、操作部１４、撮像部１５、位置情報取得部１６、音声入力部１７、及び音声出力部１８を備える。 FIG. 2 is a block diagram showing an internal configuration of the first terminal device 1 included in the danger information processing system 100. As described above, the first terminal device 1 uses a computer having a communication function such as a smartphone. The first terminal device 1 includes a control unit 10, a storage unit 11, a communication unit 12, a display unit 13, an operation unit 14, an imaging unit 15, a position information acquisition unit 16, a voice input unit 17, and a voice output unit 18.

制御部１０は、一又は複数のＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit）等を用いたプロセッサであり、内蔵するＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等のメモリを用いて各構成部を制御して処理を実行する。制御部１０は、プロセッサ、メモリ、記憶部１１、及び通信部１２を集積した１つのハードウェア（ＳｏＣ：System On a Chip）として構成されていてもよい。制御部１０は、記憶部１１に記憶されているプログラム１Ｐに基づく情報処理を実行する。 The control unit 10 is a processor that uses one or more CPUs (Central Processing Units), GPUs (Graphics Processing Units), and the like, and uses built-in memories such as ROM (Read Only Memory) and RAM (Random Access Memory). Control each component to execute processing. The control unit 10 may be configured as one piece of hardware (SoC: System On a Chip) in which a processor, a memory, a storage unit 11, and a communication unit 12 are integrated. The control unit 10 executes information processing based on the program 1P stored in the storage unit 11.

記憶部１１は、フラッシュメモリ等の不揮発性メモリを用いる。記憶部１１は、プログラム１Ｐを記憶しているほか、制御部１０が参照する他のプログラム及びデータを記憶する。例えば、プログラム１Ｐは危険情報の登録、参照のためのアプリプログラムである。プログラム１Ｐは、制御部１０が通信部１２を介してネットワークＮ経由で外部装置からダウンロードして記憶部１１に記憶したものであってもよい。 The storage unit 11 uses a non-volatile memory such as a flash memory. The storage unit 11 stores the program 1P, and also stores other programs and data referred to by the control unit 10. For example, program 1P is an application program for registering and referencing danger information. The program 1P may be one that the control unit 10 downloads from an external device via the network N via the communication unit 12 and stores it in the storage unit 11.

通信部１２は、ネットワークＮへの通信接続を実現する通信モジュールである。通信部１２は、ネットワークカード、無線通信デバイス又はキャリア通信用モジュールを用いる。 The communication unit 12 is a communication module that realizes a communication connection to the network N. The communication unit 12 uses a network card, a wireless communication device, or a carrier communication module.

表示部１３は、液晶パネル、有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイ装置を用いる。操作部１４は、遭遇者の操作を受け付けるインタフェースであり、物理ボタン、ディスプレイ内蔵のタッチパネルデバイス等を用いる。操作部２４は、音声入力部１７及び音声出力部１８を介して操作を受け付けてもよい。 The display unit 13 uses a display device such as a liquid crystal panel or an organic EL (Electro Luminescence) display. The operation unit 14 is an interface for receiving an operation of an encounterer, and uses a physical button, a touch panel device with a built-in display, or the like. The operation unit 24 may accept an operation via the voice input unit 17 and the voice output unit 18.

撮像部１５は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor ）、ＣＣＤ（Charge Coupled Device ）等のイメージセンサを備えた撮影装置である。制御部１０は、撮像部１５で撮影された画像を取得し、記憶部１１に画像データとして記憶させることが可能である。 The imaging unit 15 is an imaging device including an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device). The control unit 10 can acquire an image taken by the image pickup unit 15 and store it in the storage unit 11 as image data.

位置情報取得部１６は、例えばＧＰＳ（Global Positioning System）に基づく信号を受信するアンテナを含んで第１端末装置１の位置を測定する。位置情報取得部１６は、ネットワークＮに含まれる複数のアクセスポイント、基地局との通信により位置を特定してもよい。位置情報取得部１６は、測定した位置を示す位置情報（例えば緯度経度）を制御部１０へ出力する。 The position information acquisition unit 16 measures the position of the first terminal device 1 including an antenna that receives a signal based on, for example, GPS (Global Positioning System). The position information acquisition unit 16 may specify the position by communicating with a plurality of access points and base stations included in the network N. The position information acquisition unit 16 outputs position information (for example, latitude / longitude) indicating the measured position to the control unit 10.

音声入力部１７は、マイクロフォン等を用いて、遭遇者の音声情報の入力を受け付ける。音声出力部１８は、スピーカ等を用いて、制御部１０の制御により音声を出力する。 The voice input unit 17 accepts the input of the voice information of the encounterer by using a microphone or the like. The audio output unit 18 outputs audio under the control of the control unit 10 using a speaker or the like.

図３は、危険情報処理システム１００に含まれる第２端末装置２の内部構成を示すブロック図である。第２端末装置２は上述したように、パーソナルコンピュータ等の通信機能を有するコンピュータを用いる。第２端末装置２は、制御部２０、記憶部２１、通信部２２、表示部２３、及び操作部２４を備える。 FIG. 3 is a block diagram showing an internal configuration of the second terminal device 2 included in the danger information processing system 100. As described above, the second terminal device 2 uses a computer having a communication function such as a personal computer. The second terminal device 2 includes a control unit 20, a storage unit 21, a communication unit 22, a display unit 23, and an operation unit 24.

制御部２０は、一又は複数のＣＰＵ、ＧＰＵ等を用いたプロセッサであり、内蔵するＲＯＭ及びＲＡＭ等のメモリを用いて各構成部を制御して処理を実行する。制御部２０は、記憶部２１に記憶されているプログラム２Ｐに基づく情報処理を実行する。 The control unit 20 is a processor using one or more CPUs, GPUs, etc., and controls each component unit using a built-in memory such as a ROM and a RAM to execute processing. The control unit 20 executes information processing based on the program 2P stored in the storage unit 21.

記憶部２１は、ハードディスク等の大容量記憶装置を用いる。記憶部２１は、プログラム２Ｐを記憶しているほか、制御部２０が参照する他のプログラム及びデータを記憶する。プログラム２Ｐは、制御部２０が通信部２２を介してネットワークＮ経由で外部装置からダウンロードして記憶部２１に記憶したものであってもよい。プログラム２Ｐは、制御部２０が図示しない読み取り部を介して可搬型記憶媒体２ａから読み取って記憶部２１に記憶したものであってもよい。プログラム２Ｐは、制御部２０が半導体メモリ２ｂから読み出したものであってもよい。 The storage unit 21 uses a large-capacity storage device such as a hard disk. The storage unit 21 stores the program 2P, and also stores other programs and data referred to by the control unit 20. The program 2P may be one that the control unit 20 downloads from an external device via the network N via the communication unit 22 and stores it in the storage unit 21. The program 2P may be one that the control unit 20 reads from the portable storage medium 2a via a reading unit (not shown) and stores it in the storage unit 21. The program 2P may be read from the semiconductor memory 2b by the control unit 20.

通信部２２は、ネットワークＮへの通信接続を実現する通信モジュールである。通信部２２は、ネットワークカード、無線通信デバイス又はキャリア通信用モジュールを用いる。 The communication unit 22 is a communication module that realizes a communication connection to the network N. The communication unit 22 uses a network card, a wireless communication device, or a carrier communication module.

表示部２３は、液晶パネル、有機ＥＬディスプレイ等のディスプレイ装置を用いる。操作部２４は、担当者の操作を受け付けるインタフェースであり、キーボード及びポインティングデバイス等を用いる。操作部２４は、スピーカ及びマイクロフォン等を用い、マイクロフォンにて入力音声から操作内容を認識し、スピーカで出力する音声との対話形式で操作を受け付けてもよい。 The display unit 23 uses a display device such as a liquid crystal panel or an organic EL display. The operation unit 24 is an interface for receiving the operation of the person in charge, and uses a keyboard, a pointing device, and the like. The operation unit 24 may use a speaker, a microphone, or the like to recognize the operation content from the input voice by the microphone and accept the operation in an interactive manner with the voice output by the speaker.

図４は、危険情報処理システム１００に含まれる情報処理装置３の内部構成を示すブロック図である。情報処理装置３は上述したように、サーバコンピュータを用いる。情報処理装置３は、制御部３０、記憶部３１、及び通信部３２を備える。 FIG. 4 is a block diagram showing an internal configuration of the information processing device 3 included in the danger information processing system 100. As described above, the information processing device 3 uses a server computer. The information processing device 3 includes a control unit 30, a storage unit 31, and a communication unit 32.

通信部３２は、通信に関する処理を行うための通信モジュールである。制御部３０は通信部３２により、ネットワークＮを介した通信が可能である。 The communication unit 32 is a communication module for performing processing related to communication. The control unit 30 can communicate via the network N by the communication unit 32.

記憶部３１は、ハードディスク等の大容量記憶装置を用いる。記憶部３１は、プログラム３Ｐを記憶するほか、制御部３０が参照する他のプログラム及びデータを記憶する。プログラム３Ｐは、制御部３０が通信部３２を介してネットワークＮ経由で外部装置からダウンロードして記憶部３１に記憶したものであってもよい。プログラム３Ｐは、制御部３０が図示しない読み取り部を介して可搬型記憶媒体３ａから読み取って記憶部３１に記憶したものであってもよい。プログラム３Ｐは、制御部３０が半導体メモリ３ｂから読み出したものであってもよい。記憶部３１は、危険情報ＤＢ（Data Base ：データベース）３１１を記憶する。危険情報ＤＢ３１１は情報処理装置３に接続された外部の大容量記憶装置に記憶されていてもよい。 The storage unit 31 uses a large-capacity storage device such as a hard disk. In addition to storing the program 3P, the storage unit 31 stores other programs and data referred to by the control unit 30. The program 3P may be one that the control unit 30 downloads from the external device via the network N via the communication unit 32 and stores it in the storage unit 31. The program 3P may be one that the control unit 30 reads from the portable storage medium 3a via a reading unit (not shown) and stores it in the storage unit 31. The program 3P may be read from the semiconductor memory 3b by the control unit 30. The storage unit 31 stores the danger information DB (Data Base: database) 311. The danger information DB 311 may be stored in an external large-capacity storage device connected to the information processing device 3.

図５は、危険情報ＤＢ３１１に記憶される情報の内容例を示す図である。制御部３０は、第１端末装置１から危険情報である危険を示す画像情報及び危険状況情報、第２端末装置２から対処情報を取得し危険情報ＤＢ３１１に記憶する。危険情報ＤＢ３１１には、危険情報を識別するための危険情報ＩＤに対応付けて、危険情報に係る遭遇者ＩＤ、画像情報、危険状況情報、及び対処情報が記憶される。 FIG. 5 is a diagram showing an example of the content of the information stored in the danger information DB 311. The control unit 30 acquires image information and danger situation information indicating danger, which are danger information, from the first terminal device 1, and countermeasure information from the second terminal device 2, and stores them in the danger information DB 311. In the danger information DB311, the encounter ID, the image information, the danger situation information, and the coping information related to the danger information are stored in association with the danger information ID for identifying the danger information.

遭遇者ＩＤは、危険情報を登録する遭遇者を識別するための識別情報である。画像情報は、危険な状態が撮影された静止画又は動画である画像を含んでよい。危険状況情報は、遭遇者から受け付けた危険な状態の内容に関する音声データ、テキストデータ等を含んでよい。危険状況情報には、これらの音声データ及びテキストデータ等に基づいてカテゴリ分類された危険内容、傷病内容、傷病度合い、発生位置、誘発原因等を示す情報が含まれてよい。危険内容情報には発生した危険の内容が含まれ、例えば「進路不明」「歩行困難」等が記憶される。傷病内容には危険を原因とする傷病の内容が含まれ、例えば「骨折」「転倒」等が記憶される。傷病度合いには危険を原因とする傷病の度合いが含まれ、例えば「全治半年」「軽傷」等が記憶される。発生位置には危険が発生した詳細な場所に関する情報が含まれ、例えば「第1倉庫前の道路」「５番会議室」等が含まれる。誘発原因情報には危険の誘発原因に関する情報が含まれ、例えば「歩道狭い」「カーペット剥がれ」等が含まれる。 The encounter ID is identification information for identifying the encounter who registers the danger information. The image information may include an image that is a still image or a moving image in which a dangerous state is taken. The danger situation information may include voice data, text data, and the like regarding the contents of the dangerous state received from the encounterer. The danger situation information may include information indicating danger contents, injury / illness contents, injury / illness degree, occurrence position, induction cause, etc., which are categorized based on these voice data, text data, and the like. The danger content information includes the content of the danger that has occurred, and for example, "unknown course", "difficulty walking", etc. are stored. The content of the injury or illness includes the content of the injury or illness caused by danger, and for example, "fracture" or "fall" is memorized. The degree of injury or illness includes the degree of injury or illness caused by danger, and for example, "half a year of complete healing" or "minor injury" is memorized. The location of occurrence includes information on the detailed location where the danger has occurred, such as "road in front of warehouse 1" and "meeting room 5". The trigger cause information includes information on the trigger cause of danger, such as "narrow sidewalk" and "carpet peeling".

危険状況情報には、危険な状態が発生した発生日時、位置情報、天候、遭遇者の属性が含まれてよい。発生日時は、標準時に基づく画像が撮影された日時である。位置情報は、例えば緯度経度等で示される画像の撮影位置である。天候は、例えば晴雨曇等、画像撮影時の天候情報である。遭遇者の属性は、遭遇者の個人を特定しない範囲の情報であり、例えば遭遇者の年齢、性別、入社年次、及び現作業従事年次等を含んでよい。なお、遭遇者の属性は、遭遇者が危険情報処理システム１００を利用する際に情報処理装置３にて提供される登録用の画面上において、遭遇者が第１端末装置１で登録操作をすることによって遭遇者ＩＤに対応付けて記憶される。なお遭遇者の属性は、情報処理装置３又は第２端末装置２により登録されてもよい。 The hazard information may include the date and time of the occurrence of the hazard, location information, weather, and attributes of the encounter. The date and time of occurrence is the date and time when the image based on standard time was taken. The position information is, for example, the shooting position of an image indicated by latitude and longitude. The weather is weather information at the time of image taking, such as fine weather and cloudy weather. The attributes of the encounterer are information in a range that does not identify the individual of the encounteree, and may include, for example, the age, gender, year of joining the company, year of current work, and the like of the encounterer. As for the attributes of the encounterer, the encounterer performs the registration operation on the first terminal device 1 on the registration screen provided by the information processing device 3 when the encounterer uses the danger information processing system 100. As a result, it is stored in association with the encounter ID. The attributes of the encounterer may be registered by the information processing device 3 or the second terminal device 2.

対処情報には、対処日時及び対処内容が含まれてよい。対処日時は、危険情報に対して行われた安全化対応の対処実施日時及び対処状況（完了済み、対処予定）等を含んでよい。対処内容は、危険情報に対して行われた安全化対応の内容を含み、例えば「白線補修」等の複数のカテゴリに分類され記憶される。なお、図５は一例であり、危険情報ＤＢ３１１の記憶内容は限定されない。 The response information may include the response date and time and the response content. The response date and time may include the response implementation date and time and the response status (completed, planned response) of the safety response taken for the danger information. The contents of the measures include the contents of the safety measures taken for the danger information, and are classified and stored in a plurality of categories such as "white line repair". Note that FIG. 5 is an example, and the stored contents of the danger information DB311 are not limited.

制御部３０は、一又は複数のＣＰＵ、ＧＰＵ等を用いたプロセッサであり、内蔵するＲＯＭ及びＲＡＭ等のメモリを用いて各構成部を制御して処理を実行する。制御部３０は、記憶部３１に記憶されているプログラム３Ｐに基づく情報処理を実行する。 The control unit 30 is a processor using one or more CPUs, GPUs, etc., and controls each component unit using a built-in memory such as a ROM and a RAM to execute processing. The control unit 30 executes information processing based on the program 3P stored in the storage unit 31.

制御部３０は、機能部として、第１取得部３０１、第２取得部３０２、分類部３０３、出力部３０４を有する。制御部３０の各機能部はプログラムモジュールであり、記憶部３１に記憶してあるプログラム３Ｐを実行することにより以下の各機能を実現する。 The control unit 30 has a first acquisition unit 301, a second acquisition unit 302, a classification unit 303, and an output unit 304 as functional units. Each functional unit of the control unit 30 is a program module, and the following functions are realized by executing the program 3P stored in the storage unit 31.

第１取得部３０１は、通信部３２を介して、第１端末装置１から受信した危険情報を取得する。具体的には、第１端末装置１にて取得した危険情報である、危険な状態を示す画像情報、及び、危険な状態に関する危険状況情報を取得する。危険状況情報は、遭遇者ＩＤ、遭遇者の入力を受け付け取得される音声データまたはテキストデータ、及び第１端末装置１により自動で取得される自動取得情報（発生日時、位置情報、天候、遭遇者の属性等）が含まれる。 The first acquisition unit 301 acquires the danger information received from the first terminal device 1 via the communication unit 32. Specifically, the image information indicating the dangerous state, which is the danger information acquired by the first terminal device 1, and the danger situation information regarding the dangerous state are acquired. The danger situation information includes the encounter ID, voice data or text data acquired by accepting the input of the encounter, and automatically acquired information (occurrence date / time, location information, weather, encounter person) automatically acquired by the first terminal device 1. Attributes, etc.) are included.

第１端末装置１の制御部１０は、画像が撮影された危険情報の発生状況に関する情報（自動取得情報）を取得する。制御部１０は、通信部１２によりネットワークＮから発生日時を取得する。制御部１０は、位置情報取得部１６により位置を示す位置情報を取得する。制御部１０は、通信部１２により例えばＢｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）等の通信規格による近距離無線通信を用いて位置情報を取得してもよい。屋内等で発生した危険情報を登録する場合においては、屋内の所定箇所に設置されたビーコン端末との信号の送受信により、ビーコン端末との電波強度に基づき建物内における詳細な位置情報を取得することが好ましい。制御部１０は、例えば通信部１２によりインターネット等から天候を取得する。制御部１０は、遭遇者ＩＤに対応付けて予め記憶されている遭遇者の属性情報を取得する。 The control unit 10 of the first terminal device 1 acquires information (automatic acquisition information) regarding the occurrence status of the danger information in which the image was taken. The control unit 10 acquires the occurrence date and time from the network N by the communication unit 12. The control unit 10 acquires position information indicating a position by the position information acquisition unit 16. The control unit 10 may acquire position information by the communication unit 12 using, for example, short-range wireless communication according to a communication standard such as Bluetooth (registered trademark) or Wi-Fi (registered trademark). When registering danger information generated indoors, etc., detailed location information in the building should be acquired based on the signal strength with the beacon terminal by transmitting and receiving signals with the beacon terminal installed at a predetermined location indoors. Is preferable. The control unit 10 acquires the weather from the Internet or the like by, for example, the communication unit 12. The control unit 10 acquires the attribute information of the encounterer stored in advance in association with the encounterer ID.

第２取得部３０２は、通信部３２を介して、第２端末装置２から受信した対処情報を取得する。 The second acquisition unit 302 acquires the coping information received from the second terminal device 2 via the communication unit 32.

分類部３０３は、第１取得部３０１が取得した危険情報に含まれる内容に基づき、危険状況情報を種類毎に分類する。具体的には、分類部３０３は、音声データをテキストデータに変換した危険状況情報、又はテキストデータにて入力された危険状況情報を取得し、該テキストデータのテキストマイニングにより危険状況情報に含まれる情報を分類する。例えば、分類部３０３は危険状況情報として「歩道が狭くてすれ違う時にぶつかりそうになった。こけて捻挫した」を取得する。分類部３０３は、「歩道」「狭く」を、誘発原因情報の「歩道狭い」に分類する。分類部３０３は、「すれ違う」「ぶつかり」を、危険内容情報の「すれ違い困難」に分類する。分類部３０３は、「こけ」「捻挫」を、傷病内容「転倒」及び度合い「捻挫」に分類する。分類部３０３は、危険情報の登録を受け付ける画面にて、予め記憶される危険状況情報の分類を示す複数のカテゴリを表示させ、遭遇者の選択を受け付けることにより危険状況情報の分類をおこなってもよい。分類部３０３にて分類された危険状況情報は、遭遇者ＩＤに対応付けて記憶部３１の危険情報ＤＢ３１１の各フィールドに記憶される。 The classification unit 303 classifies the danger situation information by type based on the contents included in the danger information acquired by the first acquisition unit 301. Specifically, the classification unit 303 acquires the danger situation information obtained by converting the voice data into text data, or the danger situation information input in the text data, and includes the danger situation information in the danger situation information by text mining of the text data. Classify information. For example, the classification unit 303 acquires "I was about to hit when the sidewalk was narrow and passed each other. I was sprained by a sprain" as danger situation information. The classification unit 303 classifies "sidewalk" and "narrow" into "narrow sidewalk" of the trigger cause information. The classification unit 303 classifies "passing" and "collision" into "difficult to pass" in the danger content information. The classification unit 303 classifies "moss" and "sprain" into the content of injury and illness "fall" and the degree "sprain". The classification unit 303 displays a plurality of categories indicating the classification of the danger situation information stored in advance on the screen for accepting the registration of the danger information, and classifies the danger situation information by accepting the selection of the encounterer. Good. The danger situation information classified by the classification unit 303 is stored in each field of the danger information DB 311 of the storage unit 31 in association with the encounterer ID.

なお、分類部３０３はその他機械学習モデルを用いて危険状況情報の分類情報（危険内容情報、傷病内容及び度合い、発生位置、誘発原因情報等）を取得してもよい。分類部３０３は、危険状況情報のテキストデータを入力した場合に該テキストデータに含まれる危険状況情報の分類情報を出力する学習済みモデルを予め作成して記憶部３１に記憶しておく。分類部３０３は、この学習済みモデルにより危険状況情報のテキストデータから所定の言語を含む情報を分類し、危険状況情報の分類情報を取得してもよい。なお学習済みモデルは、危険状況情報のテキストデータ及び危険な状態を示す画像情報を入力した場合に該テキストデータに含まれる危険状況情報の分類情報を出力する学習済みモデルであってもよい。 In addition, the classification unit 303 may acquire classification information (danger content information, injury / illness content and degree, occurrence position, induction cause information, etc.) of danger situation information using other machine learning models. The classification unit 303 creates in advance a learned model that outputs the classification information of the danger situation information included in the text data when the text data of the danger situation information is input, and stores it in the storage unit 31. The classification unit 303 may classify the information including a predetermined language from the text data of the danger situation information by this learned model, and may acquire the classification information of the danger situation information. The trained model may be a trained model that outputs the classification information of the danger situation information included in the text data when the text data of the danger situation information and the image information indicating the dangerous state are input.

危険状況情報は、入力情報に基づき複数の階層及びカテゴリに分けて分類される。例えば分類部３０３は、危険の発生位置を示す情報に基づき層分類を行い、傷病内容に基づきカテゴリ分類を行う。例えば危険の発生位置から「工場内」に分類される危険状況情報は、傷病内容を基に「転倒」、「感電」、…、等の複数のカテゴリにさらに分類される。 The danger situation information is classified into a plurality of layers and categories based on the input information. For example, the classification unit 303 performs layer classification based on information indicating the location of danger, and categorizes based on the content of injury or illness. For example, the danger situation information classified into "inside the factory" from the position where the danger occurs is further classified into a plurality of categories such as "fall", "electricity", ..., Etc. based on the contents of injury and illness.

出力部３０４は、通信部３２を介して、危険情報ＤＢ３１１に収集した危険状況情報、対処情報等を第１端末装置１へ出力する。具体的には、出力部３０４は、収集した危険情報及び対処情報を、発生位置を示す地図上の位置に対応付けて出力する。 The output unit 304 outputs the danger situation information, the coping information, etc. collected in the danger information DB 311 to the first terminal device 1 via the communication unit 32. Specifically, the output unit 304 outputs the collected danger information and the countermeasure information in association with the position on the map indicating the occurrence position.

以下に、上述した構成の危険情報処理システム１００において、各装置が行う処理について説明する。図６は、危険情報の収集処理の処理手順の一例を示すフローチャートである。遭遇者が第１端末装置１を用いてプログラム１Ｐを選択すると、以下の処理が開始される。 The processing performed by each device in the danger information processing system 100 having the above-described configuration will be described below. FIG. 6 is a flowchart showing an example of the processing procedure of the danger information collection process. When the encounterer selects the program 1P using the first terminal device 1, the following processing is started.

第１端末装置１の制御部１０は、危険情報を取得する（ステップＳ１０１）。制御部１０は、プログラム１Ｐに従ってアプリケーションを実行し、危険情報の登録を受け付けるための登録受付画面の画面情報を表示部１３に表示させ、遭遇者から危険情報の登録を受け付ける。制御部１０は、危険情報に含まれる危険な状態を示す画像情報及び危険状況情報を登録受付画面により取得する。また制御部１０は、危険情報に含まれる遭遇者ＩＤ及び自動取得情報を取得する。制御部１０は、取得した危険情報を情報処理装置３に送信する（ステップＳ１０２）。 The control unit 10 of the first terminal device 1 acquires danger information (step S101). The control unit 10 executes the application according to the program 1P, displays the screen information of the registration reception screen for accepting the registration of the danger information on the display unit 13, and accepts the registration of the danger information from the encounterer. The control unit 10 acquires image information and danger situation information including a dangerous state included in the danger information from the registration reception screen. Further, the control unit 10 acquires the encounter ID and the automatically acquired information included in the danger information. The control unit 10 transmits the acquired danger information to the information processing device 3 (step S102).

情報処理装置３の制御部３０は、通信部３２により危険情報を取得する（ステップＳ２０１）。制御部３０は、取得した危険情報に含まれる危険状況情報の内容に基づき危険情報を分類する（ステップＳ２０２）。制御部３０は、危険情報を危険情報ＩＤに対応付けて危険情報ＤＢ３１１に記憶し（ステップＳ２０３）、一連の処理を終了する。 The control unit 30 of the information processing device 3 acquires danger information by the communication unit 32 (step S201). The control unit 30 classifies the danger information based on the content of the danger situation information included in the acquired danger information (step S202). The control unit 30 associates the danger information with the danger information ID and stores it in the danger information DB 311 (step S203), and ends a series of processes.

図７は、登録受付画面の例を示す模式図である。図７Ａは、第１端末装置１のプログラム１Ｐが選択されアプリケーションが起動し表示部１３に表示される画面の一例を示している。プログラム１Ｐが選択されると、撮像部１５を介して撮像が開始される。登録受付画面には、撮像部１５により撮像される画像が表示され、タップ等の方法で遭遇者が指定することによって処理の指示が入力される入力ボタンが含まれている。図７Ａに示す例では、歩道の白線を示す撮像画像と、遭遇者が画像を登録する場合に指定すべきカメラマークで表示された撮像ボタン１３１と、遭遇者が音声を登録する場合に指定すべきマイクマークで表示された録音ボタン１３２とが表示されている。 FIG. 7 is a schematic diagram showing an example of a registration reception screen. FIG. 7A shows an example of a screen in which the program 1P of the first terminal device 1 is selected, the application is started, and the screen is displayed on the display unit 13. When program 1P is selected, imaging is started via the imaging unit 15. The registration reception screen includes an input button in which an image captured by the imaging unit 15 is displayed and a processing instruction is input by an encounterer's designation by a method such as tapping. In the example shown in FIG. 7A, the captured image showing the white line of the sidewalk, the image pickup button 131 displayed with the camera mark to be specified when the encounterer registers the image, and the image pickup button 131 displayed when the encounterer registers the sound are specified. The record button 132 displayed with the power microphone mark is displayed.

遭遇者は、登録受付画面を利用して第１端末装置１を操作し、危険情報を入力する。制御部１０は、図７Ａにおいて、操作部１４を通じて撮像ボタン１３１のタップ操作を受け付ける。制御部１０は、撮像部１５を通じて取得した画像を、図７Ｂに示す如く表示部１３に表示する。なお、画像は静止画に限らず動画であっても良い。制御部１０は、録音ボタン１３２のタップ操作を操作部１４を通じて受け付けた場合、音声入力部１７を通じて音声データを取得すると共に、撮像部１５を通じて画像を取得する。制御部１０は、図７Ｂに示す如く画像を表示部１３に表示すると共に音声データを記憶部１１に記憶する。 The encounterer operates the first terminal device 1 using the registration reception screen and inputs danger information. In FIG. 7A, the control unit 10 receives a tap operation of the image pickup button 131 through the operation unit 14. The control unit 10 displays the image acquired through the imaging unit 15 on the display unit 13 as shown in FIG. 7B. The image is not limited to a still image but may be a moving image. When the control unit 10 receives the tap operation of the recording button 132 through the operation unit 14, the control unit 10 acquires voice data through the voice input unit 17 and also acquires an image through the imaging unit 15. As shown in FIG. 7B, the control unit 10 displays an image on the display unit 13 and stores audio data in the storage unit 11.

図７Ｂは、画像情報を受け付け、危険情報の内容の入力を受け付ける情報を表示する画面の一例を示している。登録受付画面には、取得した撮像画像が表示され、タップ等の方法で遭遇者が指定することによって処理の指示が入力される入力ボタンが含まれている。図７Ｂに示す例では、遭遇者が音声を登録する場合に指定すべきマイクマークで表示された音声ボタン１３３と、遭遇者がテキストを登録する場合に指定すべきメモマークで表示されたテキストボタン１３４と、遭遇者がタッチペン等を用いて操作を登録する場合に指定すべきペンマークで表示されたペンボタン１３５とが表示されている。遭遇者は、音声又はテキストにより、危険情報の内容を入力する。また遭遇者は、例えばタッチパネル等の操作により撮像画像上の危険位置を強調する丸印等を入力してもよい。 FIG. 7B shows an example of a screen that accepts image information and displays information that accepts input of the contents of danger information. The registration reception screen includes an input button in which the acquired captured image is displayed and a processing instruction is input by the encounterer's designation by a method such as tapping. In the example shown in FIG. 7B, the voice button 133 displayed with the microphone mark that should be specified when the encounterer registers the voice and the text button displayed with the memo mark that should be specified when the encounterer registers the text. 134 and a pen button 135 displayed with a pen mark that should be specified when an encounterer registers an operation using a touch pen or the like are displayed. The encounterer inputs the content of the danger information by voice or text. In addition, the encounterer may input a circle or the like that emphasizes the dangerous position on the captured image by operating the touch panel or the like.

図７Ｂにおいて撮像画像が表示されている状態において、テキストボタン１３４のタップ操作を受け付けた場合、制御部１０は図７Ｃに示す如くテキストボックスを表示し、操作部１４から入力される文字情報を受け付け、受け付けた文字情報を危険内容として表示部１３に表示する。制御部１０は、音声ボタン１３３のタップ操作を受け付けた場合、音声入力により、文字情報の入力を受け付ける。遭遇者は、表示部１３に表示された撮像画像上に危険箇所をマークすることができる。制御部１０は、操作部１４を通じてペンボタン１３５を受け付けた場合、記憶部１１から描画アプリケーションを起動する。制御部１０は、描画アプリケーションを通じて図７Ｃに示すような図形、または、文字の入力を受け付ける。制御部１０は描画された図形を表示部１３に表示された画像上に重畳して表示する。 When the tap operation of the text button 134 is accepted while the captured image is displayed in FIG. 7B, the control unit 10 displays the text box as shown in FIG. 7C and accepts the character information input from the operation unit 14. , The received character information is displayed on the display unit 13 as dangerous contents. When the control unit 10 accepts the tap operation of the voice button 133, the control unit 10 accepts the input of character information by voice input. The encounterer can mark a dangerous place on the captured image displayed on the display unit 13. When the control unit 10 receives the pen button 135 through the operation unit 14, the control unit 10 starts the drawing application from the storage unit 11. The control unit 10 accepts input of a figure or character as shown in FIG. 7C through a drawing application. The control unit 10 superimposes and displays the drawn figure on the image displayed on the display unit 13.

図７Ｃは、危険情報の内容を受け付けた後、登録を受け付ける情報を表示する画面の一例を示している。図７Ｃに示す例では、登録受付画面には、危険位置を示す丸印を含む撮像画像と、入力された危険内容を示す情報と、タップ等の方法で遭遇者が指定することによって登録処理の指示が入力される「登録する」と表示された登録ボタン１３６とが含まれている。遭遇者は、登録受付画面に表示される内容を確認し、危険情報を登録する。登録受付画面に含まれる登録ボタン１３６を遭遇者が指定することにより、制御部１０は操作部１４を介して危険情報の登録内容を取得し、情報処理装置３へ送信する。 FIG. 7C shows an example of a screen for displaying information for accepting registration after accepting the content of danger information. In the example shown in FIG. 7C, on the registration reception screen, the registration process is performed by specifying the captured image including the circle mark indicating the dangerous position, the input information indicating the dangerous content, and the encounter by a method such as tapping. It includes a registration button 136 labeled "Register" for inputting instructions. The encounterer confirms the contents displayed on the registration reception screen and registers the danger information. When the encounterer specifies the registration button 136 included in the registration reception screen, the control unit 10 acquires the registered contents of the danger information via the operation unit 14 and transmits the registered contents to the information processing device 3.

一連の入力を終えた場合、遭遇者は、表示部１３に表示された登録ボタン１３６をタップする。制御部１０は、登録ボタン１３６の操作を受け付けた場合、図形が重畳された撮影画像及び危険内容欄中の文字情報を情報処理装置３へ送信する。また制御部１０は記憶部１１に音声データが記憶されている場合、当該音声データをも含めて情報処理装置３へ送信する。 When the encounterer completes a series of inputs, the encounterer taps the registration button 136 displayed on the display unit 13. When the control unit 10 receives the operation of the registration button 136, the control unit 10 transmits the captured image on which the graphic is superimposed and the character information in the danger content column to the information processing device 3. When the voice data is stored in the storage unit 11, the control unit 10 transmits the voice data to the information processing device 3 together with the voice data.

図８は、対処情報の収集処理の処理手順の一例を示すフローチャートである。情報処理装置３の制御部３０は、プログラム１Ｐに従って以下の処理を実行する。情報処理装置３の制御部３０は、危険情報ＤＢ３１１を読み出し、危険情報を第２端末装置２へ送信する（ステップＳ２１１）。 FIG. 8 is a flowchart showing an example of a processing procedure for collecting processing of coping information. The control unit 30 of the information processing device 3 executes the following processing according to the program 1P. The control unit 30 of the information processing device 3 reads out the danger information DB311 and transmits the danger information to the second terminal device 2 (step S211).

第２端末装置２の制御部２０は、通信部２２により危険情報を取得する（ステップＳ３１１）。制御部２０は、危険情報を表示させるための表示画面の画面情報を表示部２３に表示させる。安全管理担当者は、登録された危険情報に対する安全化対応を実施する。実施された安全化対応の情報は、対処情報として登録される。制御部２０は、対処情報の登録を受け付けるための対処情報受付画面の画面情報を表示部２３に表示させ、安全管理担当者から対処情報の登録を受け付ける。制御部２０は、操作部２４の操作を受け付け、対処情報受付画面を通して対処情報を取得する（ステップＳ３１２）。対処情報は、対処内容に応じてカテゴリ別に分類され登録されてもよい。制御部２０は、取得した対処情報を情報処理装置３へ送信する（ステップＳ３１３）。この場合において制御部２０は、対処情報と共に危険情報又は危険情報ＩＤを送信してよい。 The control unit 20 of the second terminal device 2 acquires danger information by the communication unit 22 (step S311). The control unit 20 causes the display unit 23 to display the screen information of the display screen for displaying the danger information. The person in charge of safety management implements safety measures for the registered danger information. Information on the implemented safety measures is registered as countermeasure information. The control unit 20 displays the screen information of the coping information reception screen for accepting the registration of the coping information on the display unit 23, and accepts the registration of the coping information from the person in charge of safety management. The control unit 20 receives the operation of the operation unit 24 and acquires the coping information through the coping information reception screen (step S312). The coping information may be classified and registered by category according to the coping content. The control unit 20 transmits the acquired coping information to the information processing device 3 (step S313). In this case, the control unit 20 may transmit the danger information or the danger information ID together with the coping information.

情報処理装置３の制御部３０は、通信部３２により対処情報を取得する（ステップＳ２１２）。制御部３０は、対処情報を危険情報ＩＤに対応付けて危険情報ＤＢ３１１に記憶する（ステップＳ２１３）。制御部３０は、危険情報及び対処情報を含む表示画面情報を作成し、危険情報及び対処情報を含む表示画面情報を第１端末装置１に送信する（ステップＳ２１４）。 The control unit 30 of the information processing device 3 acquires coping information by the communication unit 32 (step S212). The control unit 30 associates the countermeasure information with the danger information ID and stores it in the danger information DB 311 (step S213). The control unit 30 creates display screen information including danger information and countermeasure information, and transmits display screen information including danger information and countermeasure information to the first terminal device 1 (step S214).

第１端末装置１の制御部１０は、通信部１２により危険情報及び対処情報を含む表示画面情報を取得する（ステップＳ１１１）。制御部１０は、危険情報及び対処情報を含む表示画面情報を表示部２３に表示させ（ステップＳ１１２）、一連の処理を終了する。なお、ステップＳ２１４以降の処理は随時行われてもよく、第１端末装置１の要求に応じて行われてもよい。 The control unit 10 of the first terminal device 1 acquires display screen information including danger information and countermeasure information by the communication unit 12 (step S111). The control unit 10 causes the display unit 23 to display display screen information including danger information and countermeasure information (step S112), and ends a series of processes. The processing after step S214 may be performed at any time, or may be performed in response to the request of the first terminal device 1.

図９及び図１０は、第１端末装置１の表示部１３に表示される表示画面の例を示す模式図である。危険情報処理システム１００の利用者は、収集された危険情報及び対処情報等の情報を第１端末装置１の表示画面から得ることができる。図９は、対処情報を含む表示画面の一例を示している。図９に示す様に、登録された危険情報に対する対処情報は、当該危険情報の発生位置に対応付けて地図上に表示される。表示画面には、地図と、地図上の対応する位置における危険情報の発生位置を示すアイコン（オブジェクト）と、各アイコンが示す危険情報に対する対処情報の内容を示す報告欄とが含まれる。また表示画面には、遭遇者からの検索内容の入力を受け付ける検索欄が含まれる。なお、図９で示される地図情報は、緯度経度に基づいて示される地図情報に限定されず、例えば建物内の詳細な位置を示す情報であってよい。 9 and 10 are schematic views showing an example of a display screen displayed on the display unit 13 of the first terminal device 1. The user of the danger information processing system 100 can obtain information such as collected danger information and countermeasure information from the display screen of the first terminal device 1. FIG. 9 shows an example of a display screen including coping information. As shown in FIG. 9, the coping information for the registered danger information is displayed on the map in association with the occurrence position of the danger information. The display screen includes a map, an icon (object) indicating the position where the danger information is generated at the corresponding position on the map, and a report column indicating the content of the countermeasure information for the danger information indicated by each icon. The display screen also includes a search field that accepts input of search content from the encounter. The map information shown in FIG. 9 is not limited to the map information shown based on latitude and longitude, and may be, for example, information indicating a detailed position in a building.

情報処理装置３の制御部３０は、危険情報ＤＢ３１１を読み出し、危険情報の発生位置と、発生位置に対応する対処情報とを対応付けて地図上に表示させる表示画面情報を作成する。制御部３０は、作成した表示画面情報を第１端末装置１へと送信する。第１端末装置１の制御部１０は、受信した表示画面情報を表示部１３に表示させる。制御部１０は、例えば操作部１４の操作を受け付け、一の発生位置を示すアイコンが選択されると、当該アイコンに対応付けられた対処情報を示す情報を報告欄に表示させる。 The control unit 30 of the information processing device 3 reads out the danger information DB311 and creates display screen information for displaying the danger information generation position and the coping information corresponding to the occurrence position on the map. The control unit 30 transmits the created display screen information to the first terminal device 1. The control unit 10 of the first terminal device 1 causes the display unit 13 to display the received display screen information. For example, the control unit 10 accepts the operation of the operation unit 14, and when an icon indicating one occurrence position is selected, the control unit 10 displays information indicating the coping information associated with the icon in the report column.

図１０は、図９で検索欄に所定内容の入力を受け付け表示される表示画面の一例を示している。図１０に示す様に、所定の危険情報の発生位置が入力された場合、当該発生位置に対応する誘発原因情報の内容が、誘発原因内容の種類毎に分類して表示される。図１０の例では、発生位置として検索欄に「５番会議室」が入力され、誘発原因として「イスががたつく」に分類される危険情報が１３件、及び「カーペット剥がれ」に分類される危険情報が３件登録されていることが表示されている。なお図１０で表示される情報は一例であり表示画面は図１０の例に限定されない。例えば、検索欄に発生位置の情報が入力された場合に、対処情報が表示されてもよく、検索欄に傷病内容又は度合いの情報が入力された場合に、危険内容の情報が表示されてもよい。 FIG. 10 shows an example of a display screen in which input of a predetermined content is accepted and displayed in the search field in FIG. As shown in FIG. 10, when a predetermined occurrence position of danger information is input, the content of the trigger cause information corresponding to the occurrence position is classified and displayed for each type of the trigger cause content. In the example of FIG. 10, "Meeting Room No. 5" is input in the search field as the occurrence position, and 13 danger information classified as "chair rattling" as the trigger cause and danger classified as "carpet peeling". It is displayed that 3 pieces of information are registered. The information displayed in FIG. 10 is an example, and the display screen is not limited to the example in FIG. For example, when the information on the location of occurrence is entered in the search field, the coping information may be displayed, and when the information on the content or degree of injury or illness is entered in the search field, the information on the dangerous content may be displayed. Good.

第１端末装置１において、表示画面に含まれる検索欄で操作部１４により検索キーワード（図１０では発生位置）が入力されると、制御部１０は入力内容を取得し、情報処理装置３に送信する。情報処理装置３の制御部３０は、危険情報ＤＢ３１１の分類フィールドを読み出し、キーワードに対応する情報（図１０では誘発原因情報）を取得する。誘発原因情報は内容に基づきカテゴリ分類して記憶されている。制御部３０は、カテゴリ情報及び登録件数を取得し、表示画面情報作成し、第２端末装置２へ出力する。 In the first terminal device 1, when a search keyword (occurrence position in FIG. 10) is input by the operation unit 14 in the search field included in the display screen, the control unit 10 acquires the input content and transmits it to the information processing device 3. To do. The control unit 30 of the information processing device 3 reads out the classification field of the danger information DB311 and acquires the information corresponding to the keyword (induction cause information in FIG. 10). The trigger cause information is categorized and stored based on the content. The control unit 30 acquires category information and the number of registered items, creates display screen information, and outputs the information to the second terminal device 2.

このように、危険情報処理システム１００では、遭遇者は第１端末装置１を用いて簡単な方法で危険情報の登録を行うことが出来るため、報告書等の作成、多数の情報内容の入力等といった煩雑な処理が不要となる。また、登録された危険情報、対処情報が第１端末装置１に表示されるため、遭遇者は登録の効果を直接認識することができ、遭遇者の危険情報の登録に対するモチベーションを高めることができる。従って、より多くの危険情報の収集の可能性を高めることができ、また従来危険な場所として注意されていなかった様な危険源の情報等が収集されることで、効果的な情報収集が可能となる。 In this way, in the danger information processing system 100, the encounterer can register the danger information by a simple method using the first terminal device 1, so that a report or the like can be created, a large amount of information contents can be input, or the like. There is no need for complicated processing such as. Further, since the registered danger information and the coping information are displayed on the first terminal device 1, the encounterer can directly recognize the effect of the registration and can increase the motivation for the encounterer to register the danger information. .. Therefore, it is possible to increase the possibility of collecting more dangerous information, and it is possible to effectively collect information by collecting information on dangerous sources that were not previously noted as dangerous places. It becomes.

情報処理装置３の制御部３０は、危険情報ＤＢ３１１に蓄積される情報に基づき、新たな危険の状態の発生を予測してもよい。図１１は、危険情報処理システムが実行する処理手順の一例を示すフローチャートである。処理の実行タイミングは、例えば定期的なタイミングであってもよく、危険情報を取得したタイミングであってもよい。 The control unit 30 of the information processing device 3 may predict the occurrence of a new danger state based on the information stored in the danger information DB 311. FIG. 11 is a flowchart showing an example of a processing procedure executed by the danger information processing system. The execution timing of the process may be, for example, a periodic timing or a timing at which the danger information is acquired.

制御部３０は、複数の危険な状態に関する画像情報及び危険状況情報を記憶している危険情報ＤＢ３１１の蓄積データを読み出し（ステップＳ２３１）、新たな危険な状態の発生を予測する（ステップＳ２３２）。例えば、制御部３０は、危険情報ＤＢ３１１の危険情報に含まれる道路状況と工場周辺の道路状況データとの比較を行い、危険情報に含まれる道路に近似する工場周辺の道路を抽出し、相関関係から近似する道路において危険な状態が発生する可能性の確率を導出する。制御部３０は、導出した予測情報を表示する予測結果表示画面情報を作成し（ステップＳ２３３）、予測結果表示画面情報を第１端末装置１に送信する（ステップＳ２３４）。この場合において、予測結果はＡＲ（Augmented Reality：拡張現実）映像を用いて表示されることが好ましい。制御部３０は、例えば新たな危険が発生する可能性が高いと予測された発生場所と、予測される危険の内容とを含むＡＲ映像を含む画面情報を作成する。 The control unit 30 reads out the accumulated data of the danger information DB311 that stores the image information and the danger situation information regarding the plurality of dangerous states (step S231), and predicts the occurrence of a new dangerous state (step S232). For example, the control unit 30 compares the road condition included in the danger information of the danger information DB311 with the road condition data around the factory, extracts the road around the factory that is close to the road included in the danger information, and correlates. The probability of a dangerous situation occurring on a similar road is derived from. The control unit 30 creates prediction result display screen information for displaying the derived prediction information (step S233), and transmits the prediction result display screen information to the first terminal device 1 (step S234). In this case, it is preferable that the prediction result is displayed using an AR (Augmented Reality) image. The control unit 30 creates screen information including an AR image including, for example, a location where a new danger is predicted to occur and the content of the predicted danger.

第１端末装置１の制御部１０は、予測結果表示画面情報を取得する（ステップＳ１３１）。制御部１０は、取得した予測結果表示画面を表示部１３に表示させ（ステップＳ１３２）、一連の処理を終了する。遭遇者は、蓄積データに基づき予測される新たな危険の状態を、ＡＲ映像にて分かり易く認識することができる。 The control unit 10 of the first terminal device 1 acquires the prediction result display screen information (step S131). The control unit 10 displays the acquired prediction result display screen on the display unit 13 (step S132), and ends a series of processes. The encounterer can easily recognize the new danger state predicted based on the accumulated data by the AR image.

（実施形態２）
実施形態２では、情報処理装置３は、学習済みモデル３Ｍを用いて誘発原因情報を出力する。図１２は、実施形態２における情報処理装置３の内部構成を示すブロック図である。実施形態２における情報処理装置３の構成は、制御部３０が機能部として特定部３０５を有すること、記憶部３１に学習済みモデル３Ｍが記憶されていること、学習済みモデル３Ｍに基づくプログラム３Ｐに基づく処理の詳細が異なる点以外、ハードウェア構成は実施形態１における構成と同様であるので、共通する構成には同一の符号を付して詳細な説明を省略する。 (Embodiment 2)
In the second embodiment, the information processing device 3 outputs the trigger cause information using the trained model 3M. FIG. 12 is a block diagram showing an internal configuration of the information processing apparatus 3 according to the second embodiment. The configuration of the information processing device 3 in the second embodiment is that the control unit 30 has a specific unit 305 as a functional unit, the learned model 3M is stored in the storage unit 31, and the program 3P based on the learned model 3M. Since the hardware configuration is the same as the configuration in the first embodiment except that the details of the based processing are different, the same reference numerals are given to the common configurations, and detailed description thereof will be omitted.

特定部３０５はプログラムモジュールであり、記憶部３１に記憶してあるプログラム３Ｐを実行することにより、学習済みモデル３Ｍを用いて誘発原因情報を特定する。 The identification unit 305 is a program module, and by executing the program 3P stored in the storage unit 31, the trigger cause information is specified using the learned model 3M.

記憶部３１は、プログラム３Ｐ及び学習済みモデル３Ｍが記憶されている。プログラム３Ｐ及び学習済みモデル３Ｍは、制御部３０が図示しない読み取り部を介して可搬型記憶媒体３３ａから読み取って記憶部３１に記憶したものであってもよい。プログラム３Ｐ及び学習済みモデル３Ｍは、制御部３０が半導体メモリ３３ｂから読み出したものであってもよい。 The storage unit 31 stores the program 3P and the trained model 3M. The program 3P and the trained model 3M may be those that the control unit 30 reads from the portable storage medium 33a via a reading unit (not shown) and stores it in the storage unit 31. The program 3P and the trained model 3M may be read from the semiconductor memory 33b by the control unit 30.

図１３は、学習済みモデル３Ｍの生成処理に関する説明図である。実施形態２では、制御部３０は、図５に示したデータベース中の過去に大量に収集した教師データに基づき、学習済みモデル３Ｍを生成する。図１３に基づき、学習済みモデル３Ｍの生成処理について説明する。 FIG. 13 is an explanatory diagram relating to the generation process of the trained model 3M. In the second embodiment, the control unit 30 generates the trained model 3M based on the teacher data collected in large quantities in the past in the database shown in FIG. The generation process of the trained model 3M will be described with reference to FIG.

制御部３０は、学習済みモデル３Ｍとして、危険な状態を示す画像情報に応じた該危険な状態の誘発原因情報を学習する機械学習を行うことで、危険な状態を示す画像情報を入力とし、危険な状態の誘発原因情報を出力とする深層学習を含む機械学習の学習済みモデルを生成する。学習済みモデルは、例えばニューラルネットワークであり、ＣＮＮ（Convolution Neural Network）である。学習済みモデル３Ｍは、撮像画像の入力を受け付ける入力層と、誘発原因情報を示す情報を出力する出力層と、撮像画像の画像特徴量を抽出する中間層とを備える。 As the trained model 3M, the control unit 30 inputs the image information indicating the dangerous state by performing machine learning to learn the induction cause information of the dangerous state according to the image information indicating the dangerous state. Generate a trained model of machine learning including deep learning that outputs information on the cause of a dangerous state. The trained model is, for example, a neural network, which is a CNN (Convolution Neural Network). The trained model 3M includes an input layer that accepts the input of the captured image, an output layer that outputs information indicating the induction cause information, and an intermediate layer that extracts the image feature amount of the captured image.

入力層は、撮像画像に含まれる各画素の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、撮像画像の画像特徴量を抽出する複数のニューロンを有し、各種パラメータを用いて抽出された画像特徴量を出力層に受け渡す。例えば学習済みモデル３ＭがＣＮＮである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、対象物の画像領域の画素情報を圧縮しながら最終的に画像特徴量を抽出する。出力層は、誘発原因情報を示す推定結果を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、誘発原因情報を示す推定結果を出力する。 The input layer has a plurality of neurons that receive the input of each pixel included in the captured image, and passes the input pixel value to the intermediate layer. The intermediate layer has a plurality of neurons that extract image features of the captured image, and passes the extracted image features using various parameters to the output layer. For example, when the trained model 3M is CNN, the intermediate layer alternates between a convolution layer that convolves the pixel values of each pixel input from the input layer and a pooling layer that maps the pixel values convolved by the convolution layer. It has a configuration connected to, and finally extracts the image feature amount while compressing the pixel information of the image area of the object. The output layer has one or a plurality of neurons that output an estimation result indicating the induction cause information, and outputs an estimation result indicating the induction cause information based on the image feature amount output from the intermediate layer.

なお、本実施の形態では学習済みモデル３ＭがＣＮＮであるものとして説明したが、学習済みモデル３ＭはＣＮＮに限定されず、ＣＮＮ以外のニューラルネットワークを用いてもよい。またニューラルネットワークを用いない強化学習モデル、サポートベクタマシン、回帰木等、他の学習アルゴリズムで構築された学習済みモデルであってよい。 Although the trained model 3M has been described as being a CNN in the present embodiment, the trained model 3M is not limited to the CNN, and a neural network other than the CNN may be used. Further, it may be a trained model constructed by other learning algorithms such as a reinforcement learning model that does not use a neural network, a support vector machine, and a regression tree.

制御部３０は、危険な状態を撮像した複数の画像と、各画像における誘発原因情報とが対応付けられた教師データを用いて、中間層における各種パラメータの学習を行う。例えば図１３に示すように、教師データは、危険な状態（歩道）の撮像画像に対し、誘発原因箇所（歩道）に該当する画像領域の座標範囲と、誘発原因の内容（狭い）とがラベル付けされたデータセットとして構築される。なお、図１３ではラベル付けされた画像領域を太線の矩形枠で図示している。教師データには、危険な状態の含まれていない正常な状態を撮像した撮像画像を含んでもよい。例えば正常な状態の撮像画像に対し、誘発原因箇所「正常」及び誘発原因の内容「正常」とがラベル付けされた教師データを用いて学習を行うことで、危険な状態の含まれていない画像情報が入力された場合に、「正常」を示す推定結果を出力することができる。 The control unit 30 learns various parameters in the intermediate layer by using the teacher data in which the plurality of images of the dangerous state and the trigger cause information in each image are associated with each other. For example, as shown in FIG. 13, in the teacher data, the coordinate range of the image area corresponding to the trigger cause location (sidewalk) and the content (narrow) of the trigger cause are labeled with respect to the captured image in the dangerous state (sidewalk). It is built as an attached dataset. In FIG. 13, the labeled image area is illustrated by a thick rectangular frame. The teacher data may include a captured image of a normal state that does not include a dangerous state. For example, by learning using teacher data labeled with the trigger cause location "normal" and the content of the trigger cause "normal" for the captured image in the normal state, an image that does not include the dangerous state. When information is input, it is possible to output an estimation result indicating "normal".

制御部３０は、教師データに含まれる危険な状態を撮像した画像を入力層に入力し、中間層での演算処理を経て、出力層から誘発原因情報を示す推定結果を取得する。制御部３０は、出力層から出力された推定結果を、教師データにおいて画像に対しラベル付けされた誘発原因情報を示す情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いる各種パラメータを最適化する。当該パラメータは、例えばニューロン間の重み、バイアス等である。各種パラメータの最適化の方法は特に限定されないが、例えば制御部３０は誤差逆伝播法を用いて各種パラメータの最適化を行う。制御部３０は、教師データに含まれる各画像について上記の処理を行い、学習済みモデル３Ｍを生成する。 The control unit 30 inputs an image of a dangerous state included in the teacher data to the input layer, performs arithmetic processing in the intermediate layer, and acquires an estimation result indicating induction cause information from the output layer. The control unit 30 compares the estimation result output from the output layer with the information indicating the trigger cause information labeled on the image in the teacher data, that is, the correct answer value, and the output value from the output layer approaches the correct answer value. As described above, various parameters used for arithmetic processing in the intermediate layer are optimized. The parameters are, for example, weights between neurons, bias, and the like. The method of optimizing various parameters is not particularly limited, but for example, the control unit 30 optimizes various parameters by using the backpropagation method. The control unit 30 performs the above processing on each image included in the teacher data to generate a trained model 3M.

学習済みモデル３Ｍの内容が図１３に示した例に限られないことは勿論である。入力される入力情報は、画像情報の他の危険状況情報が含まれてよい。また、誘発原因情報とともに他の危険状況情報が出力される構成であってよい。 Of course, the content of the trained model 3M is not limited to the example shown in FIG. The input information to be input may include other danger situation information of image information. In addition, other danger situation information may be output together with the trigger cause information.

上述のような構成を有する実施形態２の情報処理装置３は、プログラム３Ｐに基づき、学習済みモデル３Ｍを用いて、危険な状態を撮像した画像に応じて、誘発原因情報の推定結果を出力する。図１４は、実施形態２における危険情報の収集処理の処理手順の一例を示すフローチャートである。実施形態１の図６と共通する処理については同一のステップ番号を付してその詳細な説明を省略する。遭遇者が第１端末装置１を用いてプログラム１Ｐを選択すると、以下の処理が開始される。 The information processing device 3 of the second embodiment having the above-described configuration outputs the estimation result of the induction cause information according to the image obtained by capturing the dangerous state by using the trained model 3M based on the program 3P. .. FIG. 14 is a flowchart showing an example of the processing procedure of the danger information collection process in the second embodiment. The same step numbers are assigned to the processes common to FIG. 6 of the first embodiment, and detailed description thereof will be omitted. When the encounterer selects the program 1P using the first terminal device 1, the following processing is started.

第１端末装置１の制御部１０は、危険情報を取得する（ステップＳ１０１）。制御部１０は、プログラム１Ｐに従ってアプリケーションを実行し、危険情報の登録を受け付けるための登録受付画面の画面情報を表示部１３に表示させ、遭遇者から危険情報の登録を受け付ける。例えば、登録受付画面に含まれる撮像ボタン１３１を遭遇者が指定することにより、制御部１０は、撮像部１５を介して撮影された画像情報を受け付ける。制御部１０は、画像情報を登録受付画面により取得する。また制御部１０は、危険情報に含まれる遭遇者ＩＤ及び自動取得情報を取得する。制御部１０は、取得した危険情報を情報処理装置３に送信する（ステップＳ１０２）。 The control unit 10 of the first terminal device 1 acquires danger information (step S101). The control unit 10 executes the application according to the program 1P, displays the screen information of the registration reception screen for accepting the registration of the danger information on the display unit 13, and accepts the registration of the danger information from the encounterer. For example, when the encounterer designates the image pickup button 131 included in the registration reception screen, the control unit 10 receives the image information taken through the image pickup unit 15. The control unit 10 acquires the image information on the registration reception screen. Further, the control unit 10 acquires the encounter ID and the automatically acquired information included in the danger information. The control unit 10 transmits the acquired danger information to the information processing device 3 (step S102).

制御部３０は、通信部３２により危険情報を取得する（ステップＳ２０１）。制御部３０は、取得した危険情報に含まれる画像情報を学習済みモデル３Ｍに与え（ステップＳ２２１）、出力される誘発原因情報を特定する（ステップＳ２２２）。制御部３０は、特定した誘発原因情報の内容に基づき危険情報を分類する（ステップＳ２０２）。制御部３０は、危険情報を危険情報ＩＤに対応付けて危険情報ＤＢ３１１に記憶し（ステップＳ２０３）、一連の処理を終了する。 The control unit 30 acquires danger information by the communication unit 32 (step S201). The control unit 30 gives the image information included in the acquired danger information to the trained model 3M (step S221), and identifies the output trigger cause information (step S222). The control unit 30 classifies the danger information based on the content of the identified trigger cause information (step S202). The control unit 30 associates the danger information with the danger information ID and stores it in the danger information DB 311 (step S203), and ends a series of processes.

上記では、学習済みモデル３Ｍを用いて誘発原因情報を推定する処理を説明したが、誘発原因情報の取得方法は限定されるものではない。情報処理装置３は、公知の画像解析方法を用いて画像情報の解析を行い、危険情報ＤＢ３１１に蓄積された危険情報に基づき統計学的処理により、画像情報に含まれる誘発原因情報を取得してもよい。 In the above, the process of estimating the trigger cause information using the trained model 3M has been described, but the method of acquiring the trigger cause information is not limited. The information processing device 3 analyzes the image information by using a known image analysis method, and obtains the induction cause information included in the image information by statistical processing based on the danger information accumulated in the danger information DB311. May be good.

また上記では、情報処理装置３が、機械学習と、機械学習の成果物である学習済みモデルを用いた処理との双方を行ったが、本実施形態はこれに限定されるものではない。例えば情報処理装置３が生成した学習済みモデル３Ｍを第１端末装置１にインストールし、第１端末装置１が誘発原因情報の推定を行ってもよい。すなわち、機械学習の処理主体と学習済みモデルを用いた処理の処理主体とは別個のハードウェアであってもよい。 Further, in the above, the information processing apparatus 3 performs both machine learning and processing using a trained model which is a product of machine learning, but the present embodiment is not limited to this. For example, the learned model 3M generated by the information processing device 3 may be installed in the first terminal device 1, and the first terminal device 1 may estimate the trigger cause information. That is, the processing subject of machine learning and the processing subject of processing using the trained model may be separate hardware.

上述の構成によれば、遭遇者から取得した画像情報に基づき誘発原因情報が推定される。遭遇者はより簡単な方法で危険情報の登録を行うことが出来る。また具体的に表現することが難しい危険内容であっても画像情報のみで登録を行うことができるため、遭遇者の登録に対するモチベーションを高め、危険情報の収集量を増加させることができる。 According to the above configuration, the trigger cause information is estimated based on the image information acquired from the encounterer. Encounters can register danger information in a simpler way. Further, even if the dangerous content is difficult to express concretely, it is possible to register only the image information, so that the motivation for the registration of the encounterer can be increased and the amount of collected dangerous information can be increased.

（実施形態３）
実施形態３では、危険情報及び対処情報のカテゴリ分類による第１端末装置１の表示部１３への出力内容が異なる。実施形態３における危険情報処理システム１００の構成は実施形態１及び実施形態２と同様であるので、共通する構成には同一の符号を付して詳細な説明を省略する。 (Embodiment 3)
In the third embodiment, the output contents to the display unit 13 of the first terminal device 1 are different according to the category classification of the danger information and the countermeasure information. Since the configuration of the danger information processing system 100 in the third embodiment is the same as that of the first and second embodiments, the same reference numerals are given to the common configurations, and detailed description thereof will be omitted.

図１５は、実施形態３における第１端末装置１の表示部１３に表示される表示画面の例を示す模式図である。実施形態３では、登録された危険情報は、危険内容のカテゴリ分類に対応して表示される。図１５Ａは、カテゴリ「全分類」が選択され表示された場合の表示画面の一例を示している。表示画面には、危険発生位置である複数の倉庫を含む工場の地図情報と、当該工場内で発生した全分類の危険内容を含む危険情報を示す複数のアイコンとが含まれる。各アイコンは、地図上の各危険情報の発生位置に対応する場所に夫々表示される。各アイコンは、例えば危険情報の内容毎に異なる形状又は色等を用いて表示されてもよい。図１５Ａの例では、危険発生位置が工場である危険情報は、危険内容の種類に応じて「感電」「ひび割れ」「機器異音」「その他」の４種類のカテゴリに分類される。 FIG. 15 is a schematic view showing an example of a display screen displayed on the display unit 13 of the first terminal device 1 in the third embodiment. In the third embodiment, the registered danger information is displayed corresponding to the category classification of the danger content. FIG. 15A shows an example of a display screen when the category “all categories” is selected and displayed. The display screen includes map information of a factory including a plurality of warehouses where dangers occur, and a plurality of icons indicating danger information including danger contents of all categories generated in the factory. Each icon is displayed at a location corresponding to the location of each danger information on the map. Each icon may be displayed using, for example, a different shape or color depending on the content of the danger information. In the example of FIG. 15A, the danger information in which the danger occurrence position is a factory is classified into four categories of "electricity", "cracking", "equipment abnormal noise", and "others" according to the type of danger content.

図１５Ｂは、カテゴリ「感電」が選択され表示される表示画面の一例を示している。図１５Ｂに示す様に、表示画面には、危険発生位置である複数の倉庫を含む工場の地図情報と、危険内容が感電に分類される危険情報のみを示す複数のアイコンとが含まれる。各アイコンは、地図上の各危険情報の発生位置に対応する場所に夫々表示される。この場合において、危険情報は、危険情報に対する安全対策が完了済みか否かを識別可能なアイコンにより表示してもよい。例えば、制御部１０は、安全対策が未完了の危険情報を示すアイコンを赤色で表示し、安全対策が完了済みの危険情報を示すアイコンを青色で表示してもよい。制御部１０は、アイコンの色を変える以外にも、アイコンの形状を○、×等に変更させることで危険情報を識別可能に表示してもよい。情報処理装置３の制御部３０は、危険情報ＤＢ３１１の分類フィールドを参照して、危険情報に対応付けられる対処情報の対処状況フィールドから、完了済、未完了等の情報を読み出す。 FIG. 15B shows an example of a display screen in which the category “electricity” is selected and displayed. As shown in FIG. 15B, the display screen includes map information of a factory including a plurality of warehouses where danger occurs, and a plurality of icons showing only danger information in which the contents of danger are classified as electric shock. Each icon is displayed at a location corresponding to the location of each danger information on the map. In this case, the danger information may be displayed by an icon that can identify whether or not the safety measures for the danger information have been completed. For example, the control unit 10 may display an icon indicating danger information for which safety measures have not been completed in red, and an icon indicating danger information for which safety measures have been completed may be displayed in blue. In addition to changing the color of the icon, the control unit 10 may display the danger information in an identifiable manner by changing the shape of the icon to ◯, ×, or the like. The control unit 30 of the information processing device 3 refers to the classification field of the danger information DB311 and reads out information such as completed or incomplete from the handling status field of the handling information associated with the danger information.

第１端末装置１の制御部１０は、操作部１４を通じてカテゴリ「感電」の選択操作を受け付け、受け付けた情報を情報処理装置３へ送信する。情報処理装置３の制御部３０は、危険情報ＤＢ３１１の分類フィールドを参照して、危険情報及び対処情報を読み出し、表示画面情報を作成し、第１端末装置１の表示部１３に出力する。同様にして、他のカテゴリ、例えば「ひび割れ」が選択されると、危険内容がひび割れに分類される危険情報のみを示すアイコンが含まれる表示画面が表示される。 The control unit 10 of the first terminal device 1 accepts a selection operation of the category "electricity" through the operation unit 14, and transmits the received information to the information processing device 3. The control unit 30 of the information processing device 3 refers to the classification field of the danger information DB311, reads out the danger information and the countermeasure information, creates the display screen information, and outputs the display screen information to the display unit 13 of the first terminal device 1. Similarly, when another category, for example, "crack" is selected, a display screen is displayed that includes icons showing only the danger information whose danger content is classified as crack.

図１５Ｃは、図１５Ｂにて一の危険情報を示すアイコンが選択され表示される表示画面の一例を示している。図１５Ｂにおいて、表示画面に表示される複数の危険情報を示すアイコンの内、一のアイコンが選択されると、当該アイコンに対応付けられる危険情報の詳細情報を含む画面が表示される。画面には、図１５Ｃで示す様に、例えば危険情報である危険内容、発生位置、発生日時、危険な状態を示す画像情報、対処情報である安全対策の実施状況及び安全管理担当者のコメント等が表示される。 FIG. 15C shows an example of a display screen in which an icon indicating one danger information is selected and displayed in FIG. 15B. In FIG. 15B, when one of the icons indicating the plurality of danger information displayed on the display screen is selected, a screen including detailed information of the danger information associated with the icon is displayed. As shown in FIG. 15C, on the screen, for example, danger contents such as danger information, occurrence position, occurrence date and time, image information indicating a dangerous state, implementation status of safety measures as countermeasure information, comments of safety management personnel, etc. Is displayed.

第１端末装置１の制御部１０は、操作部１４を通じてアイコンのタップ操作を受け付け、受け付けた情報を情報処理装置３へ送信する。情報処理装置３の制御部３０は、危険情報ＤＢ３１１を参照して、危険情報及び対処情報を読み出し、表示画面情報を作成し、第１端末装置１の表示部１３に出力する。 The control unit 10 of the first terminal device 1 accepts the tap operation of the icon through the operation unit 14, and transmits the received information to the information processing device 3. The control unit 30 of the information processing device 3 refers to the danger information DB 311 to read out the danger information and the countermeasure information, creates display screen information, and outputs the display screen information to the display unit 13 of the first terminal device 1.

なお、上述のように開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、特許請求の範囲内での全ての変更及び特許請求の範囲と均等の範囲が含まれることが意図される。 It should be noted that the embodiments disclosed as described above are exemplary in all respects and should not be considered restrictive. The technical features described in each example can be combined with each other and the scope of the invention is intended to include all modifications within the claims and scope equivalent to the claims. Will be done.

１ 第１端末装置
２ 第２端末装置
３ 情報処理装置
１Ｐ，２Ｐ，３Ｐ プログラム
１１，２１，３１ 記憶部
１３ 表示部
３１１ 危険情報ＤＢ 1 1st terminal device 2 2nd terminal device 3 Information processing device 1P, 2P, 3P Program 11,21,31 Storage unit 13 Display unit 311 Danger information DB

Claims (16)

危険な状態に遭遇した遭遇者から、
前記危険な状態を示す画像情報を取得し、
前記危険な状態に関する危険状況情報を取得し、
取得した前記画像情報及び前記危険状況情報を出力する
処理をコンピュータに実行させるコンピュータプログラム。 From an encounterer who encounters a dangerous situation
Acquire image information indicating the dangerous state, and
Obtain the danger situation information regarding the dangerous condition and
A computer program that causes a computer to execute a process of outputting the acquired image information and the danger situation information. 前記危険状況情報は、前記危険な状態の危険内容に関する情報、前記危険な状態が原因で発生した怪我又は病気に関する情報、及び前記危険な状態が原因で発生した怪我又は病気の度合いの少なくともいずれか１つを含む
請求項１に記載のコンピュータプログラム。 The danger situation information is at least one of information on the danger content of the dangerous condition, information on an injury or illness caused by the dangerous condition, and the degree of injury or illness caused by the dangerous condition. The computer program according to claim 1, which includes one. 前記危険な状態が発生した位置情報、時間情報及び天候情報、並びに前記遭遇者の属性情報の少なくともいずれか１つをさらに取得する
請求項１又は請求項２に記載のコンピュータプログラム。 The computer program according to claim 1 or 2, further acquiring at least one of the location information, the time information and the weather information in which the dangerous state occurred, and the attribute information of the encounter. 取得した前記画像情報に基づき、前記画像情報に含まれる前記危険な状態の誘発原因情報を特定する
請求項１から請求項３のいずれか１項に記載のコンピュータプログラム。 The computer program according to any one of claims 1 to 3, which specifies the induction cause information of the dangerous state included in the image information based on the acquired image information. 前記画像情報を取得し、
危険な状態を示す画像情報を入力した場合に該画像情報に含まれる前記危険な状態の誘発原因情報を出力する学習済みモデルに、取得した前記画像情報を入力して、出力される前記誘発原因情報を取得する
請求項４に記載のコンピュータプログラム。 Acquire the image information and
When the image information indicating a dangerous state is input, the acquired image information is input to a trained model that outputs the trigger cause information of the dangerous state included in the image information, and the trigger cause is output. The computer program according to claim 4, wherein the information is acquired. 前記危険な状態への対処内容に関する対処情報を取得し、
前記危険な状態の発生位置と、前記対処情報とを対応付けて地図上に表示させる
請求項１から請求項５のいずれか１項に記載のコンピュータプログラム。 Acquire the coping information about the coping contents for the dangerous situation, and
The computer program according to any one of claims 1 to 5, wherein the position where the dangerous state occurs and the countermeasure information are associated with each other and displayed on a map. 複数の前記危険状況情報及び前記対処情報を取得し、
種類毎に分類された複数の前記危険状況情報及び前記対処情報を表示させる
請求項６に記載のコンピュータプログラム。 Acquire a plurality of the danger situation information and the countermeasure information,
The computer program according to claim 6, which displays a plurality of the danger situation information and the countermeasure information classified by type. 複数の危険な状態に関する前記画像情報及び前記危険状況情報を取得し、
取得した各画像情報及び各危険状況情報に基づき、新たな危険な状態の発生を予測し、
予測した前記新たな危険な状態に関する情報をＡＲ映像にて表示させる
請求項１から請求項７のいずれか１項に記載のコンピュータプログラム。 Acquire the image information and the danger situation information regarding a plurality of dangerous states,
Based on each acquired image information and each danger situation information, the occurrence of a new dangerous state is predicted, and
The computer program according to any one of claims 1 to 7, which displays information on the predicted new dangerous state in an AR image. 危険な状態に遭遇した遭遇者の端末装置から、危険な状態を示す画像情報及び前記危険な状態に関する危険状況情報を取得する第１取得部と、
取得した前記画像情報又は前記危険状況情報に基づき、前記危険な状態に関する情報を分類する分類部と
を備える情報処理装置。 A first acquisition unit that acquires image information indicating a dangerous state and dangerous situation information related to the dangerous state from a terminal device of an encounterer who has encountered a dangerous state.
An information processing device including a classification unit that classifies information related to the dangerous state based on the acquired image information or the dangerous situation information. 前記危険状況情報は、前記危険な状態の危険内容に関する情報、前記危険な状態が原因で発生した怪我又は病気に関する情報、及び前記危険な状態が原因で発生した怪我又は病気の度合いの少なくともいずれか１つを含む
請求項９に記載の情報処理装置。 The danger situation information is at least one of information on the danger content of the dangerous condition, information on an injury or illness caused by the dangerous condition, and the degree of injury or illness caused by the dangerous condition. The information processing apparatus according to claim 9, which includes one. 前記画像情報及び前記危険状況情報と、前記遭遇者を識別する識別情報とを対応付けて記憶する記憶部
を備える請求項９又は請求項１０に記載の情報処理装置。 The information processing apparatus according to claim 9 or 10, further comprising a storage unit that stores the image information, the danger situation information, and the identification information for identifying the encounter person in association with each other. 前記画像情報に基づき、前記画像情報に含まれる前記危険な状態の誘発原因情報を特定する特定部を備え、
前記記憶部は、前記画像情報に対応付けて特定した前記誘発原因情報を記憶する
請求項１１に記載の情報処理装置。 Based on the image information, a specific unit for specifying the induction cause information of the dangerous state included in the image information is provided.
The information processing device according to claim 11, wherein the storage unit stores the trigger cause information specified in association with the image information. 前記特定部は、
危険な状態を示す画像情報を入力した場合に該画像情報に含まれる前記危険な状態の誘発原因情報を出力する学習済みモデルに、前記画像情報を入力して、出力される前記誘発原因情報を取得する
請求項１２に記載の情報処理装置。 The specific part is
When the image information indicating the dangerous state is input, the image information is input to the trained model that outputs the trigger cause information of the dangerous state included in the image information, and the induced cause information to be output is output. The information processing device according to claim 12 to be acquired. 管理者端末装置から、前記危険な状態への対処内容に関する対処情報を取得する第２取得部を備え、
前記記憶部は、前記危険状況情報に対応付けて前記対処情報を記憶する
請求項１１から請求項１３のいずれか１項に記載の情報処理装置。 It is equipped with a second acquisition unit that acquires response information regarding the details of the response to the dangerous state from the administrator terminal device.
The information processing device according to any one of claims 11 to 13, wherein the storage unit stores the countermeasure information in association with the danger situation information. 前記対処情報と、前記危険な状態の発生位置とを対応付けて地図上に表示させる表示情報を出力する出力部
を備える請求項１４に記載の情報処理装置。 The information processing apparatus according to claim 14, further comprising an output unit that outputs display information to be displayed on a map in association with the countermeasure information and the position where the dangerous state occurs. 危険な状態に遭遇した遭遇者から、
前記危険な状態を示す画像情報を取得し、
前記危険な状態に関する危険状況情報を取得し、
取得した前記画像情報及び前記危険状況情報を出力する
情報処理方法。 From an encounterer who encounters a dangerous situation
Acquire image information indicating the dangerous state, and
Obtain the danger situation information regarding the dangerous condition and
An information processing method that outputs the acquired image information and the danger situation information.