JP2020042859A - Determination method, computer, output device and system - Google Patents
Determination method, computer, output device and system Download PDFInfo
- Publication number
- JP2020042859A JP2020042859A JP2019221961A JP2019221961A JP2020042859A JP 2020042859 A JP2020042859 A JP 2020042859A JP 2019221961 A JP2019221961 A JP 2019221961A JP 2019221961 A JP2019221961 A JP 2019221961A JP 2020042859 A JP2020042859 A JP 2020042859A
- Authority
- JP
- Japan
- Prior art keywords
- danger
- information
- risk
- image
- current location
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、危険判定方法、危険判定装置、危険出力装置及び危険判定システムに関する。 The present invention relates to a danger determination method, a danger determination device, a danger output device, and a danger determination system.
利用者が移動体(例えば車両等)で移動している際に、事故又はヒヤリハット等の危険事象の発生可能性が高い地点を利用者に対して事前に報知又は警告することにより、危険事象の発生を未然に防止する危険判定システムが知られている。このような危険判定システムでは、移動体の位置、挙動及び運転操作等の検出結果に基づいて、危険事象の発生可能性が高い地点(すなわち危険度が高い地点)を特定し、その特定した地点を地図データと対応付けて記憶している。 When a user is moving on a moving object (for example, a vehicle), the user is notified or warned in advance of a point where a danger event such as an accident or near-miss event is highly likely to occur, so that the danger event There is known a danger determination system for preventing occurrence of the danger. In such a danger determination system, a point where a danger event is likely to occur (that is, a point with a high degree of danger) is specified based on detection results of the position, behavior, driving operation, and the like of the moving object, and the specified point is specified. Is stored in association with the map data.
例えば、特許文献1の危険判定システムでは、移動体に搭載されたカメラ及び位置センサによってそれぞれ取得した移動体周辺の画像とその画像を撮影した位置情報とを解析することにより、登録地点毎の危険事象をデータベースに登録する。利用者が移動体で登録地点を通過する際に、データベースに登録された当該登録地点での危険事象に基づいて当該登録地点に対応する危険度を判定し、利用者に対して危険を報知又は警告する。 For example, in the danger determination system of Patent Document 1, the danger at each registration point is analyzed by analyzing an image around the moving object acquired by a camera and a position sensor mounted on the moving object and position information at which the image was taken. Register the event in the database. When a user passes through a registration point on a moving object, the danger level corresponding to the registration point is determined based on the danger event at the registration point registered in the database, and the danger is notified to the user or Warning.
しかしながら、特許文献1の危険判定システムでは、利用者が移動体でデータベースに登録された登録地点以外の地点を通過する際には、当該地点に対応する危険度を判定することができないため、利用者に対して危険を報知又は警告することができない。 However, in the danger determination system of Patent Literature 1, when a user passes a point other than a registered point registered in the database with a mobile object, the danger degree corresponding to the point cannot be determined. To inform or warn the danger to the person.
そこで、本発明は、精度良く危険度を判定することができる危険判定方法、危険判定装置、危険出力装置及び危険判定システムを提供する。 Therefore, the present invention provides a danger determination method, a danger determination device, a danger output device, and a danger determination system that can accurately determine the degree of danger.
本発明の一態様に係る危険判定方法は、移動体が位置する地点に対応する危険度を管理する危険判定システムに用いられる危険判定方法であって、前記危険判定システムは、危険事象が発生した危険地点を示す危険地点情報と、前記危険地点における前記危険事象の発生状況を示す第1のセンサ情報とが対応付けられた危険発生情報を1つ以上格納している危険発生情報管理部を備え、前記危険判定方法は、前記移動体の現在地点を示す現在地点情報と、前記現在地点における前記移動体の周辺状況を示す第2のセンサ情報とが対応付けられた移動体情報を取得するステップと、前記移動体情報に含まれる前記現在地点情報が示す前記現在地点に対応する前記危険発生情報が前記危険発生情報管理部に格納されておらず、且つ、前記現在地点以外の地点に対応する前記危険発生情報が前記危険発生情報管理部に格納されている場合、前記移動体情報に含まれる前記第2のセンサ情報と、前記危険発生情報管理部に格納されている1つ以上の前記危険発生情報に含まれる前記第1のセンサ情報との類似性に基づいて、前記現在地点に対応する前記危険度を判定するステップと、を含む。 A danger determination method according to an aspect of the present invention is a danger determination method used for a danger determination system that manages a degree of danger corresponding to a point where a moving object is located, wherein the danger determination system has a danger event. A danger point information indicating a danger point, and a danger occurrence information management unit storing one or more danger occurrence information in which first sensor information indicating a state of occurrence of the danger event at the danger point is stored. Acquiring the moving object information in which current position information indicating a current position of the moving object and second sensor information indicating a surrounding situation of the moving object at the current position are associated with each other. And the danger occurrence information corresponding to the current location indicated by the current location information included in the moving body information is not stored in the danger occurrence information management unit, and the current location When the danger occurrence information corresponding to an outside point is stored in the danger occurrence information management unit, the danger occurrence information is stored in the danger occurrence information management unit and the second sensor information included in the moving body information. Determining the degree of risk corresponding to the current location based on similarity to the first sensor information included in one or more of the danger occurrence information.
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD−ROM等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。 Note that these comprehensive or specific aspects may be realized by a recording medium such as a system, a method, an integrated circuit, a computer program or a computer-readable CD-ROM, and the system, the method, the integrated circuit, and the computer program. And any combination of recording media.
本発明の一態様に係る危険判定方法によれば、精度良く危険度を判定することができる。 According to the danger determination method according to one embodiment of the present invention, the degree of danger can be accurately determined.
本発明の一態様に係る危険判定方法は、移動体が位置する地点に対応する危険度を管理する危険判定システムに用いられる危険判定方法であって、前記危険判定システムは、危険事象が発生した危険地点を示す危険地点情報と、前記危険地点における前記危険事象の発生状況を示す第1のセンサ情報とが対応付けられた危険発生情報を1つ以上格納している危険発生情報管理部を備え、前記危険判定方法は、前記移動体の現在地点を示す現在地点情報と、前記現在地点における前記移動体の周辺状況を示す第2のセンサ情報とが対応付けられた移動体情報を取得するステップと、前記移動体情報に含まれる前記現在地点情報が示す前記現在地点に対応する前記危険発生情報が前記危険発生情報管理部に格納されておらず、且つ、前記現在地点以外の地点に対応する前記危険発生情報が前記危険発生情報管理部に格納されている場合、前記移動体情報に含まれる前記第2のセンサ情報と、前記危険発生情報管理部に格納されている1つ以上の前記危険発生情報に含まれる前記第1のセンサ情報との類似性に基づいて、前記現在地点に対応する前記危険度を判定するステップと、を含む。 A danger determination method according to an aspect of the present invention is a danger determination method used for a danger determination system that manages a degree of danger corresponding to a point where a moving object is located, wherein the danger determination system has a danger event. A danger point information indicating a danger point, and a danger occurrence information management unit storing one or more danger occurrence information in which first sensor information indicating a state of occurrence of the danger event at the danger point is stored. Acquiring the moving object information in which current position information indicating a current position of the moving object and second sensor information indicating a surrounding situation of the moving object at the current position are associated with each other. And the danger occurrence information corresponding to the current location indicated by the current location information included in the moving body information is not stored in the danger occurrence information management unit, and the current location When the danger occurrence information corresponding to an outside point is stored in the danger occurrence information management unit, the danger occurrence information is stored in the danger occurrence information management unit and the second sensor information included in the moving body information. Determining the degree of risk corresponding to the current location based on similarity to the first sensor information included in one or more of the danger occurrence information.
本態様によれば、移動体情報に含まれる現在地点情報が示す現在地点に対応する危険発生情報が危険発生情報管理部に格納されていない場合であっても、移動体情報に含まれる第2のセンサ情報と、現在地点以外の地点に対応する危険発生情報に含まれる第1のセンサ情報との類似性に基づいて、危険度を判定する。これにより、移動体が危険発生情報管理部に格納されている危険発生情報に対応する危険地点以外の地点を通過する場合であっても、精度良く危険度を判定することができ、例えば移動体の利用者に対して危険を報知又は警告等することができる。 According to this aspect, even if the danger occurrence information corresponding to the current location indicated by the current location information included in the mobile body information is not stored in the danger occurrence information management unit, the second information included in the mobile body information is not included. And the first sensor information included in the danger occurrence information corresponding to a point other than the current point. Thereby, even when the moving body passes through a point other than the danger point corresponding to the danger occurrence information stored in the danger occurrence information management unit, the degree of danger can be accurately determined. The user can be informed or warned of danger.
例えば、前記判定するステップでは、前記移動体情報に含まれる前記現在地点情報が示す前記現在地点に対応する前記危険発生情報と、前記現在地点以外の地点に対応する前記危険発生情報とが前記危険発生情報管理部に格納されている場合、前記移動体情報に含まれる前記第2のセンサ情報と、前記現在地点以外の地点に対応する前記危険発生情報に含まれる前記第1のセンサ情報との類似性に基づいて、前記現在地点に対応する前記危険度を判定するように構成してもよい。 For example, in the determining step, the danger occurrence information corresponding to the current location indicated by the current location information included in the moving body information and the danger occurrence information corresponding to a point other than the current location are determined by the danger When stored in the occurrence information management unit, the second sensor information included in the moving body information and the first sensor information included in the danger occurrence information corresponding to a point other than the current location It may be configured to determine the degree of risk corresponding to the current location based on the similarity.
本態様によれば、現在地点に対応する危険発生情報と現在地点以外の地点に対応する危険発生情報とが危険発生情報管理部に格納されている場合であって、移動体情報に含まれる第2のセンサ情報と、現在地点以外の地点に対応する危険発生情報に含まれる第1のセンサ情報との類似性が例えば最も高い場合には、現在地点以外の地点に対応する危険発生情報を用いて危険度を判定する。これにより、より一層精度良く危険度を判定することができる。 According to this aspect, the risk occurrence information corresponding to the current location and the risk occurrence information corresponding to a point other than the current location are stored in the risk occurrence information management unit, and the danger information included in the mobile body information is included. If the similarity between the second sensor information and the first sensor information included in the danger occurrence information corresponding to a point other than the current point is the highest, for example, the danger occurrence information corresponding to a point other than the current point is used. To determine the degree of risk. This makes it possible to determine the degree of risk even more accurately.
例えば、前記危険発生情報は、さらに、前記危険地点情報と前記第1のセンサ情報とに対応付けられた前記危険事象の深刻度を含み、前記判定するステップでは、前記移動体情報に含まれる前記第2のセンサ情報と、前記危険発生情報管理部に格納されている1つ以上の前記危険発生情報に含まれる前記第1のセンサ情報との類似性を求め、前記類似性と前記第1のセンサ情報に対応付けられた前記深刻度とに基づいて、前記現在地点に対応する前記危険度を判定するように構成してもよい。 For example, the danger occurrence information further includes the severity of the danger event associated with the danger point information and the first sensor information, and in the determining step, the danger information includes the danger point information and the danger point information. The similarity between the second sensor information and the first sensor information included in one or more of the risk occurrence information stored in the risk occurrence information management unit is determined, and the similarity and the first sensor information are determined. The risk level corresponding to the current location may be determined based on the severity level associated with the sensor information.
本態様によれば、類似性と第1のセンサ情報に対応付けられた深刻度とに基づいて危険度を判定するので、より一層精度良く危険度を判定することができる。 According to this aspect, since the risk is determined based on the similarity and the severity associated with the first sensor information, the risk can be determined with higher accuracy.
例えば、前記第1のセンサ情報は、前記危険地点における前記危険事象の発生状況を撮影した第1の画像であり、前記第2のセンサ情報は、前記現在地点における前記移動体の周辺状況を撮影した第2の画像であり、前記判定するステップでは、前記第1の画像と前記第2の画像との類似性に基づいて、前記現在地点に対応する前記危険度を判定するように構成してもよい。 For example, the first sensor information is a first image of the occurrence of the dangerous event at the dangerous point, and the second sensor information is an image of the surroundings of the moving body at the current point. The second image, and in the determining step, the risk level corresponding to the current location is determined based on the similarity between the first image and the second image. Is also good.
本態様によれば、第1の画像と第2の画像との類似性が高い場合には、危険事象の発生状況と現在地点における移動体の周辺状況との類似性が高いと推定できる。そのため、第1の画像と第2の画像との類似性に基づいて危険度を判定することにより、精度良く危険度を判定することができる。 According to this aspect, when the similarity between the first image and the second image is high, it can be estimated that the similarity between the occurrence situation of the dangerous event and the surrounding situation of the moving object at the current location is high. Therefore, the risk can be determined with high accuracy by determining the risk based on the similarity between the first image and the second image.
例えば、前記危険判定方法は、さらに、前記第1の画像に基づいて、前記危険事象が発生した際の前記危険地点における第1の交通状況を解析し、且つ、前記第2の画像に基づいて、前記現在地点における第2の交通状況を解析するステップを含み、前記判定するステップでは、解析した前記第1の交通状況と前記第2の交通状況との類似性に基づいて、前記現在地点に対応する前記危険度を判定するように構成してもよい。 For example, the danger determination method further analyzes a first traffic condition at the danger point when the danger event occurs based on the first image, and based on the second image. Analyzing the second traffic situation at the current location, wherein in the determining step, based on the similarity between the analyzed first traffic situation and the second traffic situation, It may be configured to determine the corresponding risk level.
本態様によれば、第1の交通状況と第2の交通状況との類似性が高い場合には、現在地点における危険事象の発生可能性が高いと推定できる。そのため、第1の交通状況と第2の交通状況との類似性に基づいて危険度を判定することにより、精度良く危険度を判定することができる。 According to this aspect, when the similarity between the first traffic situation and the second traffic situation is high, it can be estimated that the possibility of occurrence of a dangerous event at the current location is high. Therefore, the risk can be determined with high accuracy by determining the risk based on the similarity between the first traffic situation and the second traffic situation.
例えば、前記危険判定方法は、さらに、判定した前記現在地点に対応する前記危険度が所定の範囲内である場合に、前記移動体情報に含まれる前記現在地点情報を前記危険地点情報とし、且つ、前記移動体情報に含まれる前記第2のセンサ情報を前記第1のセンサ情報とした前記危険発生情報を生成するステップと、生成した前記危険発生情報を前記危険発生情報管理部に追加するステップと、を含むように構成してもよい。 For example, the danger determination method, further, when the degree of risk corresponding to the determined current location is within a predetermined range, the current location information included in the mobile information as the danger location information, and Generating the danger occurrence information using the second sensor information included in the moving object information as the first sensor information, and adding the generated danger occurrence information to the danger occurrence information management unit May be included.
本態様によれば、危険度が所定の範囲内である場合に、移動体情報を危険発生情報として危険発生情報管理部に追加するので、危険発生情報管理部における危険発生情報の蓄積量を増加させることができる。 According to this aspect, when the degree of danger is within the predetermined range, the moving body information is added to the danger occurrence information management unit as danger occurrence information, so that the accumulation amount of danger occurrence information in the danger occurrence information management unit is increased. Can be done.
例えば、前記取得するステップでは、ネットワークを介して、前記移動体に搭載された移動体装置から送信された前記移動体情報を受信し、前記危険判定方法は、さらに、判定した前記現在地点に対応する前記危険度が所定の範囲内である場合に、前記移動体情報を送信した前記移動体装置に前記危険度に関する危険度情報を送信するステップを含むように構成してもよい。 For example, in the acquiring step, the mobile body information transmitted from a mobile device mounted on the mobile body is received via a network, and the danger determination method further includes a process corresponding to the determined current location. When the risk is within a predetermined range, the method may include a step of transmitting risk information relating to the risk to the mobile device that has transmitted the mobile information.
本態様によれば、危険度が所定の範囲内である場合に、移動体情報を送信した移動体装置に危険度情報を送信するので、現在地点を通過中の移動体の利用者に対して危険を報知又は警告等することができる。 According to this aspect, when the risk is within the predetermined range, the risk information is transmitted to the mobile device that has transmitted the mobile information, so that the user of the mobile that is passing the current point is A danger can be notified or warned.
例えば、前記取得するステップでは、ネットワークを介して、前記移動体に搭載された移動体装置から送信された前記移動体情報を受信し、前記危険判定方法は、さらに、判定した前記現在地点に対応する前記危険度が所定の範囲内である場合であって、前記移動体情報を受信してから所定時間内に、別の移動体が前記移動体情報に含まれる前記現在地点情報が示す前記現在地点を通過すると判断した場合に、前記別の移動体に搭載された移動体装置に前記危険度に関する危険度情報を送信するステップを含むように構成してもよい。 For example, in the acquiring step, the mobile body information transmitted from a mobile device mounted on the mobile body is received via a network, and the danger determination method further includes a process corresponding to the determined current location. The risk is within a predetermined range, and within a predetermined time after receiving the moving object information, another moving object is included in the moving object information and the current position information indicated by the current position information is included in the current position information. When it is determined that the vehicle passes through a point, the method may include a step of transmitting risk information on the risk to a mobile device mounted on the another mobile body.
本態様によれば、危険度が所定の範囲内である場合に、移動体情報を送信した移動体装置とは別の移動体装置に危険度情報を送信するので、例えば後続車両の利用者に対して危険を報知又は警告等することができる。 According to this aspect, when the risk is within the predetermined range, the risk information is transmitted to a mobile device different from the mobile device that transmitted the mobile information, so that, for example, the The danger can be notified or warned.
例えば、前記危険判定方法は、さらに、判定した前記現在地点に対応する前記危険度と前記現在地点情報とが対応付けられた危険判定情報を危険判定情報管理部に格納するステップを含み、前記判定するステップでは、前記移動体情報に含まれる前記現在地点情報が示す前記現在地点に対応する前記危険判定情報が前記危険判定情報管理部に格納されている場合、前記危険判定情報に含まれる前記危険度を使用するように構成してもよい。 For example, the danger determination method further includes the step of storing danger determination information in which the danger degree corresponding to the determined current location and the current location information are associated with each other in a danger determination information management unit, In the step, when the danger determination information corresponding to the current location indicated by the current location information included in the moving body information is stored in the danger determination information management unit, the danger included in the danger determination information is included. It may be configured to use degrees.
本態様によれば、現在地点に対応する危険判定情報が危険判定情報管理部に格納されている場合、危険判定情報に含まれる危険度を使用するので、危険度の判定処理を比較的短時間で行うことができる。 According to this aspect, when the danger determination information corresponding to the current location is stored in the danger determination information management unit, the danger included in the danger determination information is used. Can be done with
例えば、前記移動体情報は、さらに、前記現在地点情報と前記第2のセンサ情報とに対応付けられた、前記移動体の走行状況を示す第3のセンサ情報を含み、前記判定するステップでは、前記移動体情報に含まれる前記第2のセンサ情報と、前記危険発生情報管理部に格納されている1つ以上の前記危険発生情報に含まれる前記第1のセンサ情報との類似性を求め、前記類似性と前記第3のセンサ情報とに基づいて、前記現在地点に対応する前記危険度を判定するように構成してもよい。 For example, the moving body information further includes third sensor information indicating a traveling state of the moving body, which is associated with the current location information and the second sensor information, and in the determining step, Determine the similarity between the second sensor information included in the moving object information and the first sensor information included in one or more of the risk occurrence information stored in the risk occurrence information management unit, The risk level corresponding to the current location may be determined based on the similarity and the third sensor information.
本態様によれば、類似性と第3のセンサ情報とに基づいて危険度を判定するので、より一層精度良く危険度を判定することができる。 According to this aspect, the risk is determined based on the similarity and the third sensor information, so that the risk can be determined with higher accuracy.
また、本発明の一態様に係る危険判定装置は、移動体が位置する地点に対応する危険度を管理する危険判定装置であって、危険事象が発生した危険地点を示す危険地点情報と、前記危険地点における前記危険事象の発生状況を示す第1のセンサ情報とが対応付けられた危険発生情報を1つ以上格納している危険発生情報管理部と、前記移動体の現在地点を示す現在地点情報と、前記現在地点における前記移動体の周辺状況を示す第2のセンサ情報とが対応付けられた移動体情報を受信する受信部と、前記移動体情報に含まれる前記現在地点情報が示す前記現在地点に対応する前記危険発生情報が前記危険発生情報管理部に格納されておらず、且つ、前記現在地点以外の地点に対応する前記危険発生情報が前記危険発生情報管理部に格納されている場合、前記移動体情報に含まれる前記第2のセンサ情報と、前記危険発生情報管理部に格納されている1つ以上の前記危険発生情報に含まれる前記第1のセンサ情報との類似性に基づいて、前記現在地点に対応する前記危険度を判定する判定部と、を備える。 Further, the danger determination device according to one aspect of the present invention is a danger determination device that manages a danger degree corresponding to a point where a moving object is located, wherein danger point information indicating a danger point where a danger event has occurred, A danger occurrence information management unit that stores at least one danger occurrence information associated with first sensor information indicating a situation of occurrence of the danger event at the danger point, and a current position indicating a current position of the moving body Information, a receiving unit that receives moving body information associated with second sensor information indicating the surrounding state of the moving body at the current location, and a receiving unit that indicates the current location information included in the moving body information. The danger occurrence information corresponding to the current location is not stored in the danger occurrence information management unit, and the danger occurrence information corresponding to a point other than the current location is stored in the danger occurrence information management unit. The similarity between the second sensor information included in the mobile object information and the first sensor information included in one or more of the risk occurrence information stored in the risk occurrence information management unit. And a determination unit that determines the degree of risk corresponding to the current location based on the information.
本態様によれば、移動体情報に含まれる現在地点情報が示す現在地点に対応する危険発生情報が危険発生情報管理部に格納されていない場合であっても、移動体情報に含まれる第2のセンサ情報と、現在地点以外の地点に対応する危険発生情報に含まれる第1のセンサ情報との類似性に基づいて、危険度を判定する。これにより、移動体が危険発生情報管理部に格納されている危険発生情報に対応する危険地点以外の地点を通過する場合であっても、精度良く危険度を判定することができ、例えば移動体の利用者に対して危険を報知又は警告等することができる。 According to this aspect, even if the danger occurrence information corresponding to the current location indicated by the current location information included in the mobile body information is not stored in the danger occurrence information management unit, the second information included in the mobile body information is not included. And the first sensor information included in the danger occurrence information corresponding to a point other than the current point. Thereby, even when the moving body passes through a point other than the danger point corresponding to the danger occurrence information stored in the danger occurrence information management unit, the degree of danger can be accurately determined. The user can be informed or warned of danger.
また、本発明の一態様に係る危険判定システムは、危険判定装置と移動体に搭載された危険出力装置とを備え、前記移動体が位置する地点に対応する危険度を管理する危険判定システムであって、前記危険判定装置は、危険事象が発生した危険地点を示す危険地点情報と、前記危険地点における前記危険事象の発生状況を示す第1のセンサ情報とが対応付けられた危険発生情報を1つ以上格納している危険発生情報管理部と、前記移動体の現在地点を示す現在地点情報と、前記現在地点における前記移動体の周辺状況を示す第2のセンサ情報とが対応付けられた移動体情報を受信する第1の受信部と、前記移動体情報に含まれる前記現在地点情報が示す前記現在地点に対応する前記危険発生情報が前記危険発生情報管理部に格納されておらず、且つ、前記現在地点以外の地点に対応する前記危険発生情報が前記危険発生情報管理部に格納されている場合、前記移動体情報に含まれる前記第2のセンサ情報と、前記危険発生情報管理部に格納されている1つ以上の前記危険発生情報に含まれる前記第1のセンサ情報との類似性に基づいて、前記現在地点に対応する前記危険度を判定する判定部と、前記危険度に関する危険度情報を前記危険出力装置に送信する第1の送信部と、を備え、前記危険出力装置は、前記移動体情報を前記危険判定装置に送信する第2の送信部と、前記危険判定装置から送信された前記危険度情報を受信する第2の受信部と、受信した前記危険度情報に基づいて、前記移動体の利用者に対して注意を喚起するための注意喚起情報を出力する出力部と、を備える。 Further, a danger determination system according to one aspect of the present invention is a danger determination system that includes a danger determination device and a danger output device mounted on a moving body, and manages a danger degree corresponding to a point where the moving body is located. The danger determination device may generate danger point information indicating a danger point at which the danger event has occurred, and danger occurrence information in which first sensor information indicating the occurrence state of the danger event at the danger point is associated. One or more danger occurrence information management units, current position information indicating the current position of the moving object, and second sensor information indicating the surrounding state of the moving object at the current position are associated with each other. A first receiving unit that receives mobile body information, and the danger occurrence information corresponding to the current location indicated by the current location information included in the mobile body information is not stored in the danger occurrence information management unit. When the danger occurrence information corresponding to a point other than the current point is stored in the danger occurrence information management unit, the danger occurrence information management unit includes the second sensor information included in the moving body information. A determination unit that determines the degree of risk corresponding to the current location based on the similarity to the first sensor information included in one or more pieces of the risk occurrence information stored in the determination unit; A danger output device, the danger output device comprising: a first transmission unit that transmits danger information to the danger output device; the danger output device transmits the mobile body information to the danger determination device; A second receiving unit that receives the risk information transmitted from the user, and an output that outputs, based on the received risk information, alert information for alerting a user of the mobile object And a unit
本態様によれば、移動体情報に含まれる現在地点情報が示す現在地点に対応する危険発生情報が危険発生情報管理部に格納されていない場合であっても、移動体情報に含まれる第2のセンサ情報と、現在地点以外の地点に対応する危険発生情報に含まれる第1のセンサ情報との類似性に基づいて、危険度を判定する。これにより、移動体が危険発生情報管理部に格納されている危険発生情報に対応する危険地点以外の地点を通過する場合であっても、精度良く危険度を判定することができ、例えば移動体の利用者に対して危険を報知又は警告等することができる。 According to this aspect, even if the danger occurrence information corresponding to the current location indicated by the current location information included in the mobile body information is not stored in the danger occurrence information management unit, the second information included in the mobile body information is not included. And the first sensor information included in the danger occurrence information corresponding to a point other than the current point. Thereby, even when the moving body passes through a point other than the danger point corresponding to the danger occurrence information stored in the danger occurrence information management unit, the degree of danger can be accurately determined. The user can be informed or warned of danger.
また、本発明の一態様に係る危険出力装置は、上述した危険判定システムにおいて用いられる危険出力装置であって、移動体の現在地点を示す現在地点情報と、前記現在地点における前記移動体の周辺状況を示す第2のセンサ情報とが対応付けられた移動体情報を危険判定装置に送信する第2の送信部と、前記危険判定装置から送信された危険度情報を受信する第2の受信部と、受信した前記危険度情報に基づいて、前記移動体の利用者に対して注意を喚起するための注意喚起情報を出力する出力部と、を備える。 Further, a danger output device according to an aspect of the present invention is a danger output device used in the above-described danger determination system, wherein current position information indicating a current position of the moving object, and a vicinity of the moving object at the current position. A second transmission unit that transmits to the danger determination device mobile object information associated with the second sensor information indicating the situation, and a second reception unit that receives the danger information transmitted from the danger determination device And an output unit that outputs alert information for alerting the user of the mobile object based on the received risk degree information.
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD−ROM等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。 Note that these comprehensive or specific aspects may be realized by a recording medium such as a system, a method, an integrated circuit, a computer program or a computer-readable CD-ROM, and the system, the method, the integrated circuit, and the computer program. Alternatively, it may be realized by an arbitrary combination of recording media.
以下、実施の形態について、図面を参照しながら具体的に説明する。 Hereinafter, embodiments will be specifically described with reference to the drawings.
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。 Each of the embodiments described below shows a comprehensive or specific example. Numerical values, shapes, materials, constituent elements, arrangement positions and connection forms of constituent elements, steps, order of steps, and the like shown in the following embodiments are merely examples, and do not limit the present disclosure. In addition, among the components in the following embodiments, components not described in the independent claims indicating the highest concept are described as arbitrary components.
(実施の形態1)
[1−1.危険判定システムの全体構成]
図1を参照しながら、実施の形態1に係る危険判定システム10の全体構成について説明する。図1は、実施の形態1に係る危険判定システム10の構成を示すブロック図である。
(Embodiment 1)
[1-1. Overall configuration of danger judgment system]
The overall configuration of the
図1に示すように、危険判定システム10は、サーバ装置101(危険判定装置の一例)及び複数の移動体装置102(危険出力装置の一例)を備えている。
As shown in FIG. 1, the
サーバ装置101は、画像データベース103(画像管理部の一例)を備えている。画像データベース103には、1つ以上の危険発生情報が管理(格納)されている。危険発生情報は、危険地点において事故又はヒヤリハット等の危険事象に遭遇した移動体105の周辺状況(すなわち、危険事象の発生状況)を撮影した画像である危険地点画像(第1のセンサ情報及び第1の画像の一例)と、この危険地点画像の撮影日時、撮影位置及び撮影方向(すなわち、危険事象に遭遇した移動体105の進行方向)等の付随情報(危険地点を示す危険地点情報の一例)とが対応付けられたデータである。なお、i)種々のカメラでの画像の撮影方法、ii)撮影日時、撮影位置及び撮影方向等の取得方法、iii)撮影画像のサーバ装置101へのアップロード方法については、一般に開示されている任意の方法で良く、ここではその説明を省略する。
The
複数の移動体装置102の各々は、ネットワーク104を介してサーバ装置101に通信接続されており、対応する移動体105に搭載されている。移動体105は、例えば利用者によって運転される車両である。移動体装置102は、ネットワーク104を介して、移動体情報をサーバ装置101に送信する。移動体情報は、現在地点における移動体105の周辺状況を撮影した画像である現在地点画像(第2のセンサ情報及び第2の画像の一例)と、その現在地点画像に関する付随情報(移動体105の現在地点を示す現在地点情報の一例)とが対応付けられたデータである。
Each of the plurality of
サーバ装置101は、受信した現在地点画像とその付随情報とに基づいて、現在地点画像の撮影時点での現在地点における交通状況(第2の交通状況の一例)を解析し、且つ、画像データベース103に管理されている危険地点画像とその付随情報とに基づいて、危険事象が発生した際の危険地点における交通状況(第1の交通状況の一例)を解析する。サーバ装置101は、解析した2つの交通状況の類似性に基づいて現在地点画像の撮影時点で移動体105が置かれている状況の危険度を判定し、判定した危険度に関する危険度情報を移動体装置102へネットワーク104を介して送信する。なお、危険度とは、現在地点画像の撮影時点で移動体105が位置する現在地点において危険事象が発生する可能性を示す指標である。
The
移動体装置102は、受信した危険度情報に基づいて、移動体105(又は移動体装置102)の利用者に対して注意を喚起するための注意喚起情報を出力する。
The
[1−2.サーバ装置の構成]
[1−2−1.サーバ装置の全体構成]
次に、図2〜図4を参照しながら、サーバ装置101の全体構成について詳細に説明する。図2は、実施の形態1に係るサーバ装置101の構成を示すブロック図である。図3は、実施の形態1に係る移動体情報の一例を示す図である。図4は、実施の形態1に係る危険発生情報の一例を示す図である。
[1-2. Configuration of server device]
[1-2-1. Overall configuration of server device]
Next, the overall configuration of the
図2に示すように、サーバ装置101は、送受信部201(第1の送信部及び第1の受信部の一例)、危険発生情報管理部202、画像解析部203、危険度判定部204及び制御部205を備えている。
As shown in FIG. 2, the
サーバ装置101は、具体的には図示されていないマイクロプロセッサ、RAM(Random Access Memory)、ROM(Read Only Memory)及びハードディスク等で構成される。これらのRAM、ROM及びハードディスクには、コンピュータプログラムが記憶されている。マイクロプロセッサがこのコンピュータプログラムに従って動作することにより、サーバ装置101はその機能を果たす。
The
なお、サーバ装置101の送受信部201、危険発生情報管理部202、画像解析部203、危険度判定部204及び制御部205等の各機能ブロックは、典型的には集積回路であるLSI(Large Scale Integration)として実現される。これらは個別に1チップ化されても良いし、1以上の機能ブロック又は各機能ブロックの一部を含むように1チップ化されても良い。ここではLSIとしたが、集積度の違いにより、IC(Integrated Circuit)、システムLSI、スーパーLSI又はウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。LSIの製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、又は、LSI内部の回路セルの接続及び設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用などが可能性としてありえる。最後に、サーバ装置101の各機能ブロックは、ソフトウェアで実現されても良いし、LSIとソフトウェアとの組み合わせで実現されても良い。また、ソフトウェアは耐タンパ化されていても良い。
Note that each functional block of the transmission /
[1−2−2.送受信部]
送受信部201は、ネットワーク104を介して、移動体装置102から送信された移動体情報を受信する。
[1-2-2. Transceiver]
The transmission /
ここで、図3を参照しながら、送受信部201が受信する移動体情報の一例について説明する。図3の(a)は、移動体情報に含まれる現在地点画像の一例であり、図3の(b)は、移動体情報に含まれる現在地点画像に関する付随情報の一例である。
Here, an example of the mobile object information received by the transmission /
図3の例では、ファイル名が「98765432.jpg」である現在地点画像が、「2014年12月12日12時12分12秒」に撮影され、撮影位置の緯度経度はそれぞれ「+35.682343」、「+139.773533」であり、撮影(進行)方向は「30度」であることを示している。ここで、緯度経度情報は60進数(度分秒)による座標を10進数に変換したものであり、撮影(進行)方向は、北向きを0度、東向きを90度、南向きを180度、西向きを270度とした場合の方角を角度で表現している。 In the example of FIG. 3, the current location image with the file name “98765432.jpg” is captured at “12:12:12 on December 12, 2014”, and the latitude and longitude of the capturing location are “+35.6682343”, respectively. , "+139.773533", indicating that the shooting (progressing) direction is "30 degrees". Here, the latitude / longitude information is obtained by converting the coordinates of a 60-base number (degrees, minutes, and seconds) into a decimal number. The shooting (progressing) direction is 0 degrees in the north direction, 90 degrees in the east direction, and 180 degrees in the south direction. The direction when the west direction is 270 degrees is represented by an angle.
また、図3の(a)に示すファイル名が「98765432.jpg」である現在地点画像は、移動体105である自車両が信号有りの交差点を青信号で直進する際に、前方の横断歩道の傍に歩行者が存在し、その横断歩道の直前に先行車両が差し掛かっている状況を撮影したものである。
Further, the current location image whose file name is “98765432.jpg” shown in FIG. 3A is a crossing point ahead when the own vehicle, which is the moving
さらに、送受信部201は、ネットワーク104を介して、危険度判定部204(後述する)により判定された危険度に関する危険度情報を移動体装置102に送信する。なお、危険度の判定方法については後で詳述する。
Further, the transmission /
[1−2−3.危険発生情報管理部]
危険発生情報管理部202は、上述した画像データベース103を含んでおり、危険発生情報を管理(格納)する。すなわち、危険発生情報管理部202は、危険事象に遭遇した移動体105の周辺状況を撮影した画像である危険地点画像を蓄積し、危険地点画像の撮影日時、撮影位置及び撮影(進行)方向等の付随情報と紐付けて管理する。
[1-2-3. Danger occurrence information management department]
The danger occurrence
ここで、図4を参照しながら、危険発生情報管理部202が管理する危険発生情報の一例について説明する。図4の(a)は、危険発生情報に含まれる危険地点画像の一例であり、図4の(b)は、危険発生情報に含まれる危険地点画像に関する付随情報の一例である。
Here, an example of danger occurrence information managed by the danger occurrence
図4の例では、ファイル名「00000123.jpg」である危険地点画像が、「2014年12月1日8時30分00秒」に撮影され、撮影位置の緯度経度はそれぞれ「+35.711283」、「+139.704802」であり、撮影(進行)方向は「30度」であることを示している。ここで、緯度経度情報は60進数(度分秒)による座標を10進数に変換したものであり、撮影(進行)方向は、北向きを0度、東向きを90度、南向きを180度、西向きを270度とした場合の方角を角度で表現している。 In the example of FIG. 4, the danger point image with the file name “00000123.jpg” is captured at “8:30:30 on December 1, 2014”, and the latitude and longitude of the capturing position are “+35.711283”, respectively. , “+139.704802”, indicating that the shooting (progressing) direction is “30 degrees”. Here, the latitude / longitude information is obtained by converting the coordinates of a 60-base number (degrees, minutes, and seconds) into a decimal number. The shooting (progressing) direction is 0 degrees in the north direction, 90 degrees in the east direction, and 180 degrees in the south direction. The direction when the west direction is 270 degrees is represented by an angle.
また、図4の(a)に示す各危険地点画像における危険事象について説明する。ファイル名が「00000123.jpg」である危険地点画像における危険事象は、移動体105である自車両が信号無しの交差点を直進する際に、左方から直進車両が飛び出す「出会い頭のヒヤリハット」である。ファイル名が「00445566.jpg」である危険地点画像における危険事象は、移動体105である自車両が信号有りの交差点を青信号で直進する際に、前方の横断歩道を赤信号で横断する歩行者がいたために、その横断歩道に差し掛かった先行車両が急ブレーキを踏む「追突のヒヤリハット」である。ファイル名が「77088099.jpg」である危険地点画像における危険事象は、移動体105である自車両が信号有りの交差点を青信号で右折する際に、対向車両が交差点に接近する前に右折を完了しようと急いだところ、右折先の横断歩道に横断中の歩行者がいる「対向横断者とのヒヤリハット」である。
Further, the danger event in each danger point image shown in FIG. The danger event in the danger point image whose file name is “00000123.jpg” is “meeting near the beginning” where the straight-ahead vehicle jumps out from the left when the own vehicle as the moving
[1−2−4.画像解析部]
画像解析部203は、送受信部201が受信した移動体情報に含まれる現在地点画像に基づいて、現在地点画像の撮影時点での現在地点における交通状況を解析する。また、画像解析部203は、危険発生情報管理部202に格納された危険発生情報に含まれる危険地点画像に基づいて、危険事象が発生した際の危険地点における交通情報を解析する。
[1-2-4. Image analysis section]
The
ここで、交通状況とは、移動体装置102を搭載する移動体105が置かれている道路交通上の状況のことであり、具体的には道路形状を含む場所に関する状況、交通環境及び自車行動等のことである。さらに具体的には、道路形状を含む場所に関する状況とは、例えば交差点、単路(直線)、カーブ及び狭路等のことである。交通環境とは、例えば信号の燈色、標識の有無、歩行者及び対向車両の有無、先行車両の有無、並びに、車間距離等のことである。自車行動とは、例えば直進中、右左折中、停止中、後退中、並びに、走行速度及び加速度等のことである。
Here, the traffic condition refers to a condition on road traffic where the moving
次に、図3を参照しながら、現在地点画像に基づいて交通状況を解析する方法の一例について説明する。図3の(a)に示すように、送受信部201が例えばファイル名が「98765432.jpg」である現在地点画像を含む移動体情報を受信した場合、画像解析部203は、i)道路形状を含む場所に関する状況については信号有りの交差点であること、ii)交通環境については青信号であること、前方の横断歩道の傍に歩行者が存在すること、及び、その横断歩道の直前に先行車両が差し掛かっていること、iii)自車行動については直進中であることなどを解析する。
Next, an example of a method of analyzing a traffic situation based on a current point image will be described with reference to FIG. As shown in FIG. 3A, when the transmission /
ここで、現在地点画像に基づいて交通状況を解析する方法の一例について、さらに具体的に説明する。道路形状を含む場所に関する状況については、例えば路面上に描かれている区画線及び道路標示を現在地点画像から画像認識することにより検出可能である。区画線とは、例えば車両の走行レーンを示すための車線境界線等である。道路標示とは、例えば停止線、「止まれ」マーク、横断歩道、横断歩道の存在を示す菱形マーク、直進及び左右転回の矢印、並びに、車線変更の禁止を示すための破線等である。例えばこれらの道路標示が存在する場合には、道路が交差点であることを検出可能である。また、例えばこれらの道路標示が存在せず、且つ、区画線が直線である(又は曲がっている)場合には、道路が単路(又はカーブ)であることを検出可能である。また、例えば隣り合う区画線の間隔によって、道路が狭路であるか否かを検出可能である。 Here, an example of a method of analyzing a traffic situation based on a current point image will be described more specifically. The situation related to the location including the road shape can be detected by, for example, recognizing a lane marking and a road marking drawn on the road surface from the current location image. The lane marking is, for example, a lane boundary line indicating a traveling lane of the vehicle. The road marking is, for example, a stop line, a "stop" mark, a pedestrian crossing, a rhombic mark indicating the presence of a pedestrian crossing, straight and left / right turning arrows, and a broken line for indicating prohibition of lane change. For example, when these road signs exist, it is possible to detect that the road is an intersection. Further, for example, when these road signs do not exist and the lane markings are straight (or curved), it is possible to detect that the road is a single road (or a curve). Further, for example, it is possible to detect whether or not a road is a narrow road based on the interval between adjacent lane markings.
さらに、交通環境については、信号、標識、歩行者及び他車両等の対象物の色特徴及び形状特徴を利用して、現在地点画像から画像認識することにより検出可能である。加えて、例えば前照灯と尾灯とを画像認識することにより、他車両が対向車両及び先行車両のいずれであるかを検出可能である。加えて、例えば先行車両のナンバープレート及びナンバープレート上の文字を画像認識することにより、画像中のナンバープレートのサイズと既知の撮影倍率とに基づいて車間距離を検出可能である。 Further, the traffic environment can be detected by recognizing an image from a current location image using color characteristics and shape characteristics of an object such as a signal, a sign, a pedestrian, and another vehicle. In addition, for example, by image recognition of the headlight and the taillight, it is possible to detect whether the other vehicle is an oncoming vehicle or a preceding vehicle. In addition, for example, by image recognition of the license plate of the preceding vehicle and characters on the license plate, the inter-vehicle distance can be detected based on the size of the license plate in the image and the known photographing magnification.
さらに、自車行動については、時間的に近接する複数の現在地点画像における、例えば道路及びその周辺の建造物等の動きに注目することにより検出可能である。あるいは、時間的に近接する2個の現在地点画像の撮影位置の変化により検出しても良い。 Further, the own-vehicle behavior can be detected by paying attention to the movement of, for example, a road and buildings around the same in a plurality of temporally adjacent current position images. Alternatively, the detection may be performed based on a change in the photographing position of two current position images that are temporally close to each other.
[1−2−5.危険度判定部]
危険度判定部204は、送受信部201が受信した現在地点画像と、危険発生情報管理部202に格納されている危険地点画像との類似性に基づいて、現在地点画像の撮影時点で移動体105が置かれている状況の危険度を判定する。より具体的には、危険度判定部204は、画像解析部203で解析した、現在地点画像の撮影時点での現在地点における交通状況と、危険事象が発生した際の危険地点における交通状況との類似性に基づいて、上述した危険度を判定する。さらに、危険度判定部204は、判定した危険度に関する危険度情報を生成する。
[1-2-5. Risk assessment section]
The danger
次に、図3及び図4を参照しながら、危険度の判定方法の一例について説明する。例えば、危険発生情報管理部202が図4の(a)及び(b)にそれぞれ示す危険地点画像及びその付随情報を管理し、送受信部201が図3の(a)に示すファイル名が「98765432.jpg」である現在地点画像を受信した場合について説明する。この場合、危険度判定部204は、画像解析部203が解析した交通状況に基づいて、i)道路形状を含む場所に関する状況について信号有り交差点であること、ii)交通環境について青信号であること、前方の横断歩道の傍に歩行者が存在すること、及び、その横断歩道の直前に先行車両が差し掛かっていること、iii)自車行動について直進中であることなどを踏まえ、危険発生情報管理部202が管理するファイル名が「00445566.jpg」である危険地点画像と現在地点画像との類似性(類似度)を算出する。算出した類似度が例えば「0.8」である場合には、危険度判定部204は、ファイル名が「98765432.jpg」である現在地点画像の撮影時点で移動体105が置かれている状況の危険度が「0.8」であると判定する。なお、危険度は、例えば「0」から「1」までの点数(0.1刻みの粒度)であり、「0」は危険度が全くないことを、「1」は危険度が最も高いことを示している。
Next, an example of a risk determination method will be described with reference to FIGS. For example, the danger occurrence
ここで、危険地点画像と現在地点画像との類似性を算出する方法の一例について説明する。例えばCBIR(Content−Based Image Retrieval)と呼ばれる画像検索手法等を用いることにより、類似性を算出することができる。このCBIRは、色、物体形状及びテクスチャ(物体の表面の質感及び模様)等の画像特徴量の類似度に基づいて、与えられた画像に類似する画像をデータベースから検出する方法として知られている。このCBIRによれば、画像解析部203で解析した交通状況についての画像特徴量の類似度に基づいて、危険発生情報管理部202を検索することにより、類似性の高い危険地点画像が取得可能となる。
Here, an example of a method of calculating the similarity between the dangerous point image and the current point image will be described. For example, the similarity can be calculated by using an image search method called CBIR (Content-Based Image Retrieval) or the like. This CBIR is known as a method of detecting an image similar to a given image from a database based on the similarity of image feature amounts such as color, object shape, and texture (texture and pattern of the surface of the object). . According to the CBIR, it is possible to obtain a highly similar danger spot image by searching the danger occurrence
また、判定した危険度に関する危険度情報の生成方法の一例について説明する。例えば判定した危険度(上述した危険度の判定方法の一例では「0.8」)をそのまま危険度情報として採用することができるが、危険度情報は、移動体105の利用者(例えば車両のドライバ)に対して注意を喚起するために出力できるものであれば何でも良く、例えば任意の文字情報又は音声等でも良い。なお、危険度を判定する毎にこの危険度情報を逐一生成する必要はなく、予め登録済みの文字情報又は音声等の中から任意の文字情報又は音声等を危険度情報として選択しても良い。ここで、例えば任意の文字情報又は音声等を危険度情報として採用する場合には、移動体105の利用者が危険度を理解できる文字情報又は音声等を採用することが望ましい。
Further, an example of a method of generating risk information regarding the determined risk will be described. For example, the determined degree of risk (“0.8” in the example of the above-described method of determining the degree of risk) can be directly used as the degree of risk information. Any information that can be output to call attention to the driver) may be used. For example, any character information or voice may be used. It is not necessary to generate the risk information every time the risk is determined, and any character information or voice or the like may be selected as the risk information from the character information or voice or the like registered in advance. . Here, for example, when any character information or voice is used as the risk information, it is desirable to use character information or voice that allows the user of the moving
[1−2−6.制御部]
制御部205は、上述した送受信部201、危険発生情報管理部202、画像解析部203及び危険度判定部204を管理及び制御することにより、サーバ装置101の機能を実現する。
[1-2-6. Control section]
The
[1−3.移動体装置の構成]
[1−3−1.移動体装置の全体構成]
次に、図5を参照しながら、移動体装置102の全体構成について詳細に説明する。図5は、実施の形態1に係る移動体装置102の構成を示すブロック図である。
[1-3. Configuration of mobile device]
[1-3-1. Overall Configuration of Mobile Device]
Next, the overall configuration of the
図5に示すように、移動体装置102は、送受信部501(第2の送信部及び第2の受信部の一例)、入力受付部502、出力部503及び制御部504を備えている。
As shown in FIG. 5, the
移動体装置102は、具体的には図示されていないマイクロプロセッサ、RAM、ROM及びハードディスク等で構成される。これらのRAM、ROM及びハードディスクには、コンピュータプログラムが記憶されている。マイクロプロセッサがこのコンピュータプログラムに従って動作することにより、移動体装置102はその機能を果たす。
The
なお、送受信部501、入力受付部502、出力部503及び制御部504等の各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されても良いし、1以上の機能ブロック又は各機能ブロックの一部を含むように1チップ化されても良い。ここではLSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI又はウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。LSIの製造後に、プログラムすることが可能なFPGA、又は、LSI内部の回路セルの接続及び設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用などが可能性としてありえる。最後に、移動体装置102の各機能ブロックは、ソフトウェアで実現されても良いし、LSIとソフトウェアとの組み合わせで実現されても良い。また、ソフトウェアは耐タンパ化されていても良い。
Each functional block such as the transmission /
[1−3−2.送受信部]
送受信部501は、ネットワーク104を介して、入力受付部502が受け付けた移動体情報をサーバ装置101に送信する。
[1-3-2. Transceiver]
The transmission /
また、送受信部501は、ネットワーク104を介して、サーバ装置101から送信された危険度情報を受信する。
In addition, the transmission /
[1−3−3.入力受付部]
入力受付部502は、移動体情報を入力として受け付ける。より具体的には、入力受付部502は、現在地点において移動体105の周辺状況を撮影した画像である現在地点画像と、その現在地点画像に関する付随情報とを入力として受け付ける。
[1-3-3. Input reception unit]
The
現在地点画像は、例えば車載カメラ、ドライブレコーダ又はスマートフォンのカメラ等で撮影された画像である。なお、i)種々のカメラでの画像の撮影方法、ii)撮影日時、撮影位置及び撮影(進行)方向等の取得方法については、一般に開示されている任意の方法で良く、ここではその説明を省略する。 The current location image is an image captured by, for example, a vehicle-mounted camera, a drive recorder, or a camera of a smartphone. It should be noted that i) a method of photographing an image with various cameras, and ii) a method of acquiring a photographing date and time, a photographing position, a photographing (progressing) direction, and the like may be any method that is generally disclosed. Omitted.
[1−3−4.出力部]
出力部503は、送受信部501が受信した危険度情報に基づいて、移動体105(又は移動体装置102)の利用者に対して注意を喚起するための注意喚起情報を出力する。例えば注意喚起情報が文字情報である場合には、移動体105に搭載されたディスプレイ等(図示せず)へ注意喚起情報を出力することにより、利用者に対して注意を喚起するための文字情報(例えば「追突のヒヤリハットが発生する危険度は0.8です」と記載された文字列)がディスプレイに表示される。また、例えば注意喚起情報が音声である場合には、移動体105に搭載されたスピーカ等(図示せず)へ注意喚起情報を出力することにより、利用者に対して注意を喚起するための音声(例えば「追突のヒヤリハットが発生する危険度は0.8です」と発話した音声)がスピーカから出力される。
[1-3-4. Output section]
The
[1−3−5.制御部]
制御部504は、上述した送受信部501、入力受付部502及び出力部503を管理及び制御することにより、移動体装置102の機能を実現する。
[1-3-5. Control section]
The
[1−4.危険判定システムの動作]
次に、図6を参照しながら、危険判定システム10の動作(危険判定方法)について説明する。図6は、実施の形態1に係る危険判定システム10の動作の流れを示すシーケンス図である。
[1-4. Operation of the danger judgment system]
Next, the operation of the danger determination system 10 (danger determination method) will be described with reference to FIG. FIG. 6 is a sequence diagram illustrating a flow of the operation of the
まず、移動体装置102は、入力受付部502で、移動体装置102を搭載する移動体105の周辺状況を撮影した現在地点画像と、その現在地点画像に関する付随情報とを入力として受け付ける(S601)。その後、移動体装置102は、受け付けた現在地点画像と付随情報とを、送受信部501を介してサーバ装置101へ送信する(S602)。
First, the
サーバ装置101は、現在地点画像と付随情報とを、送受信部201を介して移動体装置102から受信する(S603)。その後、サーバ装置101は、画像解析部203で、受信した現在地点画像と付随情報とに基づいて、現在地点画像の撮影時点での現在地点における交通状況を解析する(S604)。その後、サーバ装置101は、危険度判定部204で、解析した交通状況に基づいて、危険発生情報管理部202が管理する危険地点画像と現在地点画像との類似性から、受信した現在地点画像の撮影時点で移動体105が置かれている状況の危険度を判定し、判定した危険度に関する危険度情報を生成する(S605)。
The
このとき、現在地点(例えば図3の(a)に示すファイル名が「98765432.jpg」である現在地点画像に表された交差点A)に対応する危険地点画像が危険発生情報管理部202で管理されておらず、且つ、現在地点以外の地点(例えば図4の(a)に示すファイル名が「00445566.jpg」である危険地点画像に表された交差点B)に対応する危険地点画像が危険発生情報管理部202で管理されている場合には、危険度判定部204は、現在地点以外の地点(例えば上記交差点B)に対応する危険地点画像と現在地点画像との類似性に基づいて、危険度を判定する。
At this time, the danger spot image corresponding to the current location (for example, the intersection A shown in the current location image whose file name is “98765432.jpg” shown in FIG. 3A) is managed by the danger occurrence
また、現在地点(例えば上記交差点A)に対応する危険地点画像と、現在地点以外の地点(例えば上記交差点B)に対応する危険地点画像とが危険発生情報管理部202で管理されている場合には、危険度判定部204は、現在地点に対応する危険地点画像と現在地点以外の地点に対応する危険地点画像のうち、現在地点画像との類似性が最も高い危険地点画像を検索する。その結果、現在地点以外の地点(例えば上記交差点B)に対応する危険地点画像と現在地点画像との類似性が最も高い場合には、危険度判定部204は、現在地点以外の地点に対応する危険地点画像と現在地点画像との類似性に基づいて危険度を判定する。なお、現在地点に対応する危険地点画像と現在地点画像との類似性が最も高い場合には、危険度判定部204は、現在地点に対応する危険地点画像と現在地点画像との類似性に基づいて危険度を判定してもよい。
Further, when the danger point image corresponding to the current point (for example, the intersection A) and the danger point image corresponding to a point other than the current point (for example, the intersection B) are managed by the danger occurrence
その後、サーバ装置101は、危険度が所定の範囲内である場合には、生成した危険度情報を、送受信部201を介して移動体装置102へ送信する(S606)。なお、所定の範囲内とは、例えば危険度が予め設定された閾値(例えば「0.5」)を超える場合などである。また、危険度情報の送信先となる移動体装置102は、例えばサーバ装置101が受信した移動体情報の送信元である移動体装置102である。
After that, when the risk level is within the predetermined range, the
移動体装置102は、サーバ装置101が判定した危険度に関する危険度情報を、送受信部501を介してサーバ装置101から受信する(S607)。その後、移動体装置102は、出力部503で、受信した危険度情報に基づいて、移動体105(又は移動体装置102)の利用者に対して注意を喚起するための注意喚起情報を出力する(S608)。
The
[1−5.危険判定システムの適用例]
次に、図7を参照しながら、実施の形態1に係る危険判定システム10を適用したサービスの一例について説明する。図7は、実施の形態1に係る危険判定システム10を適用したサービスの一例を説明するための図である。
[1-5. Application example of danger judgment system]
Next, an example of a service to which the
図7の(a)に示すグループ700は、例えば企業、団体又は家庭等であり、その規模を問わない。グループ700には、複数の移動体装置102及び通信装置703が存在する。複数の移動体装置102の各々は、インターネットと直接接続可能な機器(例えば、通信モジュール付きのカーナビ、スマートフォン、タブレット又はパーソナルコンピュータ等)、あるいは、それ自身ではインターネットと直接接続不可能な機器(例えば、通信モジュールの無いカーナビ等)である。なお、複数の移動体装置102の各々は、それ自身ではインターネットと直接接続不可能な機器である場合、通信装置703を介してインターネットと接続可能となる機器であっても良い。また、グループ700には、複数の移動体装置102を使用するユーザ701が存在する。
A
図7の(a)に示すデータセンタ運営会社710には、上述したサーバ装置101が存在する。サーバ装置101は、インターネットを介して様々な機器と連携する仮想化サーバであり、主に通常のデータベース管理ツール等で扱うことが困難な巨大なデータ(ビッグデータ)等を管理する。データセンタ運営会社710は、データ管理、サーバ装置101の管理、及び、それらを行うデータセンタの運営等を行っている。データセンタ運営会社710が行っている役務については後で詳述する。
The
ここで、データセンタ運営会社710は、データ管理及びサーバ装置101の運営等のみを行っている会社に限らない。図7の(b)に示すように、例えば、複数の移動体装置102のうちの一つの装置を開発・製造している装置メーカが、併せてデータ管理及びサーバ装置101の管理等を行っている場合は、装置メーカがデータセンタ運営会社710に該当する。
Here, the data
また、データセンタ運営会社710は一つの会社に限らない。図7の(c)に示すように、例えば、装置メーカと他の管理会社とが共同又は分担してデータ管理及びサーバ装置101の運営等を行っている場合は、両者又はいずれか一方がデータセンタ運営会社710に該当する。
Further, the data
図7の(a)に示すサービスプロバイダ720は、サーバ装置721を保有している。サーバ装置721は、その規模は問わず、例えば個人用パーソナルコンピュータ内のメモリ等であってもよい。なお、サービスプロバイダ720がサーバ装置721を保有していない場合もあり得る。
The
次に、図7の(a)を参照しながら、危険判定システム10を適用したサービスにおける情報の流れについて説明する。
Next, an information flow in a service to which the
まず、グループ700の移動体装置102は、移動体装置102を搭載する移動体105(図1参照)の周辺状況を撮影した現在地点画像と、その現在地点画像に関する付随情報とを、データセンタ運営会社710のサーバ装置101に送信する。これにより、サーバ装置101は、移動体装置102から送信された現在地点画像と付随情報とを集積する(図7に示す(A))。なお、現在地点画像と付随情報とは、インターネットを介して複数の移動体装置102自体から直接サーバ装置101に提供されても良い。また、現在地点画像と付随情報とは、複数の移動体装置102から通信装置703を介してサーバ装置101に提供されても良い。
First, the
次に、データセンタ運営会社710のサーバ装置101は、集積した現在地点画像と付随情報とを一定の単位でサービスプロバイダ720に提供する。ここで、データセンタ運営会社710が提供する情報の単位は、集積した現在地点画像と付随情報とを整理してサービスプロバイダ720に提供することの可能な単位でも良く、あるいは、サービスプロバイダ720が要求した単位でも良い。また、データセンタ運営会社710が提供する情報の単位は一定でなくても良く、状況に応じて提供する情報量が変化しても良い。
Next, the
現在地点画像と付随情報とは、必要に応じてサービスプロバイダ720が保有するサーバ装置721に保存される(図7に示す(B))。その後、サービスプロバイダ720は、現在地点画像と付随情報とを、ユーザに提供するサービスに適合する情報(危険度情報又はそれに基づいて出力される注意喚起情報)に整理し、ユーザに提供する。提供先となるユーザは、複数の移動体装置102を使用するユーザ701でも良く、あるいは、外部のユーザ702でも良い。
The current point image and the accompanying information are stored in the
なお、現在地点画像と付随情報とは、例えば、サービスプロバイダ720から直接ユーザ702(又はユーザ701)へ提供されても良く(図7に示す(E)又は(F))、あるいは、データセンタ運営会社710のサーバ装置101を再度経由してユーザ701に提供されても良い(図7に示す(C)及び(D))。また、データセンタ運営会社710のサーバ装置101は、現在地点画像と付随情報とを、ユーザに提供するサービスに適合する情報に整理し、サービスプロバイダ720に提供しても良い。なお、ユーザ701とユーザ702とは、別のユーザでも同一のユーザでも良い。
The current point image and the accompanying information may be provided directly from the
[1−6.効果]
次に、実施の形態1に係る危険判定システム10により得られる効果について説明する。上述したように、危険度判定部204は、現在地点画像に関する付随情報が示す現在地点(例えば上記交差点A)に対応する危険発生情報が危険発生情報管理部202に格納されていない場合であっても、現在地点以外の地点(例えば上記交差点B)に対応する危険発生情報に含まれる危険地点画像と現在地点画像との類似性に基づいて、危険度を判定する。これにより、移動体105が危険発生情報管理部202で管理されている危険発生情報に対応する危険地点以外の地点(例えば上記交差点A)を通過する場合であっても、精度良く危険度を判定することができ、例えば移動体105の利用者に対して危険を報知又は警告等することができる。
[1-6. effect]
Next, effects obtained by the
[1−7.実施の形態1の変形例]
[1−7−1.変形例1]
サーバ装置101が危険発生情報管理部202で管理する危険地点画像は、撮影された画像そのものである必要はなく、危険度判定部204で現在地点画像との類似度を算出しやすい画像へ加工しても良く、あるいは、そのように加工された1つ以上の危険地点画像を新たに元の危険地点画像と紐付けて管理しても良い。
[1-7. Modification of First Embodiment]
[1-7-1. Modification 1]
The danger spot image managed by the danger occurrence
具体的には、例えば道路形状を含む場所に関する状況、交通環境及び自車行動等の交通状況に関わる画像特徴量を浮き立たせた二値化画像へ加工しても良く、あるいは、その二値化画像を元の危険地点画像と紐付けて管理しても良い。 Specifically, for example, image features related to traffic conditions such as a situation related to a place including a road shape, a traffic environment, and own vehicle behavior may be processed into a binary image in which the image features are raised, or the binarized image may be processed. The image may be managed in association with the original danger point image.
さらには、交通状況に関する画像特徴量を、道路形状を含む場所に関する状況、交通環境及び自車行動などの別に応じた複数の二値化画像として元の危険地点画像と紐付けて管理しても良い。この場合、危険度判定部204は、元の危険地点画像と現在地点画像との類似性ではなく、例えば二値化画像に加工された危険地点画像と現在地点画像との類似性を算出することが望ましい。
Furthermore, the image feature amount relating to the traffic situation may be managed in association with the original dangerous spot image as a plurality of binarized images corresponding to the situation relating to the location including the road shape, the traffic environment, the own vehicle behavior, and the like. good. In this case, the
[1−7−2.変形例2]
サーバ装置101が危険発生情報管理部202で管理する危険地点画像の付随情報は、撮影時に取得した値そのものである必要はなく、危険度判定部204で現在地点画像と危険地点画像との類似度を算出する上で意味がある(又は類似度を算出しやすい)粒度へ置き換えても良く、あるいは、その粒度の付随情報を新たに付与しても良い。
[1-7-2. Modification 2]
The accompanying information of the danger point image managed by the danger occurrence
具体的には、撮影日時について意味がある(又は類似度を算出しやすい)粒度とは、例えば0時から1時間毎に24個の時間帯、午前/午後、月日、曜日、季節、祭日、いわゆるゴトー日(5日、10日、15日、20日、25日、30日)等である。また、撮影位置について意味がある(又は類似度を算出しやすい)粒度とは、例えば地図情報を一律の大きさの矩形状に分割した地域、又は、道路を所定距離毎に分割した道路区間等である。さらに、撮影(進行)方向について意味がある(又は類似度を算出しやすい)粒度とは、例えば東西南北の4方位、さらに北東/南東/北西/南西を加えた8方位、あるいは道路の上り/下り等である。 More specifically, the meaningful (or easy to calculate similarity) granularity of the shooting date and time is, for example, 24 time zones every hour from 0:00, am / pm, monday, day of the week, season, holiday And so-called Goto days (5 days, 10 days, 15 days, 20 days, 25 days, 30 days) and the like. Further, the meaningful (or easy to calculate similarity) granularity of the photographing position is, for example, an area in which map information is divided into a rectangular shape having a uniform size, a road section in which a road is divided by a predetermined distance, or the like. It is. Further, the granularity that is meaningful (or easy to calculate the similarity) with respect to the shooting (progressing) direction is, for example, four directions of east, west, north, and south, eight directions in which northeast / southeast / northwest / southwest is added, or road up / Such as going down.
また、サーバ装置101が危険発生情報管理部202で管理する危険地点画像の付随情報は、撮影時点での交通状況に限定される必要はなく、現在地点画像を取得した移動体装置102を搭載する移動体105に関する種々の属性情報を含んでいても良い。この場合、危険度判定部204は、危険地点画像と現在地点画像との類似性ばかりでなく、これら種々の属性情報も含めた類似性を算出することが望ましい。ここで、種々の属性情報とは、例えば移動体105である自車両の重量、排気量及び車種等である。車種とは、例えばセダン、ワゴン又はトラック等である。これらの属性情報は移動体105毎に固定であり、例えば移動体105に応じて移動体装置102に予め設定しておくなどの方法により取得可能である。
Further, the accompanying information of the danger spot image managed by the danger occurrence
[1−7−3.変形例3]
サーバ装置101が危険発生情報管理部202で管理する危険地点画像の付随情報は、危険地点画像に映る事故又はヒヤリハット等の危険事象の内容を説明する情報を含んでも良い。さらに、サーバ装置101が危険度判定部204で生成する危険度情報は、危険事象の内容を説明する情報の一部又は全てを含んでいても良い。
[1-7-3. Modification 3]
The accompanying information of the danger point image managed by the danger occurrence
ここで、図4の(a)を参照しながら、危険事象の内容を説明する情報の一例について説明する。図4の(a)に示すように、ファイル名が「00000123.jpg」である危険地点画像について危険事象の内容を説明する情報は、例えば「出会い頭のヒヤリハット」などである。また、ファイル名が「00445566.jpg」である危険地点画像について危険事象の内容を説明する情報は、例えば「追突のヒヤリハット」などである。また、ファイル名が「77088099.jpg」である危険地点画像について危険事象の内容を説明する情報は、例えば「対向横断者とのヒヤリハット」などである。 Here, an example of information describing the content of the dangerous event will be described with reference to FIG. As shown in FIG. 4A, the information describing the content of the danger event with respect to the danger point image whose file name is “00000123.jpg” is, for example, “a near-miss incident”. Further, the information describing the content of the danger event with respect to the danger point image whose file name is “00445566.jpg” is, for example, “back-end near-miss”. In addition, information that describes the contents of a dangerous event with respect to a dangerous spot image whose file name is “77088099.jpg” is, for example, “a near-missing crossing with an oncoming pedestrian”.
この場合における危険度情報の生成方法の一例について説明する。例えばサーバ装置101が、送受信部201で図3の(a)に示すファイル名が「98765432.jpg」である現在地点画像を受信し、さらに危険度判定部204で図4の(a)に示すファイル名が「00445566.jpg」である危険地点画像と現在地点画像との類似性に基づいて、危険度が「0.8」であると判定した場合には、危険度判定部204で生成される危険度情報は、例えば「追突のヒヤリハットが発生する危険度は0.8」などである。
An example of a method of generating risk information in this case will be described. For example, in the
[1−7−4.変形例4]
サーバ装置101が移動体装置102から受信する現在地点画像の付随情報は、現在地点画像の撮影に関する情報に限定される必要はなく、移動体105に別途搭載されるセンサ類から取得された、移動体105の走行状況を示す種々のセンサ情報(第3のセンサ情報の一例)を含んでいても良い。この場合、危険度判定部204は、危険地点画像と現在地点画像との類似性ばかりでなく、これら種々のセンサ情報も含めた類似性を算出することが望ましい。
[1-7-4. Modification 4]
The accompanying information of the current location image received by the
ここで、種々のセンサ情報とは、例えばGPS(Global Positioning System)等の位置センサ、加速度センサ及びジャイロ等の角速度センサから取得される移動体105の走行速度、加速度及び角速度等である。さらに、センサ情報は、上記のものに限定されず、例えば画像解析部203で交通状況を解析する上で必要となる任意の情報を含むことができる。例えば移動体105が車両である場合には、センサ情報は、ハンドル操作、ブレーキ操作、アクセル操作及びワイパー操作等を含んでいても良く、これらは、例えばCAN(Control Area Network)等の車両内のネットワークから取得可能である。
Here, the various types of sensor information include, for example, the traveling speed, acceleration, and angular velocity of the moving
また、サーバ装置101が移動体装置102から受信する現在地点画像の付随情報は、現在地点画像を取得した移動体装置102を搭載する移動体105に関する種々の属性情報を含んでいても良い。この場合、危険度判定部204は、危険地点画像と現在地点画像との類似性ばかりでなく、これら種々の属性情報も含めた類似性を算出することが望ましい。ここで、種々の属性情報とは、例えば移動体105である自車両の重量、排気量及び車種等である。車種とは、例えばセダン、ワゴン又はトラック等である。これらの属性情報は移動体105毎に固定であり、例えば移動体105に応じて移動体装置102に予め設定しておくなどの方法で取得可能である。
Further, the accompanying information of the current location image received by the
[1−7−5.変形例5]
サーバ装置101は、画像解析部203における交通状況の解析処理、及び、危険度判定部204における危険地点画像と現在地点画像との類似性の算出処理を、必ずしも個別に順次実施する必要はない。例えば、ディープラーニング(深層学習)と呼ばれる機械学習法等を用いることにより、交通状況の解析処理と類似性の算出処理とを同時並行で実施しても良い。
[1-7-5. Modification 5]
The
[1−7−6.変形例6]
サーバ装置101は、危険発生情報管理部202において、移動体105が遭遇した危険事象の深刻度も各危険地点画像の付随情報として紐付けて管理してもよい。この場合には、危険度判定部204において、最も類似性が高い危険地点画像と現在地点画像との類似度と、当該危険地点画像と紐付けて管理している深刻度とを例えば乗じることにより、現在地点画像の撮影時点で移動体105が置かれている状況の危険度を判定しても良い。
[1-7-6. Modification 6]
In the danger occurrence
ここで、深刻度は、移動体105が遭遇した危険事象の深刻度合いを、予め決められた基準に基づいて表現したものであれば何でも良い。例えば、深刻度は、事故が起こったか否か、人的被害の大きさ、又は、支払われた保険金額の大きさ等の深刻度合いを、例えば「0」から「1」までの点数(0.1刻みの粒度)等へ変換したものである。なお、深刻度合いは、例えば警察又は運送事業者等が保有する事故又はヒヤリハット等の発生実績情報、あるいは、損保事業者等が保有する事故査定情報等から任意の方法で取得していれば良く、ここではその説明を省略する。
Here, the severity may be anything as long as the severity of the dangerous event encountered by the moving
[1−7−7.変形例7]
サーバ装置101は、危険度判定部204が判定した危険度が所定の範囲内である場合に、送受信部201が受信した現在地点画像を、危険発生情報管理部202において新たな危険地点画像として蓄積(追加)し、現在地点画像の付随情報と紐付けて管理しても良い。ここで、所定の範囲内とは、例えば予め設定された閾値(例えば「0.5」)を超える場合などである。
[1-7-7. Modification 7]
The
[1−7−8.変形例8]
サーバ装置101が判定した危険度に関する危険度情報の送信先となる移動体装置102は、サーバ装置101が受信した現在地点画像の送信元である移動体装置102と同じである必要はない。例えば移動体105が車両である場合には、先行車両から送信された現在地点画像に基づいて判定した特定地点に対応する危険度に関する危険度情報を、同じ特定地点を少し遅れて(例えば、移動体情報を受信してから所定時間内に)通過すると判断された後続車両(別の移動体105)に搭載された移動体装置102へ送信してもよい。これにより、後続車両の利用者(ドライバ)に対して注意を喚起することができる。
[1-7-8. Modification 8]
The
(実施の形態2)
[2−1.危険判定システムの全体構成]
図8を参照しながら、実施の形態2に係る危険判定システム10Aの全体構成について説明する。図8は、実施の形態2に係る危険判定システム10Aの構成を示すブロック図である。なお、本実施の形態において、実施の形態1と同一の構成要素には同一の符号を付して、その説明を省略する。
(Embodiment 2)
[2-1. Overall configuration of danger judgment system]
The overall configuration of the
図8に示すように、危険判定システム10Aは、サーバ装置101A及び複数の移動体装置102を備えている。移動体装置102は、実施の形態1で説明したものと同様である。
As shown in FIG. 8, the
サーバ装置101Aは、実施の形態1で説明した画像データベース103に加えて、指標データベース106(指標管理部の一例)を備えている。指標データベース106には、過去に発生した事故又はヒヤリハット等の危険事象の危険度に関する危険指標(危険判定情報)が、危険事象の発生日時、発生位置及び発生方向(すなわち、移動体105の進行方向)等の付随情報と紐付けて管理(格納)されている。ここで、危険指標は、例えば警察又は運送事業者等が保有する事故又はヒヤリハット等の発生実績情報、あるいは、損保事業者等が保有する事故査定情報等から任意の方法で予め取得又は算出していれば良く、ここではその説明を省略する。
The
サーバ装置101Aは、移動体装置102から受信した付随情報と、指標データベース106に管理されている危険指標との類似性に基づいて、現在地点画像の撮影時点で移動体105が置かれている状況の危険度である第1の危険度を決定する。さらに、サーバ装置101Aは、決定した第1の危険度に関する第1の危険度情報を、ネットワーク104を介して移動体装置102へ送信する。
The
また、サーバ装置101Aは、移動体装置102から受信した現在地点画像とその付随情報とに基づいて、現在地点画像の撮影時点での交通状況を解析し、画像データベース103に管理されている危険地点画像と現在地点画像との類似性から、現在地点画像の撮影時点で移動体105が置かれている状況の危険度である第2の危険度を判定する。さらに、サーバ装置101Aは、判定した第2の危険度が所定の範囲内である場合に、判定した第2の危険度に関する第2の危険度情報を新たな危険指標として指標データベース106に蓄積(追加)し、現在地点画像の付随情報と紐付けて管理する。ここで、所定の範囲内とは、例えば予め設定された閾値(例えば「0.5」)を超える場合などである。
Further, the
[2−2.サーバ装置の構成]
[2−2−1.サーバ装置の全体構成]
次に、図9を参照しながら、サーバ装置101Aの全体構成について詳細に説明する。図9は、実施の形態2に係るサーバ装置101Aの構成を示すブロック図である。
[2-2. Configuration of server device]
[2-2-1. Overall configuration of server device]
Next, the overall configuration of the
図9に示すように、サーバ装置101Aは、送受信部201、危険発生情報管理部202、画像解析部203、危険度判定部204A及び制御部205Aに加えて、危険判定情報管理部206を備えている。
As shown in FIG. 9, the
サーバ装置101Aは、具体的には図示されていないマイクロプロセッサ、RAM、ROM及びハードディスク等で構成される。これらのRAM、ROM及びハードディスクにはコンピュータプログラムが記憶されている。マイクロプロセッサがこのコンピュータプログラムに従って動作することにより、サーバ装置101Aはその機能を果たす。
The
なお、サーバ装置101Aの送受信部201、危険発生情報管理部202、画像解析部203、危険度判定部204A、制御部205A及び危険判定情報管理部206等の各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されても良いし、1以上の機能ブロック又は各機能ブロックの一部を含むように1チップ化されても良い。ここではLSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI又はウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。LSIの製造後に、プログラムすることが可能なFPGAや、LSI内部の回路セルの接続及び設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用などが可能性としてありえる。最後に、各機能ブロックは、ソフトウェアで実現されても良いし、LSIとソフトウェアとの組み合わせで実現されても良い。また、ソフトウェアは耐タンパ化されていても良い。
In addition, each functional block of the transmission /
[2−2−2.送受信部]
送受信部201は、実施の形態1で説明したものと同様であるが、危険度判定部204Aで決定された第1の危険度に関する第1の危険度情報を移動体装置102に送信する。
[2-2-2. Transceiver]
The transmission /
[2−2−3.危険発生情報管理部]
危険発生情報管理部202は、実施の形態1で説明したものと同様である。
[2-2-3. Danger occurrence information management department]
The danger occurrence
[2−2−4.画像解析部]
画像解析部203は、実施の形態1で説明したものと同様である。
[2-2-4. Image analysis section]
The
[2−2−5.危険度判定部]
危険度判定部204Aは、送受信部201で受信した現在地点画像に関する付随情報と、危険判定情報管理部206に管理されている危険判定情報との類似性に基づいて、現在地点画像の撮影時点で移動体105が置かれている状況の危険度である第1の危険度を決定し、決定した第1の危険度に関する第1の危険度情報を生成する。なお、第1の危険度情報の生成方法については、実施の形態1で説明したものと同様である。
[2-2-5. Risk assessment section]
The
ここで、第1の危険度の決定方法の一例について説明する。危険判定情報管理部206が例えば後述する図10に示す危険判定情報を管理し、送受信部201が例えば図3の(b)に示すファイル名が「98765432.jpg」である現在地点画像の付随情報を受信したとする。この場合、例えば両者の時間帯が同じ12時台であること、両者の位置(緯度経度)及び進行方向が近接していることなどを踏まえ、危険度判定部204Aは、「2014年12月8日12時00分20秒」に発生した危険事象の危険判定情報と現在地点画像の付随情報との類似性に基づいて、第1の危険度が「0.9」であると決定する。
Here, an example of a method of determining the first degree of risk will be described. The danger determination
また、危険度判定部204Aは、画像解析部203で解析した交通状況に基づいて、危険発生情報管理部202に管理されている危険地点画像と現在地点画像との類似性から、送受信部201が受信した現在地点画像の撮影時点で移動体105が置かれている状況の危険度である第2の危険度を判定する。さらに、危険度判定部204Aは、判定した第2の危険度に関する第2の危険度情報を生成する。ここで、危険地点画像と現在地点画像との類似性の算出方法、第2の危険度の判定方法、及び、第2の危険度情報の生成方法については、実施の形態1で説明したものと同様である。
Further, based on the traffic situation analyzed by the
[2−2−6.危険判定情報管理部]
危険判定情報管理部206は、上述した指標データベース106を含んでおり、危険判定情報を管理(格納)する。すなわち、危険判定情報管理部206は、過去に発生した事故又はヒヤリハット等の危険事象の危険度に関する危険判定情報を蓄積し、発生日時、発生位置及び発生(進行)方向等の付随情報と紐付けて管理する。
[2-2-6. Danger judgment information management section]
The danger determination
ここで、図10を参照しながら、危険判定情報管理部206が管理する危険判定情報の一例について説明する。図10は、実施の形態2に係る危険判定情報の一例を示す図である。
Here, an example of danger determination information managed by the danger determination
図10の例では、「2014年12月1日8時30分00秒」、「2014年12月5日12時45分30秒」、「2014年12月8日12時00分20秒」、「2014年12月10日14時00分45秒」にそれぞれ発生した事故又はヒヤリハット等の危険事象の危険判定情報が、それぞれの発生日時、発生位置及び発生(進行)方向と紐付けて管理されている。例えば「2014年12月1日8時30分00秒」には、緯度経度がそれぞれ「+35.711283」、「+139.704802」の地点を進行方向「30度」で走行中に、危険度が「0.5」である事故又はヒヤリハット等の危険事象が発生したことを示している。 In the example of FIG. 10, “December 1, 2014, 8:30:30”, “December 5, 2014, 12:45:30”, and “December 8, 2014 12:00:20” The danger determination information of a danger event such as an accident or a near-miss incident that occurred at “14:00:45 on December 10, 2014” is managed in association with each occurrence date and time, occurrence position, and occurrence (progress) direction. Have been. For example, at “8: 30: 00: 00 on December 1, 2014”, while traveling at points with latitude and longitude of “+35.7121283” and “+139.704802” in the traveling direction “30 degrees”, the degree of danger is It indicates that a dangerous event such as an accident or a near miss that is “0.5” has occurred.
なお、緯度経度情報は60進数(度分秒)による座標を10進数に変換したものであり、撮影(進行)方向は北向きを0度、東向きを90度、南向きを180度、西向きを270度とした場合の方角を角度で表現している。危険度は、例えば「0」から「1」までの点数(0.1刻みの粒度)であり、「0」は危険度が全くないことを、「1」は危険度が最も高いことを示している。危険度の表現方法はこの限りでなく、例えば危険度が最も高いことを表す上限値及び粒度(例えば、整数値のみや0.1刻みなど)等は任意に決めて採用することができる。 The latitude / longitude information is obtained by converting the coordinates of a 60-base number (degrees, minutes, and seconds) into a decimal number. The shooting (progressing) direction is 0 degrees in the north direction, 90 degrees in the east direction, 180 degrees in the south direction, and west direction. Is 270 degrees, and the direction is represented by an angle. The risk level is, for example, a score from “0” to “1” (grain size in increments of 0.1), where “0” indicates no risk level and “1” indicates the highest risk level. ing. The method of expressing the degree of risk is not limited to this, and for example, the upper limit value and the granularity (for example, only an integer value or in increments of 0.1) representing the highest degree of risk can be arbitrarily determined and adopted.
また、危険判定情報管理部206は、危険度判定部204Aが判定した第2の危険度が所定の範囲内である場合に、第2の危険度に関する第2の危険度情報を新たな危険判定情報として蓄積(追加)し、現在地点画像の付随情報と紐付けて管理する。ここで、所定の範囲とは、例えば予め設定された閾値(例えば「0.5」)を超える場合などである。
When the second risk level determined by the risk level determination unit 204A is within a predetermined range, the risk determination
[2−2−7.制御部]
制御部205Aは、上述した送受信部201、危険発生情報管理部202、画像解析部203、危険度判定部204A及び危険判定情報管理部206を管理及び制御することにより、サーバ装置101Aの機能を実現する。
[2-2-7. Control section]
The
[2−3.移動体装置]
移動体装置102は、基本的には、実施の形態1で説明したものと同様である。移動体装置102の送受信部501(図5参照)は、現在地点画像とその付随情報とをサーバ装置101Aへ送信し、サーバ装置101Aからの第1の危険度情報を受信する。また、移動体装置102の出力部503(図5参照)は、受信した第1の危険度情報に基づいて注意喚起情報を出力する。
[2-3. Mobile device]
[2−4.危険判定システムの動作]
次に、図11を参照しながら、危険判定システム10Aの動作(危険判定方法)について説明する。図11は、実施の形態2に係る危険判定システム10Aの動作の流れを示すシーケンス図である。
[2-4. Operation of the danger judgment system]
Next, the operation of the
移動体装置102は、入力受付部502(図5参照)で、移動体装置102を搭載する移動体105の周辺状況を撮影した現在地点画像と、その現在地点画像に関する付随情報とを入力として受け付ける(S1101)。その後、移動体装置102は、受け付けた現在地点画像と付随情報とを、送受信部501を介してサーバ装置101Aへ送信する(S1102)。
The
サーバ装置101Aは、現在地点画像と付随情報とを、送受信部201を介して移動体装置102から受信する(S1103)。その後、サーバ装置101Aは、受信した現在地点画像に関する付随情報が示す現在地点に対応する危険判定情報が危険判定情報管理部206に管理されている場合、危険度判定部204Aで、危険判定情報と現在地点画像に関する付随情報との類似性に基づいて第1の危険度を決定し、決定した第1の危険度に関する第1の危険度情報を生成する(S1104)。その後、サーバ装置101Aは、第1の危険度が所定範囲内である場合には、生成した第1の危険度情報を、送受信部201を介して移動体装置102へ送信する(S1105)。
The
移動体装置102は、第1の危険度情報を、送受信部501を介してサーバ装置101Aから受信する(S1106)。その後、移動体装置102は、出力部503で、受信した第1の危険度情報に基づいて、移動体105(又は移動体装置102)の利用者に対して注意を喚起するための注意喚起情報を出力する(S1107)。
The
また、サーバ装置101Aは、画像解析部203で、受信した現在地点画像と付随情報とに基づいて、現在地点画像の撮影時点での交通状況を解析する(S1108)。その後、サーバ装置101Aは、危険度判定部204Aで、解析した交通状況に基づいて、危険発生情報管理部202が管理する危険地点画像と現在地点画像との類似性から、受信した現在地点画像の撮影時点で移動体105が置かれている状況の第2の危険度を判定し、判定した第2の危険度に関する第2の危険度情報を生成する(S1109)。その後、サーバ装置101Aは、危険判定情報管理部206で、判定した第2の危険度情報を新たな危険判定情報として蓄積(追加)し、現在地点画像の付随情報と紐付けて管理する(S1110)。
In addition, the
[2−5.危険判定システムの適用例]
実施の形態2に係る危険判定システム10Aの適用例は、実施の形態1で説明したものと同様である。
[2-5. Application example of danger judgment system]
An application example of the
[2−6.効果]
次に、実施の形態2に係る危険判定システム10Aにより得られる効果について説明する。上述したように、危険度判定部204Aは、危険判定情報と現在地点画像に関する付随情報との類似性に基づいて第1の危険度を決定する。この第1の危険度の決定処理は、危険地点画像と現在地点画像との類似性の算出処理に比べて短時間で実行することができるので、移動体装置105において注意喚起情報を迅速に出力することができる。
[2-6. effect]
Next, effects obtained by the
[2−7.実施の形態2の変形例]
[2−7−1.変形例1]
サーバ装置101Aが危険発生情報管理部202で管理する危険地点画像は、撮影された画像そのものである必要はなく、危険度判定部204Aで現在地点画像との類似度を算出しやすい画像へ加工しても良く、あるいは、そのように加工された1つ以上の危険地点画像を新たに元の危険地点画像と紐付けて管理しても良い。
[2-7. Modification of Second Embodiment]
[2-7-1. Modification 1]
The danger point image managed by the danger occurrence
具体的には、例えば道路形状を含む場所に関する状況、交通環境及び自車行動等の交通状況に関する画像特徴量を浮き立たせた二値化画像へ加工しても良く、あるいは、その二値化画像を元の危険地点画像と紐付けて管理しても良い。 Specifically, for example, it may be processed into a binarized image in which image features related to traffic conditions such as a situation relating to a road shape, a traffic environment and a vehicle behavior such as a vehicle behavior are raised, or the binarized image may be processed. May be managed in association with the original danger point image.
さらには、交通状況に関する画像特徴量を、道路形状を含む場所に関する状況、交通環境及び自車行動等の別に応じた複数の二値化画像として元の危険地点画像と紐付けて管理しても良い。この場合、危険度判定部204Aは、元の危険地点画像と現在地点画像との類似性ではなく、例えば二値化画像に加工された危険地点画像と現在地点画像との類似性を算出することが望ましい。 Furthermore, even if the image feature amount relating to the traffic condition is managed in association with the original dangerous spot image as a plurality of binarized images corresponding to the situation relating to the location including the road shape, the traffic environment, the own vehicle behavior, etc. good. In this case, the danger degree determination unit 204A calculates, for example, the similarity between the danger point image processed into the binarized image and the current point image instead of the similarity between the original danger point image and the current point image. Is desirable.
[2−7−2.変形例2]
サーバ装置101Aが危険判定情報管理部206で管理する危険判定情報の付随情報は、予め取得した値そのものである必要はなく、危険度判定部204Aで現在地点画像の付随情報との類似度を算出する上で意味がある(又は類似度を算出しやすい)粒度へ置き換えても良く、あるいは、その粒度の付随情報を新たに付与しても良い。
[2-7-2. Modification 2]
The accompanying information of the danger determination information managed by the
具体的には、発生日時について意味がある(又は類似度を算出しやすい)粒度とは、例えば0時から1時間毎に24の時間帯、午前/午後、月日、曜日、季節、祭日、いわゆるゴトー日(5日、10日、15日、20日、25日、30日)等である。また、発生位置について意味がある(又は類似度を算出しやすい)粒度とは、例えば地図情報を一律の大きさの矩形状に分割した地域、又は、道路を所定距離毎に分割した道路区間等である。さらに、発生(進行)方向について意味がある(又は類似度を算出しやすい)粒度とは、例えば東西南北の4方位、さらに北東/南東/北西/南西を加えた8方位、あるいは道路の上り/下り等である。 Specifically, the granularity meaningful (or easy to calculate the similarity) with respect to the occurrence date and time is, for example, 24 hours every hour from 0:00, am / pm, monday, day of the week, season, holiday, So-called Goto days (5 days, 10 days, 15 days, 20 days, 25 days, 30 days) and the like. Further, the granularity that has meaning (or is easy to calculate the similarity) with respect to the occurrence position is, for example, an area in which map information is divided into a rectangular shape having a uniform size, a road section in which a road is divided by a predetermined distance, or the like. It is. Further, the granularity meaningful (or the similarity can be easily calculated) with respect to the generation (progress) direction is, for example, four directions of north, south, east, west, north, eight directions including northeast / southeast / northwest / southwest, or ascending / descending roads. Such as going down.
また、サーバ装置101Aが危険判定情報管理部206で管理する危険判定情報の付随情報は、発生時点での交通状況に限定される必要はなく、その危険事象に遭遇した移動体105に関する種々の属性情報を含んでも良い。種々の属性情報とは、例えば移動体105である自車両の重量、排気量及び車種等である。車種とは、例えばセダン、ワゴン又はトラック等である。これらの属性情報は、例えば警察又は運送事業者等が保有する事故又はヒヤリハット等の発生実績情報、あるいは、損保事業者等が保有する事故査定情報等から任意の方法で取得していれば良く、ここではその説明を省略する。
Further, the accompanying information of the danger determination information managed by the
[2−7−3.変形例3]
サーバ装置101Aが危険判定情報管理部206で管理する危険判定情報の付随情報は、過去に発生した事故又はヒヤリハット等の危険事象の内容を説明する情報を含んでも良い。さらに、サーバ装置101Aが危険度判定部204Aで生成する第1の危険度情報は、危険事象の内容を説明する情報の一部又は全てを含んでも良い。
[2-7-3. Modification 3]
The accompanying information of the risk determination information managed by the
ここで、図10を参照しながら、危険事象の内容を説明する情報の一例について説明する。図10に示すように、「2014年12月1日8時30分00秒」に発生した危険事象の内容を説明する情報は、例えば「出会い頭のヒヤリハット」などである。また、「2014年12月5日12時45分30秒」に発生した危険事象の内容を説明する情報は、例えば「追突のヒヤリハット」などである。また、「2014年12月8日12時00分20秒」に発生した危険事象の内容を説明する情報は、例えば「対向車両との右直事故」などである。さらに、「2014年12月10日14時00分45秒」に発生した危険事象の内容を説明する情報は、例えば「対向横断者とのヒヤリハット」などである。 Here, an example of information describing the content of the dangerous event will be described with reference to FIG. As shown in FIG. 10, the information that describes the content of the dangerous event that occurred on “December 1, 2014, 8: 30: 00: 00” is, for example, “a near-miss incident”. Further, the information that describes the content of the dangerous event that occurred at “12:45:30 on December 5, 2014” is, for example, “a near-miss collision”. The information describing the content of the dangerous event that occurred at “12:00:20 on December 8, 2014” is, for example, “right-right accident with oncoming vehicle”. Further, the information describing the details of the dangerous event that occurred at “14:00:45 on December 10, 2014” is, for example, “a near-miss incident with an oncoming pedestrian”.
この場合における第1の危険度情報の生成方法の一例について説明する。例えばサーバ装置101Aが、送受信部201で図3の(b)に示すファイル名が「98765432.jpg」である現在地点画像の付随情報を受信し、さらに危険度判定部204Aで「2014年12月8日12時00分20秒」に発生した危険事象の危険判定情報との類似性に基づいて、第1の危険度が「0.9」であると決定した場合には、危険度判定部204Aで生成される第1の危険度情報は、例えば「対向車両との右直事故が発生する危険度は0.9」などである。
An example of a method of generating the first risk information in this case will be described. For example, the
[2−7−4.変形例4]
サーバ装置101Aは、画像解析部203における交通状況の解析処理、及び、危険度判定部204Aにおける危険地点画像と現在地点画像との類似性の算出処理を、必ずしも個別に順次実施する必要はない。例えば、ディープラーニング(深層学習)と呼ばれる機械学習法等を用いることにより、交通状況の解析処理と類似性の算出処理とを同時並行で実施しても良い。
[2-7-4. Modification 4]
The
[2−7−5.変形例5]
サーバ装置101Aは、危険度判定部204Aが判定した第2の危険度が所定の範囲内である場合に、送受信部201が受信した現在地点画像を、危険発生情報管理部202において新たな危険地点画像として蓄積(追加)し、その付随情報と紐付けて管理しても良い。ここで、所定の範囲内とは、例えば予め設定された閾値(例えば「0.5」)を超える場合などである。
[2-7-5. Modification 5]
When the second risk level determined by the risk level determination unit 204A is within a predetermined range, the
[2−7−6.変形例6]
サーバ装置101Aは、危険度判定部204Aが判定した第2の危険度が所定の範囲内である場合に、危険度判定部204Aが第1の危険度を決定する際に参照した危険判定情報を書き換えてもよく、あるいは、危険判定情報管理部206から削除しても良い。ここで、所定の範囲内とは、例えば予め設定された閾値(例えば「0.5」)を下回る場合などである。
[2-7-6. Modification 6]
When the second risk level determined by the risk level determination unit 204A is within a predetermined range, the
[2−7−7.変形例7]
サーバ装置101Aが決定した第1の危険度に関する第1の危険度情報の送信先となる移動体装置102は、サーバ装置101Aが受信した現在地点画像の送信元である移動体装置102と同じである必要はない。例えば移動体105が車両である場合には、先行車両から送信された現在地点画像に基づいて決定した特定地点の第1の危険度に関する第1の危険度情報を、同じ特定地点を少し遅れて通過する後続車両に搭載された移動体装置102へ送信してもよい。これにより、後続車両の利用者(ドライバ)に対して注意を喚起することができる。
[2-7-7. Modification 7]
The
(他の変形例)
以上、一つ又は複数の態様に係る危険判定方法等について、上記実施の形態1及び2に基づいて説明したが、本開示は、これらの実施の形態1及び2に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思い付く各種変形を実施の形態1及び2に施したものや、異なる実施の形態又は変形例における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。例えば、上記実施の形態1及び2をそれぞれ組み合わせるとしても良い。
(Other modifications)
As described above, the danger determination method and the like according to one or more aspects have been described based on the first and second embodiments, but the present disclosure is not limited to the first and second embodiments. Unless departing from the gist of the present disclosure, various modifications conceivable by those skilled in the art may be applied to the first and second embodiments, or a configuration constructed by combining components in different embodiments or modifications, or It may be included in the scope of a plurality of aspects. For example, the first and second embodiments may be combined.
また例えば、上記各実施の形態では、移動体105を車両としたが、車両には、自動車、二輪車、電車又は自転車等が含まれる。また、移動体105は車両に限定されず、例えばスマートフォン又はタブレット等であっても良い。
Further, for example, in the above embodiments, the moving
上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なICカード又は単体のモジュールから構成されているとしても良い。前記ICカード又は前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカード又は前記モジュールは、上記の超多機能LSIを含むとしても良い。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカード又は前記モジュールは、その機能を達成する。このICカード又はこのモジュールは、耐タンパ性を有するとしても良い。 A part or all of the components constituting each of the above devices may be constituted by an IC card detachable to each device or a single module. The IC card or the module is a computer system including a microprocessor, a ROM, a RAM, and the like. The IC card or the module may include the above-mentioned super multifunctional LSI. When the microprocessor operates according to the computer program, the IC card or the module achieves its function. This IC card or this module may have tamper resistance.
本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えばフレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、半導体メモリなどに記録したものとしても良い。また、これらの記録媒体に記録されている前記デジタル信号であるとしても良い。また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしても良い。また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。 The present invention may be the method described above. Further, these methods may be a computer program that is realized by a computer, or may be a digital signal formed by the computer program. Further, the present invention provides a computer-readable recording medium capable of reading the computer program or the digital signal, for example, a flexible disk, a hard disk, a CD-ROM, an MO, a DVD, a DVD-ROM, a DVD-RAM, a BD (Blu-ray (registered) (Trademark) Disc), and may be recorded on a semiconductor memory or the like. Further, the digital signal may be recorded on these recording media. In the present invention, the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like. The present invention may be a computer system including a microprocessor and a memory, wherein the memory stores the computer program, and the microprocessor operates according to the computer program. Further, the program or the digital signal is recorded on the recording medium and transferred, or the program or the digital signal is transferred via the network or the like, so that it is implemented by another independent computer system. It is good.
本発明に係る危険判定方法は、移動体が位置する地点に対応する危険度を管理する危険判定システム等に有用である。 INDUSTRIAL APPLICABILITY The risk determination method according to the present invention is useful for a risk determination system or the like that manages the degree of risk corresponding to a point where a moving object is located.
10,10A 危険判定システム
101,101A,721 サーバ装置
102 移動体装置
103 画像データベース
104 ネットワーク
105 移動体
106 指標データベース
201,501 送受信部
202 危険発生情報管理部
203 画像解析部
204,204A 危険度判定部
205,205A,504 制御部
206 危険判定情報管理部
502 入力受付部
503 出力部
700 グループ
701,702 ユーザ
703 通信装置
710 データセンタ運営会社
720 サービスプロバイダ
10, 10A
Claims (11)
前記危険判定システムは、危険事象が発生した危険地点を示す危険地点情報と、前記危険地点における前記危険事象の発生状況を示す、前記危険地点における前記危険事象の発生状況を撮影した第1の画像とが対応付けられた危険発生情報を1つ以上格納している危険発生情報管理部を備え、
前記危険判定方法は、
前記移動体の現在地点を示す現在地点情報と、前記現在地点における前記移動体の周辺状況を示す、前記現在地点における前記移動体の周辺状況を撮影した第2の画像とが対応付けられた移動体情報を取得するステップと、
前記移動体情報に含まれる前記現在地点情報が示す前記現在地点に対応する前記危険発生情報が前記危険発生情報管理部に格納されておらず、且つ、前記現在地点以外の地点に対応する前記危険発生情報が前記危険発生情報管理部に格納されている場合、前記移動体情報に含まれる前記第2の画像と、前記危険発生情報管理部に格納されている1つ以上の前記危険発生情報に含まれる前記第1の画像との類似性に基づいて、前記現在地点に対応する前記危険度を判定するステップと、を含み、
前記危険発生情報は、さらに、前記危険地点情報と前記第1の画像とに対応付けられた、前記危険事象の深刻度を含み、
前記深刻度は、事故発生の有無又は事故の被害の大きさの度合いであり、
前記判定するステップでは、前記移動体情報に含まれる前記第2の画像と、前記危険発生情報管理部に格納されている1つ以上の前記危険発生情報に含まれる前記第1の画像との類似性を求め、前記類似性と前記第1の画像に対応付けられた前記深刻度とを演算することにより、前記現在地点に対応する前記危険度を判定する
危険判定方法。 A danger determination method used in a danger determination system that manages a degree of risk corresponding to a point where a moving object is located,
The danger determination system includes a danger point information indicating a danger point at which the danger event has occurred, and a first image of the danger point at the danger point, which indicates the occurrence state of the danger event at the danger point. A danger occurrence information management unit that stores at least one danger occurrence information associated with
The danger determination method includes:
Movement in which current position information indicating the current position of the moving object is associated with a second image of the surrounding state of the moving object at the current position, which indicates the surrounding state of the moving object at the current position. Obtaining body information;
The danger occurrence information corresponding to the current location indicated by the current location information included in the moving body information is not stored in the danger occurrence information management unit, and the danger corresponding to a location other than the current location When occurrence information is stored in the danger occurrence information management unit, the second image included in the mobile object information and one or more danger occurrence information stored in the danger occurrence information management unit Judging the degree of risk corresponding to the current location based on the similarity with the first image included,
The danger occurrence information further includes the severity of the danger event associated with the danger point information and the first image,
The severity is the presence or absence of an accident or the degree of the damage of the accident,
In the determining step, the similarity between the second image included in the moving body information and the first image included in one or more of the risk occurrence information stored in the risk occurrence information management unit is determined. A risk determination method for determining the degree of risk corresponding to the current location by calculating the similarity and calculating the similarity and the degree of seriousness associated with the first image.
情報とが前記危険発生情報管理部に格納されている場合、前記移動体情報に含まれる前記第2の画像と、前記現在地点以外の地点に対応する前記危険発生情報に含まれる前記第1の画像との類似性に基づいて、前記現在地点に対応する前記危険度を判定する
請求項1に記載の危険判定方法。 In the determining step, the danger occurrence information corresponding to the current location indicated by the current location information included in the moving body information and the danger occurrence information corresponding to a point other than the current location are the danger occurrence information. When stored in the management unit, based on the similarity between the second image included in the mobile object information and the first image included in the danger occurrence information corresponding to a point other than the current point The risk determination method according to claim 1, wherein the risk degree corresponding to the current location is determined.
前記第1の画像に基づいて、前記危険事象が発生した際の前記危険地点における第1の交通状況を解析し、且つ、前記第2の画像に基づいて、前記現在地点における第2の交通状況を解析するステップを含み、
前記判定するステップでは、解析した前記第1の交通状況と前記第2の交通状況との類似性に基づいて、前記現在地点に対応する前記危険度を判定する
請求項1に記載の危険判定方法。 The danger determination method further includes:
Analyzing a first traffic situation at the danger point when the danger event occurs based on the first image, and analyzing a second traffic situation at the current location based on the second image Analyzing the
The danger determining method according to claim 1, wherein, in the determining step, the degree of risk corresponding to the current location is determined based on a similarity between the analyzed first traffic condition and the second traffic condition. .
判定した前記現在地点に対応する前記危険度が所定の範囲内である場合に、前記移動体情報に含まれる前記現在地点情報を前記危険地点情報とし、且つ、前記移動体情報に含まれる前記第2の画像を前記第1の画像とした前記危険発生情報を生成するステップと、
生成した前記危険発生情報を前記危険発生情報管理部に追加するステップと、を含む
請求項1〜3のいずれか1項に記載の危険判定方法。 The danger determination method further includes:
When the degree of risk corresponding to the determined current location is within a predetermined range, the current location information included in the moving body information is set as the dangerous location information, and the second location included in the moving body information is included. Generating the danger occurrence information using the second image as the first image;
The risk determination method according to any one of claims 1 to 3, further comprising: adding the generated risk occurrence information to the risk occurrence information management unit.
前記危険判定方法は、さらに、
判定した前記現在地点に対応する前記危険度が所定の範囲内である場合に、前記移動体情報を送信した前記移動体装置に前記危険度に関する危険度情報を送信するステップを含む
請求項1〜4のいずれか1項に記載の危険判定方法。 In the obtaining step, via a network, receiving the mobile body information transmitted from a mobile device mounted on the mobile body,
The danger determination method further includes:
When the risk corresponding to the determined current location is within a predetermined range, the method further includes a step of transmitting risk information regarding the risk to the mobile device that has transmitted the mobile information. 4. The danger determination method according to any one of 4.
前記危険判定方法は、さらに、
判定した前記現在地点に対応する前記危険度が所定の範囲内である場合であって、前記移動体情報を受信してから所定時間内に、別の移動体が前記移動体情報に含まれる前記現在地点情報が示す前記現在地点を通過すると判断した場合に、前記別の移動体に搭載された移動体装置に前記危険度に関する危険度情報を送信するステップを含む
請求項1〜4のいずれか1項に記載の危険判定方法。 In the obtaining step, via a network, receiving the mobile body information transmitted from a mobile device mounted on the mobile body,
The danger determination method further includes:
In the case where the degree of risk corresponding to the determined current point is within a predetermined range, and within a predetermined time after receiving the moving body information, another moving body is included in the moving body information. The method according to any one of claims 1 to 4, further comprising a step of, when it is determined that the vehicle passes through the current location indicated by the current location information, transmitting risk information on the risk to a mobile device mounted on the another mobile body. The danger determination method according to item 1.
判定した前記現在地点に対応する前記危険度と前記現在地点情報とが対応付けられた危険判定情報を危険判定情報管理部に格納するステップを含み、
前記判定するステップでは、前記移動体情報に含まれる前記現在地点情報が示す前記現在地点に対応する前記危険判定情報が前記危険判定情報管理部に格納されている場合、前記危険判定情報に含まれる前記危険度を使用する
請求項1〜6のいずれか1項に記載の危険判定方法。 The danger determination method further includes:
Storing the risk determination information associated with the risk degree corresponding to the determined current location and the current location information in a risk determination information management unit,
In the determining step, when the danger determination information corresponding to the current location indicated by the current location information included in the moving body information is stored in the danger determination information management unit, the danger determination information is included in the danger determination information The danger determination method according to any one of claims 1 to 6, wherein the danger level is used.
前記判定するステップでは、前記移動体情報に含まれる前記第2の画像と、前記危険発生情報管理部に格納されている1つ以上の前記危険発生情報に含まれる前記第1の画像との類似性を求め、前記類似性と前記センサ情報とに基づいて、前記現在地点に対応する前
記危険度を判定する
請求項1〜7のいずれか1項に記載の危険判定方法。 The moving object information further includes sensor information indicating a traveling state of the moving object, which is associated with the current location information and the second image,
In the determining step, the similarity between the second image included in the moving body information and the first image included in one or more of the risk occurrence information stored in the risk occurrence information management unit is determined. The danger determination method according to any one of claims 1 to 7, wherein the danger is determined based on the similarity and the sensor information.
危険事象が発生した危険地点を示す危険地点情報と、前記危険地点における前記危険事象の発生状況を示す、前記危険地点における前記危険事象の発生状況を撮影した第1の画像とが対応付けられた危険発生情報を1つ以上格納している危険発生情報管理部と、
前記移動体の現在地点を示す現在地点情報と、前記現在地点における前記移動体の周辺状況を示す、前記現在地点における前記移動体の周辺状況を撮影した第2の画像とが対応付けられた移動体情報を受信する受信部と、
前記移動体情報に含まれる前記現在地点情報が示す前記現在地点に対応する前記危険発生情報が前記危険発生情報管理部に格納されておらず、且つ、前記現在地点以外の地点に対応する前記危険発生情報が前記危険発生情報管理部に格納されている場合、前記移動体情報に含まれる前記第2の画像と、前記危険発生情報管理部に格納されている1つ以上の前記危険発生情報に含まれる前記第1の画像との類似性に基づいて、前記現在地点に対応する前記危険度を判定する判定部と、を備え、
前記危険発生情報は、さらに、前記危険地点情報と前記第1の画像とに対応付けられた、前記危険事象の深刻度を含み、
前記深刻度は、事故発生の有無又は事故の被害の大きさの度合いであり、
前記判定部は、前記移動体情報に含まれる前記第2の画像と、前記危険発生情報管理部に格納されている1つ以上の前記危険発生情報に含まれる前記第1の画像との類似性を求め、前記類似性と前記第1の画像に対応付けられた前記深刻度とを演算することにより、前記現在地点に対応する前記危険度を判定する
危険判定装置。 A risk determination device that manages a risk corresponding to a point where a moving object is located,
The danger point information indicating the danger point at which the danger event occurred was associated with the first image of the danger point at the danger point, which indicates the occurrence state of the danger event at the danger point. A danger occurrence information management unit that stores one or more danger occurrence information;
Movement in which current position information indicating the current position of the moving object is associated with a second image of the surrounding state of the moving object at the current position, which indicates the surrounding state of the moving object at the current position. A receiving unit for receiving body information;
The danger occurrence information corresponding to the current location indicated by the current location information included in the moving body information is not stored in the danger occurrence information management unit, and the danger corresponding to a location other than the current location When occurrence information is stored in the danger occurrence information management unit, the second image included in the mobile object information and one or more danger occurrence information stored in the danger occurrence information management unit A determination unit configured to determine the degree of risk corresponding to the current location based on the similarity to the included first image,
The danger occurrence information further includes the severity of the danger event associated with the danger point information and the first image,
The severity is the presence or absence of an accident or the degree of the damage of the accident,
The determination unit is configured to determine a similarity between the second image included in the moving body information and the first image included in one or more of the danger occurrence information stored in the danger occurrence information management unit. And determining the degree of danger corresponding to the current location by calculating the similarity and the degree of severity associated with the first image.
前記危険判定装置は、
危険事象が発生した危険地点を示す危険地点情報と、前記危険地点における前記危険事象の発生状況を示す、前記危険地点における前記危険事象の発生状況を撮影した第1の画像とが対応付けられた危険発生情報を1つ以上格納している危険発生情報管理部と、
前記移動体の現在地点を示す現在地点情報と、前記現在地点における前記移動体の周辺状況を示す、前記現在地点における前記移動体の周辺状況を撮影した第2の画像とが対応付けられた移動体情報を受信する第1の受信部と、
前記移動体情報に含まれる前記現在地点情報が示す前記現在地点に対応する前記危険発生情報が前記危険発生情報管理部に格納されておらず、且つ、前記現在地点以外の地点に対応する前記危険発生情報が前記危険発生情報管理部に格納されている場合、前記移動体情報に含まれる前記第2の画像と、前記危険発生情報管理部に格納されている1つ以上の前記危険発生情報に含まれる前記第1の画像との類似性に基づいて、前記現在地点に対応する前記危険度を判定する判定部と、
前記危険度に関する危険度情報を前記危険出力装置に送信する第1の送信部と、を備え、
前記危険出力装置は、
前記移動体情報を前記危険判定装置に送信する第2の送信部と、
前記危険判定装置から送信された前記危険度情報を受信する第2の受信部と、
受信した前記危険度情報に基づいて、前記移動体の利用者に対して注意を喚起するための注意喚起情報を出力する出力部と、を備え、
前記危険発生情報は、さらに、前記危険地点情報と前記第1の画像とに対応付けられた、前記危険事象の深刻度を含み、
前記深刻度は、事故発生の有無又は事故の被害の大きさの度合いであり、
前記判定部は、前記移動体情報に含まれる前記第2の画像と、前記危険発生情報管理部に格納されている1つ以上の前記危険発生情報に含まれる前記第1の画像との類似性を求め、前記類似性と前記第1の画像に対応付けられた前記深刻度とを演算することにより、前記現在地点に対応する前記危険度を判定する
危険判定システム。 A danger determination system that includes a danger determination device and a danger output device mounted on the moving body, and manages a danger degree corresponding to a point where the moving body is located,
The danger determination device,
The danger point information indicating the danger point at which the danger event occurred was associated with the first image of the danger point at the danger point, which indicates the occurrence state of the danger event at the danger point. A danger occurrence information management unit that stores one or more danger occurrence information;
Movement in which current position information indicating the current position of the moving object is associated with a second image of the surrounding state of the moving object at the current position, which indicates the surrounding state of the moving object at the current position. A first receiving unit that receives body information;
The danger occurrence information corresponding to the current location indicated by the current location information included in the moving body information is not stored in the danger occurrence information management unit, and the danger corresponding to a location other than the current location When occurrence information is stored in the danger occurrence information management unit, the second image included in the mobile object information and one or more danger occurrence information stored in the danger occurrence information management unit A determining unit that determines the degree of risk corresponding to the current location based on the similarity to the included first image;
A first transmission unit that transmits the risk information on the risk to the risk output device,
The danger output device,
A second transmission unit that transmits the mobile object information to the danger determination device,
A second receiving unit that receives the risk level information transmitted from the risk determination device,
An output unit that outputs alert information for alerting the user of the mobile object based on the received risk information,
The danger occurrence information further includes the severity of the danger event associated with the danger point information and the first image,
The severity is the presence or absence of an accident or the degree of the damage of the accident,
The determination unit is configured to determine a similarity between the second image included in the moving body information and the first image included in one or more of the danger occurrence information stored in the danger occurrence information management unit. And determining the degree of danger corresponding to the current location by calculating the similarity and the degree of severity associated with the first image.
移動体の現在地点を示す現在地点情報と、前記現在地点における前記移動体の周辺状況を示す第2の画像とが対応付けられた移動体情報を危険判定装置に送信する第2の送信部と、
前記危険判定装置から送信された危険度情報を受信する第2の受信部と、
受信した前記危険度情報に基づいて、前記移動体の利用者に対して注意を喚起するための注意喚起情報を出力する出力部と、を備える
危険出力装置。 A danger output device used in the danger determination system according to claim 10,
A second transmitting unit configured to transmit to the danger determination device current position information indicating a current position of the moving object and moving object information in which a second image indicating a surrounding state of the moving object at the current position is associated with the current position information; ,
A second receiving unit that receives the risk level information transmitted from the risk determination device;
A danger output device, comprising: an output unit configured to output alert information for alerting a user of the mobile object based on the received risk information.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014266431 | 2014-12-26 | ||
JP2014266431 | 2014-12-26 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015181078A Division JP6630521B2 (en) | 2014-12-26 | 2015-09-14 | Danger determination method, danger determination device, danger output device, and danger determination system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020042859A true JP2020042859A (en) | 2020-03-19 |
JP7041117B2 JP7041117B2 (en) | 2022-03-23 |
Family
ID=56358084
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015181078A Expired - Fee Related JP6630521B2 (en) | 2014-12-26 | 2015-09-14 | Danger determination method, danger determination device, danger output device, and danger determination system |
JP2019221961A Active JP7041117B2 (en) | 2014-12-26 | 2019-12-09 | Judgment method, computer, output device and system |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015181078A Expired - Fee Related JP6630521B2 (en) | 2014-12-26 | 2015-09-14 | Danger determination method, danger determination device, danger output device, and danger determination system |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP6630521B2 (en) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3159235B1 (en) * | 2015-10-22 | 2021-08-04 | Honda Research Institute Europe GmbH | Method and system for assisting a driver of a vehicle in driving the vehicle and computer program |
WO2018230492A1 (en) * | 2017-06-16 | 2018-12-20 | 本田技研工業株式会社 | Information processing device, information processing method, and program |
JP6880455B2 (en) * | 2017-10-26 | 2021-06-02 | トヨタ自動車株式会社 | Driving support device and driving support system |
KR102030583B1 (en) * | 2017-11-23 | 2019-10-11 | (주)에이텍티앤 | Artificial intelligence based traffic accident prediction system and method |
JP2020008888A (en) * | 2018-07-02 | 2020-01-16 | 株式会社デンソー | Accident warning device |
JP7143661B2 (en) * | 2018-07-24 | 2022-09-29 | トヨタ自動車株式会社 | Information processing system, program, and control method |
SG11202101641YA (en) * | 2018-09-04 | 2021-03-30 | Cambridge Mobile Telematics Inc | Systems and methods for classifying driver behavior |
JP7172341B2 (en) * | 2018-09-19 | 2022-11-16 | いすゞ自動車株式会社 | Management system and information transmission method |
JP7186749B2 (en) * | 2020-08-12 | 2022-12-09 | ソフトバンク株式会社 | Management system, management method, management device, program and communication terminal |
CN117496678B (en) * | 2024-01-02 | 2024-06-21 | 广州市声讯电子科技股份有限公司 | Emergency broadcast image-text alarm method, alarm system and storage medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001331900A (en) * | 2000-05-23 | 2001-11-30 | Matsushita Electric Ind Co Ltd | On-vehicle danger forecast alarm system and method |
JP2004078320A (en) * | 2002-08-09 | 2004-03-11 | Mitsui Sumitomo Insurance Co Ltd | Risk informing server, risk informing system and route guidance device |
JP2004333233A (en) * | 2003-05-02 | 2004-11-25 | Alpine Electronics Inc | Navigation apparatus |
JP2010247656A (en) * | 2009-04-15 | 2010-11-04 | Toyota Motor Corp | Driving support system and method |
JP2014154004A (en) * | 2013-02-12 | 2014-08-25 | Fujifilm Corp | Danger information processing method, device and system, and program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007219836A (en) * | 2006-02-16 | 2007-08-30 | Mazda Motor Corp | Vehicle travel support device |
JP4900076B2 (en) * | 2007-06-18 | 2012-03-21 | トヨタ自動車株式会社 | Vehicle travel support device |
DE102011018157A1 (en) * | 2011-04-19 | 2012-10-25 | GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) | Detection of a bus stop |
JP2014154005A (en) * | 2013-02-12 | 2014-08-25 | Fujifilm Corp | Danger information provision method, device, and program |
-
2015
- 2015-09-14 JP JP2015181078A patent/JP6630521B2/en not_active Expired - Fee Related
-
2019
- 2019-12-09 JP JP2019221961A patent/JP7041117B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001331900A (en) * | 2000-05-23 | 2001-11-30 | Matsushita Electric Ind Co Ltd | On-vehicle danger forecast alarm system and method |
JP2004078320A (en) * | 2002-08-09 | 2004-03-11 | Mitsui Sumitomo Insurance Co Ltd | Risk informing server, risk informing system and route guidance device |
JP2004333233A (en) * | 2003-05-02 | 2004-11-25 | Alpine Electronics Inc | Navigation apparatus |
JP2010247656A (en) * | 2009-04-15 | 2010-11-04 | Toyota Motor Corp | Driving support system and method |
JP2014154004A (en) * | 2013-02-12 | 2014-08-25 | Fujifilm Corp | Danger information processing method, device and system, and program |
Also Published As
Publication number | Publication date |
---|---|
JP6630521B2 (en) | 2020-01-15 |
JP7041117B2 (en) | 2022-03-23 |
JP2016126756A (en) | 2016-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7041117B2 (en) | Judgment method, computer, output device and system | |
US11538114B1 (en) | Providing insurance discounts based upon usage of telematics data-based risk mitigation and prevention functionality | |
JP6840240B2 (en) | Dynamic route determination for autonomous vehicles | |
US10147004B2 (en) | Automatic image content analysis method and system | |
JP6109593B2 (en) | Risk information processing method, apparatus and system, and program | |
US10521749B2 (en) | Risk information processing method and server device | |
US10996073B2 (en) | Navigation system with abrupt maneuver monitoring mechanism and method of operation thereof | |
US20120194681A1 (en) | Automatic content analysis method and system | |
EP3038021A1 (en) | Risk determination method, risk determination device, risk determination system, and risk output device | |
JP2014154005A (en) | Danger information provision method, device, and program | |
JP2011100298A (en) | Information processing device, on-vehicle device, information processing system, information processing method, and program | |
CN110803169B (en) | System and method for displaying information in a vehicle | |
CN102951149A (en) | Method and device for analysing a route section to be driven by a vehicle | |
US12005928B2 (en) | Dangerous road user detection and response | |
JP7362733B2 (en) | Automated crowdsourcing of road environment information | |
US20230048622A1 (en) | Providing insurance discounts based upon usage of telematics data-based risk mitigation and prevention functionality | |
JP6005475B2 (en) | In-vehicle device, danger prediction method, and program | |
JP5977681B2 (en) | Traffic information provision system using location information of mobile terminals | |
EP4202884A1 (en) | Method, apparatus, and system for determining a bicycle lane disruption index based on vehicle sensor data | |
US20230111391A1 (en) | Method, apparatus, and computer program product for identifying wrong-way driven vehicles | |
US20230400314A1 (en) | Method and apparatus for predicting carjackings | |
JP6681044B2 (en) | Reverse running detection system | |
JP2023045191A (en) | Information processing device and information processing method | |
JP2009134431A (en) | Warning system and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191220 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220310 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7041117 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |