JP2022012710A - Road damage detection device, road damage detection system, and road damage detection method - Google Patents

Abstract

To efficiently and comprehensively grasp a damaged portion on a road.SOLUTION: A data acquisition unit 302 of a road damage detection device 102 acquires image data, position information, and a vehicle number captured by an on-vehicle terminal 101 from the on-vehicle terminal 101 mounted on a collection/delivery vehicle. Next, a detection unit 303 of the road damage detection device 102 detects a pothole region from the image data acquired by the data acquisition unit 302. First, the detection unit 303 inputs the image data into a learning model learned by a learning unit 304 to calculate an output value. Then, the detection unit 303 detects a region where the output value is equal to or higher than a predetermined value as the pothole region. Next, a display control unit 305 of the road damage detection device 102 associates the image data in which the pothole region is detected with the position information and displays it on a display unit for each vehicle number.SELECTED DRAWING: Figure 3

Description

特許法第３０条第２項適用申請有り 令和１年１０月１９日 第２８回地理情報システム学会研究発表大会にて公開Patent Law Article 30, Paragraph 2 Application Applicable Reiwa October 19, 1st Published at the 28th Geographic Information Systems Society Research Presentation Conference

本発明は、道路上の損傷箇所を検出する道路損傷検出装置、道路損傷検出システム、道路損傷検出方法及びプログラムに関するものである。 The present invention relates to a road damage detection device, a road damage detection system, a road damage detection method and a program for detecting a damaged part on a road.

従来の自治体等では、道路の維持管理をするために日常から専用車両を用いて職員自ら道路パトロールを実施し、道路上の損傷箇所を目視で発見する作業を行っている。近年、高齢化に伴う技術職員不足や道路の経年劣化や老朽化の急速な進展により、道路上の損傷箇所を発見する作業の需要に対応できていない。そこで道路舗装診断の簡易な劣化診断を行う取り組みとして、車両のプローブデータを用いた手法がある。特許文献１には、車両が接地する路面に対して垂直方向の加速度及びピッチ軸に関する加速度を用いて車両が走行する路面のプロファイルを推定することが記載されている。 In conventional local governments, etc., in order to maintain and manage roads, employees themselves carry out road patrols using dedicated vehicles on a daily basis, and work to visually detect damaged parts on the road. In recent years, due to the shortage of technical staff due to aging, the aging of roads, and the rapid progress of aging, it has not been possible to meet the demand for work to find damaged parts on roads. Therefore, as an effort to perform a simple deterioration diagnosis of road pavement diagnosis, there is a method using vehicle probe data. Patent Document 1 describes estimating the profile of the road surface on which the vehicle travels by using the acceleration in the direction perpendicular to the road surface on which the vehicle touches the ground and the acceleration related to the pitch axis.

特開２０１８－１８５２７６号公報Japanese Unexamined Patent Publication No. 2018-185276

しかしながら、特許文献１に記載の発明を含め従来の道路上の損傷箇所を発見する作業では、道路上の損傷箇所を発見する作業のための専用車両を対象の地域に定期的に走行させる必要がある。さらに幹線道路だけでなく生活道路も隈なく専用車両を走行させることは困難であり、道路上の損傷箇所を早期に発見できない場合がある。 However, in the conventional work of finding a damaged part on a road including the invention described in Patent Document 1, it is necessary to periodically drive a dedicated vehicle for the work of finding a damaged part on the road to the target area. be. Furthermore, it is difficult to drive a dedicated vehicle not only on the main road but also on the residential road, and it may not be possible to detect the damaged part on the road at an early stage.

そこで、本発明の目的は、道路上の損傷箇所を効率的かつ網羅的に把握することである。 Therefore, an object of the present invention is to efficiently and comprehensively grasp the damaged portion on the road.

本発明の道路損傷検出装置は、道路を走行する集配車両に搭載されている、撮像部を備えた車載端末で撮像された画像データを取得する取得手段と、前記取得手段により取得した前記画像データに基づいて道路上の損傷箇所を検出する検出手段と、を有することを特徴とする。 The road damage detection device of the present invention has an acquisition means for acquiring image data captured by an in-vehicle terminal provided with an image pickup unit mounted on a collection / delivery vehicle traveling on a road, and the image data acquired by the acquisition means. It is characterized by having a detection means for detecting a damaged part on the road based on the above.

本発明によれば、道路上の損傷箇所を効率的かつ網羅的に把握することができる。 According to the present invention, it is possible to efficiently and comprehensively grasp the damaged portion on the road.

道路損傷検出システムの全体構成例を示す図である。It is a figure which shows the whole configuration example of the road damage detection system. 道路損傷検出システムのハードウェア構成例を示す図である。It is a figure which shows the hardware configuration example of the road damage detection system. 道路損傷検出システムの機能構成例を示す図である。It is a figure which shows the functional configuration example of a road damage detection system. 第１の実施形態に係る道路損傷検出処理を示すフローチャートである。It is a flowchart which shows the road damage detection process which concerns on 1st Embodiment. 検出範囲の一例を示す図である。It is a figure which shows an example of the detection range. 検出枠の一例を示す図である。It is a figure which shows an example of the detection frame. 同一のポットホールが検出された画像データについて説明する図である。It is a figure explaining the image data which detected the same pothole. 表示画面の一例を示す図である。It is a figure which shows an example of the display screen. 表示画面の一例を示す図である。It is a figure which shows an example of the display screen. 表示画面の一例を示す図である。It is a figure which shows an example of the display screen. 第２の実施形態に係る道路損傷検出処理を示すフローチャートである。It is a flowchart which shows the road damage detection process which concerns on 2nd Embodiment.

以下、添付図面を参照して、本発明の第１の実施形態について説明する。 Hereinafter, the first embodiment of the present invention will be described with reference to the accompanying drawings.

＜第１の実施形態＞
図１は、道路損傷検出システム１の全体構成の一例を示す図である。
道路損傷検出システム１は、道路上の損傷箇所を検出するシステムである。道路とは、アスファルト等で舗装された道路である。以下、第１の実施形態では、道路上の損傷箇所として、ポットホール（穴ぼこ）を検出する場合について説明する。 <First Embodiment>
FIG. 1 is a diagram showing an example of the overall configuration of the road damage detection system 1.
The road damage detection system 1 is a system for detecting a damaged portion on a road. A road is a road paved with asphalt or the like. Hereinafter, in the first embodiment, a case where a pothole (hole) is detected as a damaged part on the road will be described.

道路損傷検出システム１は、車載端末１０１ａ，１０１ｂと道路損傷検出装置１０２とを含む。車載端末１０１ａ，１０１ｂはそれぞれ、集配車両１００ａ，１００ｂの車内の前方に搭載されている。集配車両１００ａ，１００ｂは、荷物等の集荷や配達を行う業者がサービスを提供するために用いられる車両である。集配車両１００ａ，１００ｂのドライバーは、荷物等を集配する日々の業務を行う。集配車両１００ａ，１００ｂには、車両を識別するための車両番号が付与されている。車両番号は、例えばアルファベット１文字と数字４桁の組み合わせで表される。以下、集配車両１００ａ，１００ｂは同じ構成であるから、集配車両１００として説明する。 The road damage detection system 1 includes in-vehicle terminals 101a and 101b and a road damage detection device 102. The in-vehicle terminals 101a and 101b are mounted in front of the pickup and delivery vehicles 100a and 100b, respectively. The collection and delivery vehicles 100a and 100b are vehicles used by a company that collects and delivers cargo and the like to provide services. The drivers of the collection and delivery vehicles 100a and 100b perform daily work of collecting and delivering luggage and the like. Vehicle numbers for identifying vehicles are assigned to the collection and delivery vehicles 100a and 100b. The vehicle number is represented by, for example, a combination of one letter of the alphabet and four digits of a number. Hereinafter, since the collection / delivery vehicles 100a and 100b have the same configuration, they will be described as the collection / delivery vehicle 100.

車載端末１０１ａ，１０１ｂと道路損傷検出装置１０２は、ネットワーク１０３を介して互いに通信可能である。道路損傷検出装置１０２は、集配車両１００ａ，１００ｂが道路を走行する際に得られたデータを、車載端末１０１ａ，１０１ｂからネットワーク１０３を介して受信する。図１の例では、道路損傷検出システム１が、２台の車載端末１０１ａ，１０１ｂと１台の道路損傷検出装置１０２により構成されているが、車載端末の台数及び道路損傷検出装置の台数は増減しても構わない。また別の例として、車載端末で得られたデータをＳＤカード等の記録媒体に記録し、道路損傷検出装置１０２が当該記録媒体からデータを取得してもよい。 The in-vehicle terminals 101a and 101b and the road damage detection device 102 can communicate with each other via the network 103. The road damage detection device 102 receives data obtained when the collection / delivery vehicles 100a and 100b travel on the road from the in-vehicle terminals 101a and 101b via the network 103. In the example of FIG. 1, the road damage detection system 1 is composed of two in-vehicle terminals 101a and 101b and one road damage detection device 102, but the number of in-vehicle terminals and the number of road damage detection devices increase or decrease. It doesn't matter. As another example, the data obtained by the in-vehicle terminal may be recorded on a recording medium such as an SD card, and the road damage detection device 102 may acquire the data from the recording medium.

図２は、道路損傷検出システム１のハードウェア構成の一例を示す図である。以下、車載端末１０１ａ，１０１ｂは同じ構成であるから、車載端末１０１として説明する。
まず、車載端末１０１のハードウェア構成について説明する。車載端末１０１は、外向きカメラ２０１、ＧＮＳＳセンサ２０２、加速度センサ２０３、制御部２０４、記憶部２０５、通信部２０６、及びこれらを接続するバス２００を有する。以下各構成について説明する。 FIG. 2 is a diagram showing an example of the hardware configuration of the road damage detection system 1. Hereinafter, since the in-vehicle terminals 101a and 101b have the same configuration, they will be described as the in-vehicle terminal 101.
First, the hardware configuration of the in-vehicle terminal 101 will be described. The in-vehicle terminal 101 has an outward camera 201, a GNSS sensor 202, an acceleration sensor 203, a control unit 204, a storage unit 205, a communication unit 206, and a bus 200 connecting them. Each configuration will be described below.

外向きカメラ２０１は、例えばｗｅｂカメラであり、撮像レンズを外向きにして設置されており、自車両が道路を走行する際の路面の状態を連続的に撮像する。例えば、１秒間に１５枚の画像データを撮像する。外向きカメラ２０１は、画像データと撮影日時を制御部２０４に出力する。外向きカメラ２０１は撮像部の一例である。 The outward-facing camera 201 is, for example, a web camera, which is installed with the image pickup lens facing outward, and continuously images the state of the road surface when the own vehicle travels on the road. For example, 15 image data are captured per second. The outward camera 201 outputs the image data and the shooting date and time to the control unit 204. The outward camera 201 is an example of an imaging unit.

ＧＮＳＳ（Global Navigation Satellite System）センサ２０２は、例えばＧＰＳ（Global Positioning System）センサであり、自車両が道路を走行する際の位置情報を連続的に計測する。ＧＮＳＳセンサ２０２は、計測した位置情報とその日時を制御部２０４に出力する。なおＧＮＳＳセンサ２０２は、外向きカメラ２０１で画像データが撮像されるタイミングと同期して位置情報を計測してもよい。 The GNSS (Global Navigation Satellite System) sensor 202 is, for example, a GPS (Global Positioning System) sensor, and continuously measures position information when the own vehicle travels on a road. The GNSS sensor 202 outputs the measured position information and the date and time to the control unit 204. The GNSS sensor 202 may measure the position information in synchronization with the timing at which the image data is captured by the outward-facing camera 201.

加速度センサ２０３は、車両の振動を検出するセンサであり、自車両が道路を走行する際の加速度情報を連続的に計測する。なお加速度センサ２０３として、例えばＸＹＺ３軸方向の角加速度を計測するジャイロセンサを用いてもよい。加速度センサ２０３は、計測した加速度情報とその日時を制御部２０４に出力する。なお、第１の実施形態では車載端末１０１が加速度センサ２０３を有していなくてもよい。加速度センサ２０３は、加速度計測部の一例である。 The acceleration sensor 203 is a sensor that detects the vibration of the vehicle, and continuously measures the acceleration information when the own vehicle travels on the road. As the acceleration sensor 203, for example, a gyro sensor that measures the angular acceleration in the XYZ3 axis direction may be used. The acceleration sensor 203 outputs the measured acceleration information and the date and time to the control unit 204. In the first embodiment, the vehicle-mounted terminal 101 does not have to have the acceleration sensor 203. The acceleration sensor 203 is an example of an acceleration measuring unit.

制御部２０４は、ＣＰＵ等であって、車載端末１０１の全体を制御する。制御部２０４が、記憶部２０５等に記憶されているプログラムに基づき処理を実行することによって、車載端末１０１の各種の機能や、後述するフローチャートの処理が実現される。
記憶部２０５は、ＲＡＭ、ＲＯＭ、ＨＤＤ等であって、プログラムを記憶したり、制御部２０４がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。記憶部２０５は、制御部２０４の制御により、外向きカメラ２０１、ＧＮＳＳセンサ２０２及び加速度センサ２０３のそれぞれから出力された各データを記憶する。記憶部２０５には、画像データ、位置情報、及び加速度情報が、それぞれ日時（時間情報）と対応付けられた時系列データとして記憶される。 The control unit 204 is a CPU or the like and controls the entire in-vehicle terminal 101. By executing the process based on the program stored in the storage unit 205 or the like, the control unit 204 realizes various functions of the in-vehicle terminal 101 and the process of the flowchart described later.
The storage unit 205 is a RAM, ROM, HDD, or the like, and stores a program, or stores data or the like used when the control unit 204 executes processing based on the program. The storage unit 205 stores each data output from each of the outward camera 201, the GNSS sensor 202, and the acceleration sensor 203 under the control of the control unit 204. Image data, position information, and acceleration information are stored in the storage unit 205 as time-series data associated with the date and time (time information), respectively.

通信部２０６は、通信インタフェース等であって、ネットワーク１０３を介して他の装置との間で各種のデータを送受信する。通信部２０６は、制御部２０４の制御により、記憶部２０５に記憶される画像データ、位置情報、及び加速度情報を、道路損傷検出装置１０２へ送信する。なお制御部２０４が上記のデータをＳＤカード等の記録媒体に記憶して、当該記録媒体を介して道路損傷検出装置１０２との間でデータを直接やり取りする場合には、通信部２０６は不要である。 The communication unit 206 is a communication interface or the like, and transmits / receives various data to / from other devices via the network 103. The communication unit 206 transmits the image data, the position information, and the acceleration information stored in the storage unit 205 to the road damage detection device 102 under the control of the control unit 204. When the control unit 204 stores the above data in a recording medium such as an SD card and directly exchanges the data with the road damage detection device 102 via the recording medium, the communication unit 206 is unnecessary. be.

以上のようにして、外向きカメラ２０１、ＧＮＳＳセンサ２０２及び加速度センサ２０３のそれぞれから出力された各データは、一旦記憶部２０５に記憶された後に、通信部２０６を介して道路損傷検出装置１０２へ送信される。このような構成に代えて、外向きカメラ２０１、ＧＮＳＳセンサ２０２及び加速度センサ２０３のそれぞれが、出力される各データをリアルタイムで道路損傷検出装置１０２へ送信してもよい。 As described above, each data output from each of the outward camera 201, the GNSS sensor 202, and the acceleration sensor 203 is temporarily stored in the storage unit 205, and then sent to the road damage detection device 102 via the communication unit 206. Will be sent. Instead of such a configuration, each of the outward camera 201, the GNSS sensor 202, and the acceleration sensor 203 may transmit the output data to the road damage detection device 102 in real time.

次に、道路損傷検出装置１０２のハードウェア構成について説明する。道路損傷検出装置１０２は、道路管理者等が道路上の損傷箇所を管理するために用いられるＰＣ（パーソナルコンピュータ）他サーバ装置等であって、表示部２０７、入力部２０８、通信部２０９、制御部２１０、記憶部２１１、及びこれらを接続するバス２１２を有する。以下各構成について説明する。
表示部２０７は、液晶ディスプレイ等であり、制御部２１０の制御により、画像データ等を表示する。
入力部２０８は、マウス、キーボード等であり、ユーザからの入力を受け付ける。入力部２０８は、入力されたデータを制御部２１０へ出力する。なお表示部２０７及び入力部２０８は入力機能と表示機能とを兼ね備えたタッチパネル等であってもよい。
通信部２０９は、通信インタフェース等であり、ネットワーク１０３を介して他の装置との間で各種のデータを送受信する。通信部２０９は、制御部２１０の制御により、車載端末１０１から画像データ、位置情報、及び加速度情報を受信する。 Next, the hardware configuration of the road damage detection device 102 will be described. The road damage detection device 102 is a PC (personal computer) or other server device used by a road administrator or the like to manage a damaged part on the road, and is a display unit 207, an input unit 208, a communication unit 209, and a control unit. It has a unit 210, a storage unit 211, and a bus 212 connecting them. Each configuration will be described below.
The display unit 207 is a liquid crystal display or the like, and displays image data or the like under the control of the control unit 210.
The input unit 208 is a mouse, a keyboard, or the like, and receives input from the user. The input unit 208 outputs the input data to the control unit 210. The display unit 207 and the input unit 208 may be a touch panel or the like having both an input function and a display function.
The communication unit 209 is a communication interface or the like, and transmits / receives various data to / from other devices via the network 103. The communication unit 209 receives image data, position information, and acceleration information from the vehicle-mounted terminal 101 under the control of the control unit 210.

制御部２１０は、道路損傷検出装置１０２の全体を制御する。制御部２１０が記憶部２１１等に記憶されているプログラムに基づき処理を実行することによって、道路損傷検出装置１０２の各種の機能や、後述するフローチャートの処理が実現される。
記憶部２１１は、ＲＡＭ、ＲＯＭ、ＨＤＤ等であって、プログラムを記憶したり、制御部２１０がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。 The control unit 210 controls the entire road damage detection device 102. By executing the process based on the program stored in the storage unit 211 or the like, the control unit 210 realizes various functions of the road damage detection device 102 and the process of the flowchart described later.
The storage unit 211 is a RAM, ROM, HDD, or the like, and stores a program or data used by the control unit 210 when executing a process based on the program.

図３は、道路損傷システム１の機能構成の一例を示す図である。
まず、車載端末１０１の機能構成について説明する。車載端末１０１は、車載端末１０１の制御部２０４が車載端末１０１の記憶部２０５等に記憶されているプログラムを実行することにより、データ送信部３０１として機能する。車載端末１０１の制御部２０４は、送信手段の一例である。
データ送信部３０１は、集配車両１００の走行時に得られたデータを道路損傷検出装置１０２へ提供する。第１の実施形態において、データ送信部３０１は、外向きカメラ２０１で撮像された画像データ、及びＧＮＳＳセンサ２０２で計測された位置情報を、通信部２０６を用いて道路損傷検出装置１０２へ送信する。またデータ送信部３０１は、車載端末１０１を搭載する集配車両１００の車両番号を道路損傷検出装置１０２へ送信する。 FIG. 3 is a diagram showing an example of the functional configuration of the road damage system 1.
First, the functional configuration of the in-vehicle terminal 101 will be described. The in-vehicle terminal 101 functions as a data transmission unit 301 by the control unit 204 of the in-vehicle terminal 101 executing a program stored in the storage unit 205 or the like of the in-vehicle terminal 101. The control unit 204 of the in-vehicle terminal 101 is an example of the transmission means.
The data transmission unit 301 provides the data obtained when the collection / delivery vehicle 100 is traveling to the road damage detection device 102. In the first embodiment, the data transmission unit 301 transmits the image data captured by the outward-facing camera 201 and the position information measured by the GNSS sensor 202 to the road damage detection device 102 using the communication unit 206. .. Further, the data transmission unit 301 transmits the vehicle number of the collection / delivery vehicle 100 equipped with the in-vehicle terminal 101 to the road damage detection device 102.

次に、道路損傷検出装置１０２の機能構成について説明する。道路損傷検出装置１０２は、道路損傷検出装置１０２の制御部２１０が道路損傷検出装置１０２の記憶部２１１等に記憶されているプログラムを実行することにより、データ取得部３０２、検出部３０３、学習部３０４及び表示制御部３０５として機能する。以下、各構成部について詳細に説明する。道路損傷検出装置１０２の制御部２１０は、取得手段、受信手段、検出手段、学習手段、及び表示制御手段の一例である。 Next, the functional configuration of the road damage detection device 102 will be described. In the road damage detection device 102, the control unit 210 of the road damage detection device 102 executes a program stored in the storage unit 211 or the like of the road damage detection device 102, so that the data acquisition unit 302, the detection unit 303, and the learning unit It functions as 304 and display control unit 305. Hereinafter, each component will be described in detail. The control unit 210 of the road damage detection device 102 is an example of an acquisition means, a reception means, a detection means, a learning means, and a display control means.

データ取得部３０２は、車載端末１０１から提供されるデータを取得する。第１の実施形態において、データ取得部３０２は、通信部２０９を用いて車載端末１０１から画像データ、位置情報及び車両番号を受信する。画像データの撮影日時と位置情報の計測日時とを同期させることにより画像データと位置情報とが対応付けられる。またデータ取得部３０２は、受信した画像データ及び位置情報を車両番号ごとに記憶部２１１に記憶する。 The data acquisition unit 302 acquires the data provided from the in-vehicle terminal 101. In the first embodiment, the data acquisition unit 302 receives image data, position information, and a vehicle number from the vehicle-mounted terminal 101 using the communication unit 209. By synchronizing the shooting date and time of the image data with the measurement date and time of the position information, the image data and the position information are associated with each other. Further, the data acquisition unit 302 stores the received image data and position information in the storage unit 211 for each vehicle number.

検出部３０３は、データ取得部３０２により取得した画像データに基づいて道路上の損傷箇所を検出する。第１の実施形態において、検出部３０３は、記憶部２１１から画像データを読み出して、読み出した画像データについて人工知能技術を用いた解析を行い、画像データ内のポットホールの特徴がある領域をポットホール領域として検出する。ポットホールには、色が周囲より暗い、形が円形状をしている等の特徴がある。 The detection unit 303 detects the damaged part on the road based on the image data acquired by the data acquisition unit 302. In the first embodiment, the detection unit 303 reads image data from the storage unit 211, analyzes the read image data using artificial intelligence technology, and pots a region having a characteristic of a pot hole in the image data. Detect as a hole area. Potholes are characterized by their darker color than their surroundings and their circular shape.

具体的には、検出部３０３は、学習部３０４により学習された学習モデルに画像データを入力して得られる出力値に基づいて、画像データ内のポットホール領域を検出する。この出力値は、ポットホールらしさを表す尤度であり、０～１の値で表される。ポットホールであると推定されれば１に近い値になる。検出部３０３は、画像データ内の各領域について算出された出力値が所定値以上であるか否かを判定し、出力値が所定値以上であると判定した場合に、当該領域をポットホール領域として検出する。その後、検出部３０３は、ポットホール領域の位置及び大きさを表す情報を、画像データと対応付けて記憶部２１１に記憶する。 Specifically, the detection unit 303 detects the pothole region in the image data based on the output value obtained by inputting the image data into the learning model learned by the learning unit 304. This output value is a likelihood representing pothole-likeness, and is represented by a value of 0 to 1. If it is estimated to be a pothole, it will be close to 1. The detection unit 303 determines whether or not the output value calculated for each region in the image data is equal to or greater than a predetermined value, and when it is determined that the output value is equal to or greater than a predetermined value, the detection unit 303 determines the region as a pothole region. Detect as. After that, the detection unit 303 stores information representing the position and size of the pothole region in the storage unit 211 in association with the image data.

学習部３０４は、機械学習アルゴリズムに従った学習モデルに対して、教師データを用いて学習を行う。具体的にはまず、実際にポットホールが映り込んだ画像（以下、ポットホール画像という）を収集し、収集したポットホール画像のポットホールの領域に学習を行う際の目印となる枠を人手で付与する作業を行う。この枠が付与されたポットホール画像が正解の教師データとなる。学習部３０４は、このような教師データを用いて反復学習を行うことにより、ポットホールを検出可能な学習モデルを生成する。なお学習の回数を重ねるにつれて正答率が高くなり、誤差が減少するが、最適な学習の回数はケースにより様々である。また上記の機械学習アルゴリズムとしては、ＳＶＭ（Support Vector Machine）や、ニューラルネットワーク等、種々のものが採用可能である。 The learning unit 304 learns the learning model according to the machine learning algorithm by using the teacher data. Specifically, first, an image in which a pothole is actually reflected (hereinafter referred to as a pothole image) is collected, and a frame that serves as a mark when learning is performed in the pothole area of the collected pothole image is manually set. Perform the work of granting. The pothole image with this frame is the correct teacher data. The learning unit 304 generates a learning model capable of detecting potholes by performing iterative learning using such teacher data. As the number of learnings increases, the correct answer rate increases and the error decreases, but the optimum number of learnings varies depending on the case. Further, as the above machine learning algorithm, various algorithms such as SVM (Support Vector Machine) and a neural network can be adopted.

また、第１の実施形態において、学習部３０４は、ポットホール以外の領域が指定された画像を不正解の教師データとして、更に学習を行う。ポットホール以外の領域としては、例えば、マンホールやひび割れである。マンホールやひび割れは、道路上に数多く存在するが、その特徴がポットホールと似ているため、誤検出されてしまうことが多い。そこでマンホールやひび割れを検出対象ではないとして学習を行うことで、誤検出を大幅に削減させることができる。学習部３０４は、以上のようにして学習された学習モデルを記憶部２１１に記憶する。なお学習部３０４は、道路損傷検出システム１を稼働する前に学習を行う。また学習部３０４は、道路損傷検出システム１の稼働後に、検出部３０３によりポットホール領域が検出された画像データを用いて、更に学習を行って学習モデルの更新を行ってもよい。 Further, in the first embodiment, the learning unit 304 further learns by using the image in which the area other than the pothole is designated as the teacher data of the incorrect answer. Areas other than potholes include, for example, manholes and cracks. Many manholes and cracks are present on the road, but their characteristics are similar to those of potholes, so they are often misidentified. Therefore, by learning that manholes and cracks are not the detection targets, erroneous detection can be significantly reduced. The learning unit 304 stores the learning model learned as described above in the storage unit 211. The learning unit 304 learns before operating the road damage detection system 1. Further, the learning unit 304 may update the learning model by further learning using the image data in which the pothole region is detected by the detection unit 303 after the road damage detection system 1 is operated.

表示制御部３０５は、検出部３０３により道路上の損傷箇所が検出された画像データを、当該画像データに対応付けられる位置情報と共に表示部２０７に表示する。詳細については、図８～図１０で後述する。 The display control unit 305 displays the image data in which the damaged portion on the road is detected by the detection unit 303 on the display unit 207 together with the position information associated with the image data. Details will be described later in FIGS. 8 to 10.

図４は、第１の実施形態に係る道路損傷検出システム１によって実行される処理（道路損傷検出処理）の流れを示すフローチャートである。図４のフローチャートに示す処理は、車載端末１０１側では、車載端末１０１の記憶部２０５に記憶されたプログラムを車載端末１０１の制御部２０４が実行することで実現する。また道路損傷検出装置１０２側では、道路損傷検出装置１０２の記憶部２１１に記憶されたプログラムを道路損傷検出装置１０２の制御部２１０が実行することで実現する。 FIG. 4 is a flowchart showing a flow of processing (road damage detection processing) executed by the road damage detection system 1 according to the first embodiment. The process shown in the flowchart of FIG. 4 is realized by the control unit 204 of the vehicle-mounted terminal 101 executing the program stored in the storage unit 205 of the vehicle-mounted terminal 101 on the vehicle-mounted terminal 101 side. Further, on the road damage detection device 102 side, the program stored in the storage unit 211 of the road damage detection device 102 is executed by the control unit 210 of the road damage detection device 102.

図４のフローチャートに示す処理の実行前に、車載端末１０１が搭載された集配車両１００を準備する。この集配車両１００のドライバーが日々の業務を行うことにより、集配車両１００が道路を走行して、車載端末１０１で撮像された画像データが収集される。即ち、道路上の損傷箇所を発見する作業のための専用車両を走行させる必要がないため、路面の状態が撮像された画像データを効率的に収集することができる。また集配車両１００の走行速度が比較的遅いため、ポットホール等の道路上の損傷箇所の検出に適した鮮明な画像データを収集することができる。更に集配車両１００は、日々の業務で幹線道路だけでなく生活道路についても頻繁に走行しており、対象エリアに対する走行網羅性が高い。従って、対象エリアに存在するポットホール等の道路上の損傷箇所を網羅的に把握することが可能になる。 Before executing the process shown in the flowchart of FIG. 4, the collection / delivery vehicle 100 on which the in-vehicle terminal 101 is mounted is prepared. As the driver of the collection / delivery vehicle 100 performs daily work, the collection / delivery vehicle 100 travels on the road and image data captured by the in-vehicle terminal 101 is collected. That is, since it is not necessary to drive a dedicated vehicle for the work of finding a damaged part on the road, it is possible to efficiently collect image data in which the state of the road surface is captured. Further, since the traveling speed of the collection / delivery vehicle 100 is relatively slow, it is possible to collect clear image data suitable for detecting a damaged portion on the road such as a pothole. Further, the collection / delivery vehicle 100 frequently travels not only on the main road but also on the living road in daily work, and has high travel coverage for the target area. Therefore, it is possible to comprehensively grasp the damaged parts on the road such as potholes existing in the target area.

集配車両１００のドライバーがその日の業務を終了すると、ステップＳ４０１で、車載端末１０１の制御部２０４が、記憶部２０５からその日に収集された画像データ及び位置情報を読み出して、集配車両１００の車両番号と共に送信する。道路損傷検出装置１０２の制御部２１０が、車載端末１０１から画像データ、位置情報及び車両番号を受信する。道路損傷検出装置１０２の制御部２１０が、受信した画像データ及び位置情報を車両番号ごとに記憶部２１１に記憶する。 When the driver of the pickup / delivery vehicle 100 finishes the work of the day, in step S401, the control unit 204 of the in-vehicle terminal 101 reads out the image data and the position information collected on that day from the storage unit 205, and the vehicle number of the pickup / delivery vehicle 100. Send with. The control unit 210 of the road damage detection device 102 receives image data, position information, and a vehicle number from the vehicle-mounted terminal 101. The control unit 210 of the road damage detection device 102 stores the received image data and position information in the storage unit 211 for each vehicle number.

次にステップＳ４０２で、道路損傷検出装置１０２の制御部２１０が、記憶部２１１から所定期間に撮像された一連の画像データを読み出して、読み出した画像データに対してポットホールを検出する範囲（検出範囲）を設定する。図５は、検出範囲の一例を示す図である。図５に示すように、制御部２１０は、画像データ５０１の路面部分を限定するように検出範囲５０２を設定する。図５の検出範囲５０２は、画像データ５０１の中央から下側の領域であって、中央を狭く、下側を広くした台形状である。これによりステップＳ４０４で、路面以外の場所にある領域が誤検出されるのを抑制することができる。 Next, in step S402, the control unit 210 of the road damage detection device 102 reads out a series of image data captured in a predetermined period from the storage unit 211, and detects a pothole in the read image data (detection). Range) is set. FIG. 5 is a diagram showing an example of the detection range. As shown in FIG. 5, the control unit 210 sets the detection range 502 so as to limit the road surface portion of the image data 501. The detection range 502 in FIG. 5 is a region below the center of the image data 501, and has a trapezoidal shape with a narrow center and a wide bottom. As a result, it is possible to prevent erroneous detection of a region other than the road surface in step S404.

次にステップＳ４０３で、道路損傷検出装置１０２の制御部２１０は、所定のサイズの検出枠を設定する。検出枠のサイズは、ポットホールとして想定され得る大きさの範囲で調整される。図６は、検出枠の一例を示す図である。図６に示すように、制御部２１０は、画像データ６０１に対して、検出枠６１１や検出枠６１２よりも小さいサイズの、検出枠６１３や検出枠６１４を設定する。これによりステップＳ４０４で、フロントガラスによる反射が映り込んだ部分、カーブミラーの影部分等のポットホールとは無関係な領域が誤検出されるのを抑制することができる。 Next, in step S403, the control unit 210 of the road damage detection device 102 sets a detection frame of a predetermined size. The size of the detection frame is adjusted within the range of the size that can be assumed as a pothole. FIG. 6 is a diagram showing an example of a detection frame. As shown in FIG. 6, the control unit 210 sets the detection frame 613 and the detection frame 614, which are smaller in size than the detection frame 611 and the detection frame 612, for the image data 601. As a result, it is possible to prevent erroneous detection of a region unrelated to the pothole, such as a portion where the reflection from the windshield is reflected and a shadow portion of the curved mirror, in step S404.

次にステップＳ４０４で、道路損傷検出装置１０２の制御部２１０は、ステップＳ４０２で読み出した一連の画像データから、ポットホール領域を検出する。まず、制御部２１０は、学習部３０４により学習された学習モデルに画像データを順次入力して出力値を算出する。この出力値は、ステップＳ４０２で設定された検出範囲内の各領域について算出される。そして、制御部２１０は、出力値が所定値以上である領域をポットホール領域の候補として検出する。この場合に制御部２１０は、ステップＳ４０３で設定された検出枠よりも大きいサイズのポットホール領域の候補を除外する。その後、制御部２１０は、除外されずに残ったポットホール領域の候補を最終的なポットホール領域として、ポットホール領域の位置及び大きさを表す情報を、画像データと対応付けて記憶部２１１に記憶する。 Next, in step S404, the control unit 210 of the road damage detection device 102 detects the pothole region from the series of image data read in step S402. First, the control unit 210 sequentially inputs image data into the learning model learned by the learning unit 304 and calculates an output value. This output value is calculated for each region within the detection range set in step S402. Then, the control unit 210 detects a region whose output value is equal to or greater than a predetermined value as a candidate for the pothole region. In this case, the control unit 210 excludes a candidate for a pothole region having a size larger than the detection frame set in step S403. After that, the control unit 210 sets the candidate of the pothole area remaining without being excluded as the final pothole area, and associates the information indicating the position and size of the pothole area with the image data in the storage unit 211. Remember.

次にステップＳ４０５で、道路損傷検出装置１０２の制御部２１０は、ステップＳ４０２で読み出した一連の画像データから、ステップＳ４０４でポットホール領域が検出された画像データを抽出する。この場合に制御部２１０は、ポットホール領域が検出されていない画像データを記憶部２１１から削除する。
次にステップＳ４０６で、道路損傷検出装置１０２の制御部２１０は、ステップＳ４０５で抽出された画像データから、同一のポットホールが検出されている画像データを更に抽出する。具体的には、ポットホール領域が検出された画像データが所定時間以上連続している場合には、同一のポットホールが検出されているものとする。ここでいう所定時間は、例えば０．２秒である。そして制御部２１０は、同一のポットホールが検出されている画像データの一部を記憶部２１１から削除する。 Next, in step S405, the control unit 210 of the road damage detection device 102 extracts the image data in which the pothole region is detected in step S404 from the series of image data read in step S402. In this case, the control unit 210 deletes the image data in which the pothole region is not detected from the storage unit 211.
Next, in step S406, the control unit 210 of the road damage detection device 102 further extracts image data in which the same pothole is detected from the image data extracted in step S405. Specifically, when the image data in which the pothole region is detected is continuous for a predetermined time or longer, it is assumed that the same pothole is detected. The predetermined time here is, for example, 0.2 seconds. Then, the control unit 210 deletes a part of the image data in which the same pothole is detected from the storage unit 211.

図７は、同一のポットホールが検出されている画像データの一部を削除する処理について説明する図である。図７の上段には、経過時間に伴って移り変わる路面を撮像した画像データを模式的に表す。図７の上段に示す連続する画像データ７０１～７０７には、ポットホール７００が映り込んでいる。制御部２１０は、画像データ７０１～７０７のうち、ポットホール７００が画像データの路面部分の中央に出現する画像データを除いて、その他の画像データを削除する。図７の下段には、削除後の画像データを示す。図７に示す例では、画像データ７０４を除く、画像データ７０１～７０３，７０５～７０７の画像データが削除されている。これにより、ステップＳ４０７で画像データを表示する際に、同一のポットホールに関する画像データを重複して表示させないようにすることが可能になる。また、表示対象となる画像データは、ポットホールが路面部分の中央に出現するように調整されている。そのため、１枚の画像データでポットホールとその周辺の路面状況を確認することが可能になる。 FIG. 7 is a diagram illustrating a process of deleting a part of image data in which the same pothole is detected. The upper part of FIG. 7 schematically shows image data obtained by capturing an image of a road surface that changes with the elapsed time. The pothole 700 is reflected in the continuous image data 701 to 707 shown in the upper part of FIG. 7. The control unit 210 deletes other image data from the image data 701 to 707, except for the image data in which the pothole 700 appears in the center of the road surface portion of the image data. The lower part of FIG. 7 shows the deleted image data. In the example shown in FIG. 7, the image data of the image data 701 to 703 and 705 to 707, excluding the image data 704, is deleted. This makes it possible to prevent duplicate display of image data related to the same pothole when displaying image data in step S407. Further, the image data to be displayed is adjusted so that the pothole appears in the center of the road surface portion. Therefore, it is possible to confirm the road surface condition of the pothole and its surroundings with one image data.

次にステップＳ４０７で、道路損傷検出装置１０２の制御部２１０は、ステップＳ４０５で抽出された画像データのうち、ステップＳ４０６で削除されずに残った画像データを、表示部２０７に表示する。そして本フローチャートの処理が終了する。以下、表示部２０７に表示される表示画面について、図８～図１０を参照して説明する。 Next, in step S407, the control unit 210 of the road damage detection device 102 displays the image data extracted in step S405 that remains without being deleted in step S406 on the display unit 207. Then, the processing of this flowchart is completed. Hereinafter, the display screen displayed on the display unit 207 will be described with reference to FIGS. 8 to 10.

ユーザの操作により、道路損傷検出装置１０２の表示制御部３０５は、表示部２０７にポットホール一覧画面を表示する。図８は、ポットホール一覧画面８０１である。撮影日８０２には、入力部２０８により入力された撮影開始日及び撮影終了日が表示される。車両番号８０３には、車両番号がプルダウン表示される。集配車両１００は車両ごとに走行するエリアが決められているため、車両番号を選択することにより、所望のエリアで検出されたポットホールを一覧表示させることが可能である。ステータス８０４には、一覧表示させる画像データのステータスが選択可能なラジオボタンが表示される。ステータスは、画像データを確認したユーザがポットホールか否かを判断した結果である。ステータスは、画像データに対応付けて記憶されており、初期状態で未判断になっているが、画像データを確認したユーザがポットホールステータス編集画面（図９）で、ポットホール又は非ポットホールに変更することができる。 By the user's operation, the display control unit 305 of the road damage detection device 102 displays the pothole list screen on the display unit 207. FIG. 8 is a pothole list screen 801. On the shooting date 802, the shooting start date and the shooting end date input by the input unit 208 are displayed. The vehicle number is pulled down from the vehicle number 803. Since the area in which the pickup / delivery vehicle 100 travels is determined for each vehicle, it is possible to display a list of potholes detected in a desired area by selecting a vehicle number. In the status 804, a radio button that can select the status of the image data to be displayed in a list is displayed. The status is the result of determining whether or not the user who has confirmed the image data is a pothole. The status is stored in association with the image data and is undecided in the initial state, but the user who confirmed the image data can display the pothole status edit screen (FIG. 9) as a pothole or a non-pothole. Can be changed.

検索ボタン８０５が押下されると、撮影日８０２、車両番号８０３、及びステータス８０４で入力、又は選択された検索条件に従って画像データが検索されて、検索結果が表示エリア８０６に一覧表示される。表示エリア８０６には、検索条件に該当するレコードが一覧表示される。このレコードは、画像データの撮影日時、車両番号、ステータスを含む。また各レコードに対応して表示される編集ボタン８０７が押下されると、表示制御部３０５は、ポットホールステータス編集画面（図９）を表示部２０７に表示する。また各レコードに対応して表示される地図ボタン８０８が押下されると、表示制御部３０５は、ポットホールステータス地図表示画面（図１０）を表示部２０７に表示する。 When the search button 805 is pressed, the image data is searched according to the search conditions input or selected by the shooting date 802, the vehicle number 803, and the status 804, and the search results are listed in the display area 806. Records corresponding to the search conditions are displayed in a list in the display area 806. This record includes the shooting date and time of the image data, the vehicle number, and the status. When the edit button 807 displayed corresponding to each record is pressed, the display control unit 305 displays the pothole status editing screen (FIG. 9) on the display unit 207. When the map button 808 displayed corresponding to each record is pressed, the display control unit 305 displays the pothole status map display screen (FIG. 10) on the display unit 207.

図９は、ポットホールステータス編集画面９０１である。ポットホールステータス編集画面９０１は、ポットホールが検出された画像データを１枚ずつ表示して、ステータスの編集を行うための画面である。画像データ９０２は、ポットホール領域が検出された画像データである。この画像データには、ポットホール領域に合わせて枠９０３が表示される。また、画像データ９０２の撮影日時９０４、画像データ９０２を撮像する際に用いられた車両番号９０５、経度緯度９０６、及びステータス９０７が表示される。 FIG. 9 is a pothole status edit screen 901. The pothole status editing screen 901 is a screen for displaying the image data in which the pothole is detected one by one and editing the status. The image data 902 is the image data in which the pothole region is detected. In this image data, a frame 903 is displayed according to the pothole area. Further, the shooting date and time 904 of the image data 902, the vehicle number 905 used for capturing the image data 902, the longitude and latitude 906, and the status 907 are displayed.

経度緯度９０６は、画像データに対応付けられる位置情報である。経度緯度９０６の地図ボタン９１０が押下されると、表示制御部３０５は、ポットホールステータス地図表示画面（図１０）を表示部２０７に表示する。
ステータス９０７のプルダウン表示９１１では、画像データ９０２を確認したユーザにより、ポットホール又は非ポットホールが選択される。ステータス９０７の確定ボタン９１２が押下されると、表示制御部３０５は、選択された結果を確定させて記憶部２１１に保存する。
ボタン９０８は、撮影日時の昇順で１つ前の画像データのポットホールステータス編集画面９０１を表示する場合に用いられる。ボタン９０９は、撮影日時の昇順で１つ後の画像データのポットホールステータス編集画面９０１を表示する場合に用いられる。ボダン９１３は、ポットホール一覧画面８０１を表示する場合に用いられる。 The longitude / latitude 906 is position information associated with image data. When the map button 910 of longitude and latitude 906 is pressed, the display control unit 305 displays the pothole status map display screen (FIG. 10) on the display unit 207.
In the pull-down display 911 of the status 907, a pot hole or a non-pot hole is selected by the user who confirms the image data 902. When the confirmation button 912 of the status 907 is pressed, the display control unit 305 confirms the selected result and saves it in the storage unit 211.
The button 908 is used to display the pothole status editing screen 901 of the previous image data in ascending order of the shooting date and time. The button 909 is used to display the pothole status editing screen 901 of the image data one after the shooting date and time in ascending order. Bodin 913 is used to display the pothole list screen 801.

図１０は、ポットホール地図表示画面１００１である。ポットホール地図表示画面１００１には、集配車両１００の走行したエリアの地図が表示されており、ポットホールが検出された位置情報が、ピン１００２ａ，１００２ｂ，１００２ｃで表示される。ピン１００２ａ，１００２ｂ，１００２ｃは、登録されているステータスに応じて表示態様が変化する。例えば、未診断の場合はグレー系で表示され、非ポットホールの場合は青系で表示され、ポットホールの場合は赤系で表示される。いずれかのピン（図１０ではピン１００２ａ）が選択されると、表示制御部３０５は、ポットホール領域が検出された画像データに関する詳細情報１００３をポップアップ表示する。詳細情報１００３は、例えば撮影日時１００４、車両番号１００５、ステータス１００６及びポットホールが検出された画像データ１００７の縮小画像を含む。 FIG. 10 is a pothole map display screen 1001. On the pothole map display screen 1001, a map of the area where the collection and delivery vehicle 100 has traveled is displayed, and the position information in which the pothole is detected is displayed by pins 1002a, 1002b, 1002c. The display mode of the pins 1002a, 1002b, and 1002c changes according to the registered status. For example, if it is undiagnosed, it is displayed in gray, if it is a non-pot hole, it is displayed in blue, and if it is a pot hole, it is displayed in red. When any of the pins (pin 1002a in FIG. 10) is selected, the display control unit 305 pops up the detailed information 1003 regarding the image data in which the pothole region is detected. The detailed information 1003 includes, for example, a reduced image of the shooting date / time 1004, the vehicle number 1005, the status 1006, and the image data 1007 in which the pothole is detected.

以上のような、第１の実施形態の道路損傷検出システム１によれば、走行網羅性の高い集配車両１００で収集された画像データを用いて、道路上の損傷箇所を自動的に検出することができる。これにより、対象エリアに存在する道路上の損傷箇所を効率的かつ網羅的に把握することができる。また、道路上の損傷箇所として、特にポットホールを精度よく検出することができる。 According to the road damage detection system 1 of the first embodiment as described above, the damaged part on the road is automatically detected by using the image data collected by the collection / delivery vehicle 100 having high travel coverage. Can be done. As a result, it is possible to efficiently and comprehensively grasp the damaged part on the road existing in the target area. In addition, it is possible to accurately detect a pothole as a damaged part on the road.

＜第２の実施形態＞
以下、図１１を参照して、第２の実施形態に係る道路損傷検出システム１について説明する。上述の第１の実施形態では、道路上の損傷箇所として、ポットホールを検出する場合について説明した。道路上の損傷箇所として、ポットホールの他に、路面沈下がある。ここでいう路面沈下は、道路の横断方向又は縦断方向の浅い凹みであり、ポットホールのようにアスファルトの剥離、崩壊を伴わない。そのため、凹み部分にも日光が当たるため暗い部分ができにくく、日中は発見しづらい。 <Second embodiment>
Hereinafter, the road damage detection system 1 according to the second embodiment will be described with reference to FIG. 11. In the first embodiment described above, a case where a pothole is detected as a damaged part on the road has been described. In addition to potholes, road surface subsidence is another damage point on the road. The road surface subsidence referred to here is a shallow dent in the crossing direction or the longitudinal direction of the road, and is not accompanied by peeling or collapse of asphalt like a pothole. Therefore, the dented part is also exposed to sunlight, so it is difficult to create a dark part and it is difficult to find it during the day.

第２の実施形態では、道路上の損傷箇所として、路面沈下を検出する場合について説明する。路面沈下は、陥没又は大きなポットホールに発展する可能性が高い。従って、路面沈下を発見することは、道路の予防保全の観点で特に有用である。第２の実施形態では、集配車両１００の走行時に得られたデータのうち、夜間に撮像された画像データを用いる。夜間に撮像された画像データは、暗い路面に対して斜めにヘッドライトが照射されるため、凹み部分とその周辺部分との間に陰影が生じ、路面沈下が視認しやすい。第２の実施形態のハードウェア構成及び機能構成は、第１の実施形態に係る道路損傷検出システム１と同様である。従って、第１の実施形態と同様の部分については同じ符号を用いてその説明を省略する。以下、第１の実施形態との相違点を中心に説明する。 In the second embodiment, a case where road surface subsidence is detected as a damaged part on the road will be described. Land subsidence is likely to develop into a depression or a large pothole. Therefore, detecting road surface subsidence is particularly useful from the viewpoint of preventive maintenance of roads. In the second embodiment, among the data obtained during the traveling of the collection / delivery vehicle 100, the image data captured at night is used. Since the headlights of the image data captured at night are applied diagonally to the dark road surface, a shadow is generated between the recessed portion and the peripheral portion thereof, and the road surface subsidence is easily visible. The hardware configuration and the functional configuration of the second embodiment are the same as those of the road damage detection system 1 according to the first embodiment. Therefore, the same reference numerals are used for the same parts as those in the first embodiment, and the description thereof will be omitted. Hereinafter, the differences from the first embodiment will be mainly described.

第２の実施形態において、車載端末１０１のデータ送信部３０１は、画像データ、位置情報及び車両番号の他に、加速度センサ２０３で計測された加速度情報を、道路損傷検出装置１０２へ送信する。道路損傷検出装置１０２のデータ取得部３０２は、車載端末１０１から画像データ、位置情報、加速度情報及び車両番号を受信する。画像データの撮影日時と加速度情報の計測日時とを同期させることにより画像データと加速度情報とが対応付けられる。またデータ取得部３０２は、受信した加速度情報を他のデータと共に記憶部２１１に記憶する。 In the second embodiment, the data transmission unit 301 of the vehicle-mounted terminal 101 transmits the acceleration information measured by the acceleration sensor 203 to the road damage detection device 102 in addition to the image data, the position information, and the vehicle number. The data acquisition unit 302 of the road damage detection device 102 receives image data, position information, acceleration information, and vehicle number from the in-vehicle terminal 101. The image data and the acceleration information are associated with each other by synchronizing the shooting date and time of the image data with the measurement date and time of the acceleration information. Further, the data acquisition unit 302 stores the received acceleration information in the storage unit 211 together with other data.

第２の実施形態において、検出部３０３は、画像データの撮影日時を参照して夜間に撮像された画像データを抽出する。ここでいう夜間は、日没から翌朝の日の出までの時間であり、季節により異なる。そして検出部３０３は、抽出した画像データと画像データが撮像された際の加速度情報の組み合わせについて人工知能技術を用いた解析を行い、画像データ内の路面沈下の特徴がある領域を沈下領域として検出する。具体的には、検出部３０３は、学習部３０４により学習された学習モデルに、画像データ及び画像データが撮像された際の加速度情報を入力して得られる出力値に基づいて、画像データ内の沈下領域を検出する。その後、検出部３０３は、沈下領域の位置及び大きさを表す情報を、画像データと対応付けて記憶部２１１に記憶する。学習部３０４は、路面沈下の領域が指定された画像や、路面沈下のある道路を走行する際に得られる加速度情報を正解の教師データとして、学習を行う。なお、学習部３０４は、路面沈下以外の領域が指定された画像や、路面沈下のない道路を走行する際に得られる加速度情報を不正解の教師データとして、更に学習を行ってもよい。 In the second embodiment, the detection unit 303 extracts the image data captured at night with reference to the shooting date and time of the image data. The nighttime here is the time from sunset to sunrise the next morning, and varies depending on the season. Then, the detection unit 303 analyzes the combination of the extracted image data and the acceleration information when the image data is captured by using artificial intelligence technology, and detects a region having a characteristic of road surface subsidence in the image data as a subsidence region. do. Specifically, the detection unit 303 inputs image data and acceleration information when the image data is captured into the learning model learned by the learning unit 304, and based on the output value obtained, the detection unit 303 in the image data. Detect subsidence areas. After that, the detection unit 303 stores information representing the position and size of the subsidence region in the storage unit 211 in association with the image data. The learning unit 304 learns using an image in which a region of road surface subsidence is designated and acceleration information obtained when traveling on a road with road surface subsidence as correct teacher data. The learning unit 304 may further learn by using an image in which a region other than the road surface subsidence is designated and acceleration information obtained when traveling on a road without road surface subsidence as incorrect teacher data.

図１１は、第２の実施形態に係る道路損傷検出システム１によって実行される処理（道路損傷検出処理）を示すフローチャートである。図１１のフローチャートに示す処理は、車載端末１０１側では、車載端末１０１の記憶部２０５に記憶されたプログラムを車載端末１０１の制御部２０４が実行することで実現する。また道路損傷検出装置１０２側では、道路損傷検出装置１０２の記憶部２１１に記憶されたプログラムを道路損傷検出装置１０２の制御部２１０が実行することで実現する。以下、図４のフローチャートと相違する部分を中心に説明する。 FIG. 11 is a flowchart showing a process (road damage detection process) executed by the road damage detection system 1 according to the second embodiment. The process shown in the flowchart of FIG. 11 is realized by the control unit 204 of the vehicle-mounted terminal 101 executing the program stored in the storage unit 205 of the vehicle-mounted terminal 101 on the vehicle-mounted terminal 101 side. Further, on the road damage detection device 102 side, the program stored in the storage unit 211 of the road damage detection device 102 is executed by the control unit 210 of the road damage detection device 102. Hereinafter, the parts different from the flowchart of FIG. 4 will be mainly described.

図１１のフローチャートに示す処理の実行前に、第１の実施形態と同様に、集配車両１００のドライバーが日々の業務を行うことにより、集配車両１００が道路を走行して、車載端末１０１で撮像された画像データが収集される。第２の実施形態では、夜間に撮像された画像データが必要となるが、集配車両１００は日没後も業務を続けていることが多い。そのため、夜間の画像データの収集も効率的に行うことができる。 Prior to the execution of the process shown in the flowchart of FIG. 11, as in the first embodiment, the driver of the collection / delivery vehicle 100 performs daily work, so that the collection / delivery vehicle 100 travels on the road and is imaged by the in-vehicle terminal 101. The image data is collected. In the second embodiment, image data captured at night is required, but the collection / delivery vehicle 100 often continues to operate even after sunset. Therefore, it is possible to efficiently collect image data at night.

ステップＳ１１０１で、車載端末１０１の制御部２０４が、記憶部２０５からその日に収集された画像データ、位置情報及び加速度情報を読み出して、集配車両１００の車両番号と共に送信する。道路損傷検出装置１０２の制御部２１０が、車載端末１０１から画像データ、位置情報及び加速度情報を取得し、車両番号ごとに記憶部２１１に記憶する。 In step S1101, the control unit 204 of the vehicle-mounted terminal 101 reads out the image data, the position information, and the acceleration information collected on that day from the storage unit 205 and transmits them together with the vehicle number of the collection / delivery vehicle 100. The control unit 210 of the road damage detection device 102 acquires image data, position information, and acceleration information from the vehicle-mounted terminal 101, and stores each vehicle number in the storage unit 211.

次にステップＳ１１０２で、道路損傷検出装置１０２の制御部２１０が、記憶部２１１からに記憶される所定期間に撮像された一連の画像データのうち、夜間に撮像された画像データを抽出して読み出す。
次にステップＳ１１０３で、道路損傷検出装置１０２の制御部２１０が、ステップＳ１１０２で抽出された画像データに対して路面沈下を検出する範囲（検出範囲）を設定する。設定方法については、図４のステップＳ４０２と同様である。
次にステップＳ１１０４で、道路損傷検出装置１０２の制御部２１０が、所定のサイズの検出枠を設定する。検出枠のサイズは、路面沈下として想定され得る大きさの範囲で調整される。 Next, in step S1102, the control unit 210 of the road damage detection device 102 extracts and reads out the image data captured at night from the series of image data captured in the predetermined period stored in the storage unit 211. ..
Next, in step S1103, the control unit 210 of the road damage detection device 102 sets a range (detection range) for detecting road surface subsidence with respect to the image data extracted in step S1102. The setting method is the same as in step S402 of FIG.
Next, in step S1104, the control unit 210 of the road damage detection device 102 sets a detection frame of a predetermined size. The size of the detection frame is adjusted within the range of the size that can be assumed as road surface subsidence.

次にステップＳ１１０５で、道路損傷検出装置１０２の制御部２１０は、ステップＳ１１０２で読み出した一連の画像データから沈下領域を検出する。まず、制御部２１０は、学習部３０４により学習された学習モデルに画像データ及び画像データが撮像された際の加速度情報を順次入力して出力値を算出する。そして、制御部２１０は、出力値が所定値以上である領域を沈下領域の候補として検出する。この場合に、制御部２１０は、ステップＳ１１０４で設定された検出枠よりも大きいサイズの沈下領域の候補を除外する。その後、検出部３０３は、除外されずに残った沈下領域の候補を最終的な沈下領域として、沈下領域の位置及び大きさを表す情報を、画像データと対応付けて記憶部２１１に記憶する。 Next, in step S1105, the control unit 210 of the road damage detection device 102 detects the subsidence region from the series of image data read in step S1102. First, the control unit 210 sequentially inputs image data and acceleration information when the image data is captured into the learning model learned by the learning unit 304, and calculates an output value. Then, the control unit 210 detects a region whose output value is equal to or higher than a predetermined value as a candidate for the subsidence region. In this case, the control unit 210 excludes a candidate for a subsidence region having a size larger than the detection frame set in step S1104. After that, the detection unit 303 stores the information indicating the position and size of the subsidence region in the storage unit 211 in association with the image data, with the candidate of the subsidence region remaining without being excluded as the final subsidence region.

次にステップＳ１１０６で、道路損傷検出装置１０２の制御部２１０は、ステップＳ１１０２で読み出した一連の画像データから、ステップＳ１１０５で沈下領域が検出された画像データを抽出する。
次にステップＳ１１０７で、道路損傷検出装置１０２の制御部２１０は、ステップＳ１１０６で抽出された画像データから、同一の路面沈下が検出されている画像データの一部を削除する。削除する方法については、図４のステップＳ４０６と同様である。
次にステップＳ１１０８で、道路損傷検出装置１０２の制御部２１０は、ステップＳ１１０６で抽出された画像データのうち、ステップＳ１１０７で削除されずに残った画像データを、表示部２０７に表示する。そして本フローチャートの処理が終了する。 Next, in step S1106, the control unit 210 of the road damage detection device 102 extracts the image data in which the subsidence region is detected in step S1105 from the series of image data read in step S1102.
Next, in step S1107, the control unit 210 of the road damage detection device 102 deletes a part of the image data in which the same road surface subsidence is detected from the image data extracted in step S1106. The method of deleting is the same as in step S406 of FIG.
Next, in step S1108, the control unit 210 of the road damage detection device 102 displays the image data extracted in step S1106 that remains without being deleted in step S1107 on the display unit 207. Then, the processing of this flowchart is completed.

以上のような、第２の実施形態の道路損傷検出システム１によれば、第１の実施形態の道路損傷検出システム１と同様に、走行網羅性の高い集配車両１００で収集された画像データを用いて、道路上の損傷箇所を自動的に検出することができる。これにより、対象エリアに存在する道路上の損傷箇所を効率的かつ網羅的に把握することができる。また、夜間の走行時に得られた画像データを用いることにより、道路上の損傷箇所として、特に路面沈下を精度よく検出することができる。 According to the road damage detection system 1 of the second embodiment as described above, the image data collected by the collection / delivery vehicle 100 having high travel coverage is obtained as in the road damage detection system 1 of the first embodiment. It can be used to automatically detect damaged areas on the road. As a result, it is possible to efficiently and comprehensively grasp the damaged part on the road existing in the target area. In addition, by using the image data obtained during nighttime driving, it is possible to accurately detect the road surface subsidence as a damaged part on the road.

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 Although the present invention has been described above with the embodiments, the above embodiments are merely examples of embodiment of the present invention, and the technical scope of the present invention is limitedly interpreted by these. It shouldn't be. That is, the present invention can be implemented in various forms without departing from the technical idea or its main features.

上述の各実施形態では、第１の実施形態では、加速度センサ２０３で計測された加速度情報を用いずにポットホール領域の検出を行う構成であるが、このような構成に代えて、加速度情報を用いて検出を行う構成であってもよい。また第２の実施形態では、加速度情報を用いて路面沈下の検出を構成であるが、このような構成に代えて、加速度情報を用いずに検出を行う構成であってもよい。 In each of the above-described embodiments, in the first embodiment, the pothole region is detected without using the acceleration information measured by the acceleration sensor 203. However, instead of such a configuration, the acceleration information is used. It may be configured to perform detection by using. Further, in the second embodiment, the road surface subsidence is detected by using the acceleration information, but instead of such a configuration, the detection may be performed without using the acceleration information.

１：道路損傷検出システム
１００（１００ａ，１００ｂ）：集配車両
１０１（１０１ａ，１０１ｂ）：車載端末
１０２：道路損傷検出装置
２０１：外向きカメラ
２０２：ＧＮＳＳセンサ
２０３：加速度センサ
２０７：道路損傷検出装置の表示部
２０８：道路損傷検出装置の入力部
２０９：道路損傷検出装置の通信部
２１０：道路損傷検出装置の制御部
２１１：道路損傷検出装置の記憶部
３０１：データ送信部
３０２：データ取得部
３０３：検出部
３０４：学習部
３０５：表示制御部 1: Road damage detection system 100 (100a, 100b): Pick-up and delivery vehicle 101 (101a, 101b): In-vehicle terminal 102: Road damage detection device 201: Outward camera 202: GNSS sensor 203: Acceleration sensor 207: Road damage detection device Display unit 208: Road damage detection device input unit 209: Road damage detection device communication unit 210: Road damage detection device control unit 211: Road damage detection device storage unit 301: Data transmission unit 302: Data acquisition unit 303: Detection unit 304: Learning unit 305: Display control unit

Claims (16)

道路を走行する集配車両に搭載されている、撮像部を備えた車載端末で撮像された画像データを取得する取得手段と、
前記取得手段により取得した前記画像データに基づいて道路上の損傷箇所を検出する検出手段と、
を有することを特徴とする道路損傷検出装置。 An acquisition means for acquiring image data captured by an in-vehicle terminal equipped with an image pickup unit, which is mounted on a collection / delivery vehicle traveling on a road.
A detection means for detecting a damaged part on a road based on the image data acquired by the acquisition means, and a detection means.
A road damage detection device characterized by having. 前記検出手段は、前記取得手段によりに取得した前記画像データを学習モデルに入力することにより得られる出力値に基づいて、前記画像データ内の前記損傷箇所を検出することを特徴とする請求項１に記載の道路損傷検出装置。 The detection means is characterized in that the damaged portion in the image data is detected based on an output value obtained by inputting the image data acquired by the acquisition means into a learning model. Road damage detector described in. 前記学習モデルに対して、検出対象であるとしてポットホールを含む領域が指定された前記画像データを教師データとして学習を行う学習手段をさらに有することを特徴とする請求項２に記載の道路損傷検出装置。 The road damage detection according to claim 2, further comprising a learning means for learning using the image data in which a region including a pothole is designated as a detection target with respect to the learning model as teacher data. Device. 前記学習手段は、検出対象ではないとしてマンホール及び又は道路上のひび割れを含む領域が指定された前記画像データを教師データとして学習を行うことを特徴とする請求項３に記載の道路損傷検出装置。 The road damage detecting device according to claim 3, wherein the learning means performs learning using the image data in which a manhole and / or a region including a crack on the road is designated as not a detection target as teacher data. 前記検出手段は、前記取得手段によりに取得した前記画像データに対して所定のサイズの検出枠を設定し、前記検出枠より大きいサイズの前記損傷箇所の候補を検出対象から除外することを特徴とする請求項１乃至４何れか１項に記載の道路損傷検出装置。 The detection means is characterized in that a detection frame having a predetermined size is set for the image data acquired by the acquisition means, and candidates for the damaged portion having a size larger than the detection frame are excluded from the detection target. The road damage detection device according to any one of claims 1 to 4. 前記検出手段は、前記画像データに対して前記損傷箇所を検出する範囲を設定し、前記範囲内にある前記損傷箇所を検出することを特徴とする請求項１乃至５何れか１項に記載の道路損傷検出装置。 The method according to any one of claims 1 to 5, wherein the detection means sets a range for detecting the damaged portion in the image data, and detects the damaged portion within the range. Road damage detector. 前記取得手段は、連続して撮像された前記画像データを取得し、
前記検出手段は、同一の前記損傷箇所が検出されている前記画像データのうち、一部の前記画像データを除外することを特徴とする請求項１乃至６何れか１項に記載の道路損傷検出装置。 The acquisition means acquires the image data continuously captured, and obtains the image data.
The road damage detection according to any one of claims 1 to 6, wherein the detection means excludes a part of the image data from the image data in which the same damaged portion is detected. Device. 前記検出手段は、同一の前記損傷箇所が検出されている前記画像データのうち、前記損傷箇所が前記画像データ内の路面部分の中央に出現する前記画像データを除外しないようにすることを特徴とする請求項７に記載の道路損傷検出装置。 The detection means is characterized in that, among the image data in which the same damaged portion is detected, the image data in which the damaged portion appears in the center of the road surface portion in the image data is not excluded. The road damage detection device according to claim 7. 前記取得手段は、前記画像データが撮像された際の時間情報をさらに取得し、
前記検出手段は、前記時間情報を用いて夜間に撮像された前記画像データを抽出し、抽出した前記画像データに基づいて、前記損傷箇所を検出することを特徴とする請求項１乃至８何れか１項に記載の道路損傷検出装置。 The acquisition means further acquires time information when the image data is captured, and obtains the time information.
Any of claims 1 to 8, wherein the detection means extracts the image data captured at night using the time information, and detects the damaged portion based on the extracted image data. The road damage detection device according to item 1. 前記車載端末は、加速度情報を計測する加速度計測部を有し、
前記取得手段は、前記加速度情報をさらに取得し、
前記検出手段は、抽出した前記画像データと前記画像データが撮像された際の前記加速度情報との組み合わせに基づいて、前記損傷箇所を検出することを特徴とする請求項９に記載の道路損傷検出装置。 The in-vehicle terminal has an acceleration measuring unit that measures acceleration information.
The acquisition means further acquires the acceleration information and obtains the acceleration information.
The road damage detection according to claim 9, wherein the detection means detects the damaged portion based on a combination of the extracted image data and the acceleration information when the image data is captured. Device. 前記取得手段は、前記画像データが撮像された際の位置情報をさらに取得し、
前記検出手段により前記損傷箇所が検出された前記画像データを、前記位置情報と対応付けて表示する表示制御手段をさらに有することを特徴とする請求項１乃至１０何れか１項に記載の道路損傷検出装置。 The acquisition means further acquires the position information when the image data is captured, and further acquires the position information.
The road damage according to any one of claims 1 to 10, further comprising a display control means for displaying the image data in which the damaged portion is detected by the detecting means in association with the position information. Detection device. 前記取得手段は、前記画像データを撮像する際に用いられた前記集配車両を識別するための車両番号を取得し、
前記表示制御手段は、前記車両番号ごとに前記画像データを表示することを特徴とする請求項１１に記載の道路損傷検出装置。 The acquisition means acquires a vehicle number for identifying the collection / delivery vehicle used when capturing the image data, and obtains the vehicle number.
The road damage detection device according to claim 11, wherein the display control means displays the image data for each vehicle number. 前記検出手段は、ポットホール及び又は路面の沈下を検出することを特徴とする請求項１乃至１２何れか１項に記載の道路損傷検出装置。 The road damage detecting device according to any one of claims 1 to 12, wherein the detecting means detects a pothole and / or a subsidence of a road surface. 道路を走行する集配車両に搭載されている車載端末と、前記車載端末と通信可能な道路損傷検出装置とを含む道路損傷検出システムであって、
前記車載端末は、
撮像部で撮像された画像データを前記道路損傷検出装置へ送信する送信手段を有し、
前記道路損傷検出装置は、
前記画像データを前記車載端末から受信する受信手段と、
前記受信手段により受信した前記画像データに基づいて道路上の損傷箇所を検出する検出手段と、
を有することを特徴とする道路損傷検出システム。 A road damage detection system including an in-vehicle terminal mounted on a collection / delivery vehicle traveling on a road and a road damage detection device capable of communicating with the in-vehicle terminal.
The in-vehicle terminal is
It has a transmission means for transmitting image data captured by the image pickup unit to the road damage detection device.
The road damage detection device is
A receiving means for receiving the image data from the in-vehicle terminal, and
A detection means for detecting a damaged part on the road based on the image data received by the receiving means, and a detection means.
A road damage detection system characterized by having. 道路を走行する集配車両に搭載されている、撮像部を備えた車載端末で撮像された画像データを取得する取得ステップと、
前記取得ステップにより取得した前記画像データに基づいて道路上の損傷箇所を検出する検出ステップと、
を含むことを特徴とする道路損傷検出方法。 An acquisition step for acquiring image data captured by an in-vehicle terminal equipped with an image pickup unit, which is mounted on a collection / delivery vehicle traveling on a road.
A detection step for detecting a damaged part on the road based on the image data acquired by the acquisition step, and a detection step.
A road damage detection method comprising: 請求項１乃至１３何れか１項に記載の道路損傷検出装置の各手段としてコンピュータを機能させるためのプログラム。 A program for operating a computer as each means of the road damage detection device according to any one of claims 1 to 13.

Images