JP7191178B1

JP7191178B1 - Road surface deterioration detection device and road surface deterioration detection method

Info

Publication number: JP7191178B1
Application number: JP2021175138A
Authority: JP
Inventors: 卓也岡本; 将大矢田; 宏樹藤好; 智能小城戸; 考平森
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2021-10-27
Filing date: 2021-10-27
Publication date: 2022-12-16
Anticipated expiration: 2041-10-27
Also published as: JP2023064793A

Abstract

【課題】精度よく路面劣化を検出する路面劣化検出装置を提供する。【解決手段】画像を取得する撮像部１と、自車位置の情報を取得する自車位置情報取得部２と、少なくとも道路の車線数を含む道路情報および地図上の位置の属性情報を含む地図情報を取得する地図情報取得部３と、画像から車線領域画像を抽出する車線領域抽出部４と、自車位置および地図情報から自車走行車線を判定する自車走行車線判定部５と、自車位置、道路情報および自車走行車線の情報を用いて車線領域画像から検出領域画像を抽出する検出領域抽出部６と、検出領域画像から路面劣化を検出する路面劣化検出部７とを備え、路面劣化検出部７は、自車位置および属性情報をもとに路面劣化を検出するときの検出基準を変更する。【選択図】図１A road surface deterioration detection device capable of accurately detecting road surface deterioration is provided. An imaging unit 1 that acquires an image, a vehicle position information acquisition unit 2 that acquires vehicle position information, and a map that includes road information including at least the number of lanes on a road and attribute information of a position on the map. a map information acquisition unit 3 for acquiring information; a lane area extraction unit 4 for extracting a lane area image from an image; A detection area extraction unit 6 for extracting a detection area image from the lane area image using the vehicle position, road information, and information on the lane in which the vehicle is traveling, and a road surface deterioration detection unit 7 for detecting road surface deterioration from the detection area image, The road surface deterioration detection unit 7 changes the detection criteria for detecting road surface deterioration based on the vehicle position and attribute information. [Selection drawing] Fig. 1

Description

本願は、路面劣化検出装置および路面劣化検出方法に関するものである。 The present application relates to a road surface deterioration detection device and a road surface deterioration detection method.

道路、橋梁、施設等の老朽化に伴い、建造物のメンテナンスを効率的に行うことが求められている。建造物のメンテナンスを実施するためには、建造物の不具合を発見する作業が必要になるが、目視での確認では定量的な評価と網羅的な解析は困難である。そのため、機械による自動検出が普及しつつある。自動検出を行う装置として、建造物の表面に沿って移動する移動体に搭載された撮像装置で続けて撮像され、表面を含む領域が撮像された画像を取得する画像取得部と、画像取得部が取得した画像を分割し、画像の一部分である部分画像を複数出力する部分画像生成部と、部分画像生成部が出力した部分画像の各々について、部分画像中の表面に現れた不具合を判定する状態判定部とを備えた情報処理装置が提案されている（例えば、特許文献１参照）。 With the aging of roads, bridges, facilities, etc., efficient maintenance of buildings is required. In order to carry out building maintenance, it is necessary to find defects in the building, but it is difficult to perform quantitative evaluation and comprehensive analysis by visual confirmation. Therefore, automatic detection by machines is becoming popular. An image acquisition unit that acquires an image of an area including the surface of the building continuously captured by an imaging device mounted on a moving body that moves along the surface of the building as a device for automatic detection, and an image acquisition unit. divides the acquired image and outputs a plurality of partial images which are part of the image; An information processing apparatus including a state determination unit has been proposed (see Patent Document 1, for example).

特許第６６４７１７１号公報Japanese Patent No. 6647171

特許文献１に示された情報処理装置では、画像取得部が取得した画像から状態判定部において不具合を判定している。しかしながら、移動体がトンネル内にある場合など、移動体の位置あるいは周囲の状況によって画像データが変化するため、常に精度よく検出を行うことはできないという課題があった。 In the information processing apparatus disclosed in Patent Literature 1, the state determination section determines a defect from the image acquired by the image acquisition section. However, when the moving object is in a tunnel, the image data changes depending on the position of the moving object or the circumstances of the surroundings.

本願は、上述の課題を解決するためになされたものであり、精度よく路面劣化を検出する路面劣化検出装置および路面劣化検出方法を提供することを目的とする。 SUMMARY OF THE INVENTION The present application has been made to solve the above-described problems, and it is an object of the present invention to provide a road surface deterioration detection device and a road surface deterioration detection method that accurately detect road surface deterioration.

本願に開示される路面劣化検出装置は、自車に搭載され路面を含む画像を取得する撮像部と、自車の位置である自車位置の情報を取得する自車位置情報取得部と、自車位置を含む領域の地図情報を取得する地図情報取得部と、画像から路面の車線を区分するレーンマークを検出し、レーンマークを用いて画像から車線領域画像を抽出する車線領域抽出部と、自車位置および地図情報から、あるいは、レーンマークから、自車が走行する自車走行車線を判定する自車走行車線判定部と、車線領域画像から検出領域画像を抽出する検出領域抽出部と、検出領域画像から路面劣化を検出する路面劣化検出部とを備え、地図情報は、少なくとも道路の車線数を含む道路情報および地図上の位置の属性情報を含み、検出領域抽出部は、自車位置、道路情報および自車走行車線の情報を用いて車線領域画像から検出領域画像を抽出し、路面劣化検出部は、自車位置および属性情報をもとに路面劣化を検出するときの検出基準を変更することを特徴とする。 The road surface deterioration detection device disclosed in the present application includes an imaging unit that is mounted on a vehicle and acquires an image including the road surface, a vehicle position information acquisition unit that acquires vehicle position information that is the position of the vehicle, and a map information acquisition unit that acquires map information of an area including a vehicle position; a lane area extraction unit that detects lane marks that separate lanes on a road surface from an image and extracts a lane area image from the image using the lane marks; a vehicle driving lane determination unit that determines a vehicle driving lane in which the vehicle is traveling from the vehicle position and map information or from lane marks; a detection area extraction unit that extracts a detection area image from the lane area image; a road surface deterioration detection unit that detects road surface deterioration from the detection area image, the map information includes road information including at least the number of lanes on the road and attribute information of the position on the map, and the detection area extraction unit detects the vehicle position. , the road information and information on the lane in which the vehicle is traveling are used to extract a detection area image from the lane area image. Characterized by changing.

本願に開示される路面劣化検出装置は、地図情報は、少なくとも道路の車線数を含む道路情報および地図上の位置の属性情報を含み、検出領域抽出部は、自車位置、道路情報および自車走行車線の情報を用いて車線領域画像から検出領域画像を抽出し、路面劣化検出部は、自車位置および属性情報をもとに路面劣化を検出するときの検出基準を変更するので、精度よく路面劣化を検出することができる。 In the road surface deterioration detection device disclosed in the present application, the map information includes road information including at least the number of lanes on the road and attribute information of the position on the map, and the detection area extraction unit extracts the vehicle position, the road information, and the vehicle The detection area image is extracted from the lane area image using the information of the driving lane, and the road surface deterioration detection unit changes the detection criteria for detecting road surface deterioration based on the vehicle position and attribute information. Road deterioration can be detected.

実施の形態１による路面劣化検出装置の構成を示すブロック図である。1 is a block diagram showing the configuration of a road surface deterioration detection device according to Embodiment 1; FIG. 実施の形態１による路面劣化検出装置の動作を説明するフローチャートである。4 is a flowchart for explaining the operation of the road surface deterioration detection device according to Embodiment 1; 実施の形態１における撮像部を説明するための図である。4 is a diagram for explaining an imaging unit in Embodiment 1; FIG. 実施の形態１における地図情報取得部における地図情報の取得を説明するための図である。FIG. 4 is a diagram for explaining acquisition of map information by a map information acquisition unit according to Embodiment 1; FIG. 実施の形態１における撮像部において取得された画像を示す図である。4A and 4B are diagrams showing images acquired by an imaging unit according to the first embodiment; FIG. 実施の形態１における属性情報を説明するための図である。4 is a diagram for explaining attribute information according to Embodiment 1; FIG. 実施の形態１における属性情報とエッジ検出処理の閾値との関係を示す図である。4 is a diagram showing the relationship between attribute information and thresholds for edge detection processing according to Embodiment 1. FIG. 実施の形態１におけるエッジ検出処理の閾値を決定方法の別の一例を説明するための図である。FIG. 7 is a diagram for explaining another example of a method for determining a threshold value for edge detection processing according to Embodiment 1; 実施の形態１における検出領域抽出部の動作を説明するための図である。FIG. 4 is a diagram for explaining the operation of a detection region extraction unit according to Embodiment 1; 実施の形態１における検出領域抽出部の動作を説明するための図である。FIG. 4 is a diagram for explaining the operation of a detection region extraction unit according to Embodiment 1; 実施の形態１における道路情報と抽出領域画像として抽出するか否かとの関係を示す図である。4 is a diagram showing the relationship between road information and whether or not to extract as an extraction area image in Embodiment 1. FIG. 実施の形態１における属性情報と路面劣化を検出対象か否かとの関係を示す図である。4 is a diagram showing the relationship between attribute information and whether or not road surface deterioration is to be detected in Embodiment 1. FIG. 実施の形態１における検出結果情報送信部におけるデータの送信を説明するための図である。FIG. 4 is a diagram for explaining data transmission in a detection result information transmission unit according to Embodiment 1; 実施の形態１における警報判定部および画像生成部の動作を説明するための図である。4 is a diagram for explaining operations of an alarm determination unit and an image generation unit according to Embodiment 1; FIG. 実施の形態１における警報判定部および画像生成部の動作を説明するための図である。4 is a diagram for explaining operations of an alarm determination unit and an image generation unit according to Embodiment 1; FIG. 実施の形態１による路面劣化検出装置のハードウェアの一例を示す模式図である。1 is a schematic diagram showing an example of hardware of a road surface deterioration detection device according to Embodiment 1; FIG.

以下、本願を実施するための実施の形態に係る路面劣化検出装置について、図面を参照して詳細に説明する。なお、各図において同一符号は同一もしくは相当部分を示している。 Hereinafter, a road surface deterioration detection device according to an embodiment for carrying out the present application will be described in detail with reference to the drawings. In each figure, the same reference numerals denote the same or corresponding parts.

実施の形態１．
図１は、実施の形態１による路面劣化検出装置１００の構成を示すブロック図である。路面劣化検出装置１００は、撮像部１、自車位置情報取得部２、地図情報取得部３、車線領域抽出部４、自車走行車線判定部５、検出領域抽出部６、路面劣化検出部７、検出結果情報送信部８および路面劣化警報部１０を備えている。路面劣化警報部１０は、警報判定部１１および警報発信部１２を備えている。警報発信部１２は、画像生成部１３、画像出力部１４、音声生成部１５、音声出力部１６および振動発生部１７を備えている。 Embodiment 1.
FIG. 1 is a block diagram showing the configuration of a road surface deterioration detection device 100 according to Embodiment 1. As shown in FIG. The road surface deterioration detection device 100 includes an imaging unit 1, a vehicle position information acquisition unit 2, a map information acquisition unit 3, a lane area extraction unit 4, a vehicle traveling lane determination unit 5, a detection area extraction unit 6, and a road surface deterioration detection unit 7. , a detection result information transmission unit 8 and a road surface deterioration warning unit 10 . The road surface deterioration warning section 10 includes a warning determination section 11 and a warning transmission section 12 . The alarm transmission unit 12 includes an image generation unit 13 , an image output unit 14 , an audio generation unit 15 , an audio output unit 16 and a vibration generation unit 17 .

撮像部１は、自車に搭載され路面を含む画像を取得する車載カメラである。自車位置情報取得部２は、自車の位置である自車位置の情報を取得するロケータである。地図情報取得部３は、自車位置情報取得部２から取得した自車位置の情報を用いて、地図情報データベースから自車位置を含む自車の周辺の領域の地図情報を取得する。車線領域抽出部４は、自車位置情報取得部２から取得した自車位置の情報と地図情報取得部３から取得した地図情報とを用いて、撮像部１から取得した画像から路面を区分するレーンマークを検出し、レーンマークを用いて撮像部１から取得した画像から車線領域画像を抽出する。自車走行車線判定部５は、自車位置情報取得部２から取得した自車位置情報と地図情報取得部３から取得した地図情報とから、あるいは、車線領域抽出部４から取得したレーンマークから、自車が走行する自車走行車線を判定する。 The imaging unit 1 is an in-vehicle camera that is mounted on the vehicle and acquires an image including the road surface. The vehicle position information acquisition unit 2 is a locator that acquires vehicle position information, which is the position of the vehicle. The map information acquisition unit 3 uses the information of the vehicle position acquired from the vehicle position information acquisition unit 2 to acquire map information of the area around the vehicle including the vehicle position from the map information database. The lane area extraction unit 4 uses the vehicle position information acquired from the vehicle position information acquisition unit 2 and the map information acquired from the map information acquisition unit 3 to segment the road surface from the image acquired from the imaging unit 1. A lane mark is detected, and a lane area image is extracted from the image acquired from the imaging unit 1 using the lane mark. The vehicle traveling lane determination unit 5 determines the vehicle position information from the vehicle position information acquisition unit 2 and the map information acquired from the map information acquisition unit 3, or from the lane mark acquired from the lane area extraction unit 4. , determine the own vehicle driving lane in which the own vehicle is traveling.

検出領域抽出部６は、自車位置情報取得部２から取得した自車位置の情報と、地図情報取得部３から取得した地図情報と、自車走行車線判定部５から取得した自車走行車線の情報とを用いて、車線領域抽出部４から取得した車線領域画像から検出領域画像を抽出する。路面劣化検出部７は、自車位置情報取得部２から取得した自車位置の情報と、地図情報取得部３から取得した地図情報とを用いて、検出領域抽出部６から取得した検出領域画像から路面劣化を検出する。検出結果情報送信部８は、路面劣化検出部７が検出した路面劣化の情報を、路面劣化検出装置１００の外部に送信する。 The detection area extracting unit 6 extracts the vehicle position information obtained from the vehicle position information obtaining unit 2, the map information obtained from the map information obtaining unit 3, and the vehicle driving lane obtained from the vehicle driving lane determination unit 5. A detection area image is extracted from the lane area image acquired from the lane area extraction unit 4 using the information of . The road surface deterioration detection unit 7 uses the vehicle position information acquired from the vehicle position information acquisition unit 2 and the map information acquired from the map information acquisition unit 3 to generate the detection area image acquired from the detection area extraction unit 6. to detect road surface deterioration. The detection result information transmission unit 8 transmits the road surface deterioration information detected by the road surface deterioration detection unit 7 to the outside of the road surface deterioration detection device 100 .

路面劣化警報部１０は、路面劣化検出部７によって検出された路面劣化の情報および自車走行車線判定部５から取得した自車走行車線の情報をもとに、警報を発信する。警報判定部１１は、路面劣化検出部７によって検出された路面劣化の情報および自車走行車線判定部５から取得した自車走行車線の情報をもとに警報通知レベルを判定し、路面劣化が自車走行車線にあるときに警報通知レベルとして警報信号を出力し、路面劣化が自車走行車線にないときに警報通知レベルとして注意信号を出力する。警報発信部１２は、警報判定部１１から取得した警報通知レベルをもとに警報を発信する。画像生成部１３は、警報判定部１１から取得した警報通知レベルをもとに警報画像を生成する。画像出力部１４は、画像生成部１３から取得した警報画像を表示する。音声生成部１５は、警報判定部１１から取得した警報通知レベルをもとに警報音声を生成する。音声出力部１６は、音声生成部１５から取得した警報音声を出力する。振動発生部１７は、警報判定部１１から取得した警報通知レベルをもとに振動を発生させる。警報発信部１２は、画像生成部１３および画像出力部１４を備えた画像警報発信部と、音声生成部１５および音声出力部１６を備えた音声警報発信部と、振動発生部１７との、少なくとも１つを備えていればよい。 The road surface deterioration warning unit 10 issues a warning based on the road surface deterioration information detected by the road surface deterioration detection unit 7 and the vehicle driving lane information obtained from the vehicle driving lane determination unit 5 . The warning judgment unit 11 judges the warning notification level based on the road surface deterioration information detected by the road surface deterioration detection unit 7 and the vehicle driving lane information acquired from the vehicle driving lane determination unit 5, and detects road surface deterioration. A warning signal is output as the warning notification level when the vehicle is in the vehicle's driving lane, and a caution signal is output as the warning notification level when the road surface deterioration is not in the vehicle's driving lane. The alarm issuing unit 12 issues an alarm based on the alarm notification level acquired from the alarm determining unit 11 . The image generation unit 13 generates an alarm image based on the alarm notification level acquired from the alarm determination unit 11 . The image output section 14 displays the warning image acquired from the image generation section 13 . The sound generation unit 15 generates warning sound based on the warning notification level acquired from the warning determination unit 11 . The voice output unit 16 outputs the warning voice acquired from the voice generation unit 15 . The vibration generator 17 generates vibration based on the alarm notification level acquired from the alarm determination unit 11 . The alarm transmission unit 12 includes at least an image alarm transmission unit having an image generation unit 13 and an image output unit 14, an audio alarm transmission unit having an audio generation unit 15 and an audio output unit 16, and a vibration generation unit 17. All you have to do is have one.

次に、実施の形態１による路面劣化検出装置１００の動作について説明する。図２は、実施の形態１による路面劣化検出装置１００の動作を説明するフローチャートである。ステップＳ０１は撮像ステップであり、ステップＳ０２は自車位置情報取得ステップであり、ステップＳ０３は地図情報取得ステップであり、ステップＳ０４およびステップＳ０５は車線領域抽出ステップであり、ステップＳ０６は自車走行車線判定ステップである。ステップＳ０７、ステップＳ０８およびステップＳ０９は、検出領域抽出ステップである。ステップＳ１０およびステップＳ１１は路面劣化検出ステップである。 Next, the operation of road surface deterioration detection device 100 according to Embodiment 1 will be described. FIG. 2 is a flow chart for explaining the operation of the road surface deterioration detection device 100 according to the first embodiment. Step S01 is an imaging step, Step S02 is a vehicle position information acquisition step, Step S03 is a map information acquisition step, Steps S04 and S05 are lane area extraction steps, and Step S06 is a vehicle travel lane. This is the judgment step. Steps S07, S08 and S09 are detection area extraction steps. Steps S10 and S11 are road surface deterioration detection steps.

ステップＳ０１では、撮像部１は、路面を含む自車の周辺の画像を取得し、取得した画像を車線領域抽出部４に出力し、ステップＳ０２に進む。図３は、撮像部１を説明するための図である。図３は、自車２００に搭載された撮像部１が、自車２００の前方すなわち自車２００の進行方向を撮影している様子を示している。図３に示す例では、自車２００はレーンマーク２１、２２、２３，２４によって示された３つの車線のうち中央の車線を走行しており、中央の車線に路面劣化３０がある。撮像部１の画角θｃは、例えば１２０度とする。ただし、撮像部１の画角θｃは、１２０度に限るものではない。 In step S01, the imaging unit 1 acquires an image of the surroundings of the vehicle including the road surface, outputs the acquired image to the lane area extraction unit 4, and proceeds to step S02. FIG. 3 is a diagram for explaining the imaging unit 1. As shown in FIG. FIG. 3 shows how the imaging unit 1 mounted on the own vehicle 200 is photographing the front of the own vehicle 200, that is, the traveling direction of the own vehicle 200. As shown in FIG. In the example shown in FIG. 3, the own vehicle 200 is traveling in the center lane of the three lanes indicated by the lane marks 21, 22, 23 and 24, and the road surface deterioration 30 is present in the center lane. The angle of view θc of the imaging unit 1 is set to 120 degrees, for example. However, the angle of view θc of the imaging unit 1 is not limited to 120 degrees.

ステップＳ０２では、自車位置情報取得部２は、自車２００の位置である自車位置の情報を取得し、地図情報取得部３、車線領域抽出部４、自車走行車線判定部５、検出領域抽出部６および路面劣化検出部７に出力し、ステップＳ０３に進む。自車位置情報取得部２は、自車２００に搭載されている。自車位置情報取得部２は、自車位置の情報を取得する高精度ロケータ（ＨＤＬ：Ｈｉｇｈ－ＤｅｆｉｎｉｔｉｏｎＬｏｃａｔｏｒ）であり、例えば、位置情報が誤差３０ｃｍ以下のものである。自車位置情報取得部２は、自車２００の緯度および経度の位置情報が正確に観測できるＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）受信機でもよい。 In step S02, the vehicle position information acquisition unit 2 acquires vehicle position information, which is the position of the vehicle 200, and the map information acquisition unit 3, the lane area extraction unit 4, the vehicle traveling lane determination unit 5, the detection The data is output to the area extraction unit 6 and the road surface deterioration detection unit 7, and the process proceeds to step S03. The own vehicle position information acquisition unit 2 is mounted on the own vehicle 200 . The vehicle position information acquisition unit 2 is a high-definition locator (HDL: High-Definition Locator) that acquires information on the vehicle position. For example, the position information has an error of 30 cm or less. The vehicle position information acquisition unit 2 may be a GPS (Global Positioning System) receiver capable of accurately observing the latitude and longitude position information of the vehicle 200 .

ステップＳ０３では、地図情報取得部３は、ステップＳ０２で得られた自車位置の情報をもとに、自車位置を含む領域の地図情報を取得し、車線領域抽出部４、自車走行車線判定部５、検出領域抽出部６および路面劣化検出部７に出力し、ステップＳ０４に進む。図４は、地図情報取得部３における地図情報の取得を説明するための図である。地図情報取得部３は、インターネット１８を介して地図情報が格納されている地図情報データベース１９へアクセスすることにより、自車位置を含む領域の地図情報を得る。地図情報データベース１９に格納されている地図情報は、地図上に示された位置の属性情報として、一般道、高速道路、サービスエリア、私有地などのどのような場所であるかという情報を含んでいる。また、地図情報取得部３が取得する地図情報は、地図上に示された道路の道路情報を含んでおり、道路情報は、例えば、車線数、車線幅、工事中の車線の情報、渋滞中の車線の情報、中央分離帯の有無の情報である。よって、地図情報取得部３が取得する地図情報は、自車位置の属性情報および自車２００が走行する道路の道路情報を含んでいる。なお、例えば、自車２００に搭載したメモリにあらかじめ地図情報を格納しておき、地図情報取得部３がメモリにアクセスすることによって地図情報を取得するなど、地図情報取得部３が地図情報を取得する方法はどのようなものであっても構わない。 In step S03, the map information acquisition unit 3 acquires map information of an area including the vehicle position based on the information of the vehicle position obtained in step S02. It is output to the determination section 5, the detection area extraction section 6, and the road surface deterioration detection section 7, and the process proceeds to step S04. FIG. 4 is a diagram for explaining acquisition of map information by the map information acquisition unit 3. As shown in FIG. The map information acquisition unit 3 accesses the map information database 19 storing map information via the Internet 18 to acquire map information of an area including the vehicle position. The map information stored in the map information database 19 includes, as attribute information of the position shown on the map, information on what kind of place such as general roads, highways, service areas, private land, etc. . The map information acquired by the map information acquiring unit 3 includes road information of the roads shown on the map. lane information and information on the presence or absence of a median strip. Therefore, the map information acquired by the map information acquisition unit 3 includes attribute information of the vehicle position and road information of the road on which the vehicle 200 travels. Note that, for example, map information is stored in advance in a memory mounted on the vehicle 200, and the map information acquisition unit 3 acquires the map information by accessing the memory. Any method is acceptable.

ステップＳ０４では、車線領域抽出部４は、ステップＳ０２で得られた自車位置の情報と、ステップＳ０３で得られた地図情報とから、自車２００が走行している道路の車線数を取得し、ステップＳ０５に進む。例えば、図３に示す例においては、ステップＳ０４において車線領域抽出部４において取得される車線数は「３」となる。 In step S04, lane area extraction unit 4 acquires the number of lanes of the road on which vehicle 200 is traveling from the vehicle position information obtained in step S02 and the map information obtained in step S03. , the process proceeds to step S05. For example, in the example shown in FIG. 3, the number of lanes acquired by the lane area extraction unit 4 in step S04 is "3".

ステップＳ０５では、車線領域抽出部４は、ステップＳ０４で得られた車線数の情報を用いて、撮像部１において取得された画像から車線領域画像を抽出し、検出領域抽出部６に出力し、ステップＳ０６に進む。図５は、図３に示す例において撮像部１において取得された画像の一部を示す図である。車線領域抽出部４は、撮像部１において取得された図５に示された画像から、画像処理によって路面の車線を区分するレーンマーク２１、２２、２３，２４を検出する。画像処理によってレーンマーク２１、２２、２３，２４を検出するときに、ステップＳ０４において得られた車線数から検出するレーンマークの数の上限値を設定して、レーンマークを検出する。例えば、ステップＳ０４において車線数として「３」が得られたときは、検出するレーンマークの数は最大で「４」となる。レーンマークの検出は、例えば、ソーベル（Ｓｏｂｅｌ）フィルタあるいはキャニー（Ｃａｎｎｙ）フィルタなどによって画像上の各画素の輝度または彩度の勾配情報からエッジを検出するエッジ検出処理を用いる。 In step S05, the lane area extraction unit 4 extracts a lane area image from the image acquired by the imaging unit 1 using the information on the number of lanes obtained in step S04, and outputs the lane area image to the detection area extraction unit 6, Proceed to step S06. FIG. 5 is a diagram showing a part of the image acquired by the imaging unit 1 in the example shown in FIG. The lane area extraction unit 4 detects lane marks 21, 22, 23, and 24 that separate the lanes on the road surface from the image shown in FIG. When the lane marks 21, 22, 23, and 24 are detected by image processing, the upper limit of the number of lane marks to be detected is set based on the number of lanes obtained in step S04, and the lane marks are detected. For example, when "3" is obtained as the number of lanes in step S04, the maximum number of detected lane marks is "4". Lane mark detection uses, for example, edge detection processing for detecting edges from luminance or saturation gradient information of each pixel on the image using a Sobel filter or a Canny filter.

地図情報は、地図上に示された位置の属性情報として一般道、高速道路、サービスエリア、私有地などのどのような場所であるかという情報を含んでおり、自車位置と地図情報とから自車位置の属性情報を取得することができる。車線領域抽出部４は、ステップＳ０２で得られた自車位置の情報と、ステップＳ０３で得られた地図情報とから、自車位置の属性情報を取得し、自車位置の属性情報に応じてエッジ検出処理の検出基準である２つの閾値を変更する。図６は、地図上に示された位置の属性情報について説明するための図である。図６では、自車２００が一般道６１からトンネル６３を通過し、一般道６２に移動する例を示している。自車２００が一般道６１あるいは一般道６２を走行しているときは自車位置の属性情報は「一般道」となり、自車２００がトンネル６３を走行しているときは自車位置の属性情報は「トンネル」となる。図７は、自車位置の属性情報とエッジ検出処理の検出基準である２つの閾値との関係を示す図である。車線領域抽出部４は、図７に示すテーブルに従って、図６において自車２００が一般道６１あるいは一般道６２を走行しているときはエッジ検出処理の２つの閾値を（６０、１３０）に設定してエッジ検出処理を行い、自車２００がトンネル６３を走行しているときはエッジ検出処理の２つの閾値を（３０、７０）に設定してエッジ検出処理を行う。なお、図７に示した値は一例であり、属性情報とエッジ検出処理の閾値の関係は、エッジ検出処理の２つの閾値は自車位置においてレーンマークが検出しやすい値であればよい。 The map information includes information such as general roads, highways, service areas, private land, etc. as attribute information of the position shown on the map. Attribute information of the car position can be acquired. Lane area extraction unit 4 acquires the attribute information of the vehicle position from the information of the vehicle position obtained in step S02 and the map information obtained in step S03, and according to the attribute information of the vehicle position, Two thresholds, which are detection criteria for edge detection processing, are changed. FIG. 6 is a diagram for explaining the attribute information of the positions shown on the map. FIG. 6 shows an example in which the own vehicle 200 passes through a tunnel 63 from a general road 61 and moves to a general road 62 . When the vehicle 200 is traveling on the general road 61 or the general road 62, the attribute information of the vehicle position is "general road", and when the vehicle 200 is traveling through the tunnel 63, the attribute information of the vehicle position. becomes a "tunnel". FIG. 7 is a diagram showing the relationship between the attribute information of the vehicle position and two thresholds that are detection criteria for edge detection processing. According to the table shown in FIG. 7, the lane area extraction unit 4 sets two thresholds for edge detection processing to (60, 130) when the vehicle 200 is traveling on the general road 61 or 62 in FIG. When the vehicle 200 is traveling through the tunnel 63, two thresholds for edge detection are set to (30, 70) and edge detection is performed. Note that the values shown in FIG. 7 are just an example, and the relationship between the attribute information and the threshold value for the edge detection processing should be such that the two threshold values for the edge detection processing can easily detect the lane mark at the position of the vehicle.

車線領域抽出部４におけるレーンマークの検出は、エッジ検出処理に限るものではなく、機械学習を用いた検出など、レーンマークを検出できる処理であればどのようなものでもよい。例えば、レーンマークの検出に機械学習を用いる場合は、自車位置の属性情報に応じて機械学習の検出基準である教師データを変更する。このように、自車位置の属性情報をもとにレーンマークを検出するときの検出基準を変更することにより、レーンマークをより正確に検出することができ、レーンマークの未検知あるいは誤検知を抑制することができる。その結果、路面劣化をより正確に検出することができる。 The detection of lane marks in the lane area extraction unit 4 is not limited to edge detection processing, and any processing that can detect lane marks, such as detection using machine learning, may be used. For example, when machine learning is used to detect lane marks, teacher data, which is a detection criterion for machine learning, is changed according to the attribute information of the vehicle position. In this way, by changing the detection criteria for lane mark detection based on the attribute information of the vehicle's position, it is possible to detect lane marks more accurately and prevent undetected or erroneous detection of lane marks. can be suppressed. As a result, road surface deterioration can be detected more accurately.

図８は、車線領域抽出部４においてエッジ検出処理の閾値の決定方法の別の一例を説明するための図である。車線領域抽出部４におけるレーンマークの検出をエッジ検出処理で行うとき、図８に示すように、撮像部１から取得した画像において輝度検出領域５６を設定し、輝度検出領域５６における輝度の平均値を求め、求めた輝度の平均値に応じてエッジ検出処理の２つの閾値を変更してもよい。また、輝度検出領域５６における明度の値あるいは輝度検出領域５６における彩度の値に応じて、エッジ検出処理の２つの閾値を変更してもよい。 FIG. 8 is a diagram for explaining another example of a method of determining a threshold value for edge detection processing in the lane area extraction unit 4. In FIG. When detection of lane marks in the lane area extraction unit 4 is performed by edge detection processing, as shown in FIG. may be obtained, and the two thresholds for edge detection processing may be changed according to the obtained average luminance value. Also, the two thresholds for the edge detection process may be changed according to the brightness value in the brightness detection area 56 or the saturation value in the brightness detection area 56 .

次に、車線領域抽出部４は、撮像部１において取得された図５に示された画像から、検出されたレーンマーク２１、２２、２３、２４と、上限ライン４１と、下限ライン４２とで囲まれたそれぞれの領域の画像を、車線領域画像５１、５２、５３として抽出し、検出領域抽出部６に出力する。車線領域画像の抽出は、検出されたレーンマーク２１、２２、２３、２４を境として、車線領域画像を切り分けるものとする。上限ライン４１および下限ライン４２はあらかじめ定められたものであり、例えば、上限ライン４１は撮像部１において取得された画像の１／２の高さのラインとし、下限ライン４２は撮像部１において取得された画像の下端のラインとする。上限ライン４１および下限ライン４２は、上記に限るものではなく、高さまたは傾きが変化してもよく、直線でなくてもよく、レーンマーク２１、２２、２３、２４と上限ライン４１と下限ライン４２とで囲まれた領域のそれぞれの画像を車線領域画像として抽出できるものであればよい。複数の車線を１つの領域とするのではなく、例えば、図５に示された３つの車線領域画像５１、５２、５３を区別して抽出することにより、自車位置および地図情報から得られる情報を用いて、それぞれの車線の位置関係、例えば、自車走行車線か否か、対向車線か否かなどを、それぞれの車線において判断することができ、後述の検出領域抽出部６において必要な領域の車線領域画像のみを検出領域画像として抽出することができる。 Next, the lane area extraction unit 4 extracts the detected lane marks 21, 22, 23, and 24, the upper limit line 41, and the lower limit line 42 from the image shown in FIG. The images of the respective enclosed areas are extracted as lane area images 51 , 52 and 53 and output to the detection area extraction section 6 . The lane area image is extracted by dividing the lane area image with the detected lane marks 21, 22, 23, and 24 as boundaries. The upper limit line 41 and the lower limit line 42 are determined in advance. For example, the upper limit line 41 is a line half the height of the image acquired by the imaging unit 1, and the lower limit line 42 is acquired by the imaging unit 1. be the bottom line of the image. The upper limit line 41 and the lower limit line 42 are not limited to the above. 42 can be extracted as a lane area image. For example, by distinguishing and extracting three lane area images 51, 52, and 53 shown in FIG. can be used to determine the positional relationship of each lane, for example, whether it is the lane in which the vehicle is traveling or whether it is the oncoming lane. Only the lane area image can be extracted as the detection area image.

ステップＳ０６では、自車走行車線判定部５は、ステップＳ０２で得られた自車位置およびステップＳ０３で得られた地図情報から、自車２００が走行する自車走行車線を判定し、検出領域抽出部６および警報判定部１１に出力し、ステップＳ０７に進む。地図情報は、道路情報として少なくとも道路の車線数を含んでおり、道路情報として道路の車線幅を含んでいてもよい。地図上の道路上の自車位置と、自車位置の道路の車線数とから、自車２００が走行する自車走行車線を判定することができる。自車走行車線の判定には、自車位置の道路の車線幅の情報を用いてもよい。なお、ステップＳ０５において抽出された車線領域画像が１つのみの場合は、抽出された車線領域画像が示す車線を自車走行車線とする。 In step S06, vehicle driving lane determination unit 5 determines the vehicle driving lane in which vehicle 200 travels from the vehicle position obtained in step S02 and the map information obtained in step S03, and extracts a detection area. Output to the unit 6 and the alarm determination unit 11, and proceed to step S07. The map information includes at least the number of lanes of the road as road information, and may include the lane width of the road as the road information. From the position of the vehicle on the road on the map and the number of lanes on the road at the position of the vehicle, the lane in which the vehicle 200 runs can be determined. Information on the lane width of the road on which the vehicle is located may be used to determine the lane in which the vehicle is traveling. If only one lane area image is extracted in step S05, the lane indicated by the extracted lane area image is set as the vehicle driving lane.

あるいは、ステップＳ０６では、自車走行車線判定部５は、車線領域抽出部４において検出されたレーンマーク２１、２２、２３、２４の情報を用いて自車２００が走行する自車走行車線を判定してもよい。自車２００の進行方向の路面を撮影した図５に示す例では、図５に示す画像の上下方向に対するレーンマーク２１、２２、２３、２４のそれぞれの傾きをθ１、θ２、θ３、θ４とすると、レーンマーク２１、２２は正の傾きを持っておりレーンマーク２３、２４は負の傾きを持っているといえる。このときに、正の勾配を持ったレーンマーク２２と負の勾配を持ったレーンマーク２３に挟まれた車線領域画像５２の車線を、自車両走行車線と判定する。このように、ステップＳ０６では、自車走行車線判定部５は、車線領域抽出部４において検出されたレーンマーク２１、２２、２３、２４のそれぞれの傾きの違いから、自車走行車線を判定してもよい。なお、ステップＳ０５において検出されたレーンマークが２つであり、抽出された車線領域画像が１つのみの場合は、抽出された車線領域画像の車線を自車走行車線とする。 Alternatively, in step S06, the own vehicle traveling lane determination unit 5 uses the information of the lane marks 21, 22, 23, and 24 detected by the lane area extraction unit 4 to determine the own vehicle traveling lane in which the vehicle 200 travels. You may In the example shown in FIG. 5, in which the road surface in the traveling direction of the vehicle 200 is photographed, let θ1, θ2, θ3, and θ4 be the inclinations of the lane marks 21, 22, 23, and 24 with respect to the vertical direction of the image shown in FIG. , the lane marks 21 and 22 have a positive slope, and the lane marks 23 and 24 have a negative slope. At this time, the lane of the lane area image 52 sandwiched between the lane mark 22 with a positive gradient and the lane mark 23 with a negative gradient is determined as the vehicle's driving lane. In this way, in step S06, the vehicle driving lane determination unit 5 determines the vehicle driving lane based on the difference in inclination of each of the lane marks 21, 22, 23, and 24 detected by the lane region extraction unit 4. may If two lane marks are detected in step S05 and only one lane area image is extracted, the lane of the extracted lane area image is set as the vehicle's driving lane.

ステップＳ０７では、検出領域抽出部６は、ステップＳ０２で得られた自車位置と、ステップＳ０３で得られた地図情報と、ステップＳ０６で得られた自車走行車線の情報とを用いて、ステップＳ０５で得られた車線領域画像から検出領域画像を抽出し、ステップＳ０８に進む。ステップＳ０３で得られた地図情報は、自車２００が走行する道路の道路情報を含んでいる。よって、ステップＳ０７では、検出領域抽出部６は、自車位置と地図情報に含まれる道路情報とから自車２００が走行する道路の道路情報を取得し、自車２００が走行する道路の道路情報を用いて検出領域画像を抽出する。 In step S07, the detection area extracting unit 6 uses the vehicle position obtained in step S02, the map information obtained in step S03, and the vehicle driving lane information obtained in step S06 to perform step A detection area image is extracted from the lane area image obtained in S05, and the process proceeds to step S08. The map information obtained in step S03 includes road information of the road on which vehicle 200 travels. Therefore, in step S07, the detection area extracting unit 6 acquires the road information of the road on which the vehicle 200 travels from the vehicle position and the road information included in the map information. is used to extract the detection area image.

図９は、実施の形態１における検出領域抽出部６の動作を説明するための図である。図９は、ステップＳ０５において車線領域画像５１、５２、５３ａの３つの車線領域画像が抽出され、ステップＳ０６において車線領域画像５２の車線が自車走行車線と判定された例を示している。検出領域抽出部６は、例えば、自車２００が走行する道路の道路情報として車線領域画像５３ａの車線が工事中であるという情報を取得した場合、車線領域画像５１および車線領域画像５２を検出領域画像として抽出し、車線領域画像５３ａは検出領域画像としては抽出しない。図１０は、実施の形態１における検出領域抽出部６の動作を説明するための別の一例を示した図である。図１０は、ステップＳ０５においてレーンマーク２１、２２、２３、２５、２６から車線領域画像５１、５２、５４、５５の４つの画像が抽出され、ステップＳ０６において車線領域画像５２の車線が自車走行車線と判定された例を示している。検出領域抽出部６は、例えば、自車２００が走行する道路の道路情報として、自車２００が走行する道路の中央に中央分離帯２７が敷設されているという情報を取得した場合、車線領域画像５１および車線領域画像５２を検出領域画像として抽出し、対向車線に位置する車線領域画像５４および車線領域画像５５は検出領域画像としては抽出しない。 FIG. 9 is a diagram for explaining the operation of the detection area extraction unit 6 according to the first embodiment. FIG. 9 shows an example in which three lane area images 51, 52, and 53a are extracted in step S05, and the lane of the lane area image 52 is determined to be the vehicle driving lane in step S06. For example, when the detection area extracting unit 6 acquires the information that the lane of the lane area image 53a is under construction as the road information of the road on which the vehicle 200 travels, the detection area extracting unit 6 extracts the lane area image 51 and the lane area image 52 as the detection area. image, and the lane area image 53a is not extracted as a detection area image. 10A and 10B are diagrams showing another example for explaining the operation of the detection area extraction unit 6 according to Embodiment 1. FIG. 10, four images of lane area images 51, 52, 54, and 55 are extracted from the lane marks 21, 22, 23, 25, and 26 in step S05, and the lane of the lane area image 52 is detected in step S06. The example determined as a lane is shown. For example, when the detection area extracting unit 6 acquires the information that the median strip 27 is laid in the center of the road on which the vehicle 200 is traveling as the road information of the road on which the vehicle 200 is traveling, the detection area extraction unit 6 extracts the lane area image 51 and lane area image 52 are extracted as detection area images, and lane area images 54 and 55 located in the oncoming lane are not extracted as detection area images.

図１１は、車線の道路情報と抽出領域画像として抽出するか否かとの関係を示す図である。例えば、図１１に示すテーブルをあらかじめ記憶しておき、検出領域抽出部６は、車線の道路情報と図１１に示すテーブルとから、それぞれの車線領域画像を検出領域画像として抽出するかどうかを判断する。図１１に示す例では、車線の道路情報が「中央分離帯がないときの対向車線」の場合は検出領域画像として抽出し、車線の道路情報が「工事中」の場合は検出領域画像として抽出しない。なお、検出領域抽出部６は、自車２００の周辺の敷設物あるいは標識に応じて車線領域画像から検出領域画像を抽出してもよい。このように、自車位置、道路情報および自車走行車線の情報を用いて車線領域画像から検出領域画像を抽出することにより、路面劣化を検出する必要のない車線領域画像を路面劣化の検出対象から除外することができ、路面劣化の誤検出を減らすことができるとともに、路面劣化の検出の処理を少なくすることができる。 FIG. 11 is a diagram showing the relationship between road information of lanes and whether or not to extract as an extraction area image. For example, the table shown in FIG. 11 is stored in advance, and the detection area extraction unit 6 determines whether or not to extract each lane area image as the detection area image based on the road information of lanes and the table shown in FIG. do. In the example shown in FIG. 11, when the road information of the lane is "oncoming lane with no median", it is extracted as a detection area image, and when the road information of the lane is "under construction", it is extracted as a detection area image. do not do. Note that the detection area extraction unit 6 may extract the detection area image from the lane area image in accordance with the objects or signs around the vehicle 200 . In this way, by extracting the detection area image from the lane area image using the vehicle position, road information, and information on the lane in which the vehicle is traveling, the lane area image that does not need to detect road surface deterioration can be detected as a road surface deterioration detection target. , the erroneous detection of road surface deterioration can be reduced, and the processing for detecting road surface deterioration can be reduced.

ステップＳ０８では、検出領域抽出部６は、検出領域画像が抽出されたかどうかを確認し、検出領域画像が抽出されたときはステップＳ０９に進み、検出領域画像が抽出されなかったときはステップＳ０１に戻る。ステップＳ０９では、検出領域抽出部６は、ステップＳ０２で得られた自車位置の情報と、ステップＳ０３で得られた地図情報に含まれる属性情報とから、自車位置は路面劣化の検出対象か否かを判断する。自車位置が路面劣化の検出対象であると判断されたときは、検出領域画像を路面劣化検出部７に出力し、ステップＳ１０に進む。自車位置が路面劣化の検出対象ではないと判断されたときは、ステップＳ０１に戻る。図１２は、自車位置の属性情報と路面劣化の検出対象か否かとの関係を示す図である。例えば、図１２に示すテーブルをあらかじめ記憶しておき、検出領域抽出部６は、自車位置の属性情報と図１２に示すテーブルとから自車位置は路面劣化の検出対象か否かを判断する。図１２に示す例では、自車位置の属性情報が「一般道」の場合は路面劣化の検出対象であると判断し、自車位置の属性情報が「サービスエリア」の場合は路面劣化の検出対象ではないと判断する。 In step S08, the detection area extraction unit 6 confirms whether or not the detection area image has been extracted. If the detection area image has been extracted, the process proceeds to step S09, and if the detection area image has not been extracted, the process proceeds to step S01. return. In step S09, the detection area extracting unit 6 determines whether the vehicle position is a road surface deterioration detection target based on the information on the vehicle position obtained in step S02 and the attribute information included in the map information obtained in step S03. determine whether or not When it is determined that the vehicle position is subject to detection of road surface deterioration, the detection area image is output to the road surface deterioration detecting section 7, and the process proceeds to step S10. When it is determined that the vehicle position is not the road surface deterioration detection target, the process returns to step S01. FIG. 12 is a diagram showing the relationship between the attribute information of the vehicle position and whether or not road surface deterioration is to be detected. For example, the table shown in FIG. 12 is stored in advance, and the detection area extracting unit 6 determines whether or not the vehicle position is subject to detection of road surface deterioration based on the attribute information of the vehicle position and the table shown in FIG. . In the example shown in FIG. 12, when the attribute information of the vehicle position is "general road", it is determined that road surface deterioration is to be detected, and when the attribute information of the vehicle position is "service area", road surface deterioration is detected. determined not to be covered.

ステップＳ１０では、路面劣化検出部７は、検出領域抽出部６から出力された検出領域画像から路面劣化を検出し、ステップＳ１１に進む。例えば、検出領域抽出部６から図５の車線領域画像５２が検出領域画像として出力されたときは、路面劣化検出部７は、車線領域画像５２から路面劣化３０を検出する。図５では、路面劣化３０をひび割れとして示しているが、検出する路面劣化はひび割れに限るものではなく、穴、轍など、路面に現れた不具合であればどのようのものでも構わない。また、路面劣化検出部７が検出する対象は、路面劣化だけでなく、路面上の落下物、道路外からはみ出した倒れ枝など、走行に悪影響があり修繕する必要があるものを対象としてもよい。 In step S10, the road surface deterioration detection unit 7 detects road surface deterioration from the detection area image output from the detection area extraction unit 6, and the process proceeds to step S11. For example, when the lane area image 52 shown in FIG. In FIG. 5, the road surface deterioration 30 is shown as cracks, but the road surface deterioration to be detected is not limited to cracks, and any defect that appears on the road surface, such as holes and ruts, may be used. In addition, the road surface deterioration detection unit 7 detects not only the road surface deterioration, but also objects such as fallen objects on the road surface and fallen branches protruding from the road, which adversely affect driving and need to be repaired. .

路面劣化３０の検出は、例えば、ソーベル（Ｓｏｂｅｌ）フィルタあるいはキャニー（Ｃａｎｎｙ）フィルタなどによって画像上の各画素の輝度または彩度の勾配情報からエッジを検出するエッジ検出処理を用いる。路面劣化検出部７は、例えば、キャニー（Ｃａｎｎｙ）フィルタによってエッジ検出処理を行う。路面劣化検出部７は、ステップＳ０２で得られた自車位置の情報と、ステップＳ０３で得られた地図情報とから、自車位置の属性情報を取得し、自車位置の属性情報に応じてエッジ検出処理の検出基準である２つの閾値を変更する。路面劣化検出部７は、例えば、車線領域抽出部４と同様に、図７に示すテーブルに従って、自車位置の属性情報に応じてエッジ検出処理の検出基準である２つの閾値を変更する。なお、図７に示した値は一例であり、属性情報とエッジ検出処理の閾値の関係は、エッジ検出処理の２つの閾値は自車位置において路面劣化３０が検出しやすい値であればよい。 The detection of the road surface deterioration 30 uses, for example, edge detection processing that detects edges from luminance or saturation gradient information of each pixel on the image using a Sobel filter or a Canny filter. The road surface deterioration detection unit 7 performs edge detection processing using, for example, a Canny filter. The road surface deterioration detection unit 7 acquires the attribute information of the vehicle position from the information of the vehicle position obtained in step S02 and the map information obtained in step S03, and detects the attribute information of the vehicle position according to the attribute information of the vehicle position. Two thresholds, which are detection criteria for edge detection processing, are changed. For example, like the lane area extraction unit 4, the road surface deterioration detection unit 7 changes two threshold values that are detection criteria for edge detection processing according to the table shown in FIG. Note that the values shown in FIG. 7 are just an example, and the relationship between the attribute information and the threshold value for edge detection processing should be such that the two threshold values for edge detection processing can easily detect road surface deterioration 30 at the position of the vehicle.

路面劣化検出部７における路面劣化３０の検出は、エッジ検出処理に限るものではなく、機械学習を用いた検出など、路面劣化３０を検出できる処理であればどのようなものでもよい。例えば、路面劣化３０の検出に機械学習を用いる場合は、自車位置の属性情報に応じて機械学習の検出基準である教師データを変更する。このように、自車位置の属性情報をもとに路面劣化３０を検出するときの検出基準を変更することにより、路面劣化３０をより正確に検出することができ、路面劣化の未検知あるいは誤検知を抑制することができる。 Detection of the road surface deterioration 30 by the road surface deterioration detection unit 7 is not limited to edge detection processing, and any processing that can detect the road surface deterioration 30, such as detection using machine learning, may be used. For example, when machine learning is used to detect the road surface deterioration 30, teacher data, which is a detection standard for machine learning, is changed according to the attribute information of the vehicle position. In this way, by changing the detection criteria for detecting the road surface deterioration 30 based on the attribute information of the vehicle position, the road surface deterioration 30 can be detected more accurately, and the road surface deterioration can be undetected or erroneously detected. Detection can be suppressed.

路面劣化検出部７は、車線領域抽出部４と同様に、図８に示すように検出領域画像において輝度検出領域５６を設定し、輝度検出領域５６における輝度の平均値を求め、求めた輝度の平均値に応じてエッジ検出処理の２つの閾値を変更してもよい。また、輝度検出領域５６における明度の値あるいは輝度検出領域５６における彩度の値に応じて、エッジ検出処理の２つの閾値を変更してもよい。 Similarly to the lane area extraction unit 4, the road surface deterioration detection unit 7 sets a luminance detection area 56 in the detection area image as shown in FIG. Two thresholds for edge detection processing may be changed according to the average value. Also, the two thresholds for the edge detection process may be changed according to the brightness value in the brightness detection area 56 or the saturation value in the brightness detection area 56 .

ステップＳ１１では、路面劣化検出部７は、路面劣化３０が検出されたかどうかを確認する。路面劣化３０が検出されたときは、検出された路面劣化の情報を検出結果情報送信部８および警報判定部１１に出力し、ステップＳ１２に進む。路面劣化３０が検出されなかったときは、ステップＳ０１に戻る。 In step S11, the road surface deterioration detector 7 confirms whether the road surface deterioration 30 has been detected. When the road surface deterioration 30 is detected, information on the detected road surface deterioration is output to the detection result information transmitting section 8 and the alarm determination section 11, and the process proceeds to step S12. When road surface deterioration 30 is not detected, the process returns to step S01.

ステップＳ１２では、検出結果情報送信部８は、路面劣化検出部７から取得した検出された路面劣化の情報に路面劣化を検出したときの自車位置の情報を付加したデータを、路面劣化検出装置１００の外部に送信する。送信先は、例えば、路面劣化情報データベースである。図１３は、検出結果情報送信部８におけるデータの送信を説明するための図である。検出結果情報送信部８は、例えば、インターネット１８を介してデータを路面劣化情報データベース２０に送信する。検出結果情報送信部８は、路面劣化検出部７から取得した検出された路面劣化の情報に、路面劣化を検出したときの自車位置の情報を付加したデータを、クラウドに送信してもよい。検出結果情報送信部８によって検出された路面劣化の情報を路面劣化情報データベース２０あるいはクラウドに送信することにより、路面劣化情報データベース２０あるいはクラウドにおいて複数の車両からの路面劣化の情報をまとめて解析することができ、より信頼性の高い路面劣化の情報を得ることができる。 In step S12, the detection result information transmitting unit 8 transmits data obtained by adding information on the vehicle position when road surface deterioration is detected to the detected road surface deterioration information acquired from the road surface deterioration detecting unit 7 to the road surface deterioration detecting device. 100 outside. The destination is, for example, a road surface deterioration information database. FIG. 13 is a diagram for explaining data transmission in the detection result information transmission unit 8. As shown in FIG. The detection result information transmission unit 8 transmits data to the road surface deterioration information database 20 via the Internet 18, for example. The detection result information transmitting unit 8 may transmit data obtained by adding information on the position of the vehicle when road surface deterioration is detected to information on the detected road surface deterioration acquired from the road surface deterioration detecting unit 7 to the cloud. . By transmitting the road surface deterioration information detected by the detection result information transmitting unit 8 to the road surface deterioration information database 20 or the cloud, the road surface deterioration information from a plurality of vehicles is collectively analyzed in the road surface deterioration information database 20 or the cloud. It is possible to obtain more reliable road surface deterioration information.

以下においては、警報発信部１２が、画像生成部１３および画像出力部１４を備えた画像警報発信部と、音声生成部１５および音声出力部１６を備えた音声警報発信部と、振動発生部１７とを備えた場合の動作について説明する。ステップＳ１３では、警報判定部１１は、ステップＳ０６で得られた自車走行車線の情報およびステップＳ１０で得られた路面劣化の情報から、警報通知レベルを判定して画像生成部１３、音声生成部１５および振動発生部１７に出力し、ステップＳ１４に進む。図１４は、警報判定部１１および画像生成部１３の動作を説明するための図である。図１４は、車線領域画像５２の車線が自車走行車線であり、路面劣化３１が自車走行車線の外側で検出された例を示している。警報判定部１１は、路面劣化３１の画像上の位置を示すバウンディングボックス３３が自車走行車線である車線領域画像５２の領域に重なっていない場合は、警報通知レベルとして注意信号を画像生成部１３、音声生成部１５および振動発生部１７に出力する。図１５は、警報判定部１１および画像生成部１３の動作を説明するための別の図である。図１５は、車線領域画像５２の車線が自車走行車線であり、路面劣化３２が自車走行車線の中で検出された例を示している。警報判定部１１は、路面劣化３２の画像上の位置を示すバウンディングボックス３４が自車走行車線である車線領域画像５２の領域に一部でも重なっている場合は、警報通知レベルとして警報信号を画像生成部１３、音声生成部１５および振動発生部１７に出力する。 In the following description, the alarm transmission unit 12 includes an image alarm transmission unit including an image generation unit 13 and an image output unit 14, an audio alarm transmission unit including an audio generation unit 15 and an audio output unit 16, and a vibration generation unit 17. The operation in the case of having and will be described. In step S13, the warning determination unit 11 determines the warning notification level based on the information on the lane in which the vehicle is traveling obtained in step S06 and the information on the road surface deterioration obtained in step S10. 15 and the vibration generator 17, and proceeds to step S14. 14A and 14B are diagrams for explaining the operations of the alarm determination unit 11 and the image generation unit 13. FIG. FIG. 14 shows an example in which the lane of the lane area image 52 is the lane in which the vehicle is traveling, and road surface deterioration 31 is detected outside the lane in which the vehicle is traveling. When the bounding box 33 indicating the position of the road surface deterioration 31 on the image does not overlap the area of the lane area image 52, which is the lane in which the vehicle is traveling, the warning determination unit 11 outputs a caution signal as the warning notification level to the image generation unit 13. , to the sound generator 15 and the vibration generator 17 . FIG. 15 is another diagram for explaining the operations of the warning determination unit 11 and the image generation unit 13. FIG. FIG. 15 shows an example in which the lane of the lane area image 52 is the lane in which the vehicle is traveling, and the road surface deterioration 32 is detected in the lane in which the vehicle is traveling. When the bounding box 34 indicating the position of the road surface deterioration 32 on the image overlaps even partially with the area of the lane area image 52, which is the lane in which the vehicle is traveling, the alarm determination unit 11 sets the alarm signal to the image as the alarm notification level. It outputs to the generation unit 13 , the sound generation unit 15 and the vibration generation unit 17 .

警報判定部１１は、警報通知レベルを警報信号のみとして、警報判定部１１は、路面劣化３２の画像上の位置を示すバウンディングボックス３４が自車走行車線である車線領域画像５２の領域に一部でも重なっている場合は、すなわち、路面劣化３２が自車走行車線である車線領域画像５２にあるときに、警報通知レベルとして警報信号を画像生成部１３、音声生成部１５および振動発生部１７に出力してもよい。警報判定部１１は、路面劣化が検出されたときに常に警報信号を出力するのではなく、路面劣化が自車走行車線にあるときに警報信号を出力するので、ドライバーに不要な緊張を与えることが無い。 The alarm judgment unit 11 sets the alarm notification level to only the alarm signal, and the alarm judgment unit 11 determines that the bounding box 34 indicating the position on the image of the road surface deterioration 32 is part of the lane area image 52 in which the vehicle is traveling. However, if they overlap, that is, when the road surface deterioration 32 is in the lane area image 52 that is the lane in which the vehicle is traveling, a warning signal is sent to the image generation unit 13, the sound generation unit 15, and the vibration generation unit 17 as the warning notification level. may be output. The warning determination unit 11 does not always output a warning signal when road surface deterioration is detected, but outputs a warning signal when road surface deterioration is present in the own vehicle's driving lane, thereby giving the driver unnecessary strain. There is no

ステップＳ１４では、画像生成部１３は、警報判定部１１から取得した警報通知レベルをもとに警報画像を作成して画像出力部１４に出力し、ステップＳ１５に進む。図１４に示す例では、画像生成部１３は、警報判定部１１から注意信号を受け取り、路面劣化３１が自車走行車線の外側で検出されたことを示す警報画像７１を生成し、警報画像７１を画像出力部１４に出力する。あるいは、画像生成部１３は、警報判定部１１から注意信号を受け取り、路面劣化３１が自車走行車線の外側で検出されたことを示す警報画像７１を生成し、警報画像７１に撮像部１から取得した画像を重畳して図１４に示すような警報画像を生成して、画像出力部１４に出力してもよい。図１５に示す例では、画像生成部１３は、警報判定部１１から警報信号を受け取り、路面劣化３１が自車走行車線に検出されたことを示す警報画像７２を生成し、警報画像７２を画像出力部１４に出力する。あるいは、画像生成部１３は、警報判定部１１から警報信号を受け取り、路面劣化３１が自車走行車線に検出されたことを示す警報画像７２を生成し、警報画像に撮像部１から取得した画像を重畳して図１５に示すような警報画像を生成して、画像出力部１４に出力してもよい。なお、警報画像７１，７２は、図１４および図１５に示したものに限るものではなく、警報を認識できるものであればどのようなものでも構わない。ステップＳ１５では、画像出力部１４は、ステップＳ１４において生成された警報画像を表示し、ステップＳ１６に進む。これにより、自車２００を運転するドライバーは、警報画像を確認することにより、自車２００の周辺に路面劣化が検出されたことを認識することができる。 In step S14, the image generation unit 13 creates an alarm image based on the alarm notification level acquired from the alarm determination unit 11, outputs the alarm image to the image output unit 14, and proceeds to step S15. In the example shown in FIG. 14, the image generation unit 13 receives a caution signal from the warning determination unit 11, generates a warning image 71 indicating that the road surface deterioration 31 is detected outside the lane in which the vehicle is traveling, and generates the warning image 71. is output to the image output unit 14 . Alternatively, the image generation unit 13 receives the warning signal from the warning determination unit 11 , generates a warning image 71 indicating that the road surface deterioration 31 is detected outside the lane in which the vehicle is traveling, and generates the warning image 71 from the imaging unit 1 The acquired images may be superimposed to generate an alarm image as shown in FIG. 14 and output to the image output unit 14 . In the example shown in FIG. 15, the image generation unit 13 receives the warning signal from the warning determination unit 11, generates a warning image 72 indicating that the road surface deterioration 31 has been detected in the lane in which the vehicle is traveling, and displays the warning image 72 as an image. Output to the output unit 14 . Alternatively, the image generation unit 13 receives the warning signal from the warning determination unit 11, generates a warning image 72 indicating that the road surface deterioration 31 has been detected in the lane in which the vehicle is traveling, and uses the image acquired from the imaging unit 1 as the warning image. may be superimposed to generate an alarm image as shown in FIG. Note that the warning images 71 and 72 are not limited to those shown in FIGS. 14 and 15, and may be of any type as long as the warning can be recognized. In step S15, the image output unit 14 displays the warning image generated in step S14, and proceeds to step S16. As a result, the driver driving the own vehicle 200 can recognize that road surface deterioration has been detected around the own vehicle 200 by checking the warning image.

ステップＳ１６では、音声生成部１５は、警報判定部１１から警報判定部１１から取得した警報通知レベルをもとに自車２００の周辺に路面劣化が検出されたことを伝える音声信号を生成し、音声出力部１６に出力し、ステップＳ１７に進む。音声生成部１５は、例えば、警報信号を受け取ったときに音声信号を生成し音声出力部１６に出力し、注意信号を受け取ったときには音声信号は生成しないようにしてもよい。音声生成部１５は、警報信号を受け取ったときと注意信号を受け取ったときで、異なる音声信号を生成してもよい。ステップＳ１７では、音声出力部１６は、音声生成部１５において生成された音声信号を音として出力して、ステップＳ１８に進む。これにより、自車２００を運転するドライバーは、音声出力部１６から発せられる音を確認することにより、自車２００の周辺に路面劣化が検出されたことを認識することができる。 In step S16, the sound generating unit 15 generates a sound signal that conveys that road surface deterioration has been detected around the vehicle 200 based on the alarm notification level acquired from the alarm determining unit 11, Output to the voice output unit 16, and proceed to step S17. For example, the sound generator 15 may generate a sound signal and output it to the sound output unit 16 when an alarm signal is received, and may not generate a sound signal when a caution signal is received. The audio generator 15 may generate different audio signals when receiving an alarm signal and when receiving a caution signal. In step S17, the audio output unit 16 outputs the audio signal generated by the audio generation unit 15 as sound, and the process proceeds to step S18. Accordingly, the driver driving the own vehicle 200 can recognize that road surface deterioration has been detected around the own vehicle 200 by confirming the sound emitted from the voice output unit 16 .

ステップＳ１８では、振動発生部１７は、警報判定部１１から取得した警報通知レベルをもとに振動を発生させることにより自車２００の周辺に路面劣化が検出されたことを自車２００のドライバーに伝え、処理を終了する。振動発生部１７は、例えば、ドライバーのシートあるいはハンドルに振動を発生させるものである。振動によって路面劣化が検出されたことをドライバーに知らせるものであればどのようなものでもよい。振動発生部１７は、例えば、警報信号を受け取ったときに振動を発生させ、注意信号を受け取ったときには振動を発生させないようにしてもよい。振動発生部１７は、警報信号を受け取ったときと注意信号を受け取ったときで、異なる振動を発生させてもよい。これにより、自車２００を運転するドライバーは、振動発生部１７から発せられる振動を確認することにより、自車２００の周辺に路面劣化が検出されたことを認識することができる。 In step S18, the vibration generator 17 notifies the driver of the vehicle 200 that road surface deterioration has been detected around the vehicle 200 by generating vibration based on the alarm notification level acquired from the alarm determination unit 11. and terminate the process. The vibration generator 17 is for generating vibrations in the driver's seat or steering wheel, for example. Any vibration that informs the driver that road surface deterioration has been detected may be used. For example, the vibration generator 17 may generate vibration when receiving an alarm signal and may not generate vibration when receiving a caution signal. The vibration generator 17 may generate different vibrations depending on whether the alarm signal is received or the caution signal is received. As a result, the driver driving the own vehicle 200 can recognize that road surface deterioration has been detected around the own vehicle 200 by confirming the vibration generated from the vibration generating section 17 .

なお、路面劣化検出装置の作動中は、図２に示すステップＳ０１からステップＳ１８の処理が繰り返し行われる。 During operation of the road surface deterioration detecting device, the processing from step S01 to step S18 shown in FIG. 2 is repeatedly performed.

以上のように、実施の形態１による路面劣化検出装置１００は、自車２００に搭載され路面を含む画像を取得する撮像部１と、自車２００の位置である自車位置の情報を取得する自車位置情報取得部２と、自車位置を含む領域の地図情報を取得する地図情報取得部３と、画像から路面の車線を区分するレーンマークを検出し、レーンマークを用いて画像から車線領域画像を抽出する車線領域抽出部４と、自車位置および地図情報から、あるいは、レーンマークから、自車２００が走行する自車走行車線を判定する自車走行車線判定部５と、車線領域画像から検出領域画像を抽出する検出領域抽出部６と、検出領域画像から路面劣化を検出する路面劣化検出部７とを備え、地図情報は、少なくとも道路の車線数を含む道路情報および地図上の位置の属性情報を含み、検出領域抽出部６は、自車位置、道路情報および自車走行車線の情報を用いて車線領域画像から検出領域画像を抽出し、路面劣化検出部７は、自車位置および属性情報をもとに路面劣化を検出するときの検出基準を変更するので、精度よく路面劣化を検出することができる。 As described above, the road surface deterioration detection apparatus 100 according to Embodiment 1 includes the imaging unit 1 mounted on the own vehicle 200 to obtain an image including the road surface, and the own vehicle position information, which is the position of the own vehicle 200. A vehicle position information acquisition unit 2, a map information acquisition unit 3 for acquiring map information of an area including the vehicle position, a lane mark that separates lanes on the road surface from the image, and lane markings from the image using the lane mark. A lane area extracting unit 4 for extracting an area image, a vehicle traveling lane determination unit 5 for determining a vehicle traveling lane in which the vehicle 200 travels from the vehicle position and map information or from lane marks, and a lane area. A detection area extraction unit 6 for extracting a detection area image from an image, and a road surface deterioration detection unit 7 for detecting road surface deterioration from the detection area image. The detection area extracting unit 6 extracts the detection area image from the lane area image using the vehicle position, road information, and vehicle driving lane information. Since the detection criteria for detecting road surface deterioration are changed based on the position and attribute information, road surface deterioration can be detected with high accuracy.

また実施の形態１による路面劣化検出装置１００は、精度よく路面劣化を検出することができるので、検出された路面劣化の情報を路面劣化情報データベース２０に送信するときに、路面劣化の誤検出による送信データの増大を抑制することができる。また、敷設物の管理者または修繕者は、より信頼度の高いデータが蓄積された路面劣化情報データベース２０を利用することができる。 Further, since the road surface deterioration detection apparatus 100 according to Embodiment 1 can detect road surface deterioration with high accuracy, when transmitting information on the detected road surface deterioration to the road surface deterioration information database 20, it is possible to An increase in transmission data can be suppressed. In addition, the administrator or repairer of the paved object can use the road surface deterioration information database 20 in which highly reliable data is accumulated.

図１６は、実施の形態１における路面劣化検出装置１００のハードウェアの一例を示す模式図である。撮像部１はカメラ３０３であり、自車位置情報取得部２はロケータ３０４であり、地図情報取得部３は送受信機３０５であり、検出結果情報送信部８は送信機３０６であり、画像出力部１４はディスプレイ３０７であり、音声出力部１６はスピーカ３０８であり、振動発生部１７は振動器３０９である。車線領域抽出部４、自車走行車線判定部５、検出領域抽出部６、路面劣化検出部７、警報判定部１１、画像生成部１３および音声生成部１５は、メモリ３０２に記憶されたプログラムを実行するＣＰＵ、システムＬＳＩ等のプロセッサ３０１により実現される。また、複数の処理回路が連携して上記機能を実行してもよい。さらに、専用のハードウェアによって上記機能を実現してもよい。専用のハードウェアによって上記機能を実現する場合は、専用のハードウェアは、例えば、単一回路、複合回路、プログラム化されたプロセッサ、ＡＳＩＣ、ＦＰＧＡ、あるいは、これらを組み合わせたものである。上記機能は、専用ハードウェアとソフトウェアとの組み合わせ、あるいは、専用ハードウェアとファームウェアとの組み合わせによって実現してもよい。プロセッサ３０１、メモリ３０２、カメラ３０３、ロケータ３０４、送受信機３０５、送信機３０６、ディスプレイ３０７、スピーカ３０８および振動器３０９は、互いにバス接続されている。 FIG. 16 is a schematic diagram showing an example of hardware of the road surface deterioration detection device 100 according to the first embodiment. The imaging unit 1 is a camera 303, the vehicle position information acquisition unit 2 is a locator 304, the map information acquisition unit 3 is a transceiver 305, the detection result information transmission unit 8 is a transmitter 306, and the image output unit. 14 is a display 307 , the audio output section 16 is a speaker 308 , and the vibration generating section 17 is a vibrator 309 . Lane area extraction unit 4, vehicle traveling lane determination unit 5, detection area extraction unit 6, road surface deterioration detection unit 7, warning determination unit 11, image generation unit 13, and sound generation unit 15 execute programs stored in memory 302. It is implemented by a processor 301 such as a CPU for execution and a system LSI. Also, a plurality of processing circuits may work together to perform the functions described above. Furthermore, the above functions may be realized by dedicated hardware. Where dedicated hardware implements the above functions, the dedicated hardware may be, for example, a single circuit, multiple circuits, a programmed processor, an ASIC, an FPGA, or a combination thereof. The above functions may be realized by a combination of dedicated hardware and software, or a combination of dedicated hardware and firmware. Processor 301, memory 302, camera 303, locator 304, transceiver 305, transmitter 306, display 307, speaker 308 and vibrator 309 are bussed together.

本願は、例示的な実施の形態が記載されているが、実施の形態に記載された様々な特徴、態様、および機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
したがって、例示されていない無数の変形例が、本願に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合が含まれるものとする。 Although the present application describes exemplary embodiments, the various features, aspects, and functions described in the embodiments are not limited to application of particular embodiments, alone or Various combinations are applicable to the embodiments.
Therefore, countless modifications not illustrated are envisioned within the scope of the technology disclosed in the present application. For example, the modification, addition, or omission of at least one component shall be included.

１撮像部、２自車位置情報取得部、３地図情報取得部、４車線領域抽出部、５自車走行車線判定部、６検出領域抽出部、７路面劣化検出部、８検出結果情報送信部、１０路面劣化警報部、１１警報判定部、１２警報発信部、１３画像生成部、１４画像出力部、１５音声生成部、１６音声出力部、１７振動発生部、１８インターネット、１９地図情報データベース、２０路面劣化情報データベース、２１、２２、２３、２４、２５、２６レーンマーク、２７中央分離帯、３０、３１、３２路面劣化、３３、３４バウンディングボックス、４１上限ライン、４２下限ライン、５１、５２、５３、５３ａ、５４、５５車線領域画像、５６輝度検出領域、６１、６２一般道、６３トンネル、７１、７２警報画像、１００路面劣化検出装置、２００自車、３０１プロセッサ、３０２メモリ、３０３カメラ、３０４ロケータ、３０５送受信機、３０６送信機、３０７ディスプレイ、３０８スピーカ、３０９振動器。 1 Imaging unit 2 Vehicle position information acquisition unit 3 Map information acquisition unit 4 Lane area extraction unit 5 Vehicle traveling lane determination unit 6 Detection area extraction unit 7 Road surface deterioration detection unit 8 Detection result information transmission unit 10 road surface deterioration warning unit 11 warning determination unit 12 warning transmission unit 13 image generation unit 14 image output unit 15 sound generation unit 16 sound output unit 17 vibration generation unit 18 Internet 19 map information database, 20 road surface deterioration information database, 21, 22, 23, 24, 25, 26 lane mark, 27 median strip, 30, 31, 32 road surface deterioration, 33, 34 bounding box, 41 upper limit line, 42 lower limit line, 51, 52 , 53, 53a, 54, 55 lane area image, 56 luminance detection area, 61, 62 general road, 63 tunnel, 71, 72 warning image, 100 road surface deterioration detection device, 200 own vehicle, 301 processor, 302 memory, 303 camera , 304 locator, 305 transceiver, 306 transmitter, 307 display, 308 speaker, 309 vibrator.

Claims

自車に搭載され路面を含む画像を取得する撮像部と、
前記自車の位置である自車位置の情報を取得する自車位置情報取得部と、
前記自車位置を含む領域の地図情報を取得する地図情報取得部と、
前記画像から前記路面の車線を区分するレーンマークを検出し、前記レーンマークを用いて前記画像から車線領域画像を抽出する車線領域抽出部と、
前記自車位置および前記地図情報から、あるいは、前記レーンマークから、前記自車が走行する自車走行車線を判定する自車走行車線判定部と、
前記車線領域画像から検出領域画像を抽出する検出領域抽出部と、
前記検出領域画像から路面劣化を検出する路面劣化検出部とを備え、
前記地図情報は、少なくとも道路の車線数を含む道路情報および地図上の位置の属性情報を含み、
前記検出領域抽出部は、前記自車位置、前記道路情報および前記自車走行車線の情報を用いて前記車線領域画像から前記検出領域画像を抽出し、
前記路面劣化検出部は、前記自車位置および前記属性情報をもとに前記路面劣化を検出するときの検出基準を変更することを特徴とする路面劣化検出装置。 an imaging unit that is mounted on the vehicle and acquires an image including the road surface;
a vehicle position information acquiring unit that acquires vehicle position information, which is the position of the vehicle;
a map information acquisition unit that acquires map information of an area including the vehicle position;
a lane area extraction unit that detects lane marks that separate lanes on the road surface from the image and extracts a lane area image from the image using the lane marks;
an own vehicle traveling lane determination unit that determines an own vehicle traveling lane in which the own vehicle travels from the vehicle position and the map information or from the lane mark;
a detection area extraction unit that extracts a detection area image from the lane area image;
A road surface deterioration detection unit that detects road surface deterioration from the detection area image,
The map information includes at least road information including the number of lanes of the road and attribute information of the position on the map,
The detection area extraction unit extracts the detection area image from the lane area image using the vehicle position, the road information, and the information on the vehicle's driving lane,
The road surface deterioration detection device, wherein the road surface deterioration detection unit changes a detection criterion for detecting the road surface deterioration based on the vehicle position and the attribute information.

前記路面劣化検出部によって検出された前記路面劣化の情報を外部に送信する検出結果情報送信部を備えたことを特徴とする請求項１に記載の路面劣化検出装置。 2. The road surface deterioration detection device according to claim 1, further comprising a detection result information transmission section that transmits information of the road surface deterioration detected by the road surface deterioration detection section to the outside.

前記路面劣化検出部によって検出された前記路面劣化の情報および前記自車走行車線の情報をもとに警報を発信する路面劣化警報部を備えたことを特徴とする請求項１または２に記載の路面劣化検出装置。 3. The vehicle according to claim 1, further comprising a road surface deterioration warning unit that issues an alarm based on the road surface deterioration information detected by the road surface deterioration detection unit and the vehicle driving lane information. Road surface deterioration detector.

前記路面劣化警報部は、
前記路面劣化検出部によって検出された前記路面劣化の情報および前記自車走行車線の情報をもとに警報通知レベルを判定する警報判定部と、
前記警報通知レベルをもとに警報を発信する警報発信部とを備えたことを特徴とする請求項３に記載の路面劣化検出装置。 The road surface deterioration warning unit
an alarm determination unit that determines an alarm notification level based on the road surface deterioration information detected by the road surface deterioration detection unit and the vehicle driving lane information;
4. The road surface deterioration detection device according to claim 3, further comprising an alarm issuing unit that issues an alarm based on the alarm notification level.

前記警報判定部は、前記路面劣化検出部によって検出された前記路面劣化が前記自車走行車線にあるときに前記警報通知レベルを出力することを特徴とする請求項４に記載の路面劣化検出装置。 5. The road surface deterioration detection device according to claim 4, wherein the warning determination unit outputs the alarm notification level when the road surface deterioration detected by the road surface deterioration detection unit is present in the lane in which the vehicle is traveling. .

前記警報発信部は、
前記警報通知レベルをもとに警報画像を生成する画像生成部と、
前記警報画像を表示する画像出力部とを備えたことを特徴とする請求項４または５に記載の路面劣化検出装置。 The alarm transmission unit
an image generation unit that generates an alarm image based on the alarm notification level;
6. The road surface deterioration detection device according to claim 4, further comprising an image output unit that displays the warning image.

前記警報発信部は、
前記警報通知レベルをもとに警報音声を生成する画像生成部と、
前記警報音声を出力する音声出力部とを備えたことを特徴とする請求項４から６のいずれか１項に記載の路面劣化検出装置。 The alarm transmission unit
an image generator that generates an alarm sound based on the alarm notification level;
7. The road surface deterioration detection device according to any one of claims 4 to 6, further comprising an audio output unit that outputs the warning audio.

前記警報発信部は、
前記警報通知レベルをもとに振動を発生させる振動発生部を備えたことを特徴とする請求項４から７のいずれか１項に記載の路面劣化検出装置。 The alarm transmission unit
8. The road surface deterioration detection device according to any one of claims 4 to 7, further comprising a vibration generator that generates vibration based on the alarm notification level.

前記車線領域抽出部は、前記属性情報をもとに前記レーンマークを検出するときの検出基準を変更することを特徴とする請求項１から８のいずれか１項に記載の路面劣化検出装置。 9. The road surface deterioration detection device according to claim 1, wherein the lane area extraction unit changes detection criteria for detecting the lane mark based on the attribute information.

撮像部と自車位置情報取得部と地図情報取得部と車線領域抽出部と自車走行車線判定部と検出領域抽出部と路面劣化検出部とを備えた路面劣化検出装置によって路面劣化を検出する路面劣化検出方法であって、
自車に搭載された前記撮像部が、路面を含む画像を取得する撮像ステップと、
前記自車位置情報取得部が、前記自車の位置である自車位置の情報を取得する自車位置情報取得ステップと、
前記地図情報取得部が、前記自車位置を含む領域の地図情報を取得する地図情報取得ステップと、
前記車線領域抽出部が、前記画像から前記路面の車線を区分するレーンマークを検出し、前記レーンマークを用いて前記画像から車線領域画像を抽出する車線領域抽出ステップと、
前記自車走行車線判定部が、前記自車位置および前記地図情報から、あるいは、前記レーンマークから、前記自車が走行する自車走行車線を判定する自車走行車線判定ステップと、
前記検出領域抽出部が、前記車線領域画像から検出領域画像を抽出する検出領域抽出ステップと、
前記路面劣化検出部が、前記検出領域画像から前記路面劣化を検出する路面劣化検出ステップとを含む路面劣化検出方法であり、
前記地図情報は、地図上の位置の属性情報および少なくとも道路の車線数を含む道路情報を含み、
前記検出領域抽出ステップでは、前記自車位置、前記道路情報および前記自車走行車線の情報を用いて前記車線領域画像から前記検出領域画像を抽出し、
前記路面劣化検出ステップでは、前記自車位置および前記属性情報をもとに前記路面劣化を検出するときの検出基準を変更することを特徴とする路面劣化検出方法。 Road surface deterioration is detected by a road surface deterioration detection device including an imaging unit, a vehicle position information acquisition unit, a map information acquisition unit, a lane area extraction unit, a vehicle traveling lane determination unit, a detection area extraction unit, and a road surface deterioration detection unit. A road surface deterioration detection method comprising:
an imaging step in which the imaging unit mounted on the own vehicle acquires an image including the road surface;
a vehicle position information acquisition step in which the vehicle position information acquisition unit acquires vehicle position information , which is the position of the vehicle;
a map information obtaining step in which the map information obtaining unit obtains map information of an area including the vehicle position;
a lane area extracting step in which the lane area extracting unit detects lane marks that separate lanes on the road surface from the image, and extracts a lane area image from the image using the lane marks;
a vehicle driving lane determination step in which the vehicle driving lane determination unit determines a vehicle driving lane in which the vehicle is traveling from the vehicle position and the map information or from the lane marks;
a detection area extracting step in which the detection area extraction unit extracts a detection area image from the lane area image;
a road surface deterioration detecting step in which the road surface deterioration detecting unit detects the road surface deterioration from the detection area image;
The map information includes attribute information of locations on the map and road information including at least the number of lanes of the road,
In the detection area extraction step, the detection area image is extracted from the lane area image using the vehicle position, the road information, and the vehicle driving lane information,
In the road surface deterioration detection step, a road surface deterioration detecting method is characterized in that a detection criterion for detecting the road surface deterioration is changed based on the vehicle position and the attribute information.