WO2020158262A1 - 劣化診断装置、劣化診断システム、劣化診断方法、記録媒体 - Google Patents

劣化診断装置、劣化診断システム、劣化診断方法、記録媒体 Download PDF

Info

Publication number
WO2020158262A1
WO2020158262A1 PCT/JP2019/050653 JP2019050653W WO2020158262A1 WO 2020158262 A1 WO2020158262 A1 WO 2020158262A1 JP 2019050653 W JP2019050653 W JP 2019050653W WO 2020158262 A1 WO2020158262 A1 WO 2020158262A1
Authority
WO
WIPO (PCT)
Prior art keywords
captured image
captured
road surface
image
photographed
Prior art date
Application number
PCT/JP2019/050653
Other languages
English (en)
French (fr)
Inventor
奈々 十文字
英徳 塚原
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/426,127 priority Critical patent/US20220101509A1/en
Priority to JP2020569451A priority patent/JP6947316B2/ja
Publication of WO2020158262A1 publication Critical patent/WO2020158262A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N17/00—Investigating resistance of materials to the weather, to corrosion, or to light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a deterioration diagnosis device, a deterioration diagnosis system, a deterioration diagnosis method, and a recording medium.
  • Public facilities such as road surfaces and guide signs installed on the roadside will deteriorate over time.
  • the administration diagnoses the deterioration of public equipment that deteriorates over time and maintains the deteriorated public equipment. A great deal of labor is required to diagnose such deterioration of public facilities.
  • Patent Document 1 discloses a technique of an apparatus for analyzing cracks in pavement.
  • Paragraph 0011 of Patent Document 1 describes that by illuminating the road surface with the light of the vehicle, the road surface is photographed at night without the influence of sunlight to improve the detection accuracy of cracks.
  • Patent Document 2 discloses a technique for early detection of the occurrence of potholes on the pavement.
  • paragraphs 0044 to 0045 of Patent Document 2 it is described that in the evaluation of aging deterioration of asphalt, a survey is performed at night under a predetermined illuminance environment so that cracks can be clearly confirmed.
  • an object of the present invention is to provide a deterioration diagnosis device, a deterioration diagnosis system, a deterioration diagnosis method, and a recording medium which solve the above-mentioned problems.
  • the deterioration diagnosis device includes a captured image acquisition unit that acquires a captured image from a capturing device that is provided on a moving body that travels on a road surface and captures the road surface, and the captured image.
  • a photographed image extracting unit that extracts a photographed image that is photographed at night from the image and that is photographed in a situation where the road surface is illuminated, and the road surface is deteriorated by using the extracted photographed image.
  • Deterioration diagnosis means for diagnosing whether or not there is.
  • the deterioration diagnosis system includes a captured image acquisition unit that acquires a captured image from a capturing device that is provided on a moving body that travels on a road surface and captures the road surface, and the captured image.
  • a photographed image extracting unit that extracts a photographed image that is photographed at night from the image and that is photographed in a situation where the road surface is illuminated, and the road surface is deteriorated by using the extracted photographed image.
  • Deterioration diagnosis means for diagnosing whether or not there is.
  • a deterioration diagnosis method is such that a captured image is acquired from an image capturing device that is provided on a moving body that travels on a road surface and captures the road surface.
  • the method includes extracting a photographed image that is photographed and photographed in a state where the road surface is illuminated, and using the extracted photographed image to diagnose whether the road surface is deteriorated.
  • the recording medium in a computer, acquires a captured image from an imaging device provided on a moving body traveling on a road for capturing the road surface, and from the acquired captured image, Extracting a photographed image photographed at night and in a situation where the road surface is illuminated, and executing a diagnosis whether the road surface is deteriorated by using the extracted photographed image
  • the program in a computer, acquires a captured image from an imaging device provided on a moving body traveling on a road for capturing the road surface, and from the acquired captured image, Extracting a photographed image photographed at night and in a situation where the road surface is illuminated, and executing a diagnosis whether the road surface is deteriorated by using the extracted photographed image
  • FIG. 1 shows the outline
  • It is a 1st figure which shows the functional block of the deterioration diagnostic apparatus by the 1st Embodiment of this invention.
  • It is a 2nd figure which shows the functional block of the deterioration diagnostic apparatus by the 1st Embodiment of this invention.
  • FIG. 1 is a diagram showing an outline of a deterioration diagnosis system 100 including a deterioration diagnosis device according to the first embodiment.
  • the deterioration diagnosis system 100 is configured by connecting the deterioration diagnosis device 1 and the drive recorder 2 via a wireless communication network or a wired communication network.
  • the deterioration diagnosis device 1 is, for example, a computer server (cloud server) installed by a company that performs deterioration diagnosis and connected to a communication network.
  • the drive recorder 2 is provided in each of the plurality of moving bodies. In FIG. 1, the example in which the moving body is the vehicle 20 is described.
  • the moving body may include an autonomous vehicle.
  • the drive recorder 2 has a camera and transmits a captured image of the outside of the vehicle 20 to the deterioration diagnostic device 1.
  • FIG. 2 is a hardware configuration diagram of the deterioration diagnosis device 1.
  • the deterioration diagnosis device 1 includes hardware such as a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, an HDD (Hard Disk Drive) 104, and a communication module 105. It is a computer equipped with clothing.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • HDD Hard Disk Drive
  • FIG. 3 is a first diagram showing the functional blocks of the deterioration diagnostic device 1.
  • the deterioration diagnosing device 1 is activated when the power is turned on, and executes a deterioration diagnosing program stored in advance.
  • the deterioration diagnosis device 1 includes the control unit (control unit) 11, the acquisition unit (acquisition unit) 12, the captured image extraction unit (captured image extraction unit) 13, the deterioration diagnosis unit (degradation diagnosis unit) 14, and the diagnosis result generation unit.
  • Each function of (diagnosis result generating means) 15 and output section (output means) 16 is exerted.
  • the control unit 11 controls each functional unit of the deterioration diagnostic device 1.
  • the acquisition unit 12 acquires a captured image captured by the drive recorder 2 attached to the vehicle 20 and sensing information generated by the vehicle 20 and other devices by sensing with various sensors.
  • the sensing information includes vehicle position information (latitude, longitude), time, illuminance, on/off information of the lighting device, and the like.
  • the captured image extraction unit 13 extracts, from the captured images, a captured image captured at night, in which the road surface is illuminated. That is, the captured image extraction unit 13 extracts a captured image captured at night and under the condition that the road surface is illuminated.
  • the deterioration diagnosis unit 14 performs deterioration diagnosis of the road surface by using the captured image of the situation where the road surface is illuminated.
  • the diagnosis result generation unit 15 generates diagnosis result information based on the result of deterioration diagnosis.
  • the output unit 16 outputs the diagnosis result information and the like to a predetermined output destination.
  • An example of the output destination may be, for example, a computer or the like used by a person in charge of administration who diagnoses, inspects, and maintains the deterioration of public facilities.
  • FIG. 4 is a second diagram showing the functional blocks of the deterioration diagnostic device 1.
  • the above-mentioned photographed image extraction unit 13 exhibits the functions of the first photographed image extraction unit (first photographed image extraction means) 131 and the second photographed image extraction unit (second photographed image extraction means) 132.
  • the first captured image extraction unit 131 extracts a captured image captured at night from the captured images received from the drive recorder 2. More specifically, the first captured image extraction unit 131 extracts a captured image captured at night based on the capturing time. Alternatively, the first captured image extraction unit 131 extracts a captured image captured at night based on the illuminance information.
  • the first captured image extraction unit 131 extracts a captured image captured at night based on the operating state of the illumination device that illuminates the road surface provided in the vehicle 20.
  • the second captured image extraction unit 132 extracts, from the captured images captured at night, the captured image captured under the condition where the road surface is illuminated.
  • FIG. 5 is a diagram showing a hardware configuration of the drive recorder 2.
  • the drive recorder 2 includes a sensor 21, a communication device 22, a camera 23, a control device 24, a storage device 25, and the like.
  • the sensor 21 is a sensing device such as a GPS sensor.
  • the sensor 21 may be a device that senses other information.
  • the sensor 21 may be a device that further detects an on or off operation state of the headlight.
  • the communication device 22 is communicatively connected to the deterioration diagnostic device 1.
  • the camera 23 captures an image of the road surface ahead of which the vehicle 20 travels and generates a moving image and a still image thereof.
  • the controller 24 controls each function of the drive recorder 2.
  • the storage device 25 stores the moving image, the still image, and the sensing information transmitted by the drive recorder 2.
  • the drive recorder 2 is communicatively connected to the deterioration diagnostic device 1 via a base station or the like.
  • the control device 24 of the drive recorder 2 is a computer including a CPU, ROM, RAM and the like.
  • FIG. 6 is a first diagram showing the functional blocks of the control device provided in the drive recorder 2.
  • the control device 24 executes the control program when the drive recorder 2 is activated. Accordingly, the control device 24 causes the vehicle information acquisition unit (vehicle information acquisition unit) 241, the position information acquisition unit (position information acquisition unit) 242, the illuminance information acquisition unit (illuminance information acquisition unit) 243, and the image generation unit (image generation unit). ) 245, a sensing information transmitting unit (sensing information transmitting unit) 246, and an image transmitting unit (image transmitting unit) 248.
  • vehicle information acquisition unit vehicle information acquisition unit
  • position information acquisition unit position information acquisition unit
  • illuminance information acquisition unit luminance information acquisition unit
  • image generation unit image generation unit
  • the vehicle information acquisition unit 241 acquires vehicle information including information (driver ID, vehicle type, vehicle ID) about the vehicle 20 recorded in the memory inserted in the drive recorder 2 and time information output by a timer. ..
  • the vehicle information may include information indicating the operating state (on or off) of the headlight.
  • the position information acquisition unit 242 acquires position information (latitude information, longitude information) according to the time of the vehicle from the sensor 213 or the like.
  • the illuminance information acquisition unit 243 acquires the illuminance obtained from an illuminometer provided near the windshield inside the vehicle in the vehicle 20.
  • the illuminance meter is one mode of the sensor 21, and is provided in the vehicle 20 to detect that the road surface is illuminated.
  • the image generation unit 245 acquires image data including at least one of a moving image and a still image from the camera 23 by capturing an image with the camera 23, and generates captured images for upload at predetermined intervals based on the image data. And output.
  • the sensing information transmission unit 246 instructs the communication device 22 to transmit sensing information such as vehicle information and position information.
  • the image transmission unit 248 instructs the communication device 22 to transmit the captured image generated by the image generation unit 245.
  • the deterioration diagnosis apparatus 1 acquires a captured image from a photographing device that is provided on a moving body that travels on a road surface and that captures a road surface. Therefore, a photographed image photographed in a situation where the road surface is illuminated is extracted. Then, the deterioration diagnosis device 1 performs the deterioration diagnosis of the road surface by using the photographed image photographed under the condition that the road surface is illuminated. As a result, the deterioration diagnosis device 1 can improve the accuracy of determining whether or not the road has deteriorated. Further, the deterioration diagnosis device 1 can determine deterioration states of many traveling paths based on captured images and sensing information acquired from many vehicles 20.
  • FIG. 7 is a first diagram showing a processing flow of the drive recorder 2.
  • the processing flow of the drive recorder 2 will be described step by step.
  • the transmission process of the sensing information in the drive recorder 2 will be described.
  • the drive recorder 2 starts its operation (step S101).
  • the sensor 21 of the drive recorder 2 starts various sensings after the drive recorder 2 is started (step S102).
  • the camera 23 also starts shooting (step S103).
  • the vehicle information acquisition unit 241 of the control device 24 acquires vehicle information (driver ID, vehicle type, vehicle ID) (step S104). Further, the position information acquisition unit 242 acquires position information (latitude information, longitude information) from the sensor 21 at predetermined time intervals (step S105). Further, the illuminance information acquisition unit 243 acquires the illuminance information (step S106). The sensing information transmission unit 246 acquires vehicle information, position information (latitude information, longitude information), and illuminance information, and generates sensing information including those information, the current time, the ID of the drive recorder 2, and the like (step S107). ).
  • the sensing information transmitting unit 246 requests the communication device 22 to transmit the sensing information to the deterioration diagnostic device 1.
  • the communication device 22 transmits the sensing information to the deterioration diagnostic device 1 (step S108).
  • the control device 24 determines whether the processing is completed (step S109), and repeats the processing from step S102 until the processing is completed.
  • FIG. 8 is a second diagram showing the processing flow of the drive recorder 2.
  • the image generation unit 245 acquires image data including at least one of a moving image and a still image from the camera 23 by photographing with the camera 23 (step S301).
  • the image generation unit 145 generates captured images for upload at predetermined intervals based on the acquired image data (step S302).
  • the image generation unit 145 instructs the image transmission unit 248 to transmit the generated captured image.
  • the image generation unit 145 includes information such as generation time (or shooting time), vehicle position information (latitude information, longitude information), drive recorder 2 ID (identifier), driver ID, and the like as attribute information in the data indicated by the captured image. May be included.
  • the image transmission unit 248 transmits the captured image to the deterioration diagnostic device 1 via the communication device 22 (step S303).
  • FIG. 9 is a first diagram showing a processing flow of the deterioration diagnosis device 1.
  • the acquisition unit 12 acquires the sensing information transmitted by the communication device 22 of the vehicle 20 via the communication module 105 (step S401).
  • the acquisition unit 12 also acquires the captured image transmitted by the communication device 22 of the vehicle 20 (step S402).
  • the acquisition unit 12 outputs the captured image to the captured image extraction unit 13. Further, the acquisition unit 12 outputs the sensing information to the captured image extraction unit 13 and the deterioration diagnosis unit 14.
  • the first captured image extraction unit 131 acquires illuminance information from the sensing information.
  • the first captured image extraction unit 131 acquires time information included in the sensing information.
  • the first captured image extraction unit 131 determines whether the time indicated by the time information is the time indicating night (step S403).
  • the first captured image extraction unit 131 instructs the second captured image extraction unit 132 to start processing when the time is indicated by the time information but indicates the night time.
  • the nighttime may be a period from sunset to sunrise. Sunset may be when the upper edge of the sun touches the western horizon. Sunrise may be when the upper edge of the sun touches the eastern horizon.
  • the second captured image extraction unit 132 acquires the illuminance information included in the sensing information when the time indicated by the time information is the time indicating night.
  • the second captured image extraction unit 132 determines whether the illuminance indicated by the illuminance information is included in the range of illuminance in the environment where the road surface is illuminated (step S404). This determination is one mode of determining whether or not the illuminance condition required for deterioration diagnosis is satisfied.
  • the second captured image extraction unit 132 captures at that time.
  • the captured image thus taken is extracted (step S405). That is, when the illuminance indicated by the illuminance information is included in the range of the illuminance in the environment where the road surface is illuminated, the second captured image extraction unit 132 is associated with the illuminance information (sensing information). Extract the captured image.
  • the second captured image extraction unit 132 illuminates the road surface with the illuminance indicated by the illuminance information acquired from the sensing information without using the time information in determining whether the illuminance condition required for the deterioration diagnosis is satisfied. You may perform the process which determines whether it is included in the range of illuminance when it is an environment.
  • the captured image extraction unit 13 similarly extracts a captured image when the illuminance information is included in the range.
  • the second captured image extraction unit 132 may use information on the operating state of the lighting device that illuminates the road surface in determining whether the illuminance condition required for deterioration diagnosis is satisfied.
  • a device that obtains information indicating that the headlight of the vehicle 20, which is one aspect of the lighting device, is on, for example, the vehicle information including the on/off state of the headlight is directly transmitted to the deterioration diagnosis device 1.
  • the drive recorder 2 acquires information indicating that the headlight of the vehicle 20, which is one aspect of the lighting device, is turned on from the sensor that detects the on/off, and the drive recorder 2 stores the information in the vehicle information. It may be transmitted to the deterioration diagnostic device 1.
  • the second captured image extraction unit 132 of the deterioration diagnosis device 1 detects that the headlight is turned on based on the vehicle information.
  • the second captured image extraction unit 132 matches the time information included in the vehicle information, or sets the time information that comes back and forth within a predetermined time range based on the time.
  • the included captured image is extracted from the captured images acquired in step S402.
  • the operating condition of the lighting device when extracting the images taken at night is that the headlight is on, and/or the high beam of the headlight is on and the fog lamp is on. May be a condition.
  • the vehicle information includes high beam on/off information and fog lamp on/off information.
  • the second captured image extraction unit 132 may use the operation state of the street light in determining whether the illuminance condition required for deterioration diagnosis is satisfied.
  • the second captured image extraction unit 132 determines the operating state of the street light by detecting the operating state of the street light from information received from another device or the captured image.
  • the deterioration diagnosis device 1 receives the street light management information including the operation state of the street light from the street light management server connected by communication.
  • the street light management information includes at least one of the position information of each street light and the current operating state (lighted or unlit).
  • the second captured image extraction unit 132 acquires the position information of each street light and at least one piece of information on the current operating state (lighting or extinguishing) from the street light management information.
  • the second captured image extraction unit 132 based on the position information of each street light, if there is a street light in a predetermined range (a range such as a radius of 10 m) with the current position of the vehicle 20 as a reference, Get operating status.
  • a predetermined range a range such as a radius of 10 m
  • the second captured image extraction unit 132 extracts the captured image acquired in the vicinity thereof from the captured images acquired in step S402.
  • the second captured image extraction unit 132 detects whether the street light is turned on or off in the captured image by image analysis, and uses the result to perform the same operation.
  • the photographed image acquired in the vicinity of the street lamp that is lit up is extracted from the photographed images acquired in step S402.
  • the second captured image extraction unit 132 may use the brightness of the captured image to determine whether or not the illuminance condition required for deterioration diagnosis is satisfied. For example, the second captured image extraction unit 132 determines whether the brightness of the captured image is included in the brightness range in the captured image in the environment where the road surface is illuminated. The captured image extraction unit 13 similarly extracts a captured image when the brightness in the captured image is included in the range.
  • the captured image extraction unit 13 may further determine whether the environment is suitable for deterioration diagnosis based on the weather.
  • the captured image extraction unit 13 transmits a weather information distribution request to the weather information distribution server connected by communication.
  • the distribution request includes the position information of the vehicle 20 detected by the captured image extraction unit 13.
  • the weather information distribution server transmits the weather information to the deterioration diagnosis device 1 based on the request.
  • the captured image extraction unit 13 acquires the weather information received by the deterioration diagnosis device 1 from the weather information distribution server.
  • the photographed image extraction unit 13 determines to extract the photographed image when the weather information is clear or cloudy.
  • the captured image extraction unit 13 may determine to stop the extraction of the captured image when the weather information indicates rain or snow.
  • the captured image extraction unit 13 outputs the extracted captured image to the deterioration diagnosis unit 14.
  • the deterioration diagnosis unit 14 performs deterioration diagnosis of the road surface using the captured image received from the captured image extraction unit 13. Specifically, the deterioration diagnosis unit 14 determines whether or not the captured image received from the captured image extraction unit 13 includes a road surface that is an example of the inspection target (step S406). The deterioration diagnosis unit 14 determines whether the road surface is included in the captured image by using image pattern matching, machine learning processing, or AI (Artificial Intelligence) analysis. A known technique may be used for recognizing the road surface in the captured image. When it is determined that the road surface is included in the captured image, the deterioration diagnosis unit 14 starts the road surface deterioration diagnosis.
  • AI Artificial Intelligence
  • the deterioration diagnosis unit 14 determines the size of the crack (length, width, ratio of the range including the crack in the captured image) from the captured image when performing the degradation diagnosis based on the crack generated on the road surface shown in the captured image. It is specified and the degree of deterioration is calculated based on the size of the crack. The larger the crack size, the higher the degree of deterioration.
  • the deterioration diagnosis unit 14 performs the deterioration diagnosis by the hole generated on the road surface shown in the captured image, the size (diameter, width) of the hole is specified from the captured image, and based on the size of the hole. Calculate the degree of deterioration.
  • the deterioration diagnosis unit 14 performs deterioration diagnosis based on a rut appearing on a road surface shown in a captured image
  • the deterioration diagnosis unit 14 specifies the size (length, width) of the rut from the captured image, and based on the size of the rut. To calculate the degree of deterioration. The larger the rut size, the higher the degree of deterioration.
  • the deterioration diagnosis unit 14 may determine that the deterioration has occurred if the deterioration degree is equal to or higher than a threshold value.
  • the deterioration diagnosis unit 14 determines that the deterioration has occurred, the deterioration diagnosis unit 14 outputs the deterioration type (crack, hole, rut) and the deterioration position to the diagnosis result generation unit 15.
  • the diagnosis result generation unit 15 generates diagnosis result information including at least the deterioration type (crack, hole, rut) and the deterioration position (step S407).
  • the diagnosis result information may be, for example, map data that displays a deterioration position on the road surface and an icon image indicating the deterioration type at the position on the map.
  • the diagnosis result generation unit 15 outputs the diagnosis result information to the output unit 16 (step S408).
  • the output unit 16 outputs the diagnosis result information to a predetermined device. Alternatively, the output unit 16 may record the diagnosis result information in a predetermined storage device.
  • the deterioration diagnosis device 1 repeats the above-mentioned processing.
  • the deterioration diagnosis device 1 can perform the deterioration diagnosis of the road surface using the captured image that satisfies the illuminance condition necessary for the deterioration diagnosis.
  • the deterioration diagnosing device 1 can improve the accuracy of determining whether or not the road is deteriorated by not using the captured image that does not satisfy the illuminance condition necessary for the deterioration diagnosis because the illuminance is too low, for the deterioration diagnosis.
  • the deterioration diagnosis device 1 When using a photographed image of a road surface during a time period when the intensity of sunlight is strong in the daytime, a thin shadow of an electric wire or the like is projected on the road surface, so that the deterioration diagnosis device 1 mistakenly recognizes the thin shadow as a crack. There is a possibility of recognition. According to the above-described processing, the deterioration diagnosis device 1 can reduce the erroneous deterioration diagnosis due to the shadow in the captured image by using the captured image at night.
  • FIG. 10 is a second diagram showing the functional blocks of the control device provided in the drive recorder 2.
  • the drive recorder 2 serves as the deterioration diagnosis device 1.
  • the control device 24 of the drive recorder 2 includes a sensing information output unit (sensing information output unit) 250, an image acquisition unit (image acquisition unit) 251, and a captured image extraction unit (captured image).
  • the functions of the image extracting unit 252, the deterioration diagnosis unit (deterioration diagnosis unit) 253, and the diagnosis result generation unit (diagnosis result generation unit) 254 are exhibited. Then, in the control device 24 of the drive recorder 2, the sensing information output unit 250 outputs the sensing information to the captured image extraction unit 252, and the image acquisition unit 251 outputs the captured image to the captured image extraction unit 252. Then, similarly to the deterioration diagnosis device 1 described with reference to FIGS. 1 to 9, the captured image extraction unit 252 of the control device 24 performs the extraction process of the captured image, and the deterioration diagnosis unit 253 similarly performs the deterioration diagnosis process. The diagnosis result generation unit 254 similarly performs the diagnosis result information generation processing. Then, the diagnostic result generation unit 254 transmits the generated diagnostic result information to a predetermined external device using the communication device 22.
  • FIG. 11 is a diagram showing a deterioration diagnosis device 1 according to the second embodiment.
  • FIG. 12 is a diagram showing a processing flow by the deterioration diagnosis device 1 according to the second embodiment.
  • the deterioration diagnostic device 1 exhibits at least the functions of the captured image acquisition unit 111, the captured image extraction unit 112, and the deterioration diagnostic unit 113.
  • the captured image acquisition unit 111 acquires a captured image from the camera 23 provided on the moving body that travels on the road surface and capturing the road surface (step S501).
  • the captured image extraction unit 112 extracts, from the captured images, captured images captured at night, which were captured in a situation where the road surface was illuminated (step S502).
  • the deterioration diagnosis unit 113 performs the deterioration diagnosis of the road surface by using the captured image captured under the condition that the road surface is illuminated (step S503).
  • the above-mentioned deterioration diagnosing device 1, control device 24 of drive recorder 2 and terminal device have a computer system inside.
  • the process of each process described above is stored in a computer-readable recording medium in the form of a program, and the above process is performed by the computer reading and executing the program.
  • the above program may be for realizing some of the functions described above. Further, it may be a so-called difference file (difference program) that can realize the above-mentioned functions in combination with a program already recorded in the computer system.
  • difference file difference program
  • the present invention may be applied to a deterioration diagnosis device, a deterioration diagnosis system, a deterioration diagnosis method, and a recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Environmental Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Road Repair (AREA)
  • Testing Resistance To Weather, Investigating Materials By Mechanical Methods (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

劣化診断装置は、路面を走行する移動体に設けられ前記路面を撮影する撮影装置から、撮影画像を取得する撮影画像取得手段と、前記取得された撮影画像から、夜間に撮影され、かつ、前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出する撮影画像抽出手段と、前記抽出された撮影画像を用いて前記路面が劣化しているか診断する劣化診断手段と、を備える。

Description

劣化診断装置、劣化診断システム、劣化診断方法、記録媒体
　本発明は、劣化診断装置、劣化診断システム、劣化診断方法、記録媒体に関する。
　道路の路面や、路側に設置されている案内標識などの公共設備は経年劣化する。行政は経年劣化する公共設備の劣化を診断し劣化した公共設備の整備を行う。このような公共設備の劣化の診断には多大な労力を要する。
　特許文献１には舗装のひび割れを解析する装置の技術が開示されている。特許文献１の段落００１１には、車両のライトで路面を照射することにより、太陽光による影響のない夜間に路面を撮影してひび割れの検出精度を向上させることが記載されている。
　また特許文献２には舗装のポットホールの発生を早期に発見するための技術が開示されている。特許文献２の段落００４４～００４５には、アスファルトの経年劣化の評価において、ひび割れが鮮明に確認できるよう、予め定められた照度環境下である夜間に調査を実施することが記載されている。
日本国特開２０１８－２１３７５号公報 日本国特開２０１８－２８４８６号公報
　上述のような車両等の移動体の走行する走行路の劣化診断においては、さらに精度良く劣化の有無を判定する必要がある。
　そこでこの発明は、上述の課題を解決する劣化診断装置、劣化診断システム、劣化診断方法、記録媒体を提供することを目的としている。
　本発明の第１の態様によれば、劣化診断装置は、路面を走行する移動体に設けられ前記路面を撮影する撮影装置から、撮影画像を取得する撮影画像取得手段と、前記取得された撮影画像から、夜間に撮影され、かつ、前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出する撮影画像抽出手段と、前記抽出された撮影画像を用いて前記路面が劣化しているか診断する劣化診断手段と、を備える。
　本発明の第２の態様によれば、劣化診断システムは、路面を走行する移動体に設けられ前記路面を撮影する撮影装置から、撮影画像を取得する撮影画像取得手段と、前記取得された撮影画像から、夜間に撮影され、かつ、前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出する撮影画像抽出手段と、前記抽出された撮影画像を用いて前記路面が劣化しているか診断する劣化診断手段と、を備える。
　本発明の第３の態様によれば、劣化診断方法は、路面を走行する移動体に設けられ前記路面を撮影する撮影装置から、撮影画像を取得し、前記取得された撮影画像から、夜間に撮影され、かつ、前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出し、前記抽出された撮影画像を用いて前記路面が劣化しているか診断することを含む。
　本発明の第４の態様によれば、記録媒体は、コンピュータに、路面を走行する移動体に設けられ前記路面を撮影する撮影装置から、撮影画像を取得し、前記取得された撮影画像から、夜間に撮影され、かつ、前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出し、前記抽出された撮影画像を用いて前記路面が劣化しているか診断することを実行させるプログラムを記憶している。
　本発明の実施形態によれば、路面の劣化の有無の判定精度をさらに高めることができる。
本発明の第１の実施形態による劣化診断システムの概要を示す図である。 本発明の第１の実施形態による劣化診断装置のハードウェア構成図である。 本発明の第１の実施形態による劣化診断装置の機能ブロックを示す第一の図である。 本発明の第１の実施形態による劣化診断装置の機能ブロックを示す第二の図である。 本発明の第１の実施形態によるドライブレコーダのハードウェア構成を示す図である。 本発明の第１の実施形態によるドライブレコーダに備わる制御装置の機能ブロック図である。 本発明の第１の実施形態によるドライブレコーダの処理フローを示す第一の図である。 本発明の第１の実施形態によるドライブレコーダの処理フローを示す第二の図である。 本発明の第１の実施形態による劣化診断装置の処理フローを示す第一の図である。 本発明の第１の実施形態による制御装置の機能ブロックを示す第二の図である。 本発明の第２の実施形態による劣化診断装置を示す図である。 本発明の第２の実施形態による劣化診断装置による処理フローを示す図である。
　以下、本発明の実施形態による劣化診断装置１を図面を参照して説明する。
　図１は第１の実施形態による劣化診断装置を含む劣化診断システム１００の概要を示す図である。
　図１で示すように劣化診断システム１００は劣化診断装置１とドライブレコーダ２とが無線通信ネットワークや有線通信ネットワークを介して接続されることにより構成される。劣化診断装置１は例えば劣化診断を行う事業者が設置し通信ネットワークに接続したコンピュータサーバ（クラウドサーバ）である。ドライブレコーダ２は複数の移動体にそれぞれ設けられている。図１では、移動体が車両２０である例を用いて説明している。移動体には自動運転車両が含まれてよい。ドライブレコーダ２はカメラを有しており車両２０の外部を撮影した撮影画像を劣化診断装置１へ送信する。
　図２は劣化診断装置１のハードウェア構成図である。
　図２が示すように劣化診断装置１はＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータである。
　図３は劣化診断装置１の機能ブロックを示す第一の図である。
　劣化診断装置１は電源が投入されると起動し、予め記憶する劣化診断プログラムを実行する。これにより劣化診断装置１は、制御部（制御手段）１１、取得部（取得手段）１２、撮影画像抽出部（撮影画像抽出手段）１３、劣化診断部（劣化診断手段）１４、診断結果生成部（診断結果生成手段）１５、出力部（出力手段）１６の各機能を発揮する。
　制御部１１は、劣化診断装置１の各機能部を制御する。
　取得部１２は、車両２０に取り付けられたドライブレコーダ２の撮影した撮影画像や、車両２０や他の装置が各種センサによりセンシングして生成したセンシング情報を取得する。センシング情報には、車両の位置情報（緯度、経度）、時刻、照度、照明装置のオンオフの情報、などが含まれる。
　撮影画像抽出部１３は、撮影画像のうち夜間に撮影された撮影画像であって、路面に対して照明が当たる撮影画像を抽出する。すなわち、撮影画像抽出部１３は、夜間、かつ、路面に対して照明が当たっている状況で撮影された撮影画像を抽出する。
　劣化診断部１４は、路面に対して照明が当たっている状況撮影画像を用いて路面の劣化診断を行う。
　診断結果生成部１５は、劣化診断の結果に基づいて診断結果情報を生成する。
　出力部１６は、診断結果情報などを所定の出力先に出力する。出力先の一例としては、例えば公共設備の劣化を診断して点検、整備を行う行政の担当者の利用するコンピュータ等であってよい。
　図４は劣化診断装置１の機能ブロックを示す第二の図である。
　上述の撮影画像抽出部１３は、第一撮影画像抽出部（第一撮影画像抽出手段）１３１と、第二撮影画像抽出部（第二撮影画像抽出手段）１３２の機能を発揮する。
　第一撮影画像抽出部１３１は、ドライブレコーダ２から受信した撮影画像のうち、夜間に撮影された撮影画像を抽出する。より具体的には、第一撮影画像抽出部１３１は、撮影時刻に基づいて夜間に撮影された撮影画像を抽出する。または第一撮影画像抽出部１３１は、照度情報に基づいて夜間に撮影された撮影画像を抽出する。または第一撮影画像抽出部１３１は、車両２０に設けられた路面を照らす照明装置の動作状態に基づいて夜間に撮影された撮影画像を抽出する。
　第二撮影画像抽出部１３２は、夜間に撮影された撮影画像のうち路面に対して照明が当っている状況で撮影された撮影画像を抽出する。
　図５はドライブレコーダ２のハードウェア構成を示す図である。
　ドライブレコーダ２は、センサ２１、通信装置２２、カメラ２３、制御装置２４、記憶装置２５などを含む。
　センサ２１は、ＧＰＳセンサ等のセンシング装置である。センサ２１は他の情報をセンシングする装置であってよい。例えば、センサ２１は、さらにヘッドライトのオンまたはオフの動作状態を検知する装置であってよい。
　通信装置２２は劣化診断装置１と通信接続する。
　カメラ２３は車両２０の走行する前方の路面を撮影して、その動画像、静止画像を生成する。
　制御装置２４はドライブレコーダ２の各機能を制御する。
　記憶装置２５は動画像や静止画像、ドライブレコーダ２の送信したセンシング情報を記憶する。ドライブレコーダ２は基地局等を介して劣化診断装置１と通信接続する。なおドライブレコーダ２の制御装置２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータである。
　図６はドライブレコーダ２に備わる制御装置の機能ブロックを示す第一の図である。
　制御装置２４はドライブレコーダ２が起動すると制御プログラムを実行する。これにより制御装置２４は、車両情報取得部（車両情報取得手段）２４１、位置情報取得部（位置情報取得手段）２４２、照度情報取得部（照度情報取得手段）２４３、画像生成部（画像生成手段）２４５、センシング情報送信部（センシング情報送信手段）２４６、画像送信部（画像送信手段）２４８の各機能を発揮する。
　車両情報取得部２４１は、ドライブレコーダ２に挿入されたメモリに記録されている車両２０に関する情報（運転者ＩＤ、車両種別、車両ＩＤ）やタイマが出力した時刻情報などを含む車両情報を取得する。車両情報には、ヘッドライトの動作状態（オンまたはオフ）を示す情報が含まれてもよい。
　位置情報取得部２４２は車両の時刻に応じた位置情報（緯度情報、経度情報）の情報をセンサ２１３などから取得する。
　照度情報取得部２４３は、車両２０において車内のフロントガラス近傍に設けられた照度計から得られた照度を取得する。照度計は、センサ２１の一態様であり、路面に対して照明が当たっていることを検知するために車両２０に設けられている。
　画像生成部２４５はカメラ２３の撮影によりカメラ２３から動画像、静止画像の何れか一つを少なくとも含む画像データを取得し、その画像データに基づいてアップロード用の撮影画像を所定の間隔毎で生成して出力する。画像生成部２４５は一例としては、所定の生成速度で撮影画像の生成を行う。
　センシング情報送信部２４６は、車両情報や位置情報などのセンシング情報の送信を通信装置２２へ指示する。
　画像送信部２４８は画像生成部２４５の生成した撮影画像の送信を通信装置２２へ指示する。
　上述のような劣化診断システム１００において、劣化診断装置１は、路面を走行する移動体に設けられ路面を撮影する撮影装置から撮影画像を取得し、撮影画像のうち夜間に撮影された撮影画像であって、路面に対して照明が当たっている状況で撮影された撮影画像を抽出する。そして劣化診断装置１は、路面に対して照明が当たっている状況で撮影された撮影画像を用いて路面の劣化診断を行う。これにより、劣化診断装置１は、走行路の劣化の有無の判定精度を高めることができる。また劣化診断装置１は、多数の車両２０から取得した撮影画像やセンシング情報に基づいて、多くの走行路の劣化状態を判定することができる。
　図７はドライブレコーダ２の処理フローを示す第一の図である。
　次にドライブレコーダ２の処理フローについて順を追って説明する。
　まずドライブレコーダ２におけるセンシング情報の送信処理について説明する。
　車両の電気系統が起動するとドライブレコーダ２が動作を始動する（ステップＳ１０１）。ドライブレコーダ２のセンサ２１は、ドライブレコーダ２の始動後に各種センシングを開始する（ステップＳ１０２）。またカメラ２３は撮影を開始する（ステップＳ１０３）。
　そしてドライブレコーダ２の動作中、制御装置２４の車両情報取得部２４１は車両情報（運転者ＩＤ、車両種別、車両ＩＤ）を取得する（ステップＳ１０４）。また位置情報取得部２４２はセンサ２１から位置情報（緯度情報、経度情報）を所定の時間間隔毎に取得する（ステップＳ１０５）。また照度情報取得部２４３は、照度情報を取得する（ステップＳ１０６）。センシング情報送信部２４６は、車両情報、位置情報（緯度情報、経度情報）、照度情報を取得し、それらの情報と、現在時刻、ドライブレコーダ２のＩＤ等を含むセンシング情報を生成する（ステップＳ１０７）。センシング情報送信部２４６はセンシング情報の劣化診断装置１への送信を通信装置２２へ要求する。通信装置２２はセンシング情報を劣化診断装置１へ送信する（ステップＳ１０８）。制御装置２４は処理終了かを判定し（ステップＳ１０９）、処理終了までステップＳ１０２からの処理を繰り返す。
　図８はドライブレコーダ２の処理フローを示す第二の図である。
　次にドライブレコーダ２が撮影画像を劣化診断装置１へ送信する処理について説明する。画像生成部２４５はカメラ２３の撮影によりカメラ２３から動画像、静止画像の何れか一つを少なくとも含む画像データを取得する（ステップＳ３０１）。画像生成部１４５は取得した画像データに基づいてアップロード用の撮影画像を所定の間隔毎に生成する（ステップＳ３０２）。画像生成部１４５は生成した撮影画像の送信を画像送信部２４８に指示する。画像生成部１４５は撮影画像が示すデータに属性情報として生成時刻（または撮影時刻）、車両の位置情報（緯度情報、経度情報）、ドライブレコーダ２のＩＤ（識別子）、運転者ＩＤ、等の情報を含めてよい。画像送信部２４８は通信装置２２を介して撮影画像を劣化診断装置１へ送信する（ステップＳ３０３）。
　図９は劣化診断装置１の処理フローを示す第一の図である。
　劣化診断装置１において、取得部１２は車両２０の通信装置２２が送信したセンシング情報を、通信モジュール１０５を介して取得する（ステップＳ４０１）。また取得部１２は車両２０の通信装置２２が送信した撮影画像を取得する（ステップＳ４０２）。取得部１２は、撮影画像を、撮影画像抽出部１３へ出力する。また取得部１２はセンシング情報を撮影画像抽出部１３と劣化診断部１４へ出力する。
　撮影画像抽出部１３において、第一撮影画像抽出部１３１は、センシング情報から照度情報を取得する。第一撮影画像抽出部１３１は、センシング情報に含まれる時刻情報を取得する。第一撮影画像抽出部１３１は、時刻情報によって示される時刻が夜間を示す時刻であるかを判定する（ステップＳ４０３）。第一撮影画像抽出部１３１は、時刻情報によって示されるが夜間を示す時刻である場合には、第二撮影画像抽出部１３２へ処理開始を指示する。夜間とは、日の入りから日の出までの期間であってもよい。日の入りとは、太陽の上縁が西の地平線に接する時であってもよい。日の出とは、太陽の上縁が東の地平線に接する時であってもよい。
　第二撮影画像抽出部１３２は、時刻情報によって示される時刻が夜間を示す時刻である場合に、センシング情報に含まれる照度情報を取得する。第二撮影画像抽出部１３２は、照度情報によって示される照度が、路面に対して照明が当たる環境である場合の照度の範囲に含まれるかを判定する（ステップＳ４０４）。この判定は、劣化診断に必要な照度条件を満たすかどうかの判定の一態様である。第二撮影画像抽出部１３２は、照度情報によって示される照度が、路面に対して照明が当たる環境である場合の照度の範囲に含まれる場合（照度が所定値以上の場合）、その時刻に撮影された撮影画像を抽出する（ステップＳ４０５）。すなわち、第二撮影画像抽出部１３２は、照度情報によって示される照度が、路面に対して照明が当たる環境である場合の照度の範囲に含まれる場合、その照度情報（センシング情報）に関連付けられた撮影画像を抽出する。
　第二撮影画像抽出部１３２は、劣化診断に必要な照度条件を満たすかどうかの判定において時刻情報を用いずに、センシング情報から取得した照度情報によって示される照度が、路面に対して照明が当たる環境である場合の照度の範囲に含まれるかを判定する処理を行ってもよい。撮影画像抽出部１３は、照度情報がその範囲に含まれる場合に、同様に撮影画像を抽出する。
　または第二撮影画像抽出部１３２は、劣化診断に必要な照度条件を満たすかどうかの判定において、路面を照らす照明装置の動作状態の情報を用いてもよい。例えば、照明装置の一態様である車両２０のヘッドライトがオンになっていることを示す情報を、例えばヘッドライトのオンオフの状態を含む車両情報を取得する装置が、直接、劣化診断装置１へ送信する。または、照明装置の一態様である車両２０のヘッドライトがオンになっていることを示す情報を、そのオンオフを検知するセンサからドライブレコーダ２が取得し、ドライブレコーダ２が車両情報に格納して劣化診断装置１へ送信してもよい。この場合、劣化診断装置１の第二撮影画像抽出部１３２は、その車両情報に基づいてヘッドライトがオンになっていることを検知する。第二撮影画像抽出部１３２は、ヘッドライトがオンになっていることを検知すると、その車両情報に含まれる時刻情報と一致、またはその時刻を基準とする所定の時間範囲で前後する時刻情報を含む撮影画像を、ステップＳ４０２において取得した撮影画像の中から抽出する。夜間に撮影された撮影画像を抽出する際の照明装置の動作状態として、ヘッドライトのオンであることを条件とする他、さらに／または、ヘッドライトのハイビームがオンであることや、フォグランプがオンであることを条件としてもよい。この場合、車両情報に、ハイビームのオンまたはオフの情報や、フォグランプのオンまたはオフの情報が含まれるものとする。
　第二撮影画像抽出部１３２は、劣化診断に必要な照度条件を満たすかどうかの判定において、街路灯の動作状態を用いてもよい。この場合、第二撮影画像抽出部１３２は、街路灯の動作状態を、他の装置から受信した情報や、撮影画像から検出して、街路灯の動作状態を判定する。例えば劣化診断装置１は、通信接続された街路灯の管理サーバから街路灯の動作状態を含む街路灯管理情報を受信する。街路灯管理情報には、各街路灯の位置情報と、現在の動作状態（点灯、消灯）の少なくとも一つが含まれる。第二撮影画像抽出部１３２は、街路灯管理情報から各街路灯の位置情報と、現在の動作状態（点灯、消灯）の少なくとも一つの情報を取得する。第二撮影画像抽出部１３２は、各街路灯の位置情報に基づいて、車両２０の現在位置を基準として所定の範囲（半径１０ｍなどの範囲）に街路灯が有る場合には、その街路灯の動作状態を取得する。第二撮影画像抽出部１３２は街路灯の動作状態が点灯を示す場合、その近傍で取得した撮影画像をステップＳ４０２において取得した撮影画像の中から抽出する。または第二撮影画像抽出部１３２は、街路灯の動作状態を撮影画像から検出する場合、撮影画像に写る街路灯の明かりの点灯または消灯を画像解析により検出して、その結果を用いて、同様に点灯している街路灯の近傍で取得した撮影画像をステップＳ４０２において取得した撮影画像の中から抽出する。
　第二撮影画像抽出部１３２は、劣化診断に必要な照度条件を満たすかどうかの判定において、撮影画像の輝度を用いて判定を行ってもよい。例えば、第二撮影画像抽出部１３２は、撮影画像の輝度が、路面に対して照明が当たる環境である場合の撮影画像中の輝度範囲に含まれるかを判定する。撮影画像抽出部１３は、撮影画像中の輝度がその範囲に含まれる場合に、同様に撮影画像を抽出する。
　撮影画像抽出部１３はさらに天候に基づいて、劣化診断に適した環境であるかを判定してもよい。この場合、撮影画像抽出部１３は、天候情報の配信要求を通信接続された天候情報配信サーバへ送信する。配信要求には撮影画像抽出部１３が検出した車両２０の位置情報が含まれる。そして天候情報配信サーバは当該要求に基づいて天候情報を劣化診断装置１へ送信する。撮影画像抽出部１３は、劣化診断装置１が天候情報配信サーバから受信した天候情報を取得する。撮影画像抽出部１３は天候情報が、晴れ、曇りの場合には撮影画像を抽出すると判定する。撮影画像抽出部１３は天候情報が、雨、雪の場合には撮影画像の抽出を停止すると判定してよい。
　そして、撮影画像抽出部１３は、抽出した撮影画像を劣化診断部１４へ出力する。劣化診断部１４は、撮影画像抽出部１３から受け取った撮影画像を用いて路面の劣化診断を行う。具体的には、劣化診断部１４は、撮影画像抽出部１３から受け取った撮影画像に検査対象物の一例である路面が含まれているか否かを判定する（ステップＳ４０６）。劣化診断部１４は路面が撮影画像に含まれているかを画像のパターンマッチングや機械学習処理、ＡＩ（Artificial Intelligence）解析を用いて行う。撮影画像における路面の認識は公知の技術を用いればよい。劣化診断部１４は撮影画像において路面が含まれると判定した場合、路面の劣化診断を開始する。
　劣化診断の具体例について説明する。
　劣化診断部１４は、撮影画像に写る路面に発生した亀裂により劣化診断を行う場合には、その亀裂の大きさ（長さ、幅、亀裂を含む範囲の撮影画像中の割合）を撮影画像から特定し、その亀裂の大きさに基づいて劣化度を算出する。亀裂の大きさが大きいほど、劣化度は高い。
　また劣化診断部１４は、撮影画像に写る路面に発生した穴により劣化診断を行う場合には、その穴の大きさ（直径、幅）を撮影画像から特定し、その穴の大きさに基づいて劣化度を算出する。穴の大きさが大きいほど、劣化度は高い。
　また劣化診断部１４は、撮影画像に写る路面に発生したわだちにより劣化診断を行う場合には、そのわだちの大きさ（長さ、幅）を撮影画像から特定し、そのわだちの大きさに基づいて劣化度を算出する。わだちの大きさが大きいほど、劣化度は高い。
　劣化診断部１４は劣化度が閾値以上であれば劣化していると判定してよい。そして劣化診断部１４は、劣化していると判定した場合、その劣化種別（亀裂、穴、わだち）と、劣化位置とを診断結果生成部１５へ出力する。診断結果生成部１５は、劣化種別（亀裂、穴、わだち）と、劣化位置とを少なくとも含む診断結果情報を生成する（ステップＳ４０７）。診断結果情報は、例えば、路面の劣化位置と、その位置における劣化種別を示すアイコン画像とを地図に表示する地図データであってもよい。診断結果生成部１５は診断結果情報を出力部１６へ出力する（ステップＳ４０８）。出力部１６は診断結果情報を所定の装置へ出力する。または出力部１６は診断結果情報を所定の記憶装置に記録してもよい。劣化診断装置１は上述の処理を繰り返す。
　以上の処理によれば、劣化診断装置１は、劣化診断に必要な照度条件を満たした撮影画像を用いて路面の劣化診断を行うことができる。例えば劣化診断装置１は、照度が低すぎることにより劣化診断に必要な照度条件を満たさない撮影画像を、劣化診断に利用しないことで、走行路の劣化の有無の判定精度を高めることができる。
　昼間の太陽光の照射強度の強い時間帯の路面の撮影画像を用いる場合、その路面には電線の細い影などが投影されることで、劣化診断装置１がその細い影を、亀裂と誤って認識する可能性が有る。上述の処理によれば、劣化診断装置１は夜間の撮影画像を用いることで、撮影画像に写る影による誤った劣化診断を低減することができる。
　図１０はドライブレコーダ２に備わる制御装置の機能ブロックを示す第二の図である。
　上述の説明においては、劣化診断装置１が撮影画像の抽出処理、劣化診断処理、診断結果情報の生成処理を行う場合について説明したが、これらの処理はドライブレコーダ２で行われてもよい。この場合、ドライブレコーダ２が劣化診断装置１となる。ドライブレコーダ２が劣化診断装置１として機能する場合、ドライブレコーダ２の制御装置２４は、センシング情報出力部（センシング情報出力手段）２５０、画像取得部（画像取得手段）２５１、撮影画像抽出部（撮影画像抽出手段）２５２、劣化診断部（劣化診断手段）２５３、診断結果生成部（診断結果生成手段）２５４の機能を発揮する。そしてドライブレコーダ２の制御装置２４において、センシング情報出力部２５０がセンシング情報を撮影画像抽出部２５２へ出力し、画像取得部２５１が撮影画像を撮影画像抽出部２５２へ出力する。そして、図１～図９を参照して説明した劣化診断装置１と同様、制御装置２４の撮影画像抽出部２５２が撮影画像の抽出処理を行い、劣化診断部２５３が劣化診断処理を同様に行い、診断結果生成部２５４が診断結果情報の生成処理を同様に行う。そして診断結果生成部２５４は、生成した診断結果情報を、通信装置２２を用いて所定の外部装置へ送信する。
　図１１は第２の実施形態による劣化診断装置１を示す図である。
　図１２は第２の実施形態による劣化診断装置１による処理フローを示す図である。
　図１１が示すように劣化診断装置１は少なくとも、撮影画像取得部１１１と、撮影画像抽出部１１２、劣化診断部１１３の機能を発揮する。
　撮影画像取得部１１１は、路面を走行する移動体に設けられ路面を撮影するカメラ２３から撮影画像を取得する（ステップＳ５０１）。
　撮影画像抽出部１１２は、撮影画像のうち夜間に撮影された撮影画像であって、路面に対して照明が当たっている状況で撮影された撮影画像を抽出する（ステップＳ５０２）。
　劣化診断部１１３は、路面に対して照明が当たっている状況で撮影された撮影画像を用いて路面の劣化診断を行う（ステップＳ５０３）。
　上述の劣化診断装置１やドライブレコーダ２の制御装置２４や端末装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。
　上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
　この出願は、２０１９年１月３０日に出願された日本国特願２０１９－０１４３３０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、劣化診断装置、劣化診断システム、劣化診断方法、記録媒体に適用してもよい。
１・・・劣化診断装置
２・・・ドライブレコーダ
１１・・・制御部
１２・・・取得部
１４・・・劣化診断部
１３・・・撮影画像抽出部
１５・・・診断結果生成部
１６・・・出力部
２１・・・センサ
２２・・・通信装置
２３・・・カメラ
２４・・・制御装置
２５・・・記憶装置
１３１・・・第一撮影画像抽出部
１３２・・・第二撮影画像抽出部
２４１・・・車両情報取得部
２４２・・・位置情報取得部
２４３・・・照度情報取得部
２４５・・・画像生成部
２４６・・・センシング情報送信部
２４８・・・画像送信部
２５０・・・センシング情報出力部
２５１・・・画像取得部
２５２・・・撮影画像抽出部
２５３・・・劣化診断部
２５４・・・診断結果生成部

Claims (10)

  1. 　路面を走行する移動体に設けられ前記路面を撮影する撮影装置から、撮影画像を取得する撮影画像取得手段と、
    　前記取得された撮影画像から、夜間に撮影され、かつ、前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出する撮影画像抽出手段と、
    　前記抽出された撮影画像を用いて前記路面が劣化しているか診断する劣化診断手段と、
    　を備える劣化診断装置。
  2. 　前記撮影画像抽出手段は、前記取得された撮影画像が撮影された時刻に基づいて、前記取得された撮影画像から前記夜間に撮影された撮影画像を抽出し、また、前記抽出された夜間に撮影された撮影画像から前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出する
    　請求項１に記載の劣化診断装置。
  3. 　前記撮影画像抽出手段は、前記取得された撮影画像が撮影された時刻と略一致する時刻おいて測定された照度に基づいて、前記抽出された夜間に撮影された撮影画像から前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出する
    　請求項１または請求項２に記載の劣化診断装置。
  4. 　前記撮影画像抽出手段は、前記取得された撮影画像が撮影された時刻と略一致する時刻おいて測定された照度に基づいて、前記取得された撮影画像から、前記夜間に撮影され、かつ、前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出する
    　請求項１に記載の劣化診断装置。
  5. 　前記撮影画像抽出手段は、前記移動体に設けられた前記路面を照らす照明装置の動作状態に基づいて、前記取得された撮影画像から、前記夜間に撮影され、かつ、前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出する
    　請求項１に記載の劣化診断装置。
  6. 　撮影画像抽出手段は、
    　前記取得された撮影画像から、前記夜間に撮影された撮影画像を抽出する第一撮影画像抽出手段と、
    　前記抽出された夜間に撮影された撮影画像から、前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出する第二撮影画像抽出手段と、
    　を備える請求項１から請求項３の何れか一項に記載の劣化診断装置。
  7. 　前記劣化診断の結果に基づいて診断結果を示す情報を生成する診断結果生成手段と、
    　をさらに備える請求項１から請求項５の何れか一項に記載の劣化診断装置。
  8. 　路面を走行する移動体に設けられ前記路面を撮影する撮影装置から、撮影画像を取得する撮影画像取得手段と、
    　前記取得された撮影画像から、夜間に撮影され、かつ、前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出する撮影画像抽出手段と、
    　前記抽出された撮影画像を用いて前記路面が劣化しているか診断する劣化診断手段と、
    　を備える劣化診断システム。
  9. 　路面を走行する移動体に設けられ前記路面を撮影する撮影装置から、撮影画像を取得し、
    　前記取得された撮影画像から、夜間に撮影され、かつ、前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出し、
    　前記抽出された撮影画像を用いて前記路面が劣化しているか診断する
    　ことを含む劣化診断方法。
  10. 　コンピュータに、
    　路面を走行する移動体に設けられ前記路面を撮影する撮影装置から、撮影画像を取得し、
    　前記取得された撮影画像から、夜間に撮影され、かつ、前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出し、
    　前記抽出された撮影画像を用いて前記路面が劣化しているか診断する
    　ことを実行させるプログラムを記憶した記録媒体。
PCT/JP2019/050653 2019-01-30 2019-12-24 劣化診断装置、劣化診断システム、劣化診断方法、記録媒体 WO2020158262A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/426,127 US20220101509A1 (en) 2019-01-30 2019-12-24 Deterioration diagnostic device, deterioration diagnostic system, deterioration diagnostic method, and recording medium
JP2020569451A JP6947316B2 (ja) 2019-01-30 2019-12-24 劣化診断装置、劣化診断システム、劣化診断方法、プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019014330 2019-01-30
JP2019-014330 2019-01-30

Publications (1)

Publication Number Publication Date
WO2020158262A1 true WO2020158262A1 (ja) 2020-08-06

Family

ID=71840903

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/050653 WO2020158262A1 (ja) 2019-01-30 2019-12-24 劣化診断装置、劣化診断システム、劣化診断方法、記録媒体

Country Status (3)

Country Link
US (1) US20220101509A1 (ja)
JP (2) JP6947316B2 (ja)
WO (1) WO2020158262A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022003335A (ja) * 2019-01-30 2022-01-11 日本電気株式会社 劣化診断装置、劣化診断システム、劣化診断方法、プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023223427A1 (ja) * 2022-05-17 2023-11-23 三菱電機株式会社 道路異状推定システム、道路異状推定方法、およびプローブ車両

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060276985A1 (en) * 2005-05-23 2006-12-07 Board Of Regents, The University Of Texas System Automated surface distress measurement system
JP2012155612A (ja) * 2011-01-27 2012-08-16 Denso Corp 車線検出装置
WO2017014288A1 (ja) * 2015-07-21 2017-01-26 株式会社東芝 ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム
JP2018018461A (ja) * 2016-07-29 2018-02-01 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、表示装置、情報処理方法、及びプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2901112B2 (ja) * 1991-09-19 1999-06-07 矢崎総業株式会社 車両周辺監視装置
US5777690A (en) * 1995-01-20 1998-07-07 Kabushiki Kaisha Toshiba Device and method for detection of moving obstacles
JPH1074297A (ja) * 1996-08-30 1998-03-17 Toyota Motor Corp 車両位置検出装置
JP4162618B2 (ja) * 2004-03-12 2008-10-08 株式会社豊田中央研究所 車線境界判定装置
JP4724043B2 (ja) * 2006-05-17 2011-07-13 トヨタ自動車株式会社 対象物認識装置
WO2008065717A1 (fr) * 2006-11-29 2008-06-05 Fujitsu Limited Système et procédé de détection de piéton
JP5372680B2 (ja) 2009-09-24 2013-12-18 日立オートモティブシステムズ株式会社 障害物検知装置
JP5554261B2 (ja) * 2011-02-24 2014-07-23 アルパイン株式会社 立体物検出装置および立体物検出方法
JP5427198B2 (ja) 2011-03-14 2014-02-26 株式会社日立製作所 設備劣化診断装置、設備劣化診断方法および設備劣化診断プログラム
JP5926080B2 (ja) * 2012-03-19 2016-05-25 株式会社日本自動車部品総合研究所 走行区画線認識装置およびプログラム
JP2014089513A (ja) * 2012-10-29 2014-05-15 Denso Corp 画像生成装置、および画像生成プログラム
US20160259034A1 (en) * 2015-03-04 2016-09-08 Panasonic Intellectual Property Management Co., Ltd. Position estimation device and position estimation method
JP6594039B2 (ja) * 2015-05-20 2019-10-23 株式会社東芝 画像処理装置、方法及びプログラム
JP5948465B1 (ja) * 2015-06-04 2016-07-06 株式会社ファンクリエイト 映像処理システム及び映像処理方法
WO2017068743A1 (ja) * 2015-10-22 2017-04-27 京セラ株式会社 路面状態判定装置、撮像装置、撮像システムおよび路面状態判定方法
JP6654018B2 (ja) * 2015-11-06 2020-02-26 コイト電工株式会社 画像判定装置及びこれを用いた処理装置
JP6704817B2 (ja) * 2016-08-18 2020-06-03 西日本高速道路エンジニアリング四国株式会社 排水性舗装におけるポットホール発生リスクを定量分析する方法
JP6468568B2 (ja) 2016-09-06 2019-02-13 本田技研工業株式会社 物体認識装置、モデル情報生成装置、物体認識方法、および物体認識プログラム
US20220101509A1 (en) * 2019-01-30 2022-03-31 Nec Corporation Deterioration diagnostic device, deterioration diagnostic system, deterioration diagnostic method, and recording medium
JP7480838B2 (ja) * 2020-03-31 2024-05-10 日本電気株式会社 道路劣化診断装置、道路劣化診断方法、及び、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060276985A1 (en) * 2005-05-23 2006-12-07 Board Of Regents, The University Of Texas System Automated surface distress measurement system
JP2012155612A (ja) * 2011-01-27 2012-08-16 Denso Corp 車線検出装置
WO2017014288A1 (ja) * 2015-07-21 2017-01-26 株式会社東芝 ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム
JP2018018461A (ja) * 2016-07-29 2018-02-01 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、表示装置、情報処理方法、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022003335A (ja) * 2019-01-30 2022-01-11 日本電気株式会社 劣化診断装置、劣化診断システム、劣化診断方法、プログラム
JP7444148B2 (ja) 2019-01-30 2024-03-06 日本電気株式会社 情報処理装置、情報処理方法、プログラム

Also Published As

Publication number Publication date
JP2022003335A (ja) 2022-01-11
JP7444148B2 (ja) 2024-03-06
JPWO2020158262A1 (ja) 2021-09-09
US20220101509A1 (en) 2022-03-31
JP6947316B2 (ja) 2021-10-13

Similar Documents

Publication Publication Date Title
KR101971878B1 (ko) 다차로 환경에서의 딥러닝 기반 차량번호인식 기술을 활용한 영상감시 시스템 및 방법
CN104884898B (zh) 确定车辆位置的导航***和方法
JP7070683B2 (ja) 劣化診断装置、劣化診断システム、劣化診断方法、プログラム
KR100578041B1 (ko) 교통정보수집과 부가기능을 갖는 네트워크 카메라 장치 및그 교통정보 처리방법
JP7444148B2 (ja) 情報処理装置、情報処理方法、プログラム
KR101043912B1 (ko) 주야 통합 영상 검지기를 이용해 교차로에서의 교통신호를 제어하는 시스템
CN102737247A (zh) 一种柴油车尾气烟度图像识别***
US11453367B2 (en) Information processing system, program, and information processing method
CN107408288B (zh) 警告装置、警告方法以及警告程序
CN104134352A (zh) 基于长短曝光结合的视频车辆特征检测***及其检测方法
JP5365792B2 (ja) 車両用位置測定装置
JP2016058912A (ja) 車載カメラ診断装置
CN114332815B (zh) 交通灯状态检测方法、装置、车辆及存储介质
CN104427255A (zh) 车载相机的图像处理方法和使用该方法的图像处理设备
JP2019511725A (ja) 特に選択されてバックエンドサーバから伝送されたランドマークを用いて、少なくとも部分自動運転を行う車両の姿勢を特定する方法
KR101705027B1 (ko) 야간 도로 시인성 조사 평가 시스템 및 방법
CN106289280A (zh) 目标检测装置
US20210231457A1 (en) Apparatus and method for collecting data for map generation, and vehicle
KR101788219B1 (ko) 차량을 이용한 기상 정보 수집 시스템 및 방법
KR20150051697A (ko) 차량 레이더를 이용하여 차선 유지 기능을 제공하기 위한 장치 및 그 방법
JP5298929B2 (ja) 架線検測装置
US20200018608A1 (en) Method and device for operating a vehicle
KR102556878B1 (ko) 음영지역 자율비행 기반의 드론을 이용하여 상태평가를 수행하는 콘크리트 시설물 유지관리 시스템
JP2019511724A (ja) 特に選択されてバックエンドサーバから伝送されたランドマークを用いて、少なくとも部分自動運転を行う車両の姿勢を特定する方法
US20230081098A1 (en) Deterioration diagnosis device, deterioration diagnosis method, and recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19912416

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020569451

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19912416

Country of ref document: EP

Kind code of ref document: A1