WO2022162753A1 - 映像データ収集解析装置 - Google Patents

映像データ収集解析装置 Download PDF

Info

Publication number
WO2022162753A1
WO2022162753A1 PCT/JP2021/002707 JP2021002707W WO2022162753A1 WO 2022162753 A1 WO2022162753 A1 WO 2022162753A1 JP 2021002707 W JP2021002707 W JP 2021002707W WO 2022162753 A1 WO2022162753 A1 WO 2022162753A1
Authority
WO
WIPO (PCT)
Prior art keywords
analysis
video
priority
vehicle
unit
Prior art date
Application number
PCT/JP2021/002707
Other languages
English (en)
French (fr)
Inventor
理生 岩田
卓矢 河野
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US18/269,472 priority Critical patent/US20240062352A1/en
Priority to JP2022577849A priority patent/JP7361957B2/ja
Priority to PCT/JP2021/002707 priority patent/WO2022162753A1/ja
Priority to DE112021006928.4T priority patent/DE112021006928T5/de
Priority to CN202180090388.7A priority patent/CN116686023A/zh
Publication of WO2022162753A1 publication Critical patent/WO2022162753A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the technology disclosed herein relates to a video data collection and analysis device.
  • the conventional drive recorder acquires driving video from a camera and saves the acquired video in storage such as SD. Since storage has an upper limit of storage capacity, when recording exceeds the storage capacity, the drive recorder secures storage capacity by deleting old information.
  • Patent Document 1 if the processing power of the video analysis unit is sufficient, the running video can be continuously analyzed, but the processing power of the video analysis unit is not sufficient and may not keep up. If this state continues, the memory capacity of the storage will be squeezed and old information will be deleted. Important data may be present in the old information that is deleted.
  • the technology disclosed herein aims to provide a video data collection and analysis device in which important data is not deleted even if information is deleted to secure storage capacity.
  • a video data collection and analysis device includes a sensor value acquisition unit that acquires sensor values of the vehicle from sensors mounted on the vehicle, and an image acquisition unit that acquires an image outside the vehicle that is captured outside the vehicle. , an external communication unit that communicates with an external server; an abnormality degree determination unit that determines the degree of abnormality of the road on which the vehicle travels from the sensor values acquired by the sensor value acquisition unit; and an analysis priority determination unit that determines priority when analyzing the outside video, and an image analysis unit that analyzes the road surface state reflected in the outside video based on the priority.
  • the image data collection and analysis device determines the priority of the image to be analyzed from the characteristics of the road abnormality determined based on the sensor information acquired from other than the camera image and the server information, Analyzes are performed in order of priority.
  • the video data collection and analysis device prevents important video data from being deleted even when the processing of the video analysis unit cannot keep up.
  • FIG. 1 is a schematic diagram showing a configuration example of a video data collection and analysis system including a video data collection and analysis device according to the technology disclosed herein.
  • FIG. 2 is a block diagram of functions of the video data collection and analysis apparatus according to the first embodiment.
  • FIG. 3 is a flowchart showing a processing flow of the video data collection and analysis device according to the first embodiment;
  • FIG. 4 is a partial flow chart showing the internal processing of the step (ST3) for determining the analysis priority in the flow chart of FIG.
  • FIG. 5 is a schematic diagram showing an example of a road abnormality assumed by the video data collection and analysis device according to the technology of the present disclosure.
  • FIG. 5A is a schematic diagram showing a time-series signal of an acceleration sensor corresponding to an abnormality on a road.
  • FIG. 5B is an example of a table that associates types of road anomalies with analysis results of various sensors.
  • FIG. 6 is a partial flow chart showing the internal processing of the video data analysis step (ST4) in the
  • the video data collection and analysis device 1 according to the disclosed technology will be clarified by the following description along with the drawings.
  • FIG. 1 is a schematic diagram showing a configuration example of a video data collection and analysis system including a video data collection and analysis device 1 according to the technology disclosed herein.
  • the video data collection and analysis system includes a video data collection and analysis device 1 mounted in the vehicle, a camera 2 mounted in the vehicle that captures images of the outside of the vehicle, and sensors mounted in the vehicle that detect various conditions. 3 and .
  • the camera 2 in Fig. 1 is mounted on the vehicle, and photographs the outside of the vehicle such as the front, rear, left and right.
  • a video image taken outside the vehicle is hereinafter referred to as an "external video image".
  • the sensor 3 shown in FIG. 1 is mounted on a vehicle, and may be used to detect the state of the vehicle, to detect the surroundings of the vehicle, or to obtain the time. Accelerometers, gyros, microphones, wheel speedometers, and the like are used to detect vehicle conditions. Corner sensors, LiDAR, laser displacement gauges, etc., can be used to detect the surroundings of the vehicle. Others include GNSS and the like.
  • FIG. 2 is a block diagram showing functions of the video data collection and analysis device 1 according to the first embodiment.
  • the image data collection and analysis device 1 includes a memory 10, an external communication unit 11, an image acquisition unit 12, a sensor value acquisition unit 13, an image analysis unit 14, an abnormality degree determination unit 15, an analysis A priority determination unit 16 and a server information acquisition unit 17 are provided.
  • the memory 10 stores data acquired from the camera 2 and the sensor 3.
  • the external communication unit 11 communicates various information with an external server via a public line and wireless communication such as WiFi. More specifically, the external communication unit 11 transmits the analysis result transmitted from the video analysis unit 14 to the external server. The external communication unit 11 also transmits the server information transmitted from the external server to the server information acquisition unit 17 .
  • the video acquisition unit 12 acquires the video data of the video outside the vehicle transmitted from the camera 2 and transmits it to the video analysis unit 14 .
  • the sensor value acquisition unit 13 acquires sensor data output from the sensor 3 and outputs the sensor data to the abnormality degree determination unit 15 .
  • the image analysis unit 14 analyzes the image data transmitted from the image acquisition unit 12 and determines the degree of road abnormality.
  • the video analysis unit 14 advances processing in descending order of analysis priority according to the priority determined by the analysis priority determination unit 16 .
  • the unit of the video data analyzed by the video analysis unit 14 may be an image frame unit or a time unit, and may be set in advance by the user.
  • the abnormality degree determination unit 15 performs arithmetic processing on the sensor data output from the sensor value acquisition unit 13, and determines the degree of abnormality for the road corresponding to the sensor data. Arithmetic processing on sensor data includes comparison with a threshold value, calculation of an average value, calculation of a peak value, calculation of a spectrum frequency, and the like. The unit of the image data may be determined depending on the type of arithmetic processing performed on the sensor data. Information on the degree of abnormality determined by the degree-of-abnormality determination unit 15 is output to the analysis priority determination unit 16 .
  • the analysis priority determination unit 16 determines the analysis priority of each video based on the abnormality degree information output from the abnormality degree determination unit 15 and the server information output from the server information acquisition unit 17 .
  • the determined analysis priority for each video is output to the video analysis unit 14 .
  • the determination of the analysis priority by the analysis priority determination unit 16 may be performed in the same unit as the unit of video data analyzed by the video analysis unit 14, and may be performed in units of image frames or in units of time. good.
  • the server information acquisition unit 17 outputs the server information transmitted from the vehicle external communication unit 11 to the analysis priority determination unit 16.
  • the server information here includes information such as which road abnormality is to be preferentially analyzed.
  • FIG. 3 is a flow chart showing the processing flow of the video data collection and analysis device 1 according to the first embodiment.
  • the processing of the video data collection and analysis device 1 includes a step of acquiring sensor values (ST1), a step of analyzing sensor values (ST2), and a step of determining analysis priority (ST3). , and a step of analyzing the video data (ST4).
  • the step of acquiring sensor values (ST1) is a processing step that is performed by the sensor value acquiring unit 13 and acquires sensor data output from the sensor 3, that is, samples.
  • the step of analyzing the sensor value (ST2) is performed by the abnormality degree determination unit 15, and the degree of abnormality occurring on the road is determined. Potholes, cracks, ruts, falling objects, obstacles, humans and animals, and the like are assumed as abnormalities that occur on roads.
  • the step of determining the analysis priority (ST3) is performed by the analysis priority determination unit 16.
  • the details of the step (ST3) of determining the analysis priority will be clarified by the following description.
  • the step of analyzing the video data (ST4) is performed by the video analysis unit 14.
  • the details of the step (ST4) of analyzing the video data will also be clarified by the following description.
  • FIG. 4 is a partial flow chart showing the internal processing of the step (ST3) of determining the analysis priority in the flow chart of FIG.
  • the step of determining the analysis priority (ST3) includes a step of determining whether or not an abnormality is detected (ST301), a step of acquiring position information and time of the detected abnormality (ST302), a step of acquiring server information (ST304); a step of determining an analysis priority based on the server information and the characteristics of the abnormality (ST305); and setting the analysis priority to the lowest and a step (ST306).
  • the step of determining whether or not an abnormality is detected is the first step of the steps of determining the analysis priority (ST3), and is performed by the analysis priority determination unit 16.
  • the processing here is performed based on information on the degree of abnormality output from the degree-of-abnormality determination unit 15 . If the degree of abnormality is lower than the default value, the process proceeds to the step of setting the lowest analysis priority (ST306). Otherwise, the process proceeds to a step (ST302) of acquiring position information and time regarding the detected abnormality.
  • the step of acquiring the position information and time of the detected abnormality is an internal step of the step of determining the analysis priority (ST3), and is performed by the analysis priority determining section 16.
  • the process here is a process of acquiring the time and position information when the degree of abnormality exceeds the default value.
  • the video data collection and analysis device 1 may take into consideration that the target of the video captured by the camera 2 is the video of the road surface in front of the vehicle on which the device is mounted. That is, the analysis priority determination unit 16 may consider a delay time between the time when the abnormality is detected and the time when the image is captured by the associated camera 2 .
  • the step of acquiring the characteristics of the abnormality is an internal step of the step of determining the analysis priority (ST3), and is performed by the analysis priority determination unit 16.
  • the process here is a process of acquiring an abnormality feature when the degree of abnormality exceeds a default value.
  • FIG. 5 is a schematic diagram showing an example of a road abnormality assumed by the video data collection and analysis device 1 according to the technology of the present disclosure. The step of acquiring the features of the abnormality (ST303) will be clarified by the following description along FIG.
  • FIG. 5A is a schematic diagram showing a time-series signal of an acceleration sensor corresponding to an abnormality on a road.
  • FIG. 5A shows that potholes and cracks can be detected, for example, by analyzing the time-series signal of an acceleration sensor.
  • FIG. 5B also shows that the types of road abnormalities can be determined by observing feature amounts obtained from sensor data of multiple types of sensors 3 .
  • the feature value can be the peak value of the signal, the interval between peak values, the spectral frequency, the average value, the maximum value, the minimum value, and the like.
  • N is an integer of 1 or more.
  • Road anomalies can then be categorized by type and plotted in an N-dimensional feature amount space.
  • Plot information in the N-dimensional feature amount space obtained from past accumulated data can be recreated into a feature amount space map categorized by type of road anomaly.
  • the feature space map can derive the type of road abnormality to which the plot is likely to belong from the plot of the feature.
  • the video data collection and analysis device 1 may include a feature amount space map created off-line.
  • the video data collection and analysis device 1 may have a learning function, and may have a configuration for updating the feature amount space map by learning.
  • a decision tree may be used as a method of deriving the type of road abnormality with high probability from the plot of the feature amount.
  • the video data collection and analysis device 1 may set severity and reliability for types of highly probable road anomalies derived from the feature space map.
  • the degree of severity is the severity of an accident caused by a road abnormality. For example, a pothole is determined by its depth and width, and an obstacle is determined by its size.
  • the degree of reliability is determined, for example, by the probability of the type of road abnormality derived from the feature space map.
  • the step of acquiring server information is an internal step of the step of determining the analysis priority (ST3), and is performed by the analysis priority determination unit 16.
  • the processing here is processing for acquiring the server information transmitted from the server information acquisition unit 17 .
  • An example of server information indicates the degree to which the server wants to acquire video data for each type of road abnormality.
  • the degree to which the server side desires to acquire video data (hereinafter referred to as "request degree”) can be represented by a numerical value of 0 or more and 1 or less. In this example, the higher the priority, the closer to 1, and the lower the priority, the closer to 0.
  • the step of determining the analysis priority based on the server information and the characteristics of the abnormality is an internal step of the step of determining the analysis priority (ST3), and is performed by the analysis priority determination unit 16.
  • the processing here is processing for determining the final analysis priority of the video data.
  • the information used here is the degree of request represented by a numerical value of 0 or more and 1 or less acquired in the step of acquiring server information (ST304).
  • the request level may be used as it is.
  • the severity level and reliability level shown in FIG. 5B may also be used to determine the analysis priority.
  • the seriousness and reliability may also be represented by numerical values ranging from 0 to 1, and the final analysis priority of the video data may be obtained by weighting and multiplying these three numerical values. The weight at this time may be appropriately set by the user.
  • FIG. 6 is a partial flow chart showing the internal processing of the video data analysis step (ST4) in the flow chart of FIG.
  • the step of analyzing video data includes a step of acquiring a camera video (ST401), a step of selecting a video with the highest analysis priority (ST402), and a step of selecting a video with the highest analysis priority (ST402). (ST403), analyzing the video (ST404), and transmitting the analysis result (ST405).
  • the step of acquiring the camera image (ST401) is an internal step of the step of analyzing the image data (ST4), and is performed by the image analysis unit 14.
  • the processing here is processing for acquiring video data from the camera 2 mounted on the vehicle.
  • the step of selecting the video with the highest analysis priority is an internal step of the step of analyzing the video data (ST4), and is performed by the video analysis unit 14.
  • the process here is a process of selecting the image with the highest priority among the analysis priorities determined by the analysis priority determination unit 16 as an analysis target.
  • the step of determining whether the analysis priority is equal to or higher than the threshold is an internal step of the step of analyzing the video data (ST4), and is performed by the video analysis unit 14.
  • the process here is a process of making a judgment based on certain conditions, and the destination of the flow differs depending on the result of the judgment.
  • the condition here is that the analysis priority of the video selected as the analysis target is equal to or higher than a predetermined threshold. If the analysis priority is equal to or higher than the threshold, the process proceeds to the step of analyzing the video (ST404). If the condition is not satisfied, the step (ST4) of analyzing the video data of the video is terminated.
  • the threshold used as the condition is set as follows. Setting the threshold to 0 is synonymous with not setting the threshold, and all videos are subject to analysis, and order analysis of analysis priority is performed. If the threshold value is brought close to 1, the number of videos to be analyzed by the video analysis unit 14 is reduced, which leads to a reduction in analysis load.
  • the video analysis step (ST404) is an internal step that is the core of the video data analysis step (ST4), and is performed by the video analysis unit .
  • the processing here is processing for analyzing the video. More specifically, the step of analyzing the image data (ST4) analyzes the road surface condition shown in the image outside the vehicle by image analysis.
  • the video analysis unit 14 may use machine learning for image analysis.
  • the step of transmitting the analysis result (ST405) is an internal step of the step of analyzing the video data (ST4), and is performed by the video analysis unit 14.
  • the analysis result in the video analysis step (ST404) is received, and the analysis result and video data are output to the external communication unit 11 as necessary.
  • the output analysis results and video data are uploaded to an external server.
  • the video data collection and analysis device 1 since the video data collection and analysis device 1 according to the first embodiment has the above configuration, important video data is prevented from being deleted even when the processing of the video analysis unit 14 cannot keep up.
  • Embodiment 2 Although the image data collection and analysis device 1 according to the first embodiment is used in one vehicle, it is not limited to this. A video data collection and analysis device 1 according to the second embodiment is used in a plurality of vehicles.
  • a system that achieves one purpose with multiple vehicles is sometimes called a connected car system.
  • the video data collection and analysis device 1 according to the second embodiment can be considered as an example of a connected car system.
  • each of a plurality of vehicles is equipped with the video data collection and analysis device 1 according to the second embodiment.
  • the video data collection and analysis device 1 according to the second embodiment receives, via the external communication unit 11, the video analysis result calculated by each video data collection and analysis device 1, the abnormality degree determination result, and the analysis priority. It has a configuration that can share the decision result.
  • the video data collection and analysis device 1 can also be used in a connected car system, share information, and even when the processing of the video analysis unit 14 cannot keep up, important video data to prevent it from being erased.
  • 1 image data collection and analysis device 2 camera, 3 sensor, 10 memory, 11 external communication unit, 12 image acquisition unit, 13 sensor value acquisition unit, 14 image analysis unit, 15 abnormality degree determination unit, 16 analysis priority determination unit, 17 Server information acquisition unit.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本開示技術にかかる映像データ収集解析装置（１）は、車両に搭載されたセンサから前記車両についてのセンサ値を取得するセンサ値取得部（１３）と、前記車両の外部を撮影した車外映像を取得する映像取得部（１２）と、外部サーバと通信を行う車外通信部（１１）と、前記センサ値取得部が取得したセンサ値から、前記車両が走行する道路の異常度合を判定する異常度合判定部（１５）と、判定された前記異常度合に基づいて、前記車外映像を解析する際の優先度を決定する解析優先度決定部（１６）と、前記優先度に基づいて、前記車外映像に映る道路の路面状態を解析する映像解析部（１４）と、を備える。

Description

映像データ収集解析装置
　本開示技術は、映像データ収集解析装置に関する。
　従来技術にかかるドライブレコーダーは、カメラから走行映像を取得し、取得した映像をＳＤなどのストレージに保存する。ストレージには記憶容量の上限があるため、記憶容量を超えて録画する場合、ドライブレコーダーは古い情報を削除することにより記憶容量を確保する。
　ところで最近では、ドライブレコーダーで撮影した走行映像から、路面劣化や道路異常などを検知し、通信機能を用いて検知情報を外部サーバへアップロードするといったことが検討されている。この技術分野において、例えば特許文献１には、センターサーバによって生成されるデータベースの更新に役立つ画像データに絞ったアップロードを行うことで、通信量や通信に使用する帯域を節約して画像データをアップロードする技術が開示されている。
特開２０１８－１９８００４号公報
　特許文献１に例示される従来技術においては、映像解析部の処理能力が十分であれば走行映像を連続的に解析できるが、映像解析部の処理能力が十分ではなく追いつかないことが生じ得る。この状態が続くとストレージの記憶容量が圧迫され、古い情報が削除される。削除される古い情報の中には、重要なデータが存在することがある。
　本開示技術は、上記課題に鑑み、記憶容量確保のための情報削除が行われても、重要なデータが削除されない映像データ収集解析装置を提供することを目的とする。
　本開示技術にかかる映像データ収集解析装置は、車両に搭載されたセンサから前記車両についてのセンサ値を取得するセンサ値取得部と、前記車両の外部を撮影した車外映像を取得する映像取得部と、外部サーバと通信を行う車外通信部と、前記センサ値取得部が取得したセンサ値から、前記車両が走行する道路の異常度合を判定する異常度合判定部と、判定された前記異常度合に基づいて、前記車外映像を解析する際の優先度を決定する解析優先度決定部と、前記優先度に基づいて、前記車外映像に映る道路の路面状態を解析する映像解析部と、を備える。
　本開示技術にかかる映像データ収集解析装置は上記構成を備えるため、カメラ映像以外から取得されるセンサ情報に基づいて判断された道路異常の特徴及びサーバ情報から解析する映像の優先順位を決定し、優先順位の高いものから解析を実施する。その結果、本開示技術にかかる映像データ収集解析装置は、映像解析部の処理が間に合わなくなる場合でも、重要な映像データが消去されることを防ぐ。
図１は、本開示技術にかかる映像データ収集解析装置をそなえた映像データ収集解析システムの構成例を示す概略図である。 図２は、実施の形態１にかかる映像データ収集解析装置の機能を示すブロック図である。 図３は、実施の形態１にかかる映像データ収集解析装置の処理フローを示すフローチャートである。 図４は、図３のフローチャートにおける解析優先度を決定するステップ（ＳＴ３）内部処理を表した部分フローチャートである。 図５は、本開示技術にかかる映像データ収集解析装置が想定している道路異常の例を示した模式図である。図５Ａは、道路における異常と対応する加速度センサーの時系列信号を表した模式図である。図５Ｂは、道路における異常の種類と各種センサの解析結果とを対応させた表の一例である。 図６は、図３のフローチャートにおける映像データを解析するステップ（ＳＴ４）の内部処理を表した部分フローチャートである。
　開示技術にかかる映像データ収集解析装置１は、以下の図に沿った説明により明らかにされる。
実施の形態１．
　図１は、本開示技術にかかる映像データ収集解析装置１をそなえた映像データ収集解析システムの構成例を示す概略図である。図１が示すとおり、映像データ収集解析システムは、車両内に搭載された映像データ収集解析装置１と、車両に搭載され車外を撮像するカメラ２と、車両に搭載され各種の状態を検知するセンサ３と、から構成される。
　図１におけるカメラ２は車両に搭載されたものであり、前方、後方、及び左右などの車外を撮影する。車外を撮影した映像は、以下「車外映像」と呼ぶ。図１におけるセンサ３は車両に搭載されたものであり、車両の状態を検知するものと、車両の周辺を検知するものと、その他時刻などを得るためのものが考えられる。車両の状態を検知するものとしては、加速度計、ジャイロ、マイク、車輪速度計などが挙げられる。車両の周辺を検知するものとしては、コーナーセンサ、LiDAR、レーザ変位計などが挙げられる。その他のものとしては、ＧＮＳＳなどが挙げられる。
　図２は、実施の形態１にかかる映像データ収集解析装置１の機能を示すブロック図である。図２が示すとおり映像データ収集解析装置１は、メモリ１０と、車外通信部１１と、映像取得部１２と、センサ値取得部１３と、映像解析部１４と、異常度合判定部１５と、解析優先度決定部１６と、サーバ情報取得部１７とを備える。
　メモリ１０は、カメラ２及びセンサ３から取得したデータを記憶する。車外通信部１１は、公衆回線及びＷｉＦｉ等の無線通信を介して、外部サーバと各種情報を通信する。より具体的に車外通信部１１は、映像解析部１４から送信された解析結果を外部サーバへ送信する。また車外通信部１１は、外部サーバから送信されたサーバ情報をサーバ情報取得部１７へ送信する。
　映像取得部１２は、カメラ２から送信された車外映像の映像データを取得し、映像解析部１４へ送信する。センサ値取得部１３は、センサ３から出力されたセンサデータを取得し、異常度合判定部１５へ出力する。
　映像解析部１４は、映像取得部１２から送信された映像データを解析し、道路の異常の度合を判定する。映像解析部１４は、解析優先度決定部１６により決定された優先度に従って、解析優先度の高い順に処理を進める。なお、映像解析部１４が解析する映像データの単位は、画像フレームの単位であっても、時間の単位であってもよく、ユーザがあらかじめ設定できるような構成としてよい。
　異常度合判定部１５は、センサ値取得部１３から出力されたセンサデータに演算処理を施し、センサデータに対応する道路について異常の度合を判定する。センサデータへの演算処理とは、閾値との比較、平均値の算出、ピーク値の算出、スペクトル周波数の算出、等が挙げられる。上記の映像データの単位は、センサデータへの演算処理の種類によって決定してもよい。異常度合判定部１５で判定した異常度合の情報は、解析優先度決定部１６へ出力される。
　解析優先度決定部１６は、異常度合判定部１５から出力された異常度合の情報とサーバ情報取得部１７から出力されたサーバ情報とに基づいて、各映像の解析優先度を決定する。決定した映像ごとの解析優先度は、映像解析部１４へ出力される。解析優先度決定部１６が行う解析優先度の決定は、映像解析部１４が解析する映像データの単位と同じ単位で行ってよく、画像フレームの単位であっても、時間の単位であってもよい。
　サーバ情報取得部１７は、車外通信部１１から送信されたサーバ情報を、解析優先度決定部１６へ出力する。ここでのサーバ情報は、どの道路異常を優先的に解析したいか、といった情報が含まれる。
　図３は、実施の形態１にかかる映像データ収集解析装置１の処理フローを示すフローチャートである。図３が示すとおり、映像データ収集解析装置１の処理には、センサ値を取得するステップ（ＳＴ１）と、センサ値を解析するステップ（ＳＴ２）と、解析優先度を決定するステップ（ＳＴ３）と、映像データを解析するステップ（ＳＴ４）とを有する。
　センサ値を取得するステップ（ＳＴ１）は、センサ値取得部１３によって実施され、センサ３から出力されたセンサデータを取得する、すなわちサンプリングする処理ステップである。
　センサ値を解析するステップ（ＳＴ２）は、異常度合判定部１５によって実施され、道路にて発生する異常の度合が判定される。ここで道路にて発生する異常には、ポットホール、ひび割れ、わだち掘れ、落下物、障害物、人動物、等が想定される。
　解析優先度を決定するステップ（ＳＴ３）は、解析優先度決定部１６によって実施される。解析優先度を決定するステップ（ＳＴ３）の詳細は、以降の説明により明らかにされる。
　映像データを解析するステップ（ＳＴ４）は、映像解析部１４によって実施される。映像データを解析するステップ（ＳＴ４）の詳細も、以降の説明により明らかにされる。
　図４は、図３のフローチャートにおける解析優先度を決定するステップ（ＳＴ３）の内部処理を表した部分フローチャートである。図４が示すとおり解析優先度を決定するステップ（ＳＴ３）は、異常検出の有無を判定するステップ（ＳＴ３０１）と、検出した異常についての位置情報と時刻とを取得するステップ（ＳＴ３０２）と、異常の特徴を取得するステップ（ＳＴ３０３）と、サーバ情報を取得するステップ（ＳＴ３０４）と、サーバ情報と異常の特徴に基づいて解析優先度を決定するステップ（ＳＴ３０５）と、解析優先度を最低に設定するステップ（ＳＴ３０６）と、を有する。
　異常検出の有無を判定するステップ（ＳＴ３０１）は、解析優先度を決定するステップ（ＳＴ３）のうちの最初のステップであり、解析優先度決定部１６によって実施される。ここでの処理は、異常度合判定部１５から出力された異常度合の情報に基づいて行われる。異常度合が既定値よりも低ければ、処理は解析優先度を最低に設定するステップ（ＳＴ３０６）へと進む。それ以外の場合は、処理は検出した異常についての位置情報と時刻とを取得するステップ（ＳＴ３０２）へと進む。
　検出した異常についての位置情報と時刻とを取得するステップ（ＳＴ３０２）は、解析優先度を決定するステップ（ＳＴ３）の内部ステップであり、解析優先度決定部１６によって実施される。ここでの処理は、異常度合が既定値よりも超えたときの時刻とその位置情報を取得する処理である。なお、本開示技術にかかる映像データ収集解析装置１は、カメラ２による映像の対象が本装置が搭載されている車両の前方の路面の映像であることを考慮してもよい。すなわち解析優先度決定部１６は、異常を検出した時刻と、関連づけるカメラ２で撮像した時刻との間に、遅れ時間を考慮してもよい。
　異常の特徴を取得するステップ（ＳＴ３０３）は、解析優先度を決定するステップ（ＳＴ３）の内部ステップであり、解析優先度決定部１６によって実施される。ここでの処理は、異常度合が既定値よりも超えたときの異常の特徴を取得する処理である。図５は、本開示技術にかかる映像データ収集解析装置１が想定している道路異常の例を示した模式図である。異常の特徴を取得するステップ（ＳＴ３０３）は、図５に沿った以下の説明により明らかにされる。
　図５が示すように、本開示技術にかかる映像データ収集解析装置１が想定している道路異常には、ポットホール、大きなひび割れ、小さなひび割れ、大きな障害物、小さな障害物、等が挙げられる。図５Ａは、道路における異常と対応する加速度センサーの時系列信号を表した模式図である。図５Ａは、例えば加速度センサーの時系列信号を解析することによって、ポットホール及びひび割れを検出できることを示している。また図５Ｂは、複数種類のセンサ３のセンサデータから得られる特徴量を観測することにより、道路の異常の種別を判別できることを示している。ここで特徴量とは、信号のピーク値、ピーク値の間隔、スペクトル周波数、平均値、最大値、最小値、等が考えられる。
　複数のセンサ３のセンサデータから得られる特徴量が全部でＮ種類（Ｎは１以上の整数）あったとする。すると道路異常は、種類ごとにカテゴライズしてＮ次元の特徴量空間にプロットすることができる。ここで参照データとして、正常な道路の場合もカテゴライズしてＮ次元の特徴量空間にプロットすることが望ましい。過去の蓄積データから得られたＮ次元の特徴量空間でのプロット情報は、道路異常の種類ごとにカテゴライズした特徴量空間マップへと作り変えることができる。特徴量空間マップは、特徴量のプロットから当該プロットが属する蓋然性の高い道路異常の種類を導くことができる。本開示技術にかかる映像データ収集解析装置１は、オフラインで作成された特徴量空間マップを備えていてもよい。また、本開示技術にかかる映像データ収集解析装置１は、学習機能を備えていてもよく、学習により特徴量空間マップを更新する構成を備えていてもよい。さらに、特徴量のプロットから蓋然性の高い道路異常の種類を導く方法は、決定木を用いたものでもよい。
　図５Ｂが示すように、本開示技術にかかる映像データ収集解析装置１は、特徴量空間マップから導いた蓋然性の高い道路異常の種類に対して、深刻度と信頼度とを設定してもよい。深刻度とは、道路異常が原因となって生じる事故の深刻度であって、例えばポットホールであればその深さと幅とによって決め、例えば障害物であればその大きさによって決める。信頼度とは、例えば特徴量空間マップから導く道路異常の種類の蓋然性によって決める。
　サーバ情報を取得するステップ（ＳＴ３０４）は、解析優先度を決定するステップ（ＳＴ３）の内部ステップであり、解析優先度決定部１６によって実施される。ここでの処理は、サーバ情報取得部１７から送信されたサーバ情報を取得する処理である。サーバ情報の例は、道路異常の種類ごとにサーバ側が映像データを取得したい度合を示したものである。例えばサーバ側が映像データを取得したい度合（以下「要求度合」という）は、０以上１以下の数値で表すことができる。ここでの例は、優先度の高いものほど１に近く、優先度の低いものほど０に近い値とする。
　サーバ情報と異常の特徴に基づいて解析優先度を決定するステップ（ＳＴ３０５）は、解析優先度を決定するステップ（ＳＴ３）の内部ステップであり、解析優先度決定部１６によって実施される。ここでの処理は、最終的な映像データの解析優先度を決定する処理である。ここで用いる情報は、サーバ情報を取得するステップ（ＳＴ３０４）で取得した０以上１以下の数値で表した要求度合である。解析優先度は、要求度合をそのまま用いてもよい。また、解析優先度の決定は、この要求度合とともに、図５Ｂで示した深刻度と信頼度とを用いてもよい。深刻度及び信頼度も、それぞれ０以上１以下の数値で表し、最終的な映像データの解析優先度を、これら３つの数値を重み付けして掛け合わせることによって求めてもよい。このときの重みは、使用者によって適宜設定できるようにしてもよい。
　図６は、図３のフローチャートにおける映像データを解析するステップ（ＳＴ４）の内部処理を表した部分フローチャートである。図６が示すとおり映像データを解析するステップ（ＳＴ４）は、カメラ映像を取得するステップ（ＳＴ４０１）と、解析優先度が一番高い映像を選択するステップ（ＳＴ４０２）と、解析優先度が閾値以上であるか否かを判断するステップ（ＳＴ４０３）と、映像を解析するステップ（ＳＴ４０４）と、解析結果を送信するステップ（ＳＴ４０５）と、を有する。
　カメラ映像を取得するステップ（ＳＴ４０１）は、映像データを解析するステップ（ＳＴ４）の内部ステップであり、映像解析部１４によって実施される。ここでの処理は、車両に搭載されたカメラ２から映像データを取得する処理である。
　解析優先度が一番高い映像を選択するステップ（ＳＴ４０２）は、映像データを解析するステップ（ＳＴ４）の内部ステップであり、映像解析部１４によって実施される。ここでの処理は、解析優先度決定部１６で決定した解析優先度のうち一番優先度の高い映像を解析対象として選択する処理である。
　解析優先度が閾値以上であるか否かを判断するステップ（ＳＴ４０３）は、映像データを解析するステップ（ＳＴ４）の内部ステップであり、映像解析部１４によって実施される。ここでの処理は、或る条件に基づいて判断を行う処理であり、判断の結果によってフローの行き先が異なる。ここでの条件とは、解析対象として選択された映像の解析優先度が、あらかじめ決めておいた閾値以上であることである。解析優先度が閾値以上であれば、処理は映像を解析するステップ（ＳＴ４０４）へと進む。条件を満たさない場合は、当該映像についての映像データを解析するステップ（ＳＴ４）を終了する。
　解析優先度が閾値以上であるか否かを判断するステップ（ＳＴ４０３）において、条件に用いる閾値は、以下のように考えて設定する。閾値を０と設定することは、閾値を設定しないことと同義になり、すべての映像が解析対象となり解析優先度の順位解析がなされていく。閾値を１に近づけると映像解析部１４での解析する映像の数が減るため、解析の負荷を軽減させることにつながる。
　映像を解析するステップ（ＳＴ４０４）は、映像データを解析するステップ（ＳＴ４）のコアとなる内部ステップであり、映像解析部１４によって実施される。ここでの処理は、映像の解析を実施する処理である。より具体的には、映像データを解析するステップ（ＳＴ４）は、車外映像に映る道路の路面状態を、画像解析により解析する。映像解析部１４は、画像解析に機械学習を用いてもよい。
　解析結果を送信するステップ（ＳＴ４０５）は、映像データを解析するステップ（ＳＴ４）の内部ステップであり、映像解析部１４によって実施される。ここでの処理は、映像を解析するステップ（ＳＴ４０４）での解析結果を受けて、必要に応じて解析結果及び映像データを車外通信部１１へ出力する。出力された解析結果及び映像データは、外部サーバへアップロードされる。
　以上のように実施の形態１にかかる映像データ収集解析装置１は上記構成を備えるため、映像解析部１４の処理が間に合わなくなる場合でも、重要な映像データが消去されることを防ぐ。
実施の形態２．
　実施の形態１にかかる映像データ収集解析装置１は、１台の車両で用いた態様であったが、これに限定するものではない。実施の形態２にかかる映像データ収集解析装置１は、複数の車両で用いられる。
　複数の車両で１つの目的を達成するシステムは、コネクテッドカーシステムとよばれることがある。実施の形態２にかかる映像データ収集解析装置１は、コネクテッドカーシステムの一例として考えることができる。
　コネクテッドカーシステムにおいては、複数の車両が実施の形態２にかかる映像データ収集解析装置１をそれぞれ備える。実施の形態２にかかる映像データ収集解析装置１は、車外通信部１１を介して、それぞれの映像データ収集解析装置１が算出した映像解析の結果と、異常度合判定の結果と、解析優先度の決定結果とを、共有できる構成を備える。
　以上の構成を備えることにより実施の形態２にかかる映像データ収集解析装置１は、コネクテッドカーシステムにおいても使用でき、情報を共有し、映像解析部１４の処理が間に合わなくなる場合でも、重要な映像データが消去されることを防ぐ。
　１　映像データ収集解析装置、　２　カメラ、　３　センサ、　１０　メモリ、　１１　車外通信部、　１２　映像取得部、　１３　センサ値取得部、　１４　映像解析部、　１５　異常度合判定部、　１６　解析優先度決定部、　１７　サーバ情報取得部。

Claims (4)

  1. 　車両に搭載されたセンサから前記車両についてのセンサ値を取得するセンサ値取得部と、
    　前記車両の外部を撮影した車外映像を取得する映像取得部と、
    　外部サーバと通信を行う車外通信部と、
    　前記センサ値取得部が取得したセンサ値から、前記車両が走行する道路の異常度合を判定する異常度合判定部と、
    判定された前記異常度合に基づいて、前記車外映像を解析する際の優先度を決定する解析優先度決定部と、
    　前記優先度に基づいて、前記車外映像に映る道路の路面状態を解析する映像解析部と、を備える映像データ収集解析装置。
  2. 　前記映像解析部は、前記車外映像の中で前記優先度が予め定められた閾値を超えたときに取得されたものを、前記優先度が高い順に解析することを特徴とする請求項１に記載の映像データ収集解析装置。
  3. 　請求項１に記載の映像データ収集解析装置であって、
    　前記車外通信部からサーバ情報を取得するサーバ情報取得部をさらに備え、
    　前記解析優先度決定部は、前記特徴と前記サーバ情報に基づいて、前記優先度を決定する映像データ収集解析装置。
  4. 　前記映像解析部は、前記優先度が予め定められた閾値を超えた映像のみを解析することを特徴とした請求項１に記載の映像データ収集解析装置。
PCT/JP2021/002707 2021-01-27 2021-01-27 映像データ収集解析装置 WO2022162753A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US18/269,472 US20240062352A1 (en) 2021-01-27 2021-01-27 Video data collection and analysis device
JP2022577849A JP7361957B2 (ja) 2021-01-27 2021-01-27 映像データ収集解析装置
PCT/JP2021/002707 WO2022162753A1 (ja) 2021-01-27 2021-01-27 映像データ収集解析装置
DE112021006928.4T DE112021006928T5 (de) 2021-01-27 2021-01-27 Videodaten-Erfassungs- und Analysevorrichtung
CN202180090388.7A CN116686023A (zh) 2021-01-27 2021-01-27 影像数据收集分析装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/002707 WO2022162753A1 (ja) 2021-01-27 2021-01-27 映像データ収集解析装置

Publications (1)

Publication Number Publication Date
WO2022162753A1 true WO2022162753A1 (ja) 2022-08-04

Family

ID=82653183

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/002707 WO2022162753A1 (ja) 2021-01-27 2021-01-27 映像データ収集解析装置

Country Status (5)

Country Link
US (1) US20240062352A1 (ja)
JP (1) JP7361957B2 (ja)
CN (1) CN116686023A (ja)
DE (1) DE112021006928T5 (ja)
WO (1) WO2022162753A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020022042A1 (ja) * 2018-07-25 2020-01-30 日本電気株式会社 劣化診断装置、劣化診断システム、劣化診断方法、プログラムを記憶する記憶媒体
JP2021002163A (ja) * 2019-06-20 2021-01-07 矢崎総業株式会社 ドライブレコーダ

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7123530B2 (ja) 2017-05-24 2022-08-23 株式会社デンソーテン 通信装置、通信システム、及び通信方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020022042A1 (ja) * 2018-07-25 2020-01-30 日本電気株式会社 劣化診断装置、劣化診断システム、劣化診断方法、プログラムを記憶する記憶媒体
JP2021002163A (ja) * 2019-06-20 2021-01-07 矢崎総業株式会社 ドライブレコーダ

Also Published As

Publication number Publication date
JP7361957B2 (ja) 2023-10-16
DE112021006928T5 (de) 2023-11-16
CN116686023A (zh) 2023-09-01
US20240062352A1 (en) 2024-02-22
JPWO2022162753A1 (ja) 2022-08-04

Similar Documents

Publication Publication Date Title
US20200379954A1 (en) File processing method for vehicle mounted monitoring device and vehicle mounted monitoring device
KR101428008B1 (ko) 사고 감지 기능을 구비한 블랙박스 장치 및 그 사고 감지 방법
KR20230010262A (ko) 경찰차를 활용한 포트홀 실시간 탐지 방법
US20220176912A1 (en) Automatic Vehicle Window Cleaning Method and Apparatus
KR102053268B1 (ko) 차량용 블랙박스 및 이를 이용한 충격 이벤트 판정방법
US11935336B2 (en) Drive recorder, method of operating drive recorder, and recording medium storing instructions for operating same
CN109410584B (zh) 一种路况检测方法及装置
WO2022162753A1 (ja) 映像データ収集解析装置
KR20190024511A (ko) 도로 상황 공유 방법 및 이를 실행하기 위해 기록매체에 기록된 컴퓨터 프로그램
CN116805409A (zh) 一种利用行车视频进行路面状态识别与平整性评估的方法
JP2021039464A (ja) 走行状況記録装置
US20200312130A1 (en) Information acquisition apparatus
US11341755B2 (en) Information acquisition apparatus
CN112669335A (zh) 车辆感知方法、装置、电子设备以及机器可读存储介质
US11467097B2 (en) Road management device
CN111754764B (zh) 道路管理装置
JP2019149076A (ja) ドライブレコーダ、及び画像記録方法
KR102545453B1 (ko) 차량용 영상 처리 장치, 도로 영상 분석 서버, 및 이들 간의 인터커넥션
JP5142904B2 (ja) データ収集システム
JP7056778B2 (ja) ドライブレコーダ
JP7405795B2 (ja) 車載情報処理装置、情報処理装置、および情報処理方法
CN114333318B (zh) 一种基于传感器空间角摩托车碰撞检测方法
US20240109537A1 (en) Adaptive Driving System
JPWO2022162753A5 (ja)
CN117826763A (zh) 一种基于车联网的汽车信息智能采集管控***及方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21922777

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022577849

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18269472

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202180090388.7

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 112021006928

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21922777

Country of ref document: EP

Kind code of ref document: A1