WO2023095397A1 - 運転支援装置、運転支援方法 - Google Patents

運転支援装置、運転支援方法 Download PDF

Info

Publication number
WO2023095397A1
WO2023095397A1 PCT/JP2022/030922 JP2022030922W WO2023095397A1 WO 2023095397 A1 WO2023095397 A1 WO 2023095397A1 JP 2022030922 W JP2022030922 W JP 2022030922W WO 2023095397 A1 WO2023095397 A1 WO 2023095397A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
person
detected
detection
unit
Prior art date
Application number
PCT/JP2022/030922
Other languages
English (en)
French (fr)
Inventor
卓也 小倉
Original Assignee
株式会社Jvcケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Jvcケンウッド filed Critical 株式会社Jvcケンウッド
Publication of WO2023095397A1 publication Critical patent/WO2023095397A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Definitions

  • the present disclosure relates to a driving support device and a driving support method.
  • a technology is known in which a far-infrared camera receives far-infrared rays emitted from an object to be photographed, generates a thermal image, and detects surrounding objects.
  • a driving support device uses a recognition model (dictionary) created by machine learning for a thermal image obtained by a far-infrared camera installed in a vehicle to identify the vehicle, pedestrians, passengers, etc. is described to detect
  • Thermal images taken with far-infrared cameras often have low resolution, and the heat distribution of objects other than people, such as vehicles, may be misidentified as people.
  • the driver of the vehicle visually searches for the person based on the erroneous recognition result. As a result, confirmation of the surroundings of the vehicle during that time is neglected.
  • the present disclosure has been made in view of the above points, and provides a driving support device and driving support method capable of reducing misrecognition of a person in a far-infrared image acquired by a far-infrared camera.
  • a driving assistance device includes an image acquisition unit that acquires an image of the exterior of a vehicle captured by a far-infrared camera, and detects a person from the image acquired by the image acquisition unit by referring to a person recognition model.
  • a human detection unit a vehicle detection unit that detects other vehicles by referring to a vehicle recognition model from the image acquired by the image acquisition unit, and determines whether or not the detected other vehicle is running; When it is determined that the other vehicle is running, if at least a part of the detection range of the other vehicle detected by the other vehicle detection unit and the detection range of the person detected by the person detection unit overlap, and a judgment unit for judging that a person detected overlapping the detection range of the other vehicle judged to be in the vehicle is erroneously detected.
  • the driving support method includes the steps of acquiring an image of the exterior of the vehicle captured by a far-infrared camera, detecting a person from the acquired image by referring to a person recognition model, and detecting a person from the acquired image. a step of detecting another vehicle with reference to a vehicle recognition model and determining whether or not the detected other vehicle is running; determining, when at least a part of the detection range of the vehicle and the detection range of the detected person overlaps, that the person detected overlapping the detection range of the other vehicle determined to be running is erroneously detected; and a driving assistance method executed by the driving assistance device.
  • FIG. 1 is a block diagram showing a schematic configuration of a driving assistance device according to Embodiment 1;
  • FIG. FIG. 2 is a flow diagram illustrating a driving assistance method according to Embodiment 1;
  • FIG. FIG. 5 is a flow chart explaining another example of the driving support method according to the first embodiment;
  • FIG. 10 is a block diagram showing a schematic configuration of a driving support device according to Embodiment 2;
  • FIG. FIG. 10 is a flow diagram illustrating a driving assistance method according to Embodiment 2;
  • FIG. 10 is a diagram showing an example in which a person is erroneously recognized in a far-infrared image captured by a far-infrared camera;
  • FIG. 1 is a block diagram showing a schematic configuration of a driving support device according to Embodiment 1.
  • the driving assistance system 100 includes a driving assistance device 10 , a far infrared camera 20 , a storage device 21 and a display device 22 .
  • the driving support system 100 is attached to a vehicle such as a passenger car, a two-wheeled vehicle, or the like, for example.
  • the driving support system 100 detects objects (another vehicle, a person, etc.) around the own vehicle to which it is attached.
  • the far-infrared camera 20 is attached, for example, to the front grill of the own vehicle or its peripheral portion.
  • the far-infrared camera 20 continuously captures a predetermined shooting range (shooting angle of view) outside the vehicle at a predetermined shooting rate to generate a far-infrared image composed of a plurality of time-series image data.
  • the far-infrared camera 20 captures a far-infrared image (thermal image) of the surroundings of the own vehicle, particularly in the traveling direction of the own vehicle, and outputs the image to the driving support device 10 .
  • the far-infrared camera 20 generates a far-infrared image by receiving far-infrared rays generated by heat generated by other vehicles and heat emitted by a person.
  • the heat generated by the operation of the vehicle refers to, for example, heat radiation from the bonnet and front grill at the front of the vehicle, heat radiation from the exhaust pipe (exhaust port) at the rear of the vehicle, and heat radiation from the tires and their surroundings.
  • heat radiation from headlights and tail lamps is also included.
  • the driving support device 10 detects other vehicles, people, and the like around the own vehicle equipped with the driving support system 100 from the far-infrared image captured by the far-infrared camera 20, and if necessary, detects the presence of the own vehicle by video or audio. Perform processing to notify the driver.
  • the driving assistance device 10 includes an image acquisition unit 11 , a person detection unit 12 , another vehicle detection unit 13 , a determination unit 14 and a display control unit 15 .
  • the storage device 21 stores data of various learned models such as a vehicle recognition model and a person recognition model. These learned models are created by machine-learning far-infrared images of people such as vehicles and pedestrians.
  • the driving support device 10 uses these learned models when detecting other vehicles, people, etc. from far-infrared video. It should be noted that normal image recognition processing can be used to detect other vehicles, people, and the like.
  • the image acquisition unit 11 acquires a far-infrared image of the outside of the vehicle from the far-infrared camera 20.
  • the person detection unit 12 uses the person recognition model read from the storage device 21 to detect a person from the far-infrared image. As described above, the person detection unit 12 recognizes a person in a far-infrared image, and a low-resolution sensor is often used, and the heat distribution of a vehicle or the like may be recognized as a person. Therefore, the results of detection by the person detection unit 12 may include erroneous detection, that is, results of erroneously detecting heat distribution in a range where no person actually exists as a person.
  • FIG. 6 is a diagram showing an example in which a person is erroneously detected in a far-infrared image acquired by a far-infrared camera.
  • the heat distribution resembles the shape of a person due to the heat generated by the motion of another vehicle, and as a result of erroneously recognizing the presence of a person, A detection frame or the like indicating the erroneously detected person H1 is displayed in the far-infrared image.
  • the driver of the own vehicle actually visually confirms the person H1 based on the erroneous recognition result, and during this time he/she neglects to check the surroundings of the vehicle.
  • the other vehicle detection unit 13 and the determination unit 14 perform the following processing.
  • the other vehicle detection unit 13 uses the vehicle recognition model read from the storage device 21 to detect other vehicles around the own vehicle from the far-infrared image. Further, the other vehicle detection unit 13 determines whether or not the detected other vehicle is running.
  • the other vehicle detection unit 13 refers to a plurality of frames of the far-infrared video composed of a plurality of time-series image data to determine whether or not another vehicle is running. For example, when the positional relationship between the detected other vehicle and its surrounding objects (road surface, building, etc.) changes, or when the relative positional relationship of the other vehicle changes based on the vehicle's running speed, It can be determined that other vehicles are running.
  • the determination unit 14 overlaps at least a part of the detection range of the person detected by the person detection unit 12 with the detection range of the other vehicle detected by the other vehicle detection unit 13. Then, it is determined that a person detected overlapping the detection range of another running vehicle is erroneously detected. This makes it possible to reduce erroneous detection of a person in the far-infrared image.
  • the determination unit 14 determines that the other vehicle is running when the other vehicle is running at a speed equal to or higher than a predetermined speed, for example, 10 km/h or higher. As a result, when the vehicle is traveling at a speed lower than a predetermined speed, it is possible to detect a person jumping out from between other vehicles. .
  • the display control unit 15 performs control to notify the driver of the own vehicle of the information about the detected person by video. For example, the display control unit 15 displays a frame indicating a person as a person in the far-infrared image acquired by the image acquisition unit 11, excluding the person detected by the person detection unit 12 as being erroneously detected by the determination unit 14. Draw a line (detection frame).
  • the display control unit 15 outputs to the display device 22 a detection result image obtained by adding a detection frame to the acquired far-infrared image.
  • the display device 22 displays the detection result image transmitted from the display control unit 15 so that the driver of the host vehicle can see it. This allows the driver of the own vehicle to recognize the person who actually exists.
  • the information about the detected person may be notified to the driver of the own vehicle by voice.
  • the voice may be output from the driving assistance device 10 or may be output from a device outside the driving assistance device 10 .
  • FIG. 2 is a flowchart for explaining the driving assistance method according to the first embodiment.
  • the far-infrared camera 20 starts capturing a far-infrared image in the traveling direction of the vehicle, and the image acquisition unit 11 acquires the far-infrared image (step S10).
  • the person detection unit 12 refers to the person recognition model and starts detecting a person from the far-infrared image (step S11).
  • the other vehicle detection unit 13 refers to the vehicle recognition model and starts detecting other vehicles from the far-infrared image (step S12).
  • the person detection unit 12 determines whether or not a person has been detected (step S13). In step S13, when a person is not detected (step S13, NO), the process proceeds to step S19.
  • step S13 if a person is detected (step S13, YES), based on the detection result of the other vehicle detection unit 13, the determination unit 14 determines whether there is another vehicle overlapping the range in which the person was detected. It is determined whether or not (step S14).
  • the determination executed in step S14 specifies the detection range of the detected person in the far-infrared image, specifies the detection range of the detected other vehicle in the far-infrared image, and determines that at least part of the person's detection range is specified. , it is determined whether or not the vehicle overlaps the detection range of other vehicles.
  • the judgment executed in step S14 may be made on the condition that a predetermined ratio or more, for example, 70% or more of the detection range of the detected person overlaps with the detection range of the other vehicle.
  • step S14 determines whether or not there is another vehicle in motion that overlaps the person detection range.
  • the other vehicle detection unit 13 starts detecting other vehicles in step S12, but may detect other vehicles when a person is detected in step S13. Further, the range in which other vehicles are detected in the far-infrared image is not limited to the entire far-infrared image, and may be limited to the surroundings of the person detected in step S13.
  • step S15 if it is not determined that the other vehicle is running (step S15, NO), that is, if the other vehicle is stopped or is running at less than a predetermined speed, the process proceeds to step S17. Further, when it is determined in step S15 that another vehicle is running (step S15, YES), the process proceeds to step S16.
  • step S16 the determination unit 14 determines that the detected person is an erroneous detection based on the determination results of steps S14 and S15. In other words, it is determined that a person detected overlapping the detection range of another running vehicle is erroneously detected. Also, in step S17, the determination unit 14 determines that the detected person is not an erroneous detection based on the determination result of step S14 or step S15.
  • the display control unit 15 displays the far-infrared image acquired by the image acquiring unit 11, including the detection frame, based on the result determined in step S16 or step S17. Specifically, out of the persons detected by the person detection unit 12, the detection frame is not displayed for a person judged to be erroneously detected by the judgment unit 14, and a person judged not to be erroneously detected by the judgment unit 14 is displayed. to display the detection frame (step S18).
  • step S18 For the person whose detection frame is displayed in step S18, tracking processing is performed for each frame of the far-infrared image, and detection is performed until the person is no longer included in the far-infrared image or until there is no need to display the detection frame. The display of the frame continues.
  • the driving support device 10 determines whether or not to end the process (step S19).
  • the end of the processing is when the conditions for ending the imaging by the far-infrared camera 20 are satisfied, or when the engine or power of the own vehicle to which the driving support system 100 is attached is turned off. If it is determined to end the process (step S19, YES), the process of FIG. 2 ends. If it is determined not to end the process (step S19, NO), the process proceeds to step S13.
  • FIG. 3 is a flowchart explaining another example of the driving support method according to the first embodiment.
  • the same reference numerals are given to the same processes as in FIG. 3 differs from FIG. 2 in that step S20 is provided between steps S15 and S16.
  • step S15 when it is determined in step S15 that another vehicle is running (step S15, YES), the process proceeds to step S20.
  • step S20 it is determined whether or not the movement of the detected other vehicle and the person is interlocked.
  • the other vehicle detection unit 13 uses the detection position (detection frame or ground position) of the other vehicle and the detection position (detection frame or ground position) of the person detected by the person detection unit 12, If the accompanying moving distance and/or moving direction are the same, it can be determined that the other vehicle and the person are interlocked.
  • the other vehicle detection unit 13 detects the movement vector over time between the coordinates of the far-infrared image indicating the detected range of the person and the coordinates of the far-infrared image indicating the detected range of the other vehicle. If they are the same or nearly the same, it is determined that the movements of the other vehicle and the person are interlocked.
  • step S20 determines that the detected position of the other vehicle and the detected position of the person are moving in conjunction with each other. That is, it is determined that a person moving in conjunction with the movement of another vehicle is erroneously detected (step S16).
  • the detection range of the other vehicle detected by the other vehicle detection unit and the detection range of the person detected by the person detection unit If it is determined that the detected position of the other vehicle and the detected position of the person are moving together when at least a part of the vehicle overlaps, the detection range of the other vehicle that is determined to be running overlaps. If a person is detected by the This makes it possible to more accurately detect a person in the far-infrared image.
  • step S20 If it is determined that the detected position of the other vehicle and the detected position of the person are not linked (step S20, NO), the process proceeds to step S17. In other words, it is determined that a person who does not move in conjunction with the movement of another vehicle is not erroneously detected (step S17).
  • FIG. 4 is a block diagram showing a schematic configuration of a driving assistance device according to Embodiment 2. As shown in FIG. In FIG. 4, the same components as those in FIG. 1 are given the same reference numerals, and the description thereof is omitted as appropriate.
  • Embodiment 2 further includes a lane detector 16 in addition to the configuration of FIG.
  • the lane detection unit 16 detects lanes from the far-infrared image. For example, the lane detection unit 16 performs edge detection processing on the far-infrared image, detects lane markings by performing smoothing processing and Hough transform processing on the detected edge components, and detects the detected lane markings. Detect lanes based on the location of the . Note that various known detection processes can be used to detect lane markings, lane lines, and the like.
  • the lane detection unit 16 detects the lane in which the vehicle is traveling based on the position of the detected lane marking.
  • the lane in which the vehicle is traveling may be only the lane in which the vehicle is traveling, and if there are multiple lanes with the same direction of travel, the lane in which the vehicle is traveling In addition, a plurality of lanes in the same traveling direction may be set as lanes in which the host vehicle is traveling. If the determination unit 14 determines that another vehicle is traveling in the lane defined by the lane markings detected by the lane detection unit 16, the other vehicle overlaps the detection range of the other vehicle. If a person is detected by the In other words, the determination unit 14 does not determine that a person detected overlapping the detection range of another vehicle other than another vehicle running in the lane is erroneously detected.
  • FIG. 5 is a flow chart explaining the driving support method according to the second embodiment.
  • the same reference numerals are given to the same processes as in FIGS. 5 differs from the example shown in FIG. 3 in that step S30 is provided between steps S12 and S13, and step S31 is provided between steps S14 and S20.
  • step S20 may be omitted.
  • step S30 the lane detection unit 16 detects lane markings from the far-infrared image, and starts detecting the lane in which the vehicle is traveling, defined by the detected lane markings. Then, in step S14, if the other vehicle is traveling (YES in step S14), it is determined whether or not the lane in which the other vehicle is traveling is the lane detected by the lane detection unit 16 in which the own vehicle is traveling. It judges (step S31).
  • step S31 If it is determined in step S31 that the lane in which the other vehicle is traveling is the lane in which the own vehicle is traveling, detected by the lane detection unit 16 (step S31, YES), the process proceeds to step S20. Alternatively, if step S20 is omitted, the process proceeds to step S16. If it is determined in step S31 that the lane in which the other vehicle is traveling is not the lane in which the own vehicle is traveling as detected by the lane detector 16 (step S31, NO), the process proceeds to step S17.
  • the second embodiment when it is determined that another vehicle is traveling, at least one of the detection range of the other vehicle detected by the other vehicle detection unit and the detection range of the person detected by the person detection unit is detected.
  • the vehicle When it is determined that another vehicle is traveling in the lane in which the vehicle is traveling defined by the lane markings detected by the lane detection unit 16, the vehicle will not travel.
  • a person detected overlapping the detection range of another vehicle determined to be in the vehicle is determined to be an erroneous detection. As a result, it is possible to prevent erroneous detection of a person in the driving lane of the own vehicle, which the driver of the own vehicle should pay most attention to.
  • the configuration of the driving assistance device 10 is not limited to the above, and a plurality of devices, for example, the driving assistance device 10 and the storage device 21 may be integrated to form a driving assistance device having a storage unit. is. Moreover, it is also possible to integrate all the components of the driving assistance system 100 and configure it as a driving assistance device including a far-infrared camera, a storage unit, and a display unit.
  • a part of the configuration of the driving support device 10 may be replaced by a device outside the driving support system 100 connected via communication means.
  • the person detection unit 12, the other vehicle detection unit 13, and the lane detection unit 16 may be replaced by a server outside the driving support system 100 connected via communication means.
  • the driving support device in addition to the form in which part or all of the driving support device is mounted on the own vehicle, it may be mounted on the own vehicle in a transportable or retrofittable manner.
  • the driving support system 100 is installed in an automobile, but it may be installed in a vehicle other than an automobile.
  • the person detection unit 12 and the other vehicle detection unit 13 used image recognition using models created by machine learning images of vehicles, people, etc., but the present invention is not limited to this.
  • another image recognition such as pattern matching using templates of other vehicles, people, etc. may be performed.
  • Each functional block that performs various processes of the driving support device 10 shown in the drawings can be configured with a processor, memory, and other circuits in terms of hardware. Also, the above-described processing can be realized by causing a processor to execute a program. Therefore, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and are not limited to either one.
  • Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer-readable media include semiconductor memory (eg, mask ROM, programmable ROM (EPROM), erasable PROM (EPROM), flash ROM, random access memory (RAM)).
  • the program may also be delivered to the computer on various types of transitory computer readable medium. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves. Transitory computer-readable media can deliver the program to the computer via wired channels, such as wires and optical fibers, or wireless channels.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本実施の形態にかかる運転支援装置(10)は、遠赤外線カメラによって車両の外部を撮影した映像を取得する映像取得部(11)と、映像取得部(11)が取得した映像から、人物認識モデルを参照して人物を検出する人物検出部(12)と、映像取得部(11)が取得した映像から、車両認識モデルを参照して他車両を検出するとともに、検出した他車両が走行しているか否かを判断する他車両検出部(13)と、他車両が走行していると判断された場合において、他車両検出部(13)が検出した他車両の検出範囲と人物検出部(12)が検出した人物の検出範囲の少なくとも一部が重なっているとき、走行していると判断された他車両の検出範囲に重なって検出された人物は誤検出と判断する判断部(14)とを備える。

Description

運転支援装置、運転支援方法
 本開示は、運転支援装置、運転支援方法に関する。
 遠赤外線カメラにより、撮影対象物から放出される遠赤外線を受光して熱画像を生成し、周囲の物体を検出する技術が知られている。特許文献1では、運転支援装置が、車両に設置された遠赤外線カメラにより得られた熱画像に対し、機械学習により作成された認識モデル(辞書)を用いて、車両や歩行者、乗降者等を検出することが記載されている。
特開2020-27380号公報
 遠赤外カメラで撮影された熱画像は解像度が低い場合が多く、車両等の人物以外の物体の熱分布を人物であると誤認識することがある。特に、車両の進行方向の車線内に、実際には人物が存在しないにも関わらず、人物が存在すると誤認識した場合、車両の運転者は誤った認識結果に基づいて目視で人物を探してしまい、その間の車両の周囲確認が疎かになってしまう。
 本開示は上記の点に鑑みなされたものであり、遠赤外線カメラにより取得された遠赤外線映像中の人物の誤認識を低減することが可能な運転支援装置及び運転支援方法を提供する。
 本実施形態にかかる運転支援装置は、遠赤外線カメラによって車両の外部を撮影した映像を取得する映像取得部と、前記映像取得部が取得した映像から、人物認識モデルを参照して人物を検出する人物検出部と、前記映像取得部が取得した映像から、車両認識モデルを参照して他車両を検出するとともに、検出した他車両が走行しているか否かを判断する他車両検出部と、前記他車両が走行していると判断された場合において、前記他車両検出部が検出した他車両の検出範囲と前記人物検出部が検出した人物の検出範囲の少なくとも一部が重なっているとき、走行していると判断された前記他車両の検出範囲に重なって検出された人物は誤検出と判断する判断部と、を備える。
 本実施形態にかかる運転支援方法は、遠赤外線カメラによって車両の外部を撮影した映像を取得するステップと、取得した映像から、人物認識モデルを参照して人物を検出するステップと、取得した映像から、車両認識モデルを参照して他車両を検出するとともに、検出した他車両が走行しているか否かを判断するステップと、前記他車両が走行していると判断された場合において、検出した他車両の検出範囲と検出した人物の検出範囲の少なくとも一部が重なっているとき、走行していると判断された前記他車両の検出範囲に重なって検出された人物は誤検出と判断するステップと、を備える、運転支援装置が実行する運転支援方法である。
 本開示によれば、遠赤外線カメラにより取得された遠赤外線映像中の人物の誤認識を低減することができる。
実施形態1に係る運転支援装置の概略構成を示すブロック図である。 実施形態1に係る運転支援方法を説明するフロー図である。 実施形態1に係る運転支援方法の他の例を説明するフロー図である。 実施形態2に係る運転支援装置の概略構成を示すブロック図である。 実施形態2に係る運転支援方法を説明するフロー図である。 遠赤外線カメラにより取得された遠赤外線映像において、人物が誤認識された例を示す図である。
 以下、図面を参照して、本発明の実施形態に係る運転支援装置及び運転支援方法について説明する。ただし、本開示が以下の実施形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜、簡略化されている。
 実施形態1.
 図1は、実施形態1に係る運転支援装置の概略構成を示すブロック図である。運転支援システム100は、運転支援装置10、遠赤外線カメラ20、記憶装置21、表示装置22を含む。運転支援システム100は、例えば、乗用車、二輪車等の車両に取り付けられる。運転支援システム100は、取り付けられた自車両の周辺の物体(他車両、人物等)を検出する。
 遠赤外線カメラ20は、例えば、自車両のフロントグリル又はその周辺部分に取り付けられる。遠赤外線カメラ20は、車両外部の所定の撮影範囲(撮影画角)を所定の撮影レートで連続的に撮影して、時系列の複数の画像データによって構成される遠赤外線映像を生成する。具体的には、遠赤外線カメラ20は、自車両の周囲、特に、自車両の進行方向の遠赤外線映像(熱画像)を撮影して運転支援装置10に出力する。
 遠赤外線カメラ20は、他車両の動作に基づく熱や人物が放出する熱による遠赤外線を受光して遠赤外線映像を生成する。なお、車両の動作に基づく熱とは、例えば、車両前部のボンネットやフロントグリルからの放熱、車両後部の排気筒(排気口)からの放熱、タイヤ及びその周辺からの放熱等を指す。また、夜間であれば、ヘッドライト、テールランプからの放熱も含まれる。
 運転支援装置10は、遠赤外線カメラ20が撮影した遠赤外線映像から、運転支援システム100を搭載した自車両の周辺の他車両、人物等を検出し、必要に応じて映像や音声により自車両の運転者に通知する処理を行う。図1に示すように、運転支援装置10は、映像取得部11、人物検出部12、他車両検出部13、判断部14、表示制御部15を含む。
 記憶装置21は、車両認識モデル、人物認識モデル等の各種学習済モデルのデータを記憶する。これらの学習済モデルは、車両、歩行者等の人物等の遠赤外線映像を機械学習して作成したものである。運転支援装置10は、遠赤外線映像から他車両、人物等を検出するときにこれらの学習済モデルを用いる。なお、他車両、人物等の検出には、通常の画像認識処理を用いることができる。
 映像取得部11は、遠赤外線カメラ20から車両の外部を撮影した遠赤外線映像を取得する。人物検出部12は、記憶装置21から読み出した人物認識モデルを用いて、遠赤外線映像から人物を検出する。上述したように、人物検出部12が人物を認識する対象の画像は遠赤外線映像であり、解像度の低いセンサが用いられることが多く、車両等の熱分布を人物と認識することがある。したがって、人物検出部12が検出した結果には、誤検出、つまり、実際には人物が存在しない範囲における熱分布を人物として誤検出した結果が含まれることもある。
 図6は、遠赤外線カメラにより取得された遠赤外線映像において、人物が誤検出された例を示す図である。この例では、実際には、自車両の進行方向である前方を走行している他車両C1の手前に人物は存在しないものとする。図6に示すように、他車両の動作に基づく熱などによって、熱分布が人物の形状に類似しており、人物が存在すると誤認識した結果、自車両の運転者に対して、取得された遠赤外線映像中に、誤検出された人物H1を示す検出枠などが表示される。この場合、自車両の運転者は、誤った認識結果に基づいて人物H1を実際に目視で確認することとなり、その間の車両の周囲確認が疎かになってしまう。
 そこで、実施形態1に係る運転支援装置10は、他車両検出部13、判断部14が以下の処理を行う。他車両検出部13は、記憶装置21から読み出した車両認識モデルを用いて、遠赤外線映像から自車両周辺の他車両を検出する。また、他車両検出部13は、検出した他車両が走行しているか否かを判断する。
 例えば、他車両検出部13は、時系列の複数の画像データによって構成される遠赤外線映像のうち複数フレームを参照して、他車両が走行しているか否かを判断する。例えば、検出した他車両とその周囲の物体(路面、建造物等)との位置関係が変化する場合や、自車両の走行速度に基づく他車両の相対的な位置関係の変化などに基づき、当該他車両は走行していると判断することができる。
 判断部14は、他車両が走行していると判断された場合に、他車両検出部13が検出した他車両の検出範囲に人物検出部12が検出した人物の検出範囲の少なくとも一部が重複したとき、走行している他車両の検出範囲に重なって検出された人物は誤検出であると判断する。これにより、遠赤外線映像における人物の誤検出を軽減することが可能となる。
 なお、徐行時や、渋滞時に低速で走行している場合には、他車両間から道路を横断する人物が存在することがある。自車両の運転者にとって、このような人物の検出は優先度が高い。このため、判断部14は、他車両が所定の速度以上、例えば、10km/h以上で走行しているときに、他車両が走行していると判断することが望ましい。これにより、所定の速度よりも低速で走行している時には、他車両間から飛び出す人物を検出することができ、所定の速度以上で走行している時には、人物の誤検出を軽減することができる。
 表示制御部15は、検出した人物に関する情報を映像により自車両の運転者に通知する制御を行う。例えば、表示制御部15は、映像取得部11が取得した遠赤外線映像に、人物検出部12が検出した人物のうち、判断部14が誤検出と判断した人物を除く、人物を人物として示す枠線(検出枠)を描画する。
 表示制御部15は、取得された遠赤外線映像に、検出枠を追加した検出結果映像を表示装置22に出力する。表示装置22は、表示制御部15から送信された検出結果映像を、自車両の運転者が目視可能に表示する。これにより、自車両の運転者は、実際に存在する人物を認識することが可能となる。
 なお、検出した人物に関する情報を音声により自車両の運転者に通知してもよい。音声は、運転支援装置10から出力されても良いし、運転支援装置10外の装置から出力されても良い。
 次に、図2を参照して、運転支援装置10の動作、すなわち、運転支援方法について説明する。図2は、実施形態1に係る運転支援方法を説明するフロー図である。運転支援システム100の動作開始に伴い、遠赤外線カメラ20が自車両の進行方向の遠赤外線映像の撮影を開始し、映像取得部11は、この遠赤外線映像を取得する(ステップS10)。
 また、遠赤外線カメラ20の撮影が開始されると、人物検出部12は、人物認識モデルを参照して、遠赤外線映像から人物の検出を開始する(ステップS11)。同様に、他車両検出部13は、車両認識モデルを参照して、遠赤外線映像から他車両の検出を開始する(ステップS12)。次に、人物検出部12は、人物が検出されたか否かを判断する(ステップS13)。ステップS13において、人物が検出されていない場合(ステップS13、NO)、ステップS19に推移する。
 ステップS13において、人物が検出された場合(ステップS13、YES)、他車両検出部13の検出結果に基づいて、判断部14は、人物が検出された範囲に重なっている他車両が存在するか否かを判断する(ステップS14)。ステップS14で実行される判断は、検出された人物の遠赤外線映像における検出範囲を特定するとともに、検出された他車両の遠赤外線映像における検出範囲を特定し、人物の検出範囲の少なくとも一部が、他車両の検出範囲に重なっているか否かを判断する。例えば、人物の検出範囲が他車両の検出範囲に重なっている割合が比較的少ない場合は、検出された他車両の熱分布とは異なる熱分布に基づいて人物が検出されているため、検出された人物は、人物を適切に検出している可能性は高い。人物の検出範囲が他車両の検出範囲に重なっている割合が比較的多い場合は、検出された他車両の熱分布を人物として誤検出している可能性が高い。従って、ステップS14で実行される判断は、検出された人物の検出範囲における所定割合以上、例えば70%以上が、他車両の検出範囲に重なっていることを条件としてもよい。
 ステップS14において、人物検出範囲に重なっている他車両が存在すると判断されない場合(ステップS14、NO)、ステップS17に推移する。また、人物検出範囲の少なくとも一部が重なっている他車両が存在すると判断された場合(ステップS14、YES)、他車両検出部13の検出結果に基づき、人物の検出範囲が重なっている他車両が走行しているか否かを判断する(ステップS15)。他車両が走行しているか否かの判断は、上述したように、他車両が例えば10km/h以上で走行している場合に、他車両が走行していると判断することが好ましい。ステップS15の処理は、ステップS14の処理に含めてもよい。その場合、ステップS14の処理は、人物検出範囲に重なっている走行中の他車両があるか否かを判断することになる。
 また、他車両検出部13は、ステップS12で他車両の検出を開始しているが、ステップS13で人物が検出された場合に、他車両を検出することとしてもよい。また、遠赤外線映像に対して、他車両を検出する範囲は、遠赤外線映像の全体に限らず、ステップS13で検出された人物の周囲に限定してもよい。
 ステップS15において、他車両が走行していると判断されない場合(ステップS15、NO)、つまり他車両が停止しているか、所定速度未満で走行している場合、ステップS17に推移する。また、ステップS15において、他車両が走行していると判断された場合(ステップS15、YES)、ステップS16に推移する。
 ステップS16において、判断部14は、ステップS14及びステップS15の判断結果に基づき、検出された人物は誤検出であると判断する。つまり走行している他車両の検出範囲に重なって検出された人物は誤検出であると判断する。また、ステップS17において、判断部14は、ステップS14又はステップS15の判断結果に基づき、検出された人物は誤検出ではないと判断する。
 次に、表示制御部15は、ステップS16又はステップS17で判断した結果に基づき、映像取得部11が取得した遠赤外線映像に、検出枠を含めて表示する。具体的には、人物検出部12が検出した人物のうち、判断部14が誤検出と判断した人物に対して検出枠を表示せず、判断部14が誤検出ではないと判断した人物に対して検出枠を表示する(ステップS18)。
 ステップS18で検出枠を表示した人物に対しては、遠赤外線映像のフレーム毎にトラッキング処理を行い、遠赤外線映像に人物が含まれなくなるまで、又は、検出枠の表示の必要がなくなるまで、検出枠の表示が継続される。
 次に、運転支援装置10は、処理を終了するか否かを判断する(ステップS19)。処理の終了とは、遠赤外線カメラ20の撮影を終了する条件を満たす場合や、運転支援システム100が取り付けられている自車両のエンジンや電力がオフになるような場合である。処理を終了すると判断された場合(ステップS19、YES)、図2の処理を終了する。また、処理を終了しないと判断された場合(ステップS19、NO)、ステップS13に推移する。
 図3は、実施形態1に係る運転支援方法の他の例を説明するフロー図である。図3において、図2と同一の処理には同一の符号が付されている。図3において、図2と異なる点は、ステップS15とステップS16との間に、ステップS20が設けられている点である。
 図3に示すように、ステップS15において、他車両が走行していると判断された場合(ステップS15、YES)、ステップS20へと進む。ステップS20では、検出した他車両と人物の移動が連動しているか否かが判断される。例えば、他車両検出部13は、他車両の検出位置(検出枠又は接地位置)と、人物検出部12で検出された人物の検出位置(検出枠又は接地位置)とを用い、時間の経過に伴う移動距離及び/又は移動方向が等しい場合に、他車両と人物が連動していると判断することができる。又は、他車両検出部13は、検出された人物の範囲を示す遠赤外線映像の座標と、検出された他車両の範囲を示す遠赤外線映像の座標との、時間の経過に伴う移動ベクトルが、同一又はほぼ同一であることによって、他車両と人物の移動が連動していると判断する。
 そして、判断部14は、他車両の検出位置と人物の検出位置とが連動して移動していると判断した場合(ステップS20、YES)、ステップS16に推移する。つまり、他車両の移動に連動して移動している人物は誤検出であると判断する(ステップS16)。
 このように、図3に示す例では、他車両が走行していると判断された場合において、他車両検出部が検出した他車両の検出範囲と前記人物検出部が検出した人物の検出範囲の少なくとも一部が重なっているときに、他車両の検出位置と人物の検出位置とが連動して移動していると判断した場合に、走行していると判断された他車両の検出範囲に重なって検出された人物は誤検出と判断する。これにより、遠赤外線映像における人物をより正確に検出することが可能となる。
 なお、他車両の検出位置と人物の検出位置とが連動していないと判断した場合(ステップS20、NO)、ステップS17に推移する。つまり、他車両の移動に連動して移動していない人物は、誤検出ではないと判断する(ステップS17)。
 実施形態2.
 図4は、実施形態2に係る運転支援装置の概略構成を示すブロック図である。図4において、図1と同一の構成要素には同一の符号を付し、説明を適宜省略する。実施の形態2では、図1の構成に加えて、車線検出部16をさらに備えている。
 車線検出部16は、遠赤外線映像から車線を検出する。車線検出部16は、例えば、遠赤外線映像に対して、エッジ検出処理を行い、検出したエッジ成分に対する平滑化処理やハフ変換処理などを行うことで車線区分線を検出し、検出した車線区分線の位置に基づいて、車線を検出する。なお、車線区分線及び車線等の検出には、公知の様々な検出処理を用いることができる。
 車線検出部16は、検出した車線区分線の位置に基づき、自車両が走行している車線を検出する。自車両が走行している車線とは、自車両が走行している車線のみであってもよく、同一方向を進行方向とする複数の車線が存在する場合は、自車両が走行している車線に加えて、同一の進行方向である複数の車線を自車両が走行している車線としてもよい。判断部14は、車線検出部16が検出した車線区分線で定義される自車両が走行している車線内を他車両が走行していると判断した場合に、前記他車両の検出範囲に重なって検出された人物は誤検出と判断する。言い換えると、判断部14は、車線内を走行している他車両以外の他車両の検出範囲に重なって検出された人物は誤検出とは判断しない。
 図5は、実施形態2に係る運転支援方法を説明するフロー図である。図5において、図2、3と同一の処理には同一の符号が付されている。図5において、図3に示す例と異なる点は、ステップS12とステップS13との間にステップS30が設けられるとともに、ステップS14とステップS20との間にステップS31が設けられる点である。なお、図5においては、ステップS20は省略されてもよい。
 ステップS30では、車線検出部16は、遠赤外線映像から車線区分線を検出し、検出した車線区分線で定義される、自車両が走行する車線の検出を開始する。そして、ステップS14において、他車両が走行している場合(ステップS14のYES)、他車両が走行する車線が、車線検出部16で検出された、自車両が走行する車線であるか否かが判断する(ステップS31)。
 ステップS31において、他車両が走行する車線が、車線検出部16で検出された、自車両が走行する車線であると判断された場合(ステップS31、YES)、ステップS20に推移する。又は、ステップS20が省略される場合は、ステップS16に推移する。ステップS31において、他車両が走行する車線が、車線検出部16で検出された、自車両が走行する車線ではないと判断された場合(ステップS31、NO)、ステップS17に推移する。
 このように、実施形態2では、他車両が走行していると判断された場合において、他車両検出部が検出した他車両の検出範囲と前記人物検出部が検出した人物の検出範囲の少なくとも一部が重なっているときに、さらに、車線検出部16が検出した車線区分線で定義される車両が走行している車線内を、他車両が走行していると判断された場合に、走行していると判断された他車両の検出範囲に重なって検出された人物は誤検出と判断する。これにより、自車両の運転者が最も注意すべき、自車両の走行車線における人物の誤検出を防止できる。
 なお、運転支援装置10の構成は上記に限られるものではなく、複数の装置、例えば、運転支援装置10及び記憶装置21を一体化して、記憶部を備えた運転支援装置として構成することも可能である。また、運転支援システム100の全ての構成を一体化して、遠赤外線カメラ、記憶部、表示部を備えた運転支援装置として構成することも可能である。
 なお、運転支援装置10の一部の構成については、通信手段を介して接続される運転支援システム100外の装置等を代用しても良い。例えば、人物検出部12、他車両検出部13、車線検出部16については、通信手段を介して接続される運転支援システム100外のサーバを代用しても良い。
 また、自車両に運転支援装置の一部又は全部が搭載されている形態に加えて、運搬可能又は後付け可能に自車両に搭載される形態であっても良い。なお、上記の説明では、運転支援システム100が自動車に搭載されるものとして説明したが、自動車以外の車両に搭載されてもよい。
 また、上述の例では、人物検出部12、他車両検出部13では、車両、人物等の画像を機械学習して作成したモデルを用いる画像認識を用いたが、これに限定されない。例えば、他車両、人物等のテンプレートを用いたパターンマッチング等の別の画像認識を行ってもよい。
 以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。上記の実施の形態の2つ以上を適宜組み合わせることも可能である。
 図面に記載された運転支援装置10の様々な処理を行う各機能ブロックは、ハードウェア的には、プロセッサ、メモリ、その他の回路で構成することができる。また、上述した処理を、プロセッサにプログラムを実行させることにより実現することも可能である。従って、これらの機能ブロックは、ハードウェアのみ、ソフトウェアのみ、又はそれらの組合せによっていろいろな形で実現でき、いずれかに限定されるものではない。
 上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
 この出願は、2021年11月25日に出願された日本出願特願2021-190764を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 100 運転支援システム
 10 運転支援装置
 11 映像取得部
 12 人物検出部
 13 他車両検出部
 14 判断部
 15 表示制御部
 16 車線検出部
 20 遠赤外線カメラ
 21 記憶装置
 22 表示装置
 H1 人物
 C1、C2、C3 他車両

Claims (7)

  1.  遠赤外線カメラによって車両の外部を撮影した映像を取得する映像取得部と、
     前記映像取得部が取得した映像から、人物認識モデルを参照して人物を検出する人物検出部と、
     前記映像取得部が取得した映像から、車両認識モデルを参照して他車両を検出するとともに、検出した他車両が走行しているか否かを判断する他車両検出部と、
     前記他車両が走行していると判断された場合において、前記他車両検出部が検出した他車両の検出範囲と前記人物検出部が検出した人物の検出範囲の少なくとも一部が重なっているとき、走行していると判断された前記他車両の検出範囲に重なって検出された人物は誤検出と判断する判断部と、
     を備える、
     運転支援装置。
  2.  前記判断部は、検出した他車両が所定の速度以上で走行している場合に、他車両が走行していると判断する、
     請求項1に記載の運転支援装置。
  3.  前記判断部は、前記人物の検出範囲の所定割合以上が前記他車両の検出範囲に重なっている場合、走行していると判断された前記他車両の検出範囲に重なって検出された人物は誤検出と判断する、
     請求項1又は2に記載の運転支援装置。
  4.  前記判断部は、前記他車両の検出位置と前記人物の検出位置とが連動して移動していると判断した場合に、走行していると判断された前記他車両の検出範囲に重なって検出された人物は誤検出と判断する、
     請求項1又は2に記載の運転支援装置。
  5.  前記映像取得部が取得した映像から、車線区分線及び前記車線区分線に基づく前記車両が走行している車線を検出する車線検出部をさらに備え、
     前記判断部は、前記車線検出部が検出した車線区分線で定義される前記車両が走行している車線内を、前記他車両が走行していると判断された場合に、前記他車両の検出範囲に重なって検出された人物は誤検出と判断する、
     請求項1から4のいずれか1項に記載の運転支援装置。
  6.  前記映像取得部が取得した映像において、前記人物検出部が検出した人物のうち前記判断部が誤検出と判断した人物を除く人物を人物として強調した検出結果映像を前記車両の運転者が目視可能な表示装置に表示させる表示制御部をさらに備える、
     請求項1から5のいずれか1項に記載の運転支援装置。
  7.  遠赤外線カメラによって車両の外部を撮影した映像を取得するステップと、
     取得した映像から、人物認識モデルを参照して人物を検出するステップと、
     取得した映像から、車両認識モデルを参照して他車両を検出するとともに、検出した他車両が走行しているか否かを判断するステップと、
     前記他車両が走行していると判断された場合において、検出した他車両の検出範囲と検出した人物の検出範囲の少なくとも一部が重なっているとき、走行していると判断された前記他車両の検出範囲に重なって検出された人物は誤検出と判断するステップと、
     を備える、
     運転支援装置が実行する運転支援方法。
PCT/JP2022/030922 2021-11-25 2022-08-16 運転支援装置、運転支援方法 WO2023095397A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021190764A JP2023077489A (ja) 2021-11-25 2021-11-25 運転支援装置、運転支援方法
JP2021-190764 2021-11-25

Publications (1)

Publication Number Publication Date
WO2023095397A1 true WO2023095397A1 (ja) 2023-06-01

Family

ID=86539153

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/030922 WO2023095397A1 (ja) 2021-11-25 2022-08-16 運転支援装置、運転支援方法

Country Status (2)

Country Link
JP (1) JP2023077489A (ja)
WO (1) WO2023095397A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001108758A (ja) * 1999-10-06 2001-04-20 Matsushita Electric Ind Co Ltd 人物検出装置
JP2006099603A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法
JP2012120047A (ja) * 2010-12-02 2012-06-21 Denso Corp 車両用表示装置
JP2018101437A (ja) * 2015-09-11 2018-06-28 富士フイルム株式会社 走行支援装置、走行支援装置による走行支援方法及びプログラム
JP2020027380A (ja) * 2018-08-10 2020-02-20 株式会社Jvcケンウッド 認識処理装置、認識処理方法及び認識処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001108758A (ja) * 1999-10-06 2001-04-20 Matsushita Electric Ind Co Ltd 人物検出装置
JP2006099603A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法
JP2012120047A (ja) * 2010-12-02 2012-06-21 Denso Corp 車両用表示装置
JP2018101437A (ja) * 2015-09-11 2018-06-28 富士フイルム株式会社 走行支援装置、走行支援装置による走行支援方法及びプログラム
JP2020027380A (ja) * 2018-08-10 2020-02-20 株式会社Jvcケンウッド 認識処理装置、認識処理方法及び認識処理プログラム

Also Published As

Publication number Publication date
JP2023077489A (ja) 2023-06-06

Similar Documents

Publication Publication Date Title
CN109478324B (zh) 图像处理装置、外界识别装置
US11461595B2 (en) Image processing apparatus and external environment recognition apparatus
JP5529910B2 (ja) 車両周辺監視装置
US7366325B2 (en) Moving object detection using low illumination depth capable computer vision
US8995723B2 (en) Detecting and recognizing traffic signs
JP4425642B2 (ja) 歩行者抽出装置
JP2005309797A (ja) 歩行者警報装置
US11465629B2 (en) Recognition processing apparatus, recognition processing method, and recognition processing program
JP2007249841A (ja) 画像認識装置
US20140072176A1 (en) Method and apparatus for identifying a possible collision object
TWI585723B (zh) 車輛監控系統及其方法
JP2007323578A (ja) 車両周辺監視装置
KR20190090221A (ko) 지능형 안전 장치
JP2014146267A (ja) 歩行者検出装置、運転支援装置
KR101374653B1 (ko) 차량의 움직임을 검출하는 장치 및 방법
KR20140104516A (ko) 차선 인식 방법 및 장치
JP2017167608A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
WO2023095397A1 (ja) 運転支援装置、運転支援方法
JP2011103058A (ja) 誤認識防止装置
JP2005309660A (ja) 車両用右左折支援装置
JP2018163530A (ja) 対象物検知装置、対象物検知方法、及び対象物検知プログラム
JPWO2020129517A1 (ja) 画像処理装置
JP2009122918A (ja) 車両走行支援装置
JP6582891B2 (ja) 空車枠特定システム、方法およびプログラム
JP7145227B2 (ja) 標識認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22898182

Country of ref document: EP

Kind code of ref document: A1