WO2020031413A1 - 認識処理装置、認識処理方法及び認識処理プログラム - Google Patents

認識処理装置、認識処理方法及び認識処理プログラム Download PDF

Info

Publication number
WO2020031413A1
WO2020031413A1 PCT/JP2019/009896 JP2019009896W WO2020031413A1 WO 2020031413 A1 WO2020031413 A1 WO 2020031413A1 JP 2019009896 W JP2019009896 W JP 2019009896W WO 2020031413 A1 WO2020031413 A1 WO 2020031413A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
person
detection unit
recognition processing
heat
Prior art date
Application number
PCT/JP2019/009896
Other languages
English (en)
French (fr)
Inventor
卓也 小倉
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to EP19846815.9A priority Critical patent/EP3836074A4/en
Priority to CN201980004902.3A priority patent/CN111183430B/zh
Publication of WO2020031413A1 publication Critical patent/WO2020031413A1/ja
Priority to US16/886,603 priority patent/US11465629B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians

Definitions

  • the present invention relates to a recognition processing device, a recognition processing method, and a recognition processing program.
  • Patent Literature 1 discloses a technique for quickly detecting a pedestrian who may jump out from behind a parked or stopped vehicle.
  • the present invention has been made in order to solve such a problem, and recognizes a possibility that a person gets off from another detected vehicle, and can quickly detect the person. It is an object to provide a method and a recognition processing program.
  • a far-infrared camera acquires a first image data obtained by photographing the surroundings of the own vehicle, an image acquiring unit, and another vehicle detecting unit detecting other vehicles parked and stopped around the own vehicle, A heat detection unit that detects heat radiation based on the operation of the other vehicle from the heat distribution of the region corresponding to the other vehicle in the first photographing data; and, when the heat radiation is detected, gives priority to the vicinity of the other vehicle. And a person detection unit that detects a person by performing person recognition.
  • a step of acquiring first photographing data obtained by photographing the periphery of the own vehicle by the far-infrared camera a step of detecting other vehicles parked and stopped around the own vehicle, Detecting the heat radiation based on the operation of the other vehicle from the heat distribution of the area corresponding to the other vehicle in the data; and performing the person recognition preferentially in the vicinity of the other vehicle when the heat radiation is detected. And detecting a person.
  • the present embodiment provides a computer with a procedure for acquiring first imaging data of the area around the own vehicle by a far-infrared camera, a procedure for detecting other vehicles parked and stopped around the own vehicle, A procedure for detecting heat radiation based on the operation of the other vehicle from a heat distribution of an area corresponding to the other vehicle in the first photographing data; And a procedure for performing recognition and detecting a person.
  • a recognition processing device a recognition processing method, and a recognition processing program that detect the possibility of a person getting off from another detected vehicle and quickly detect the person.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a recognition system 1 according to an embodiment.
  • 5 is a flowchart illustrating a processing procedure of a recognition processing method according to the embodiment. It is a figure for explaining heat distribution of a far-infrared picture concerning an embodiment. It is a figure for explaining heat distribution of a far-infrared picture concerning an embodiment.
  • FIG. 1 is a block diagram showing a schematic configuration of a recognition system 1 according to the present embodiment.
  • the recognition system 1 is a system used in a vehicle, and includes a recognition processing device 10, a far-infrared camera 20, a visible light camera 30, a dictionary data storage device 40, a display device 50, and the like.
  • the recognition processing device (control device) 10 detects other vehicles parked and stopped around the own vehicle equipped with the recognition system 1 from the video captured by the far-infrared camera 20 or the visible light camera 30, and detects the other vehicles. Detects heat release (heat generation) based on operation.
  • the “radiation based on the operation of the vehicle” refers to, for example, radiation from a hood or a front grill at the front of the vehicle, radiation from an exhaust pipe (exhaust port) at the rear of the vehicle, radiation from tires and its surroundings, and the like. . In the nighttime, heat radiation from headlights and tail lamps is also included.
  • the recognition processing device 10 detects a person in the vicinity of another vehicle that is radiating heat based on the operation, and notifies the driver of the own vehicle by video or audio as necessary.
  • the recognition processing device 10 controls the operation of the entire recognition system 1.
  • the far-infrared camera 20 and the visible light camera 30 are provided, for example, on a front grill of the own vehicle or a peripheral portion thereof, and a far-infrared image (first photographing data) around the own vehicle, particularly, in a traveling direction of the own vehicle.
  • the optical image (second imaging data) is captured and output to the recognition processing device 10.
  • the recognition system 1 when detecting another vehicle and a person using both the far-infrared image and the visible light image, the correspondence between the object positions in these images is determined in advance by calibration or the like. It is desirable to clarify.
  • the recognition system 1 instead of using the two cameras of the far-infrared camera 20 and the visible light camera 30, one camera having the functions of the far-infrared camera and the visible light camera is used. Then, an infrared image and a visible light image may be respectively captured, or a single camera capable of capturing an image including the visible region and the far-infrared region may be used. The image and the far-infrared image may be separated.
  • the dictionary data storage device 40 stores various detection dictionaries such as a vehicle detection dictionary (vehicle recognition dictionary), a person detection dictionary (person recognition dictionary), and a passenger detection dictionary (passenger recognition dictionary). These dictionaries are created by machine learning of images (images) of vehicles, persons such as pedestrians, and occupants of vehicles, and the recognition processing device 10 uses a far-infrared image or a visible light image to generate images of other vehicles. , Pedestrians and passengers of other vehicles.
  • vehicle detection dictionary vehicle recognition dictionary
  • person detection dictionary person recognition dictionary
  • passenger detection dictionary passenger detection dictionary
  • the occupant detection dictionary includes images of posture change from a state in which a person is sitting on a seat when getting off the vehicle to a state in which the person stands outside the vehicle, and a state in which the person stands outside the vehicle when getting on the vehicle.
  • An image of a change in posture from a vehicle to a seat is taken from the front or rear of the vehicle, and the images are created by machine learning.
  • the display device 50 displays an image and notifies the driver of the own vehicle according to the control of the recognition processing device 10.
  • the recognition processing device 10 includes the image acquisition unit 11, the other vehicle detection unit 12, the heat detection unit 13, the person detection unit 14, the notification control unit 15, the display control unit 16, the bus line 17, and the like. Is provided.
  • the image acquisition unit 11 inputs a far-infrared image and a visible light image from the far-infrared camera 20 and the visible light camera 30, and performs various image processing on these images.
  • the other vehicle detection unit 12 detects other vehicles around the own vehicle from the far-infrared image or the visible light image using the vehicle detection dictionary read from the dictionary data storage device 40.
  • the heat detection unit 13 detects heat radiation based on the operation of the other vehicle from a far-infrared image of another vehicle parked and stopped around the own vehicle, that is, a heat distribution in the thermal image.
  • the person detection unit 14 uses the person detection dictionary or the passenger detection dictionary to detect the far-infrared image or the visible light image.
  • a person who gets off from the other vehicle, a person who gets off the vehicle, or a person who gets on the other vehicle is detected from the area near the vehicle.
  • the other-vehicle vicinity area is, for example, an area corresponding to 2 to 3 m around the other vehicle. The size of this area can of course be changed.
  • the person detection unit 14 uses the person detection dictionary to detect the entire frame of the far-infrared ray image or the visible light image when detecting no heat release based on the operation from other vehicles parked and stopped around the own vehicle. A participant such as a pedestrian is detected.
  • the notification control unit 15 performs control for notifying the driver of the host vehicle of information about the detected person by voice.
  • the voice may be output from the recognition processing device 10 or may be output from a device inside or outside the recognition system 1 such as the display device 50.
  • the display control unit 16 performs control for notifying the driver of the host vehicle of information regarding the detected person by video or image.
  • the video and the like are displayed on the display device 50.
  • the other vehicle detection unit 12 and the person detection unit 14 may substitute a recognition server outside the recognition system 1 connected via communication means.
  • Each component realized by the recognition processing device 10 can be realized, for example, by executing a program under the control of an arithmetic unit (not shown) included in the recognition processing device 10 that is a computer. More specifically, the recognition processing device 10 is realized by loading a program stored in a storage unit (not shown) into a main storage device (not shown) and executing the program under the control of an arithmetic unit.
  • each component is not limited to being realized by software using a program, and may be realized by any combination of hardware, firmware, and software.
  • the above-described program is stored using various types of non-transitory computer readable media, and can be supplied to the recognition processing device 10.
  • Non-transitory computer readable media include various types of tangible storage media.
  • non-transitory computer readable media are magnetic recording media (eg, flexible disk, magnetic tape, hard disk drive), magneto-optical recording media (eg, magneto-optical disk), CD-ROM (Read Only Memory), CD-ROM. R, CD-R / W, and semiconductor memory (eg, mask ROM, PROM (Programmable @ ROM), EPROM (Erasable @ PROM), flash ROM, RAM (random @ access @ memory)).
  • magnetic recording media eg, flexible disk, magnetic tape, hard disk drive
  • magneto-optical recording media eg, magneto-optical disk
  • CD-ROM Read Only Memory
  • CD-ROM Read Only Memory
  • R CD-R / W
  • semiconductor memory eg, mask ROM, PROM (Programmable @ ROM), EPROM (Erasable @ PROM), flash ROM, RAM (random @ access @ memory)
  • the program may be supplied to the recognition processing device 10 by various types of transitory computer readable media.
  • transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the recognition processing device 10 via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • FIG. 2 is a flowchart illustrating a processing procedure of the recognition processing method according to the present embodiment.
  • the far-infrared camera 20 and the visible light camera 30 capture the traveling direction of the own vehicle, for example, a far-infrared image and a visible light image in front of the own vehicle, and the image acquisition unit 11 performs these operations.
  • An image is obtained (step S10).
  • the far-infrared image and the visible light image can be captured both when the vehicle is traveling and when the vehicle is parked and stopped.
  • the other vehicle detection unit 12 detects another vehicle from the far-infrared image or the visible light image using the vehicle detection dictionary (Step S20). Normal image recognition processing may be used to detect other vehicles. Then, it is determined whether another vehicle has been detected (step S30). When another vehicle has been detected (Yes in step S30), it is determined whether the other vehicle is parked or stopped (step S40).
  • the determination criterion is based on whether the other vehicle is stopped and what the position and state of the other vehicle are. For example, when the detected positional relationship between the other vehicle and the surrounding objects (road surface, building, etc.) is constant, it is determined that the other vehicle is stopped.
  • the hazard lamp is turned off.
  • the brake lamp is not lit, it is determined that the other vehicle is parked and stopped.
  • the same determination can be made for an oncoming vehicle particularly in a road environment where there is no lane center line.
  • step S40 When it is determined that the detected other vehicle is parked and stopped (Yes in step S40), the heat detection unit 13 radiates heat from the other vehicle based on the heat distribution of the other vehicle in the far-infrared image. It is detected (step S50).
  • 3 and 4 are diagrams for explaining the heat distribution of the far-infrared image according to the present embodiment. In FIGS. 3 and 4, a region with high luminance, that is, a region with high temperature is hatched for easy understanding of the drawings.
  • FIG. 3 is a diagram when the other vehicle 200 faces in the same direction as the own vehicle, and the temperature of a portion such as an exhaust pipe (exhaust port), a tire, and the like is increased by heat radiation based on the operation of the other vehicle.
  • FIG. 4 is a diagram when the other vehicle 300 is facing in the opposite direction to the own vehicle. The hood, front grille, tires and other parts are also hotter. During nighttime, the temperature of the tail lamp, headlight, and other parts may be high.
  • step S60 it is determined whether the other vehicle is releasing heat based on the operation.
  • the hatched portion in FIGS. 3 and 4 is higher than the temperature of the surrounding portion and the road surface by a predetermined value or more, for example, if the temperature is higher than 5 ° C., the heat is released based on the operation. I do.
  • a portion that generates heat by operation has a relatively higher temperature than other portions, it is determined that heat is radiated based on the operation.
  • the person detection unit 14 preferentially detects a region near the other vehicle in the far-infrared image or the visible light image.
  • the passenger of the other vehicle is detected (step S70).
  • Ordinary image recognition processing may be used to detect a passenger. If the passenger detection dictionary is used, the passenger can be detected with higher accuracy.
  • the person detection unit 14 may detect the passenger based on the change in the posture of the person in a plurality of frames.
  • the person detection unit 14 may determine the person as a passenger or a pedestrian based on the detected height of the person in the image. Further, the person detection unit 14 preferentially sets a region near the other vehicle as a detection target region, and after detecting (or not detecting) a passenger of the other vehicle, a far-infrared image or visible light.
  • a pedestrian or the like may be detected by using the whole or a part of the video frame as a detection target region.
  • the person detecting unit 14 sets the entire frame of the far-infrared image or the visible light image or a part thereof as a detection target area. Then, a pedestrian or the like is detected using the person detection dictionary read from the dictionary data storage device 40 (step S80). Normal image recognition processing may be used for detecting a pedestrian.
  • step S80 in the video (image), a range where a human may be present may be specified by, for example, an edge detection process.
  • step S70 or step S80 it is determined whether a passenger or a pedestrian of another vehicle has been detected (step S90).
  • the notification control unit 15 notifies the driver of the own vehicle to the driver of the own vehicle by voice or the like, or displays the notification.
  • the control unit 16 displays on the display device 50 that a passenger or the like has been detected (step S100).
  • step S110 it is determined whether to end the recognition processing method.
  • the processing is ended.
  • it is determined that the recognition processing method is not to be ended No in step S110, for example, The next video is acquired (step S10).
  • the person detection unit 14 when the other vehicle detection unit 12 does not detect another vehicle (No in step S30), and when it is determined that the detected other vehicle is not parked and stopped (No in step S40), the person detection unit 14 also performs A pedestrian or the like is detected by setting the whole or a part of each frame of the far-infrared image or the visible light image as a detection target region (step S80).
  • step S110 it is determined whether to end the recognition processing method.
  • the recognition system 1 or the recognition processing method according to the present embodiment determines the possibility of a person getting off from another vehicle based on the presence or absence of heat radiation from another vehicle detected from the video, and quickly The person can be detected.
  • the other vehicle detection unit 12 and the person detection unit 14 can detect the other vehicle and the person (passenger, pedestrian, etc.) using the far-infrared image and the visible light image, respectively.
  • another vehicle and a person can be detected using only one of the visible light images.
  • another vehicle may be detected using a far-infrared image, and a person may be detected using a visible light image.
  • the other vehicle detection unit 12 and the person detection unit 14 can detect another vehicle and a person using only the far-infrared image.
  • a visible light image is not required, and further, the visible light camera 30 is not required. That is, the recognition system 1 may be configured not to include the visible light camera 30.
  • Step S60 when determining whether the detected other vehicle is radiating heat based on the operation (step S60), the subsequent process of the person detection unit 14 (step S70) depends on which part of the other vehicle is radiating heat. , Step S80) may be selected.
  • step 70 when heat is radiated near the exhaust stack, it is determined that the engine is operating or the time has not elapsed after the engine is stopped, and the detection of the passenger (step 70) is prioritized, and the detection is performed near the exhaust stack.
  • the detection of the pedestrian may be performed (step S80) assuming that the time has elapsed since the engine was stopped.
  • Step S80 the detection of the pedestrian (Step S80) may be performed on the assumption that the time has elapsed since the stop of the traveling.
  • Step S80 may be performed as time has passed.
  • step S60 When determining whether or not the detected other vehicle is radiating heat based on the operation (step S60), instead of determining based on a comparison between a portion such as an exhaust pipe and a tire, a peripheral portion, a road surface temperature, and the like, Alternatively, the determination may be made based on the detected temperatures of parts such as the exhaust pipe and the tire. For example, when the detected temperature of the exhaust stack is equal to or higher than a predetermined value (for example, 40 ° C.), it may be determined that the detected other vehicle is releasing heat based on the operation. Further, when determining whether or not the detected other vehicle is radiating heat based on the operation (step S60), the determination may be based on a range of a portion where the temperature of the other vehicle is high.
  • a predetermined value for example, 40 ° C.
  • the configuration of the recognition system 1 is not limited to the above, and a plurality of devices, for example, the recognition processing device 10 and the dictionary data storage device 40 may be integrated into a recognition processing device having a dictionary data storage unit. good. Further, all the components of the recognition system 1 may be integrated into a recognition processing device including a far-infrared camera, a visible light camera, a dictionary data storage unit, and a display unit. In addition, for use in the own vehicle, in addition to a mode in which a part or the whole is mounted in the own vehicle, a mode in which the vehicle can be transported or can be retrofitted may be used.
  • the other vehicle detection unit 12 and the person detection unit 14 are used instead of image recognition using a dictionary created by machine learning of images of vehicles, people, and the like, or to image recognition using a dictionary created by machine learning.
  • another image recognition such as pattern matching using a template of another vehicle, a person, or the like may be performed.
  • the recognition processing device 10 includes the video acquisition unit 11 that acquires the first image data obtained by the far-infrared camera 20 capturing the surroundings of the own vehicle, and the parking unit around the own vehicle.
  • Another vehicle detection unit 12 that detects the stopped other vehicle
  • a heat detection unit 13 that detects heat release based on the operation of the other vehicle from the heat distribution of the area corresponding to the other vehicle in the first image data
  • a person detection unit 14 that detects a person by preferentially performing person recognition on the vicinity of another vehicle when detecting heat radiation.
  • the other vehicle detection unit 12 can detect another vehicle from the first image data, and the person detection unit 14 can detect a person from the first image data.
  • the image acquisition unit 11 further acquires second photographing data obtained by the visible light camera 30 photographing the surroundings of the own vehicle, and the other vehicle detecting unit 12 acquires the first photographing data. It is also possible to detect another vehicle from the, and the person detection unit 14 detects a person from the second photographing data.
  • the image acquisition unit 11 further acquires second photographing data obtained by the visible light camera 30 photographing the surroundings of the own vehicle, and the other vehicle detecting unit 12 acquires the second photographing data. It is also possible to detect the other vehicle from and the person detection unit 14 detects the person from the first photographing data. Further, in the recognition processing device 10 according to the present embodiment, the image acquisition unit 11 further acquires second photographing data obtained by the visible light camera 30 photographing the surroundings of the own vehicle, and the other vehicle detecting unit 12 acquires the second photographing data. , It is also possible to detect another vehicle and the person detection unit 14 to detect a person from the second photographing data.
  • the person detection unit 14 uses the passenger recognition dictionary for a range near another vehicle. Can be preferentially executed to detect a person. Further, in the recognition processing device 10 according to the present embodiment, the heat detection unit 13 detects the heat release based on the operation of the other vehicle from the range of the heat distribution of the first photographing data corresponding to the other vehicle. Is also possible.
  • the recognition processing device 10 can further include a notification control unit 15 that notifies the driver of the own vehicle that the person has been detected when the person detection unit 14 detects the person. It is.
  • the recognition processing method includes a step S10 in which the far-infrared camera 20 obtains first photographing data of the surroundings of the own vehicle and a step of detecting other vehicles parked and stopped around the own vehicle.
  • Step S20 detecting the heat release based on the operation of the other vehicle from the heat distribution of the area corresponding to the other vehicle in the first photographing data, and prioritizing the vicinity of the other vehicle when detecting the heat release.
  • the recognition processing device, the recognition processing method, or the recognition processing program according to the embodiment is used, for example, in a vehicle or the like to detect the possibility of a person getting off from another detected vehicle and quickly detect the person. It has industrial applicability.
  • recognition system 10 recognition processing device (control device) DESCRIPTION OF SYMBOLS 11 Image acquisition part 12 Other vehicle detection part 13 Heat detection part 14 Person detection part 15 Notification control part 16 Display control part 20 Far infrared camera 30 Visible light camera 40 Dictionary data storage device 50 Display device 200, 300 Other vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

認識処理装置（１０）は、遠赤外線カメラ（２０）が自車両の周囲を撮影した第１撮影データを取得する映像取得部（１１）と、自車両の周囲で駐停車している他車両を検出する他車両検出部（１２）と、第１撮影データの他車両に対応する領域の熱分布から、他車両の動作に基づく放熱を検出する熱検出部（１３）と、放熱を検出したときに、他車両近傍に対して優先的に人物認識を実行して人物を検出する人物検出部（１４）とを備え、検出した他車両から人物が降車する可能性を見極めて、迅速に当該人物を検出することができる。

Description

認識処理装置、認識処理方法及び認識処理プログラム
　本発明は、認識処理装置、認識処理方法及び認識処理プログラムに関する。
　自車両の周囲を撮影した映像から他車両、人物等を検出し、運転者に通知する技術が知られている。例えば、特許文献１には、駐停車車両の背後などから飛び出す可能性のある歩行者を迅速に検出する技術が開示されている。
特開２０１７－１６７６０８号公報
　自車両の進行方向に駐停車している（特に、路上に駐停車している）他車両の多くは、一時的な停止である停車をしていることが多く、停車した他車両から人が降りてくる可能性がある。しかしながら、特許文献１記載の技術では、検出した他車両から人物が降車する可能性を見極めて、迅速に当該人物を検出することが困難であった。
　本発明は、このような問題を解決するためになされたものであり、検出した他車両から人物が降車する可能性を見極めて、迅速に当該人物を検出することができる認識処理装置、認識処理方法及び認識処理プログラムを提供することを目的とする。
　本実施の形態は、遠赤外線カメラが自車両の周囲を撮影した第１撮影データを取得する映像取得部と、自車両の周囲で駐停車している他車両を検出する他車両検出部と、第１撮影データの当該他車両に対応する領域の熱分布から、当該他車両の動作に基づく放熱を検出する熱検出部と、当該放熱を検出したときに、当該他車両近傍に対して優先的に人物認識を実行して人物を検出する人物検出部とを備える認識処理装置を提供する。
　また、本実施の形態は、遠赤外線カメラが自車両の周囲を撮影した第１撮影データを取得するステップと、自車両の周囲で駐停車している他車両を検出するステップと、第１撮影データの当該他車両に対応する領域の熱分布から、当該他車両の動作に基づく放熱を検出するステップと、当該放熱を検出したときに、当該他車両近傍に対して優先的に人物認識を実行して人物を検出するステップとを有する認識処理方法を提供する。
　また、本実施の形態は、コンピュータに、遠赤外線カメラが自車両の周囲を撮影した第１撮影データを取得する手順と、自車両の周囲で駐停車している他車両を検出する手順と、第１撮影データの当該他車両に対応する領域の熱分布から、当該他車両の動作に基づく放熱を検出する手順と、当該放熱を検出したときに、当該他車両近傍に対して優先的に人物認識を実行して人物を検出する手順とを実行させるための認識処理プログラムを提供する。
　本実施の形態により、検出した他車両から人物が降車する可能性を見極めて、迅速に当該人物を検出する認識処理装置、認識処理方法及び認識処理プログラムを提供することができる。
実施の形態に係る認識システム１の概略構成を示すブロック図である。 実施の形態に係る認識処理方法の処理手順を示すフローチャートである。 実施の形態に係る遠赤外線画像の熱分布を説明するための図である。 実施の形態に係る遠赤外線画像の熱分布を説明するための図である。
　以下、図面を参照して本実施の形態に係る認識処理装置及び認識処理方法について説明する。
　まずは、本実施の形態に係る認識処理装置を備えた認識システムの構成について説明する。
　図１は、本実施の形態に係る認識システム１の概略構成を示すブロック図である。
　認識システム１は、車両において用いられるシステムであり、認識処理装置１０、遠赤外線カメラ２０、可視光カメラ３０、辞書データ記憶装置４０、表示装置５０などを備える。
　認識処理装置（制御装置）１０は、遠赤外線カメラ２０又は可視光カメラ３０が撮影した映像から認識システム１を搭載した自車両の周辺で駐停車している他車両を検出し、当該他車両の動作に基づく放熱（発熱）を検出する。なお、車両の「動作に基づく放熱」とは、例えば、車両前部のボンネットやフロントグリルからの放熱、車両後部の排気筒（排気口）からの放熱、タイヤ及びその周辺からの放熱などを指す。また、夜間であれば、ヘッドライト、テールランプからの放熱も含まれる。
　また、認識処理装置１０は、動作に基づく放熱をしている他車両の近傍において人物を検出し、必要に応じて映像又は音声により自車両の運転者に通知をする。また、認識処理装置１０は、認識システム１全体の動作の制御を行う。
　遠赤外線カメラ２０、可視光カメラ３０は、例えば、自車両のフロントグリル又はその周辺部分に設けられ、自車両の周囲、特に、自車両の進行方向の遠赤外線映像（第１撮影データ）、可視光映像（第２撮影データ）を撮影して認識処理装置１０に出力する。
　なお、本実施の形態に係る認識システム１では、遠赤外線映像、可視光映像の両方を用いて他車両及び人物を検出するときは、事前にキャリブレーションなどによりこれらの映像における被写***置の対応関係を明確にしておくことが望ましい。
　また、本実施の形態に係る認識システム１では、遠赤外線カメラ２０、可視光カメラ３０の２台のカメラを用いる代わりに、遠赤外線カメラ及び可視光カメラの機能を兼ね備えた１台のカメラを用いて、赤外線映像及び可視光映像をそれぞれ撮影するようにしても良いし、可視領域及び遠赤外領域を含む映像を撮影することができる１台のカメラを用いて、撮影後に当該映像から可視光映像及び遠赤外線映像を分離するようにしても良い。
　辞書データ記憶装置４０は、車両検出辞書（車両認識辞書）、人物検出辞書（人物認識辞書）、乗降者検出辞書（乗降者認識辞書）などの様々な検出辞書を記憶する。これらの辞書は車両、歩行者などの人物、車両の乗降者が写った映像（画像）などを機械学習して作成したもので、認識処理装置１０が、遠赤外線映像又は可視光映像から他車両、歩行者、他車両の乗降者を検出するときに用いられる。
　例えば、乗降者検出辞書は、人物が車両から降りるときのシートに座っている状態から車両の外に立つ状態までの姿勢変化の映像及び人物が車両に乗るときの車両の外に立っている状態からシートに座る状態までの姿勢変化の映像を当該車両の前方又は後方から撮影し、それらの映像を機械学習して作成したものである。
　表示装置５０は、認識処理装置１０の制御に従い、映像を表示して自車両の運転者に通知する。
　なお、認識処理装置１０は、上記動作を行うために、映像取得部１１、他車両検出部１２、熱検出部１３、人物検出部１４、通知制御部１５、表示制御部１６、バスライン１７などを備える。
　映像取得部１１は、遠赤外線カメラ２０、可視光カメラ３０から遠赤外線映像、可視光映像を入力し、これらの映像に各種の画像処理を施す。
　他車両検出部１２は、辞書データ記憶装置４０から読み出した車両検出辞書を用いて、遠赤外線映像又は可視光映像から自車両周辺の他車両を検出する。
　熱検出部１３は、自車両周辺で駐停車している他車両の遠赤外線映像、すなわち、熱画像における熱分布から、当該他車両の動作に基づく放熱を検出する。
　人物検出部１４は、自車両周辺で駐停車している他車両から動作に基づく放熱を検出したときに、人物検出辞書又は乗降者検出辞書を用いて、遠赤外線映像又は可視光映像の当該他車両近傍領域から、当該他車両から降車した人物、降車しようとしている人物又は当該他車両に乗車しようとしている人物を検出する。他車両近傍領域とは、例えば、当該他車両の周囲２～３ｍまでに対応する領域である。この領域の大きさはもちろん変更可能である。
　また、人物検出部１４は、自車両周辺の駐停車している他車両から動作に基づく放熱を検出しなかったときに、人物検出辞書を用いて、遠赤外線映像又は可視光映像のフレーム全体又はその一部から歩行者などの人物を検出する。
　通知制御部１５は、検出した人物に関する情報を音声により自車両の運転者に通知するための制御を行う。音声は認識処理装置１０から出力されても良いし、表示装置５０など認識システム１内外の装置から出力されても良い。
　表示制御部１６は、検出した人物に関する情報を映像又は画像により自車両の運転者に通知するための制御を行う。当該映像等は表示装置５０に表示される。
　なお、認識処理装置１０の一部の構成については、通信手段を介して接続される認識システム１外の装置など（図示せず）を代用しても良い。例えば、他車両検出部１２、人物検出部１４については、通信手段を介して接続される認識システム１外の認識サーバを代用しても良い。
　また、認識処理装置１０が実現する各構成要素は、例えば、コンピュータである認識処理装置１０が備える演算装置（図示せず）の制御によって、プログラムを実行することによって実現できる。より具体的には、認識処理装置１０は、記憶部（図示せず）に格納したプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。
　また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせなどにより実現しても良い。
　上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、認識処理装置１０に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。
　非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
　また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって認識処理装置１０に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は、無線通信路を介して、プログラムを認識処理装置１０に供給できる。
　次に、本実施の形態に係る認識システム１の動作、すなわち、認識処理方法について説明する。
　図２は、本実施の形態に係る認識処理方法の処理手順を示すフローチャートである。
　認識システム１が動作を開始すると、遠赤外線カメラ２０、可視光カメラ３０が自車両の進行方向、例えば、自車両の前方の遠赤外線映像、可視光映像を撮影し、映像取得部１１がこれらの映像を取得する（ステップＳ１０）。なお、遠赤外線映像、可視光映像の撮影は、自車両が走行しているとき、駐停車しているときのいずれにおいても可能である。
　次に、他車両検出部１２が、車両検出辞書を用いて遠赤外線映像又は可視光映像から他車両を検出する（ステップＳ２０）。他車両の検出には通常の画像認識処理を用いれば良い。
　そして、他車両を検出したかを判定し（ステップＳ３０）、他車両を検出したとき（ステップＳ３０のＹｅｓ）には、当該他車両が駐停車しているかを判定する（ステップＳ４０）。
　他車両が駐停車しているかを判定するときは、具体的には、当該他車両が停止しているか、また、当該他車両の位置、状態がどのようになっているかを判定基準とする。
　例えば、検出した他車両とその周囲の物体（路面、建造物など）との位置関係が一定であるときは、当該他車両は停止していると判定する。
　また、停止している他車両が、自車両の走行車線よりも左側にあるとき、車道外側線（道路または車道の路端寄りに引かれている区画線）を跨いでいるとき、ハザードランプを点灯しているとき、ブレーキランプが点灯していないときに、当該他車両は駐停車していると判定する。
　なお、検出した他車両が対向車である場合、特に、車道中央線がないような道路環境における対向車についても、同様に判定をすることができる。
　検出した他車両が駐停車していると判定したとき（ステップＳ４０のＹｅｓ）は、熱検出部１３が遠赤外線画像の当該他車両の領域の熱分布に基づいて、当該他車両からの放熱を検出する（ステップＳ５０）。
　図３、４は、本実施の形態に係る遠赤外線画像の熱分布を説明するための図である。図３、４では、図面を分りやすくするために、輝度の高い領域、すなわち、温度の高い領域にハッチングを付している。
　図３は、他車両２００が自車両と同じ方向を向いているときの図であり、排気筒（排気口）、タイヤなどの部分が当該他車両の動作に基づく放熱により温度が高くなっている。図４は、他車両３００が自車両と逆方向を向いているときの図である。ボンネット、フロントグリル、タイヤなどの部分が同様に温度が高くなっている。なお、夜間であれば、テールランプ、ヘッドライトなどの部分の温度が高くなっていることもある。
　次に、当該他車両が動作に基づく放熱をしているか判定する（ステップＳ６０）。ここでは、図３、４でハッチングを付した部分がその周辺部分や路面の温度などよりも所定値以上温度が高い、例えば、５℃以上温度が高ければ動作に基づく放熱をしていると判定する。言い換えると、他車両において、動作することで発熱する箇所が他の部分に比べて相対的に温度が高い場合に、動作に基づく放熱をしていると判定する。
　そして、当該他車両が動作に基づく放熱をしていると判定したとき（ステップＳ６０のＹｅｓ）は、人物検出部１４が遠赤外線映像又は可視光映像の当該他車両の近傍領域を優先的に検出対象領域にして、辞書データ記憶装置４０から読み出した人物検出辞書又は乗降者検出辞書を用いて、当該他車両の乗降者を検出する（ステップＳ７０）。乗降者の検出にも通常の画像認識処理を用いれば良い。乗降者検出辞書を用いれば、乗降者をより精度良く検出することができる。
　また、乗降者は歩行者よりも姿勢の変化が大きいので、人物検出部１４は、複数フレームの人物の姿勢の変化に基づいて乗降者を検出しても良い。人物検出部１４は、検出した人物の画像における高さに基づいて、当該人物を乗降者又は歩行者と判別しても良い。
　また、人物検出部１４は、当該他車両の近傍領域を優先的に検出対象領域にして、当該他車両の乗降者を検出した後に（又は、検出しなかった後に）、遠赤外線映像又は可視光映像のフレーム全体又はその一部を検出対象領域にして、歩行者などを検出しても良い。
　また、当該他車両が動作に基づく放熱をしていないと判定したとき（ステップＳ６０のＮｏ）は、人物検出部１４が遠赤外線映像又は可視光映像のフレーム全体又はその一部を検出対象領域にして、辞書データ記憶装置４０から読み出した人物検出辞書を用いて、歩行者などを検出する（ステップＳ８０）。歩行者の検出にも通常の画像認識処理を用いれば良い。ステップＳ８０では、映像（画像）において、人間の存在する可能性がある範囲を、例えば、エッジ検出処理などによって特定しても良い。
　次に、ステップＳ７０又はステップＳ８０において、他車両の乗降者、歩行者などを検出したかを判定する（ステップＳ９０）。
　乗降者、歩行者などを検出したと判定したとき（ステップＳ９０のＹｅｓ）は、通知制御部１５が音声などにより、自車両の運転者に乗降者などを検出したことを通知し、又は、表示制御部１６が表示装置５０に乗降者などを検出した旨を表示する（ステップＳ１００）。
　そして、認識処理方法を終了するかを判定し（ステップＳ１１０）、終了すると判定したとき（ステップＳ１１０のＹｅｓ）は処理を終了し、終了しないと判定したとき（ステップＳ１１０のＮｏ）は、例えば、次の映像を取得する（ステップＳ１０）ようにする。
　なお、他車両検出部１２が他車両を検出しなかったとき（ステップＳ３０のＮｏ）、検出した他車両が駐停車していないと判定したとき（ステップＳ４０のＮｏ）も、人物検出部１４が遠赤外線映像又は可視光映像の各フレームの全体又は一部を検出対象領域にして歩行者などを検出する（ステップＳ８０）。
　また、乗降者、歩行者などを検出しないと判定したとき（ステップＳ９０のＮｏ）は、認識処理方法を終了するかを判定する（ステップＳ１１０）。
　このように、本実施の形態に係る認識システム１又は認識処理方法は、映像から検出した他車両からの放熱の有無に基づいて、当該他車両から人物が降車する可能性を見極めて、迅速に当該人物を検出することができる。
　なお、本実施の形態に係る認識システム１又は認識方法では、いろいろな追加、修正又は変更が可能である。
　上述したように、他車両検出部１２及び人物検出部１４はそれぞれ遠赤外線映像及び可視光映像を用いて他車両及び人物（乗降者、歩行者など）を検出することができるが、遠赤外線映像又は可視光映像の一方だけを用いて他車両及び人物を検出することもできる。例えば、遠赤外線映像を用いて他車両を検出し、可視光映像を用いて人物を検出するようなこともできる。
　また、他車両検出部１２及び人物検出部１４は遠赤外線映像だけを用いて他車両及び人物を検出することもできる。このときは、可視光映像は不要となり、更には、可視光カメラ３０も不要となる。すなわち、認識システム１は、可視光カメラ３０を備えないような構成であっても良い。
　また、検出した他車両が動作に基づく放熱をしているかを判定するとき（ステップＳ６０）に、他車両のどの部分が放熱しているかに応じて、その後の人物検出部１４の処理（ステップＳ７０、ステップＳ８０）を選択しても良い。
　例えば、排気筒付近で放熱しているときは、エンジンが動作中であるか、エンジン停止後に時間が経過していないとして、乗降者の検出（ステップ７０）を優先して行い、排気筒付近で放熱していないときは、エンジン停止から時間が経過しているとして歩行者の検出（ステップＳ８０）を行っても良い。
　また、排気筒付近、タイヤ付近でともに放熱しているときは、エンジンが動作中であるか、エンジン停止から時間が経過しておらず、更に、走行停止から時間が経過していないとして、乗降者の検出（ステップ７０）を優先して行い、排気筒付近で放熱しているが、タイヤ付近で放熱していないときは、エンジンが動作中であるか、エンジン停止から時間が経過しておらず、しかしながら、走行停止から時間が経過しているとして歩行者の検出（ステップＳ８０）を行っても良い。
　また、タイヤ付近で放熱しているときは、走行停止から時間が経過していないとして、乗降者の検出（ステップ７０）を優先して行い、タイヤ付近で放熱していないときは、走行停止から時間が経過しているとして歩行者の検出（ステップＳ８０）を行っても良い。
　また、検出した他車両が動作に基づく放熱をしているか判定する（ステップＳ６０）ときに、排気筒、タイヤなどの部分と、周辺部分、路面の温度などとの比較に基づいて判定する代わりに、排気筒、タイヤなどの部分の検出温度に基づいて判定しても良い。例えば、排気筒の検出温度が所定値（例えば、４０℃）以上であるときに、検出した他車両が動作に基づく放熱をしていると判定しても良い。
　また、検出した他車両が動作に基づく放熱をしているか判定する（ステップＳ６０）ときに、当該他車両の温度が高い部分の範囲に基づいて判定しても良い。
　また、認識システム１の構成は、上記に限られるものではなく、複数の装置、例えば、認識処理装置１０及び辞書データ記憶装置４０を一体化して、辞書データ記憶部を備えた認識処理装置としても良い。また、認識システム１の全ての構成を一体化して、遠赤外線カメラ、可視光カメラ、辞書データ記憶部、表示部を備えた認識処理装置としても良い。
　また、自車両における利用も、自車両に一部又は全部が搭載されている形態に加えて運搬可能又は後付け可能に自車両に搭載されている形態であっても良い。
　また、他車両検出部１２、人物検出部１４は、車両、人物などの画像を機械学習して作成した辞書を用いる画像認識に代えて、又は、機械学習して作成した辞書を用いる画像認識に加えて、例えば、他車両、人物などのテンプレートを用いたパターンマッチングなどの別の画像認識を行うようにしても良い。
　以上、説明したように、本実施の形態に係る認識処理装置１０は、遠赤外線カメラ２０が自車両の周囲を撮影した第１撮影データを取得する映像取得部１１と、自車両の周囲で駐停車している他車両を検出する他車両検出部１２と、第１撮影データの当該他車両に対応する領域の熱分布から、他車両の動作に基づく放熱を検出する熱検出部１３と、当該放熱を検出したときに、他車両近傍に対して優先的に人物認識を実行して人物を検出する人物検出部１４とを備えるものである。
　また、本実施の形態に係る認識処理装置１０は、他車両検出部１２が第１撮影データから他車両を検出し、人物検出部１４が第１撮影データから人物を検出することも可能である。
　また、本実施の形態に係る認識処理装置１０は、映像取得部１１は可視光カメラ３０が自車両の周囲を撮影した第２撮影データを更に取得し、他車両検出部１２が第１撮影データから他車両を検出し、人物検出部１４が第２撮影データから人物を検出することも可能である。
　また、本実施の形態に係る認識処理装置１０は、映像取得部１１は可視光カメラ３０が自車両の周囲を撮影した第２撮影データを更に取得し、他車両検出部１２が第２撮影データから他車両を検出し、人物検出部１４が第１撮影データから人物を検出することも可能である。
　また、本実施の形態に係る認識処理装置１０は、映像取得部１１は可視光カメラ３０が自車両の周囲を撮影した第２撮影データを更に取得し、他車両検出部１２が第２撮影データから他車両を検出し、人物検出部１４が第２撮影データから人物を検出することも可能である。
　また、本実施の形態に係る認識処理装置１０は、人物検出部１４は、熱検出部１３が当該放熱を検出したときに、他車両近傍の範囲に対し、乗降者認識辞書を用いた人物認識を優先的に実行して人物を検出することも可能である。
　また、本実施の形態に係る認識処理装置１０は、熱検出部１３が、第１撮影データの他車両に対応する領域の熱分布の範囲から、当該他車両の動作に基づく放熱を検出することも可能である。
　また、本実施の形態に係る認識処理装置１０は、人物検出部１４が人物を検出したときに、自車両の運転者に人物を検出したことを通知する通知制御部１５を更に備えることも可能である。
　また、本実施の形態に係る認識処理方法は、遠赤外線カメラ２０が自車両の周囲を撮影した第１撮影データを取得するステップＳ１０と、自車両の周囲で駐停車している他車両を検出するステップＳ２０と、第１撮影データの当該他車両に対応する領域の熱分布から、他車両の動作に基づく放熱を検出するステップＳ５０と、放熱を検出したときに、他車両近傍に対して優先的に人物認識を実行して人物を検出するステップＳ７０とを有するものである。
　なお、この出願は、２０１８年８月１０日に出願された日本出願特願２０１８－１５０９６７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　実施の形態に係る認識処理装置、認識処理方法又は認識処理プログラムは、例えば、車両等で用いられて、検出した他車両から人物が降車する可能性を見極めて、迅速に当該人物を検出することができるもので、産業上の利用可能性を有する。
１　　認識システム
１０　　認識処理装置（制御装置）
１１　　映像取得部
１２　　他車両検出部
１３　　熱検出部
１４　　人物検出部
１５　　通知制御部
１６　　表示制御部
２０　　遠赤外線カメラ
３０　　可視光カメラ
４０　　辞書データ記憶装置
５０　　表示装置
２００、３００　　他車両

Claims (10)

  1. 　遠赤外線カメラが自車両の周囲を撮影した第１撮影データを取得する映像取得部と、
    　自車両の周囲で駐停車している他車両を検出する他車両検出部と、
    　前記第１撮影データの前記他車両に対応する領域の熱分布から、前記他車両の動作に基づく放熱を検出する熱検出部と、
    　前記放熱を検出したときに、前記他車両近傍に対して優先的に人物認識を実行して人物を検出する人物検出部と
    　を備える認識処理装置。
  2. 　前記他車両検出部は、前記第１撮影データから前記他車両を検出し、
    　前記人物検出部は、前記第１撮影データから前記人物を検出する
    　請求項１記載の認識処理装置。
  3. 　前記映像取得部は、可視光カメラが自車両の周囲を撮影した第２撮影データを更に取得し、
    　前記他車両検出部は、前記第１撮影データから前記他車両を検出し、
    　前記人物検出部は、前記第２撮影データから前記人物を検出する
    　請求項１記載の認識処理装置。
  4. 　前記映像取得部は、可視光カメラが自車両の周囲を撮影した第２撮影データを更に取得し、
    　前記他車両検出部は、前記第２撮影データから前記他車両を検出し、
    　前記人物検出部は、前記第１撮影データから前記人物を検出する
    　請求項１記載の認識処理装置。
  5. 　前記映像取得部は、可視光カメラが自車両の周囲を撮影した第２撮影データを更に取得し、
    　前記他車両検出部は、前記第２撮影データから前記他車両を検出し、
    　前記人物検出部は、前記第２撮影データから前記人物を検出する
    　請求項１記載の認識処理装置。
  6. 　前記人物検出部は、前記放熱を検出したときに、前記他車両近傍の範囲に対し、乗降者認識辞書を用いた人物認識を優先的に実行して人物を検出する、
    　請求項１乃至請求項５のいずれか１項記載の認識処理装置。
  7. 　前記熱検出部は、前記第１撮影データの前記他車両の動作によって発熱する領域の熱分布から、前記他車両の動作に基づく放熱を検出する、
    　請求項１乃至請求項６のいずれか１項記載の認識処理装置。
  8. 　前記人物検出部が前記人物を検出したときに、自車両の運転者に前記人物を検出したことを通知する通知制御部を更に備える
    　請求項１乃至請求項７のいずれか１項記載の認識処理装置。
  9. 　遠赤外線カメラが自車両の周囲を撮影した第１撮影データを取得するステップと、
    　自車両の周囲で駐停車している他車両を検出するステップと、
    　前記第１撮影データの前記他車両に対応する領域の熱分布から、前記他車両の動作に基づく放熱を検出するステップと、
    　前記放熱を検出したときに、前記他車両近傍に対して優先的に人物認識を実行して人物を検出するステップと
    　を有する認識処理方法。
  10. 　コンピュータに、
    　遠赤外線カメラが自車両の周囲を撮影した第１撮影データを取得する手順と、
    　自車両の周囲で駐停車している他車両を検出する手順と、
    　前記第１撮影データの前記他車両に対応する領域の熱分布から、前記他車両の動作に基づく放熱を検出する手順と、
    　前記放熱を検出したときに、前記他車両近傍に対して優先的に人物認識を実行して人物を検出する手順と
    　を実行させるための認識処理プログラム。
PCT/JP2019/009896 2018-08-10 2019-03-12 認識処理装置、認識処理方法及び認識処理プログラム WO2020031413A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19846815.9A EP3836074A4 (en) 2018-08-10 2019-03-12 RECOGNITION PROCESSING DEVICE, RECOGNITION PROCESSING AND RECOGNITION PROCESSING PROGRAM
CN201980004902.3A CN111183430B (zh) 2018-08-10 2019-03-12 识别处理装置、识别处理方法以及记录介质
US16/886,603 US11465629B2 (en) 2018-08-10 2020-05-28 Recognition processing apparatus, recognition processing method, and recognition processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018150967A JP7056458B2 (ja) 2018-08-10 2018-08-10 認識処理装置、認識処理方法及び認識処理プログラム
JP2018-150967 2018-08-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/886,603 Continuation US11465629B2 (en) 2018-08-10 2020-05-28 Recognition processing apparatus, recognition processing method, and recognition processing program

Publications (1)

Publication Number Publication Date
WO2020031413A1 true WO2020031413A1 (ja) 2020-02-13

Family

ID=69414656

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009896 WO2020031413A1 (ja) 2018-08-10 2019-03-12 認識処理装置、認識処理方法及び認識処理プログラム

Country Status (5)

Country Link
US (1) US11465629B2 (ja)
EP (1) EP3836074A4 (ja)
JP (1) JP7056458B2 (ja)
CN (1) CN111183430B (ja)
WO (1) WO2020031413A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200342623A1 (en) * 2019-04-23 2020-10-29 Apple Inc. Systems and methods for resolving hidden features in a field of view
JP2021135793A (ja) * 2020-02-27 2021-09-13 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
JP7280852B2 (ja) * 2020-04-03 2023-05-24 戸田建設株式会社 人物検知システム、人物検知プログラム、学習済みモデル生成プログラム及び学習済みモデル
JP2022144606A (ja) 2021-03-19 2022-10-03 株式会社Ｊｖｃケンウッド 警告装置及び警告方法
JP2023077489A (ja) * 2021-11-25 2023-06-06 株式会社Ｊｖｃケンウッド 運転支援装置、運転支援方法
KR102363348B1 (ko) * 2021-12-07 2022-02-15 주식회사 두루스코이브이 스토퍼형 충전장치 및 그 장치의 구동방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350699A (ja) * 2005-06-16 2006-12-28 Nissan Motor Co Ltd 画像処理装置及び方法
JP2007241898A (ja) * 2006-03-10 2007-09-20 Honda Motor Co Ltd 停止車両分別検出装置および車両の周辺監視装置
JP2017167608A (ja) 2016-03-14 2017-09-21 株式会社Ｊｖｃケンウッド 物体認識装置、物体認識方法及び物体認識プログラム
JP2018150967A (ja) 2017-03-10 2018-09-27 倉敷紡績株式会社 管継手

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4793638B2 (ja) * 2006-03-27 2011-10-12 マツダ株式会社 車両用歩行者検出装置
US8478480B2 (en) * 2006-10-27 2013-07-02 International Electronic Machines Corp. Vehicle evaluation using infrared data
JP2009033718A (ja) * 2007-06-28 2009-02-12 Olympus Imaging Corp 電子カメラ
EP2588847B1 (en) * 2010-06-29 2016-07-13 Hager Environmental and Atmospheric Technologies, LLC Device and method for quantification of gases in plumes by remote sensing
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
JP5529910B2 (ja) * 2012-03-12 2014-06-25 本田技研工業株式会社 車両周辺監視装置
US9604639B2 (en) * 2015-08-28 2017-03-28 Delphi Technologies, Inc. Pedestrian-intent-detection for automated vehicles
US10152649B2 (en) * 2015-12-01 2018-12-11 Mobileye Vision Technologies Ltd. Detecting visual information corresponding to an animal
CN105551178A (zh) * 2015-12-14 2016-05-04 国网山东省电力公司青岛供电公司 一种电网智能监控告警方法及装置
JP6635188B2 (ja) * 2016-03-18 2020-01-22 株式会社Ｊｖｃケンウッド 物体認識装置、物体認識方法及び物体認識プログラム
CN105862556A (zh) * 2016-05-30 2016-08-17 江苏智途科技股份有限公司 智能车载道路信息采集装置以及采集道路信息的方法
KR101967305B1 (ko) * 2016-10-14 2019-05-15 주식회사 만도 차량의 보행자 인식 방법 및 차량의 보행자 인식 시스템
KR101996419B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350699A (ja) * 2005-06-16 2006-12-28 Nissan Motor Co Ltd 画像処理装置及び方法
JP2007241898A (ja) * 2006-03-10 2007-09-20 Honda Motor Co Ltd 停止車両分別検出装置および車両の周辺監視装置
JP2017167608A (ja) 2016-03-14 2017-09-21 株式会社Ｊｖｃケンウッド 物体認識装置、物体認識方法及び物体認識プログラム
JP2018150967A (ja) 2017-03-10 2018-09-27 倉敷紡績株式会社 管継手

Also Published As

Publication number Publication date
US11465629B2 (en) 2022-10-11
JP7056458B2 (ja) 2022-04-19
US20200290623A1 (en) 2020-09-17
CN111183430A (zh) 2020-05-19
CN111183430B (zh) 2023-10-27
EP3836074A4 (en) 2021-09-15
JP2020027380A (ja) 2020-02-20
EP3836074A1 (en) 2021-06-16

Similar Documents

Publication Publication Date Title
WO2020031413A1 (ja) 認識処理装置、認識処理方法及び認識処理プログラム
JP4775139B2 (ja) 車輌用表示装置
JP2007142624A (ja) 車両搭載撮像装置
US20180335633A1 (en) Viewing direction detector and viewing direction detection system
US10247551B2 (en) Vehicle image processing device for environment recognition
JP5955357B2 (ja) 照射制御装置
JP2006341713A (ja) ヘッドライト照射方向変更システム、及びヘッドライト照射方向変更方法
WO2017154317A1 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP7426607B2 (ja) 映像表示システム、映像表示方法、及び、車両
JP2004328240A (ja) 周辺画像表示装置
JP2019028959A (ja) 画像登録装置、画像登録システムおよび画像登録方法
JP2013114536A (ja) 安全支援装置、及び、安全支援方法
JP7031799B1 (ja) 画像処理装置、画像処理方法、及び、画像処理プログラム
KR20150104859A (ko) 반사경을 이용한 차량의 전방위 촬영장치 및 촬영방법
KR101762726B1 (ko) Avm 시스템에서의 탑뷰 영상 생성 방법 및 그 avm 시스템
WO2020129517A1 (ja) 画像処理装置
JP2017163345A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2006039641A (ja) 車両周辺監視システム
WO2022195970A1 (ja) 警告装置及び警告方法
JP2007245970A (ja) 車両用照明装置
WO2023095397A1 (ja) 運転支援装置、運転支援方法
JP2012171387A (ja) 車両用表示装置
WO2013180112A1 (ja) 車両のライトの照射範囲を制御する装置及びその方法
JP2016170575A (ja) 車両監視装置、車両監視方法、及び、車両監視プログラム
JP6930243B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19846815

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019846815

Country of ref document: EP

Effective date: 20210310