WO2021210268A1 - 物体検出装置、情報処理装置および物体検出方法 - Google Patents

物体検出装置、情報処理装置および物体検出方法 Download PDF

Info

Publication number
WO2021210268A1
WO2021210268A1 PCT/JP2021/006484 JP2021006484W WO2021210268A1 WO 2021210268 A1 WO2021210268 A1 WO 2021210268A1 JP 2021006484 W JP2021006484 W JP 2021006484W WO 2021210268 A1 WO2021210268 A1 WO 2021210268A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection target
radar
detection
target candidate
region
Prior art date
Application number
PCT/JP2021/006484
Other languages
English (en)
French (fr)
Inventor
有慈 飯田
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/907,592 priority Critical patent/US20230152441A1/en
Publication of WO2021210268A1 publication Critical patent/WO2021210268A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present disclosure relates to an object detection device, an information processing device, and an object detection method.
  • an automatic driving control system uses a millimeter-wave radar or an image sensor using a camera to recognize an object in front (or rear, side).
  • Wave radar accurately measures the distance to an object, but it is difficult to accurately recognize the shape (size, width) of the object.
  • the image sensor accurately measures the shape and size of the object. As we recognize, it is difficult to measure the distance accurately.
  • Patent Document 1 a device that combines a millimeter-wave radar and a camera is being considered.
  • the accuracy of object detection is insufficient even if the measurement result detected by the millimeter wave radar and the measurement result detected by the camera are simply combined, and it is desired to detect the object more accurately.
  • the present disclosure provides an object detection device, an information processing device, and an object detection method capable of accurately detecting an object.
  • the object detection device includes a radar that transmits radio waves to a first region to detect detection target candidates in the first region, an imaging unit that captures the first region and generates image data.
  • An identification unit that identifies the detection target from the detection target candidates based on the image data, and a radar control unit that controls the radar so as to irradiate the second region including the detection target and narrower than the first region with radio waves. , Equipped with.
  • the radar may further include a data processing unit that transmits radio waves in the first region, detects transmission / reception points of the reflected radio waves, clusters the transmission / reception points, and generates detection target candidates.
  • the identification unit further includes an extraction unit for extracting data, the identification unit identifies whether or not the detection target candidate is a detection target using the extracted image portion of the detection target candidate, and the radar control unit determines that the detection target is a detection target.
  • the radar may be controlled so that the detection target enters the second region based on the direction and distance of the detection target candidate.
  • a database for storing a reference image as a collation reference for identifying a detection target is further provided, and the identification unit compares the extracted image portion of the detection target candidate with the reference image and detects a similar reference image.
  • the target candidate may be identified as a detection target.
  • the radar control unit may control the radar so as to switch between the first mode of irradiating the first region with radio waves and the second mode of irradiating the second region with radio waves.
  • the radar control unit may control the radar so as to irradiate the detection target identified in the first mode with radio waves in the next second mode.
  • the radar control unit may alternately repeat the first mode and the second mode.
  • the information processing apparatus identifies a detection target from the detection target candidates based on the detection target candidate detected by transmitting radio waves from the radar to the first region and the image data obtained from the imaging unit. It is provided with an identification unit and a radar control unit that controls a radar so as to irradiate a second region narrower than the first region including a detection target with radio waves.
  • a data processing unit that transmits radio waves from the radar in the first region and clusters the transmission / reception points of the reflected radio waves to generate detection target candidates may be further provided.
  • the identification unit further includes an extraction unit for extracting data, the identification unit identifies whether or not the detection target candidate is a detection target using the extracted image portion of the detection target candidate, and the radar control unit determines that the detection target is a detection target.
  • the radar may be controlled so that the detection target enters the second region based on the direction and distance of the detection target candidate.
  • a database for storing a reference image as a collation reference for identifying a detection target is further provided, and the identification unit compares the extracted image portion of the detection target candidate with the reference image and detects a similar reference image.
  • the target candidate may be identified as a detection target.
  • the radar control unit may control the radar so as to switch between the first mode of irradiating the first region with radio waves and the second mode of irradiating the second region with radio waves.
  • the radar control unit may control the radar so as to irradiate the detection target identified in the first mode with radio waves in the next second mode.
  • the radar control unit may alternately repeat the first mode and the second mode.
  • the detection target is identified from the inside, and the radar is controlled so as to irradiate the second region including the detection target and narrower than the first region with radio waves.
  • Detection of detection target candidates may include transmitting radio waves in the first region, detecting transmission / reception points of reflected radio waves, and clustering transmission / reception points to generate detection target candidates.
  • the detection target is identified by converting the direction and relative distance of the detection target candidate with respect to the radar to the coordinates of the detection target candidate in the image data, and based on the coordinates of the detection target candidate on the image data, the detection target candidate is identified from the image data.
  • the radar control includes detecting the detection target candidate determined to be the detection target, including extracting the image portion and identifying whether or not the detection target candidate is the detection target using the extracted image portion of the detection target candidate. It may include controlling the radar so that the detection target enters the second region based on the direction and distance of.
  • the object detection device further includes a database that stores a reference image that serves as a reference for collation in order to identify the detection target, and identification of the detection target is performed by comparing the extracted image portion of the detection target candidate with the reference image. It may include identifying a detection target candidate having a similar reference image from the detection target.
  • Radar control may be switched so as to periodically and alternately repeat between the first mode of irradiating the first region with radio waves and the second mode of irradiating the second region with radio waves.
  • the radar control may irradiate the detection target identified in the first mode with radio waves in the next second mode.
  • the block diagram which shows the structural example of the object detection apparatus by 1st Embodiment.
  • the flow chart which shows an example of the object detection method by this disclosure.
  • the schematic diagram which shows the irradiation range of the radio wave from a millimeter wave radar.
  • a timing diagram showing an execution pattern between the wide area mode and the narrow area mode.
  • the timing diagram which shows the other execution pattern of the wide area mode and the narrow area mode by 2nd Embodiment.
  • the block diagram which shows the schematic configuration example of the vehicle control system which is an example of the mobile body control system to which the technique which concerns on this disclosure can be applied.
  • the figure which shows the example of the installation position of the image pickup part.
  • FIG. 1 is a block diagram showing a configuration example of an object detection device according to the first embodiment.
  • the object detection device 100 is a device used in an automatic traveling control system, but is not limited to this, and can be applied to object detection such as a monitoring device system.
  • object detection such as a monitoring device system.
  • an example in which the present disclosure is applied to an automatic driving control system of an automobile will be described, but the application example of the present disclosure is not limited to this.
  • the object detection device 100 includes an information processing device 10, a millimeter wave radar 20, and an imaging unit 30.
  • the millimeter wave radar 20 includes a transmission circuit 21, a reception circuit 22, a control circuit 23, a transmission antenna ANTt, and a reception antenna ANTr.
  • the transmission circuit 21 is a circuit that transmits radio waves from the transmission antenna ANTt.
  • the receiving circuit 22 is a circuit that receives radio waves reflected from an object via the receiving antenna ANTr. That is, after the radio wave is transmitted from the transmission circuit 21, it is reflected by the object and received by the reception circuit 22.
  • the control circuit 23 controls the intensity (output) of the radio wave transmitted from the transmission circuit 21, the radiation angle (directivity) of the transmission antenna ANTt, the transmission / reception timing, and the like. As a result, the control circuit 23 can control the distance at which the object can be detected, and also controls the radio wave irradiation region (wide area, narrow area, etc.). That is, the control circuit 23 can control the scanning range of radio waves and change the object detection area.
  • the millimeter wave radar 20 transmits millimeter wave radio waves forward, receives reflected waves, and detects information on the object that generated the reflected waves.
  • the millimeter-wave radar 20 can accurately measure the distance, angle, and speed of an object, for example, and is less affected by rain, fog, and the like.
  • the millimeter wave radar 20 detects the signal strength from the received millimeter wave signal, and obtains the relative distance, direction (angle), relative velocity, and the like of the object.
  • the relative distance and angle of the object indicate the position (polar coordinates) of the detected object.
  • the relative velocity is the relative velocity of the object with respect to the millimeter wave radar 20.
  • the millimeter wave radar 20 detects the relative distance, direction, relative velocity, and signal strength of an object by transmitting and receiving radio waves at each point (transmission and reception point) at which the radio wave is transmitted and received. Then, the millimeter-wave radar 20 or the information processing apparatus 10 uses the relative distance, direction, relative speed, and signal strength of the plurality of transmission / reception points to set a plurality of transmission / reception points having substantially the same relative distance, relative speed, and signal strength.
  • the body is clustered and detected as an object. That is, the millimeter wave radar 20 detects an object as an aggregate of a plurality of transmission / reception points obtained by transmitting / receiving radio waves.
  • the millimeter-wave radar 20 periodically transmits radio waves and detects the presence or absence of an object based on the signal strength of the transmitted / received point of the reflected radio waves.
  • the radio wave detected by the millimeter-wave radar 20 may detect an aggregate of transmission / reception points having substantially the same relative distance, relative velocity, and signal strength for some reason even if an object does not actually exist. be.
  • the millimeter wave radar 20 or the information processing device 10 detects an aggregate of transmission / reception points as an object.
  • it may include an object that is not a detection target. For example, when an obstacle such as another vehicle, a person, or a falling object traveling in front of the own vehicle is targeted for detection, a guardrail, tree planting along the road, a tunnel, or the like is not a detection target.
  • the non-detection target includes a virtual image that is not an object and an object that is not a detection target, and the millimeter-wave radar 20 once detects the detection target and the non-detection target without distinction. Therefore, hereinafter, the set of detected transmission / reception points is referred to as a detection target candidate.
  • the imaging unit 30 acquires image data in front of the vehicle with a camera or the like, and processes the image data to detect information on an object in front of the vehicle.
  • the imaging unit 30 can accurately image the size, shape, color, etc. of the object itself, for example.
  • the imaging unit 30 is easily affected by the environment such as rain and fog, and the accuracy of distance measurement is low.
  • the camera of the imaging unit 30 is directed in the irradiation direction of the radio wave of the millimeter wave radar 20, and images the irradiation range of the radio wave of the millimeter wave radar 20.
  • the information processing device 10 includes a data processing unit 11, an extraction unit 12, a coordinate conversion unit 13, a database 14, an identification unit 15, a memory 16, and a radar control unit 17.
  • the information processing device 10 may be composed of one or a plurality of CPUs, RAMs, ROMs, and the like.
  • the data processing unit 11 clusters an aggregate of a plurality of transmission / reception points using the detection information (relative distance, direction, relative velocity, and signal strength) of each transmission / reception point detected by the millimeter-wave radar 20, and is a detection target candidate. To generate. In addition, the data processing unit 11 performs image processing of the image data captured by the imaging unit 30.
  • the memory 16 stores the detection target candidate data, image data, and the like processed by the data processing unit 11.
  • the database 14 stores a reference image as a reference for collation in order to identify the detection target.
  • the reference image is an image of an object to be recognized as a detection target, and is, for example, an image of various automobiles, people, and the like. Further, the reference image may be an image of an object to be recognized as a non-detection target.
  • the reference image may be prepared in advance and stored in the database 14, and the reference image may be generated using the image data obtained during traveling and registered in the database 14.
  • the method of determining whether or not the detection target candidate is the detection target is as follows, not only by directly comparing the reference image and the image portion of the detection target candidate, but also by a method in which the detection target can be found. If there is, there is no particular limitation.
  • the coordinate conversion unit 13 changes the direction and relative distance (polar coordinates) of the detection target candidate with respect to the millimeter wave radar 20 to the coordinates of the detection target candidate on the image data. Convert.
  • the method of coordinate conversion is not particularly limited.
  • the extraction unit 12 extracts an image portion of the detection target candidate from the image data captured by the imaging unit 30 based on the coordinates of the detection target candidate converted by the coordinate conversion unit 13. For example, when a plurality of detection target candidates are detected, the extraction unit 12 cuts out and extracts each image portion from the image data along the contours of the plurality of detection target candidates. The extracted image portion of the detection target candidate is transferred to the identification unit 15. When the detection target candidate is not detected in the millimeter wave radar 20, the extraction unit 12 does not extract the image portion of the detection target candidate from the image data.
  • the identification unit 15 identifies the detection target from the image portion of the detection target candidate. At this time, the identification unit 15 refers to the reference image to be detected from the database stored in the database 14. Since the image portion of the detection target candidate is a part of the image data, it can be grasped relatively accurately in terms of shape, size, color, and the like. Therefore, the identification unit 15 can compare the reference image with the image portion of the detection target candidate and search for a reference image substantially equal to or similar to the detection target candidate. Then, the identification unit 15 determines whether or not the detection target candidate is the detection target based on the reference image hit by this search. In this way, the identification unit 15 can identify whether or not each detection target candidate is a detection target.
  • the method of determining whether or not the detection target candidate is the detection target is particularly long as it is a method capable of finding the detection target as well as directly comparing the reference image and the image portion of the detection target candidate.
  • a certain feature amount may be extracted from the image portion and the detection target may be identified by a predetermined rule.
  • the detection target may be detected using an object detection model such as SSD (Single Shot MultiBox Detector) or YOLO (You Only Look Once).
  • the detection information (relative distance, direction, relative velocity and signal strength) of the detection target candidate identified as the detection target can be applied as it is as the detection information of the detection target. Therefore, not only the image information of the detection target (shape, size, color, etc.) but also the detection information of the detection target (relative distance, direction, relative velocity, signal strength, etc.) is known. That is, the identification unit 15 can accurately grasp the attribute, distance, and position of the detection target.
  • the attribute indicates what the detection target is.
  • the attributes to be detected are automobiles, people, bicycles, boxes, and the like.
  • the radar control unit 17 controls the millimeter-wave radar 20 so that the irradiation direction of the radio wave is set to the direction of the detection target and the irradiation range is narrowed based on the detection information of the detection target.
  • the control circuit 23 determines the irradiation direction of the radio wave from the transmitting antenna ANTt according to the command from the radar control unit 17, and narrows the irradiation range. Since the detection information of the detection target can be accurately grasped, the millimeter wave radar 20 can reliably perform beamforming on the detection target even if the radio wave is transmitted in a narrow range. By performing beamforming on the detection target, the information processing apparatus 10 can obtain highly accurate detection information (relative distance, direction (angle), relative velocity, etc.) of the detection target.
  • the radar control unit 17 may switch the radio wave irradiation range to two stages of a wide area and a narrow area, or may switch to three or more stages. Further, the radar control unit 17 may be configured so that the irradiation range of radio waves can be continuously changed.
  • the object detection device 100 extracts the image portion of the detection target candidate detected by the millimeter wave radar 20 from the image data, and identifies the detection target using the image portion of the detection target candidate. Then, the object detection device 100 performs beamforming while transmitting radio waves to the detection target in a narrow range. As a result, it is possible to improve the detection accuracy of the detection target that exists in the distance.
  • FIG. 2 is a flow chart showing an example of the object detection method according to the present disclosure.
  • FIG. 3 is a schematic diagram showing the irradiation range of radio waves from the millimeter wave radar 20.
  • the millimeter wave radar 20 transmits radio waves in a wide area mode (first mode) and receives reflected waves (S10).
  • the wide area mode is a mode in which radio waves are scanned in a relatively wide range (first region) to detect candidates for detection.
  • the millimeter wave radar 20 can detect an object from the origin O to 150 m with the position of the own vehicle (the position of the millimeter wave radar 20) as the origin O.
  • the millimeter wave radar 20 scans radio waves in a fan-shaped range Aw sandwiched by a relatively wide angle ⁇ W at a distance of 150 m from the origin O.
  • the millimeter wave radar 20 transmits the detection information of each transmission / reception point to the information processing device 10 (S20). This detection information is stored in the memory 16.
  • the imaging unit 30 captures an image of a region including the radio wave irradiation range (first region) and generates image data (S30). This image data is transmitted to the information processing device 10 and stored in the memory 16 (S40).
  • the data processing unit 11 clusters a plurality of transmission / reception points based on the detection information of each transmission / reception point to generate detection target candidates (S50). At this time, for example, in FIG. 3, a plurality of transmission / reception points P are clustered into three detection target candidates C1 to C3. In addition, the data processing unit 11 performs image processing of the image data captured by the imaging unit 30.
  • the coordinate conversion unit 13 converts the directions and relative distances of the detection target candidates C1 to C3 into coordinates on the image data (S60). At this time, the directions and relative distances of all the transmission / reception points included in the detection target candidates C1 to C3 are converted into the coordinates on the image data. Alternatively, the directions and relative distances of only the transmission / reception points located on the outer edges of the detection target candidates C1 to C3 may be converted into the coordinates on the image data. In this case, the contours of the detection target candidates C1 to C3 can be grasped in the image data, the load on the coordinate conversion unit 13 can be reduced, and the coordinate conversion time can be shortened.
  • the extraction unit 12 extracts the image portions of the detection target candidates C1 to C3 from the image data based on the coordinates on the image data of the detection target candidates C1 to C3 (S70). At this time, each image portion of the detection target candidates C1 to C3 is cut out from the image data.
  • the identification unit 15 compares the image portions of the detection target candidates C1 to C3 with the reference image, and searches for a reference image equal to or similar to the detection target candidate (S80).
  • the identification unit 15 detects the detection target candidates C1 to C3 based on the attributes associated with the reference image. Identify if it exists. For example, when the reference image hit as being similar to the detection target candidate C3 is a detection target (for example, a car, a pedestrian, etc.), the identification unit 15 identifies the detection target candidate C3 as a detection target (S85).
  • the identification unit 15 identifies the detection target candidate C3 as a non-detection target.
  • the identification unit 15 identifies the detection target candidate C3 as a non-detection target.
  • the radar control unit 17 switches the millimeter-wave radar 20 to the narrow range mode (second mode) so as to irradiate the detection target candidate identified as the detection target with radio waves (S90).
  • the radar control unit 17 detects the irradiation direction of the radio wave based on the detection information of the detection target candidate C3.
  • the millimeter-wave radar 20 is controlled so as to be in the direction of the target candidate C3 and to set the irradiation range to the narrow range mode.
  • the radar control unit 17 does not need to switch the millimeter wave radar 20 to the narrow range mode, and may continue the wide area mode.
  • the millimeter-wave radar 20 irradiates radio waves in the direction of the detection target C3 in the narrow region mode according to the instruction of the radar control unit 17 (S100).
  • the narrow zone mode is a mode in which radio waves are scanned in a relatively narrow range (second region) to detect a detection target.
  • the millimeter wave radar 20 transmits radio waves to a fan-shaped range An sandwiched by a relatively angle of angle ⁇ n at a distance from the origin O to the detection target C3. to scan.
  • the millimeter wave radar 20 obtains the detection information of the detection target C3 based on the detection information of the transmission / reception point obtained in the narrow range mode (S110). As a result, the millimeter-wave radar 20 can irradiate the minimum necessary detection target C3 with radio waves without irradiating the non-detection targets C1 and C2 with radio waves, and obtain detection information. As a result, the detection target can be accurately detected, the load on the information processing device 10 can be reduced, and the detection time (detection cycle) of the detection target C3 can be shortened.
  • the timing to return from narrow area mode to wide area mode may be any time point.
  • the object detection device 100 may return from the narrow area mode to the wide area mode when a predetermined period has elapsed after switching from the wide area mode to the narrow area mode. Further, the object detection device 100 may return from the narrow area mode to the wide area mode when the detection target is no longer detected in the narrow area mode. As it is, the object detection device 100 may re-execute steps S10 to S85 in the wide area mode to update the detection target.
  • FIG. 4 is a timing diagram showing an execution pattern between the wide area mode and the narrow area mode.
  • the horizontal axis of FIG. 4 indicates time. Further, FIG. 4 shows the operation contents of the information processing device 10, the millimeter wave radar 20, and the imaging unit 30.
  • the millimeter wave radar 20 transmits and receives radio waves in a wide area mode.
  • the transmission / reception point detection information is transmitted to the information processing device 10.
  • the image pickup unit 30 takes an image of a region including the radio wave irradiation range (first region) in the wide area mode and generates image data.
  • the image data is also transmitted to the information processing device 10.
  • the information processing device 10 clusters a plurality of transmission / reception points based on the detection information of the transmission / reception points and is a detection target candidate. To generate. Further, the information processing apparatus 10 converts the coordinates of the detection target candidate into the coordinates on the image data, and extracts the image portion of the detection target candidate from the image data. Further, the information processing apparatus 10 identifies whether or not the detection target candidate is a detection target. These data processes are executed at t1 to t2.
  • the millimeter wave radar 20 switches from the wide area mode to the narrow area mode and transmits / receives radio waves to the detection target in the narrow area mode.
  • the detection target identification process using the image data is not executed, so that the imaging unit 30 does not necessarily have to image the detection target.
  • the object detection device 100 repeatedly executes the operations of t0 to t3. That is, the radar control unit 17 alternately repeats the wide area mode and the narrow area mode.
  • the radar control unit 17 controls the millimeter-wave radar 20 so as to irradiate the detection target identified in the wide area mode with radio waves in the next narrow area mode.
  • the object detection device 100 sequentially updates the detection target in response to the change in the situation, and can appropriately change the irradiation direction of the radio wave in the narrow range mode. can.
  • the time from t0 to t3 may be set according to the speed of change in the surrounding conditions.
  • the time from t0 to t3 can be relatively long because it is not necessary to consider the running and jumping out of pedestrians and bicycles.
  • the time from t0 to t3 needs to be relatively short and the detection target needs to be updated frequently.
  • the object detection device 100 uses the detection information of the detection target candidate detected by the millimeter wave radar 20 and the image data captured by the imaging unit 30 to obtain the image portion of the detection target candidate. Use to identify the detection target from the detection target candidates. Then, the object detection device 100 feeds back the detection information of the detection target to the millimeter wave radar 20 so that the detection target can be detected accurately even in the narrow region mode. The object detection device 100 can perform beamforming while transmitting radio waves to the detection target in the narrow range mode to improve the detection accuracy of the distant detection target.
  • FIG. 5 is a timing diagram showing other execution patterns of the wide area mode and the narrow area mode according to the second embodiment.
  • the millimeter-wave radar 20 transmits and receives radio waves in parallel with the period during which the information processing apparatus 10 is executing data processing (steps S50 to S90 of FIG. 3) to detect candidates for detection.
  • Information is generated, and the imaging unit 30 generates image data.
  • the millimeter wave radar 20 transmits and receives radio waves in a wide area mode.
  • the transmission / reception point detection information is transmitted to the information processing device 10.
  • the image pickup unit 30 takes an image of a region including the radio wave irradiation range (first region) in the wide area mode and generates image data.
  • the image data is also transmitted to the information processing device 10.
  • the information processing device 10 When the detection information and the image data are sent to the information processing device 10, the information processing device 10 generates a detection target candidate based on the detection information of the transmission / reception point at t11 to t13, and the detection target candidate is the detection target. Identify whether or not. These data processes are executed at t11 to t13.
  • the data processing in t11 to t13 is the processing of the detection information and the image data (data of the first phase) obtained in t10 to t11.
  • the millimeter-wave radar 20 switches from the wide area mode to the narrow area mode in parallel with the data processing of the information processing device 10 at t11 to t12. , Sends and receives radio waves to the detection target identified before t11.
  • the information processing apparatus 10 continues data processing of the first phase data.
  • the millimeter wave radar 20 returns from the narrow range mode to the wide range mode and generates detection information of the transmission / reception point in order to update the detection target.
  • the transmission / reception point detection information is transmitted to the information processing device 10.
  • the image pickup unit 30 takes an image of a region including the radio wave irradiation range (first region) in the wide area mode and generates image data.
  • the image data is transmitted to the information processing device 10.
  • the detection information and the image data transmitted are the data of the second phase.
  • the information processing device 10 When the second phase data is sent to the information processing device 10 at t13, the information processing device 10 similarly identifies the detection target based on the second phase data at t13 to t15.
  • the data processing in t13 to t15 is the data processing of the second phase data.
  • the millimeter wave radar 20 switches from the wide area mode to the narrow area mode, and the radio wave is transmitted to the detection target obtained by using the first phase data. Send and receive.
  • the image pickup unit 30 also generates image data at t13 to t14 in parallel with the data processing of the information processing apparatus 10.
  • the information processing apparatus 10 continues data processing of the second phase data.
  • the millimeter wave radar 20 returns from the narrow range mode to the wide range mode and generates detection information of the transmission / reception point in order to update the detection target.
  • the transmission / reception point detection information is transmitted to the information processing device 10.
  • the image pickup unit 30 takes an image of a region including the radio wave irradiation range (first region) in the wide area mode and generates image data.
  • the image data is transmitted to the information processing device 10.
  • the detection information and the image data transmitted are the data of the third phase.
  • the information processing device 10 When the third phase data is sent to the information processing device 10 at t15, the information processing device 10 similarly identifies the detection target based on the third phase data after t15.
  • the data processing after t15 is the data processing of the third phase data.
  • the millimeter wave radar 20 switches from the wide area mode to the narrow area mode and transmits / receives radio waves to the detection target obtained by using the second phase data. I do.
  • the image pickup unit 30 also generates image data in parallel with the data processing of the information processing apparatus 10 after t15.
  • the object detection device 100 continuously executes the detection operations in the narrow area mode and the wide area mode alternately with t10 to t12 as one cycle, and executes data processing in parallel with the detection operations.
  • the data processing in the object detection device 100 is executed by using the detection information and the image data of the detection target candidate of the previous phase generated one cycle before the data processing.
  • the object detection device 100 can seamlessly and continuously execute the detection operations in the narrow area mode and the wide area mode. As a result, the object detection time can be shortened while improving the object detection accuracy.
  • the technology related to this disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 6 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a head lamp, a back lamp, a brake lamp, a winker, or a fog lamp.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.
  • the object detection device 100 or the information processing device 10 according to the present disclosure may be provided in the vehicle exterior information detection unit 12030.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the imaging unit 30 according to the present disclosure may be the imaging unit 12031, or may be provided as a separate body from the imaging unit 12031.
  • the object detection device 100 or the information processing device 10 according to the present disclosure may be provided in the image pickup unit 12031.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving, etc., which runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs coordinated control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits the output signal of at least one of the audio and the image to the output device capable of visually or audibly notifying the passenger or the outside of the vehicle of the information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 7 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 has image pickup units 12101, 12102, 12103, 12104, 12105 as the image pickup unit 12031. Further, the vehicle 12100 has an object detection device 100.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100, for example.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the images in front acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 7 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100). By obtaining can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • automatic braking control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, electric poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the technique according to the present disclosure can be applied to, for example, the vehicle exterior information detection unit 12030.
  • the above-mentioned object detection device 100 can be mounted on the vehicle exterior information detection unit 12030.
  • the technique according to the present disclosure to the imaging unit 12031, accurate distance information can be obtained in an environment with a wide brightness dynamic range, and the functionality and safety of the vehicle 12100 can be enhanced.
  • the present technology can have the following configurations.
  • a radar that transmits radio waves to the first region and detects detection target candidates in the first region, An imaging unit that images the first region and generates image data, An identification unit that identifies a detection target from the detection target candidates based on the image data, An object detection device including a radar control unit that controls the radar so as to irradiate a second region narrower than the first region including the detection target with radio waves.
  • the radar transmits radio waves in the first region, detects a transmission / reception point of the reflected radio waves, and determines the transmission / reception points of the reflected radio waves.
  • the object detection device according to (1), further comprising a data processing unit that clusters the transmission / reception points to generate the detection target candidate.
  • a coordinate conversion unit that converts the direction and relative distance of the detection target candidate with respect to the radar to the coordinates of the detection target candidate in the image data. Further, an extraction unit for extracting an image portion of the detection target candidate from the image data based on the coordinates of the detection target candidate on the image data is provided. The identification unit identifies whether or not the detection target candidate is the detection target by using the extracted image portion of the detection target candidate. The radar control unit controls the radar so that the detection target enters the second region based on the direction and distance of the detection target candidate determined to be the detection target, (1) or (2).
  • the object detection device according to.
  • the object detection according to (3), wherein the identification unit compares the extracted image portion of the detection target candidate with the reference image, and identifies the detection target candidate having a similar reference image from the detection target.
  • the radar control unit controls the radar so as to switch between the first mode of irradiating the first region with radio waves and the second mode of irradiating the second region with radio waves.
  • the object detection device according to any one of 4).
  • (6) The object detection device according to (5), wherein the radar control unit controls the radar so as to irradiate the detection target identified in the first mode with radio waves in the next second mode.
  • the object detection device (7) The object detection device according to (5) or (6), wherein the radar control unit alternately repeats the first mode and the second mode.
  • An identification unit that identifies a detection target from the detection target candidates based on the detection target candidate detected by transmitting radio waves from the radar to the first region and the image data obtained from the imaging unit.
  • An information processing device including a radar control unit that controls the radar so as to irradiate a second region narrower than the first region including the detection target with radio waves.
  • the information processing apparatus further comprising a data processing unit that transmits radio waves from the radar in the first region, clusters transmission / reception points of the reflected radio waves, and generates the detection target candidate.
  • a coordinate conversion unit that converts the direction and relative distance of the detection target candidate with respect to the radar to the coordinates of the detection target candidate in the image data. Further, an extraction unit for extracting an image portion of the detection target candidate from the image data based on the coordinates of the detection target candidate on the image data is provided. The identification unit identifies whether or not the detection target candidate is the detection target by using the extracted image portion of the detection target candidate. The radar control unit controls the radar so that the detection target enters the second region based on the direction and distance of the detection target candidate determined to be the detection target, (8) or (9).
  • the identification unit compares the extracted image portion of the detection target candidate with the reference image, and identifies the detection target candidate having a similar reference image from the detection target.
  • the radar control unit controls the radar so as to switch between the first mode of irradiating the first region with radio waves and the second mode of irradiating the second region with radio waves.
  • the information processing apparatus according to any one of 11).
  • the radar control unit controls the radar so as to irradiate the detection target identified in the first mode with radio waves in the next second mode.
  • the information processing device uses an object detection device including a radar that transmits radio waves, an imaging unit that captures images, and an information processing device that processes detection information from the radar and image data from the imaging unit to control the radar. It was an object detection method A radio wave is transmitted to the first region to detect a detection target candidate in the first region, and the detection target candidate is detected. The first region is imaged to generate image data, and the image data is generated. A detection target is identified from the detection target candidates based on the image data, and the detection target is identified.
  • An object detection method comprising controlling the radar so as to irradiate a second region narrower than the first region including the detection target with radio waves.
  • the detection of the detection target candidate is A radio wave is transmitted in the first region, a transmission / reception point of the reflected radio wave is detected, and the radio wave is transmitted.
  • the identification of the detection target is The direction and relative distance of the detection target candidate with respect to the radar are converted into the coordinates of the detection target candidate in the image data. An image portion of the detection target candidate is extracted from the image data based on the coordinates of the detection target candidate on the image data.
  • the object detection device further includes a database that stores a reference image that serves as a reference for collation in order to identify the detection target.
  • the identification of the detection target is The extracted image portion of the detection target candidate is compared with the reference image, and The method according to (17), which comprises identifying the detection target candidate having a similar reference image from the detection target.
  • the radar control is switched between the first mode of irradiating the first region with radio waves and the second mode of irradiating the second region with radio waves so as to periodically and alternately repeat from (15).
  • 100 object detection device 10 information processing device, 20 millimeter wave radar, 30 imaging unit, 21 transmission circuit, 22 reception circuit, 23 control circuit, ANTt transmission antenna, ANTr reception antenna, 11 data processing unit, 12 extraction unit, 13 coordinates Conversion unit, 14 database, 15 identification unit, 16 memory, 17 radar control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

［課題］正確に物体検出することができる物体検出装置、情報処理装置および物体検出方法を提供する。 ［解決手段］本開示による物体検出装置は、第１領域に電波を送信して該第１領域内にある検出対象候補を検出するレーダと、第１領域を撮像して画像データを生成する撮像部と、画像データに基づいて前記検出対象候補の中から検出対象を識別する識別部と、検出対象を含み第１領域よりも狭い第２領域に対して電波を照射するように前記レーダを制御するレーダ制御部と、を備える。

Description

物体検出装置、情報処理装置および物体検出方法
　本開示は、物体検出装置、情報処理装置および物体検出方法に関する。
　従来より自動走行制御システム（ＡＣＣ（Adoptive Cruise Control）は、前方（又は、後方、側方）の物体を認識するために、ミリ波レーダ、又は、カメラを用いた画像センサを用いている。ミリ波レーダは、物体までの距離を正確に測定するが、物体の形（大きさ、幅）を正確に認識することが困難である。一方、画像センサは、物体の形状や大きさを正確に認識するが、測距を正確に行うことは困難である。
特開２００１－９９９３０号公報
　そこで、ミリ波レーダとカメラとを組み合わせる装置が考えられている（特許文献１）。
　しかし、ミリ波レーダで検出した測定結果とカメラで検出した測定結果とを単純に組み合わせても物体検出の精度は不充分であり、より正確に物体検出することが望まれている。
　そこで、本開示は、正確に物体検出することができる物体検出装置、情報処理装置および物体検出方法を提供する。
　本実施形態による物体検出装置は、第１領域に電波を送信して該第１領域内にある検出対象候補を検出するレーダと、第１領域を撮像して画像データを生成する撮像部と、画像データに基づいて検出対象候補の中から検出対象を識別する識別部と、検出対象を含み第１領域よりも狭い第２領域に対して電波を照射するようにレーダを制御するレーダ制御部と、を備える。
　レーダは、第１領域において電波を送信し、反射されてきた電波の送受信点を検出し、送受信点をクラスタリングして検出対象候補を生成するデータ処理部をさらに備えてもよい。
　レーダに対する検出対象候補の方向および相対距離から画像データにおける検出対象候補の座標へ変換する座標変換部と、画像データ上での検出対象候補の座標に基づいて、画像データから検出対象候補の画像部分を抽出する抽出部とをさらに備え、識別部は、抽出された検出対象候補の画像部分を用いて検出対象候補が検出対象であるか否かを識別し、レーダ制御部は、検出対象と判定された検出対象候補の方向および距離に基づいて、検出対象が第２領域に入るようにレーダを制御してもよい。
　検出対象を特定するために照合の基準となる参照画像を格納するデータベースをさらに備え、識別部は、抽出された検出対象候補の画像部分と参照画像とを比較し、類似する参照画像のある検出対象候補を検出対象と識別してもよい。
　レーダ制御部は、第１領域に電波を照射する第１モードと、第２領域に電波を照射する第２モードとの間で切り替えるようにレーダを制御してもよい。
　レーダ制御部は、第１モードで識別された検出対象に対して、次の第２モードにおいて電波を照射するようにレーダを制御してもよい。
　レーダ制御部は、第１モードおよび第２モードを交互に繰り返してもよい。
　本開示による情報処理装置は、レーダから第１領域に電波を送信することによって検出された検出対象候補と撮像部から得られた画像データとに基づいて、検出対象候補の中から検出対象を識別する識別部と、検出対象を含み第１領域よりも狭い第２領域に対して電波を照射するようにレーダを制御するレーダ制御部と、を備える。
　レーダから第１領域において電波を送信し、反射されてきた電波の送受信点をクラスタリングして検出対象候補を生成するデータ処理部をさらに備えてもよい。
　レーダに対する検出対象候補の方向および相対距離から画像データにおける検出対象候補の座標へ変換する座標変換部と、画像データ上での検出対象候補の座標に基づいて、画像データから検出対象候補の画像部分を抽出する抽出部とをさらに備え、識別部は、抽出された検出対象候補の画像部分を用いて検出対象候補が検出対象であるか否かを識別し、レーダ制御部は、検出対象と判定された検出対象候補の方向および距離に基づいて、検出対象が第２領域に入るようにレーダを制御してもよい。
　検出対象を特定するために照合の基準となる参照画像を格納するデータベースをさらに備え、識別部は、抽出された検出対象候補の画像部分と参照画像とを比較し、類似する参照画像のある検出対象候補を検出対象と識別してもよい。
　レーダ制御部は、第１領域に電波を照射する第１モードと、第２領域に電波を照射する第２モードとの間で切り替えるようにレーダを制御してもよい。
　レーダ制御部は、第１モードで識別された検出対象に対して、次の第２モードにおいて電波を照射するようにレーダを制御してもよい。
　レーダ制御部は、第１モードおよび第２モードを交互に繰り返してもよい。
　電波を送信するレーダと、画像を撮像する撮像部と、レーダからの検出情報および撮像部からの画像データを処理してレーダを制御する情報処理装置とを備えた物体検出装置を用いた物体検出方法であって、第１領域に電波を送信して該第１領域内にある検出対象候補を検出し、第１領域を撮像して画像データを生成し、画像データに基づいて検出対象候補の中から検出対象を識別し、検出対象を含み第１領域よりも狭い第２領域に対して電波を照射するようにレーダを制御する。
　検出対象候補の検出は、第１領域において電波を送信し、反射されてきた電波の送受信点を検出し、送受信点をクラスタリングして検出対象候補を生成することを含んでもよい。
　検出対象の識別は、レーダに対する検出対象候補の方向および相対距離から画像データにおける検出対象候補の座標へ変換し、画像データ上での検出対象候補の座標に基づいて、画像データから検出対象候補の画像部分を抽出し、抽出された検出対象候補の画像部分を用いて検出対象候補が検出対象であるか否かを識別することを含み、レーダの制御は、検出対象と判定された検出対象候補の方向および距離に基づいて、検出対象が第２領域に入るようにレーダを制御することを含んでもよい。
　物体検出装置は、検出対象を特定するために照合の基準となる参照画像を格納するデータベースをさらに備え、検出対象の識別は、抽出された検出対象候補の画像部分と参照画像とを比較し、類似する参照画像のある検出対象候補を検出対象と識別することを含んでもよい。
　レーダの制御は、第１領域に電波を照射する第１モードと、第２領域に電波を照射する第２モードとの間で周期的に交互に繰り返すように切り替えてもよい。
　レーダの制御は、第１モードで識別された検出対象に対して、次の第２モードにおいて電波を照射してもよい。
第１実施形態による物体検出装置の構成例を示すブロック図。 本開示による物体検出方法の一例を示すフロー図。 ミリ波レーダからの電波の照射範囲を示す該略図。 広域モードと狭域モードとの実行パターンを示すタイミング図。 第２実施形態による広域モードと狭域モードとの他の実行パターンを示すタイミング図。 本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図。 撮像部の設置位置の例を示す図。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
（第１実施形態）
　図１は、第１実施形態による物体検出装置の構成例を示すブロック図である。物体検出装置１００は、自動走行制御システムに用いられる装置であるが、これに限定されず、監視装置システム等の物体検出にも適用可能である。以下、本開示を自動車の自動走行制御システムに適用した例を説明するが、本開示の適用例はこれに限定されない。
　物体検出装置１００は、情報処理装置１０と、ミリ波レーダ２０と、撮像部３０とを備えている。
　ミリ波レーダ２０は、送信回路２１と、受信回路２２と、制御回路２３と、送信アンテナＡＮＴｔと、受信アンテナＡＮＴｒとを備える。送信回路２１は、送信アンテナＡＮＴｔから電波を送信する回路である。受信回路２２は、物体から反射してきた電波を、受信アンテナＡＮＴｒを介して受信する回路である。つまり、電波は、送信回路２１から送信された後、物体に反射して受信回路２２で受信される。
　制御回路２３は、送信回路２１から送信される電波の強度（出力）、送信アンテナＡＮＴｔの放射角（指向性）および送受信のタイミング等を制御する。これにより、制御回路２３は、物体検出可能な距離を制御することができ、かつ、電波の照射領域（広域または狭域等）を制御する。即ち、制御回路２３は、電波の走査範囲を制御し、物体検出の領域を変更することができる。
　ミリ波レーダ２０は、ミリ波の電波を前方に送信して反射波を受信し、この反射波を生じさせた物体の情報を検出する。ミリ波レーダ２０は、例えば、物体の距離、角度、速度を精度良く測定可能であり、雨、霧などの影響を受けることが少ない。一方、ミリ波レーダ２０は、例えば、物体の大きさ、形状を正確に測定することが困難である。ミリ波レーダ２０は、受信したミリ波信号から信号強度を検出し、物体の相対距離、方向（角度）、相対速度などを得る。物体の相対距離および角度は、検出された物体の位置（極座標）を示す。相対速度は、ミリ波レーダ２０に対する物体の相対速度である。
　ミリ波レーダ２０は、電波の送受信によって物体の相対距離、方向、相対速度および信号強度を、その電波を送受信した点（送受信点）ごとに検出する。そして、ミリ波レーダ２０または情報処理装置１０は、複数の送受信点の相対距離、方向、相対速度および信号強度を用いて、ほぼ等しい相対距離、相対速度および信号強度を有する複数の送受信点の集合体をクラスタリングして物体として検出する。即ち、ミリ波レーダ２０は、電波の送受信によって得られる複数の送受信点の集合体として物体を検出する。ミリ波レーダ２０は、周期的に電波を送信し、反射されてきた電波の送受信点の信号強度によって物体の有無を検出する。
　ここで、ミリ波レーダ２０で検出された電波は、実際に物体が存在しなくても、何らかの要因で、ほぼ等しい相対距離、相対速度および信号強度を有する送受信点の集合体を検出する場合もある。このような場合には、ミリ波レーダ２０または情報処理装置１０は、その送受信点の集合体を物体として検出してしまう。また、物体として存在していても、検出対象ではない物体を含む場合もある。例えば、自車の前方に走行する他車、人あるいは落下物等の障害物を検出対象とする場合、ガードレール、沿道の植樹またはトンネル等は検出対象ではない。つまり、非検出対象は、物体ではない虚像および検出対象ではない物体を含み、ミリ波レーダ２０は、一旦、検出対象および非検出対象を区別なく検出する。従って、以下、検出された送受信点の集合体は、検出対象候補と呼ぶ。
　撮像部３０は、カメラ等により車両の前方の画像データを取得し、この画像データを処理することにより、前方にある物体の情報を検出する。撮像部３０は、例えば、物体自体の大きさ、形、色等を精度良く撮像できる。一方、撮像部３０は、例えば、雨、霧など環境の影響を受け易く、距離測定の精度が低い。撮像部３０のカメラは、ミリ波レーダ２０の電波の照射方向に向かっており、ミリ波レーダ２０の電波の照射範囲を撮像する。
　情報処理装置１０は、データ処理部１１と、抽出部１２と、座標変換部１３と、データベース１４と、識別部１５と、メモリ１６と、レーダ制御部１７とを含む。情報処理装置１０は、１つまたは複数のＣＰＵ、ＲＡＭ、ＲＯＭ等で構成すればよい。
　データ処理部１１は、ミリ波レーダ２０で検出された各送受信点の検出情報（相対距離、方向、相対速度および信号強度）を用いて、複数の送受信点の集合体をクラスタリングして検出対象候補を生成する。また、データ処理部１１は、撮像部３０で撮像された画像データの画像処理を行う。
　メモリ１６は、データ処理部１１で処理された検出対象候補のデータおよび画像データ等を格納する。データベース１４は、検出対象を特定するために照合の基準となる参照画像を格納する。参照画像は、検出対象として認識すべき物体の画像であり、例えば、様々な自動車、人等の画像である。また、参照画像は、非検出対象として認識すべき物体の画像であってもよい。参照画像は、予め準備してデータベース１４へ格納しておいて、走行中に得られた画像データを用いて参照画像を生成し、データベース１４へ登録してもよい。尚、検出対象候補が検出対象であるか否かを判断する方法は、下記の通り、参照画像と検出対象候補の画像部分とを直接比較するだけでなく、検出対象を見つけることができる方法であれば、特に限定しない。
　座標変換部１３は、ミリ波レーダ２０からの検出対象候補の検出情報に基づいて、ミリ波レーダ２０に対する検出対象候補の方向および相対距離（極座標）から、画像データ上における検出対象候補の座標に変換する。座標変換の方法は特に限定しない。
　抽出部１２は、座標変換部１３で変換された検出対象候補の座標に基づいて、撮像部３０で撮像された画像データから検出対象候補の画像部分を抽出する。例えば、複数の検出対象候補が検出された場合、抽出部１２は、該複数の検出対象候補の輪郭に沿って画像データから各画像部分を切り出し、抽出する。抽出された検出対象候補の画像部分は、識別部１５へ転送される。ミリ波レーダ２０において、検出対象候補が検出されていない場合には、抽出部１２は、検出対象候補の画像部分を画像データから抽出しない。
　識別部１５は、検出対象候補の画像部分の中から検出対象を識別する。このとき、識別部１５は、データベース１４に格納されたデータベースから検出対象の参照画像を参照する。検出対象候補の画像部分は、画像データの一部であるので、形状、大きさ、色等において比較的正確に把握することができる。よって、識別部１５は、参照画像と検出対象候補の画像部分とを比較し、検出対象候補にほぼ等しいまたは類似する参照画像を検索することができる。そして、識別部１５は、この検索でヒットした参照画像に基づき、検出対象候補が検出対象であるか否かを判断する。このように、識別部１５は、各検出対象候補が検出対象であるか否かを識別することができる。尚、検出対象候補が検出対象であるか否かを判断する方法は、参照画像と検出対象候補の画像部分とを直接比較するだけでなく、検出対象を見つけることができる方法であれば、特に限定しない。例えば、画像部分から或る特徴量を抽出して予め決めたルールで検出対象を識別してもよい。ＳＳＤ (Single Shot MultiBox Detector)、ＹＯＬＯ (You Only Look Once)等の物体検出モデルを用いて検出対象を検出してもよい。
　検出対象として識別された検出対象候補の検出情報（相対距離、方向、相対速度および信号強度）は、その検出対象の検出情報としてそのまま適用され得る。従って、検出対象の画像情報（形状、大きさ、色等）だけでなく、検出対象の検出情報（相対距離、方向、相対速度および信号強度等）も判明する。つまり、識別部１５は、検出対象の属性、距離、位置を正確に把握することができる。属性は、検出対象がどのようなものであるかを示す。例えば、検出対象の属性は、自動車、人、自転車、箱等である。
　レーダ制御部１７は、検出対象の検出情報をもとに、電波の照射方向を検出対象の方向にし、かつ、照射範囲を狭域にするようにミリ波レーダ２０を制御する。制御回路２３は、レーダ制御部１７からの指令に従って、送信アンテナＡＮＴｔからの電波の照射方向を決定し、照射範囲を狭域にする。検出対象の検出情報が正確に把握できるので、ミリ波レーダ２０は、電波を狭域で送信しても、検出対象に対するビームフォーミングを確実に実行することができる。検出対象に対するビームフォーミングを行うことによって、情報処理装置１０は、検出対象の高精度な検出情報（相対距離、方向（角度）、相対速度等）を得ることができる。尚、レーダ制御部１７は、電波の照射範囲を広域と狭域の２段階に切り替えてもよく、３段階以上に切り替えてもよい。また、レーダ制御部１７は、電波の照射範囲を連続的に変更できるように構成してもよい。
　このように、本実施形態による物体検出装置１００は、画像データからミリ波レーダ２０で検出された検出対象候補の画像部分を抽出し、検出対象候補の画像部分を用いて検出対象を識別する。そして、物体検出装置１００は、その検出対象に対して狭域で電波を送信しつつ、ビームフォーミングを行う。これにより、遠方に存在するような検出対象の検出精度を高めることができる。
　次に、物体検出装置１００を用いた物体検出方法を説明する。
　図２は、本開示による物体検出方法の一例を示すフロー図である。図３は、ミリ波レーダ２０からの電波の照射範囲を示す該略図である。
　まず、ミリ波レーダ２０は、広域モード（第１モード）で電波を送信し、反射波を受信する（Ｓ１０）。広域モードは、電波を比較的広い範囲（第１領域）にスキャンして検出対象候補の検出を実行するモードである。例えば、図３に示すように、自車の位置（ミリ波レーダ２０の位置）を原点Ｏとして、ミリ波レーダ２０は、原点Ｏから１５０ｍまでの物体を検出可能であるものとする。広域モードでは、ミリ波レーダ２０は、原点Ｏから１５０ｍの距離において、比較的広角の角度θＷで挟まれた扇型の範囲Ａｗに電波をスキャンする。
　ミリ波レーダ２０が、各送受信点の検出情報を情報処理装置１０へ送信する（Ｓ２０）。この検出情報は、メモリ１６へ格納される。電波の送受信と併行して、撮像部３０が、電波の照射範囲（第１領域）を含む領域の画像を撮像し、画像データを生成する（Ｓ３０）。この画像データは、情報処理装置１０へ送信され、メモリ１６へ格納される（Ｓ４０）。
　次に、データ処理部１１が、各送受信点の検出情報に基づいて、複数の送受信点をクラスタリングして検出対象候補を生成する（Ｓ５０）。このとき、例えば、図３では、複数の送受信点Ｐは、３つの検出対象候補Ｃ１～Ｃ３にクラスタリングされている。また、データ処理部１１は、撮像部３０で撮像された画像データの画像処理を行う。
　次に、座標変換部１３が、検出対象候補Ｃ１～Ｃ３の方向および相対距離を、画像データ上における座標へ変換する（Ｓ６０）。このとき、検出対象候補Ｃ１～Ｃ３に含まれる全ての送受信点の方向および相対距離が画像データ上における座標に変換される。あるいは、検出対象候補Ｃ１～Ｃ３の外縁に位置する送受信点のみの方向および相対距離が、画像データ上における座標に変換されてもよい。この場合、検出対象候補Ｃ１～Ｃ３の輪郭が画像データにおいて把握でき、尚且つ、座標変換部１３の負荷を軽減し、座標変換時間を短縮することができる。
　次に、抽出部１２が、検出対象候補Ｃ１～Ｃ３の画像データ上の座標に基づいて、画像データから検出対象候補Ｃ１～Ｃ３の画像部分をそれぞれ抽出する（Ｓ７０）。このとき、検出対象候補Ｃ１～Ｃ３のそれぞれの画像部分が画像データから切り出される。
　次に、識別部１５が、検出対象候補Ｃ１～Ｃ３の画像部分と参照画像とを比較し、検出対象候補に等しいまたは類似する参照画像を検索する（Ｓ８０）。検索により、参照画像が検出対象候補Ｃ１～Ｃ３の画像部分のいずれかにヒットした場合、識別部１５は、その参照画像に関連付けられた属性に基づいて、検出対象候補Ｃ１～Ｃ３が検出対象であるか否かを識別する。例えば、検出対象候補Ｃ３に類似するとしてヒットした参照画像が検出対象（例えば、自動車、歩行者等）である場合、識別部１５は、検出対象候補Ｃ３を検出対象として識別する（Ｓ８５）。一方、検出対象候補Ｃ３に類似するとしてヒットした参照画像が非検出対象（例えば、ガードレール、沿道の植樹等）である場合、識別部１５は、検出対象候補Ｃ３を非検出対象として識別する。あるいは、いずれの参照画像も検出対象候補Ｃ３にヒットしなかった場合も、識別部１５は、検出対象候補Ｃ３を非検出対象として識別する。
　次に、レーダ制御部１７は、検出対象として識別された検出対象候補に電波を照射するように、ミリ波レーダ２０を狭域モード（第２モード）に切り替える（Ｓ９０）。例えば、検出対象候補Ｃ１、Ｃ２が非検出対象であり、検出対象候補Ｃ３が検出対象である場合、レーダ制御部１７は、検出対象候補Ｃ３の検出情報をもとに、電波の照射方向を検出対象候補Ｃ３の方向にし、かつ、照射範囲を狭域モードにするようにミリ波レーダ２０を制御する。尚、検出対象が無い場合、レーダ制御部１７は、ミリ波レーダ２０を狭域モードに切り替える必要は無く、広域モードを継続してもよい。
　次に、ミリ波レーダ２０は、レーダ制御部１７の指示に従って、狭域モードで検出対象Ｃ３の方向へ電波を照射する（Ｓ１００）。狭域モードは、電波を比較的狭い範囲（第２領域）にスキャンして検出対象の検出を実行するモードである。例えば、図３に示すように、狭域モードでは、ミリ波レーダ２０は、原点Ｏから検出対象Ｃ３の距離において、比較的狹角の角度θｎで挟まれた扇型の範囲Ａｎに電波をスキャンする。
　ミリ波レーダ２０は、狭域モードで得られた送受信点の検出情報をもとに、検出対象Ｃ３の検出情報を得る（Ｓ１１０）。これにより、ミリ波レーダ２０は、非検出対象Ｃ１、Ｃ２へ電波を照射すること無く、必要最小限の検出対象Ｃ３へ電波を照射し、検出情報を得ることができる。その結果、検出対象を正確に検出することができるとともに、情報処理装置１０の負荷を軽減し、検出対象Ｃ３の検出時間（検出サイクル）を短縮することができる。
　広域モードから狭域モードへ切り替えた後、狭域モードから広域モードへ戻すタイミングは、任意の時点でよい。例えば、物体検出装置１００は、広域モードから狭域モードへ切り替わってから所定期間が経過したときに、狭域モードから広域モードへ戻してもよい。また、物体検出装置１００は、狭域モードにおいて検出対象が検出されなくなったときに、狭域モードから広域モードへ戻してもよい。そのまま、物体検出装置１００は、広域モードにおいてステップＳ１０～Ｓ８５を再度実行して、検出対象を更新してもよい。
　図４は、広域モードと狭域モードとの実行パターンを示すタイミング図である。図４の横軸は、時間を示す。また、図４では、情報処理装置１０、ミリ波レーダ２０および撮像部３０の動作内容を示している。
　まず、ｔ０において、ミリ波レーダ２０は、広域モードで電波の送受信を行う。送受信点の検出情報は、情報処理装置１０へ送信される。一方、撮像部３０は、広域モードにおける電波の照射範囲（第１領域）を含む領域を撮像し、画像データを生成する。画像データも、情報処理装置１０へ送信される。
　ｔ０～ｔ１における検出情報および画像データが情報処理装置１０へ送られると、ｔ１～ｔ２において、情報処理装置１０が、送受信点の検出情報に基づいて、複数の送受信点をクラスタリングして検出対象候補を生成する。また、情報処理装置１０は、検出対象候補の座標を、画像データ上における座標へ変換し、画像データから検出対象候補の画像部分を抽出する。さらに、情報処理装置１０は、検出対象候補が検出対象であるか否かを識別する。ｔ１～ｔ２において、これらのデータ処理を実行する。
　ｔ２～ｔ３において、ミリ波レーダ２０は、広域モードから狭域モードへ切り替えて、狭域モードで検出対象に対して電波の送受信を行う。狭域モードでは、画像データを用いた検出対象の識別処理は実行しないので、撮像部３０は検出対象を撮像する必要は必ずしも無い。
　その後、物体検出装置１００は、ｔ０～ｔ３の動作を繰り返し実行する。即ち、レーダ制御部１７は、広域モードと狭域モードとを交互に繰り返す。レーダ制御部１７は、広域モードで識別された検出対象に対して、次の狭域モードにおいて電波を照射するようにミリ波レーダ２０を制御する。これにより、自車の周囲の状況が変化しても、物体検出装置１００は、状況の変化に対応して検出対象を逐次更新し、狭域モードにおける電波の照射方向を適切に変更することができる。ｔ０～ｔ３の時間（広域モードおよび狭域モードの１周期）は、周囲の状況変化の速さに応じて設定すればよい。例えば、渋滞していない高速道路では、歩行者、自転車の走行および飛び出しを考慮する必要がないので、ｔ０～ｔ３の時間は、比較的長くすることができる。一方、人通りの多い一般道では、歩行者、自転車の走行および飛び出しを考慮する必要があるので、ｔ０～ｔ３の時間は、比較的短くし、頻繁に検出対象を更新する必要がある。
　以上のように、本開示による物体検出装置１００は、ミリ波レーダ２０で検出された検出対象候補の検出情報と撮像部３０で撮像された画像データとを用いて、検出対象候補の画像部分を用いて、検出対象候補から検出対象を特定する。そして、物体検出装置１００は、検出対象の検出情報をミリ波レーダ２０へフィードバックして、狭域モードでも検出対象を精度良く検出することを可能にする。物体検出装置１００は、検出対象に対して狭域モードで電波を送信しつつ、ビームフォーミングを行い、遠方の検出対象の検出精度を高めることができる。
（第２実施形態）
　図５は、第２実施形態による広域モードと狭域モードとの他の実行パターンを示すタイミング図である。図５の実行パターンでは、情報処理装置１０がデータ処理（図３のステップＳ５０～Ｓ９０）を実行している期間に併行して、ミリ波レーダ２０は電波の送受信を行って検出対象候補の検出情報を生成し、かつ、撮像部３０は画像データを生成する。
　例えば、まず、ｔ１０～ｔ１１において、ミリ波レーダ２０は、広域モードで電波の送受信を行う。送受信点の検出情報は、情報処理装置１０へ送信される。一方、撮像部３０は、広域モードにおける電波の照射範囲（第１領域）を含む領域を撮像し、画像データを生成する。画像データも、情報処理装置１０へ送信される。
　検出情報および画像データが情報処理装置１０へ送られると、ｔ１１～ｔ１３において、情報処理装置１０が、送受信点の検出情報に基づいて、検出対象候補を生成し、検出対象候補が検出対象であるか否かを識別する。ｔ１１～ｔ１３において、これらのデータ処理を実行する。ｔ１１～ｔ１３におけるデータ処理は、ｔ１０～ｔ１１において得られた検出情報および画像データ（第１フェーズのデータ）の処理である。
　尚、ｔ１１以前において、情報処理装置１０がデータ処理している場合、ミリ波レーダ２０は、ｔ１１～ｔ１２において、情報処理装置１０のデータ処理と併行して、広域モードから狭域モードへ切り替えて、そのｔ１１以前に識別された検出対象に対して電波の送受信を行う。
　ｔ１２～ｔ１３において、情報処理装置１０は、第１フェーズデータのデータ処理を続ける。ミリ波レーダ２０は、狭域モードから広域モードへ戻り、検出対象を更新するために、送受信点の検出情報を生成する。ｔ１３において、送受信点の検出情報は、情報処理装置１０へ送信される。また、撮像部３０は、広域モードにおける電波の照射範囲（第１領域）を含む領域を撮像し、画像データを生成する。ｔ１３において、画像データは、情報処理装置１０へ送信される。このとき、送信される検出情報および画像データは、第２フェーズのデータである。
　ｔ１３において、第２フェーズデータが情報処理装置１０へ送られると、ｔ１３～ｔ１５において、情報処理装置１０は、第２フェーズデータに基づいて、同様に検出対象を識別する。ｔ１３～ｔ１５におけるデータ処理は、第２フェーズデータのデータ処理である。
　ｔ１３～ｔ１４において、情報処理装置１０のデータ処理と併行して、ミリ波レーダ２０は、広域モードから狭域モードへ切り替えて、第１フェーズデータを用いて得られた検出対象に対し、電波の送受信を行う。撮像部３０も、ｔ１３～ｔ１４において、情報処理装置１０のデータ処理と併行して、画像データを生成する。
　ｔ１４～ｔ１５において、情報処理装置１０は、第２フェーズデータのデータ処理を続ける。ミリ波レーダ２０は、狭域モードから広域モードへ戻り、検出対象を更新するために、送受信点の検出情報を生成する。ｔ１５において、送受信点の検出情報は、情報処理装置１０へ送信される。また、撮像部３０は、広域モードにおける電波の照射範囲（第１領域）を含む領域を撮像し、画像データを生成する。ｔ１５において、画像データは、情報処理装置１０へ送信される。このとき、送信される検出情報および画像データは、第３フェーズのデータである。
　ｔ１５において、第３フェーズデータが情報処理装置１０へ送られると、ｔ１５以降において、情報処理装置１０は、第３フェーズデータに基づいて、同様に検出対象を識別する。ｔ１５以降におけるデータ処理は、第３フェーズデータのデータ処理である。
　ｔ１５以降において、情報処理装置１０のデータ処理と併行して、ミリ波レーダ２０は、広域モードから狭域モードへ切り替えて、第２フェーズデータを用いて得られた検出対象に対し、電波の送受信を行う。撮像部３０も、ｔ１５以降において、情報処理装置１０のデータ処理と併行して、画像データを生成する。
　このように、物体検出装置１００は、例えば、ｔ１０～ｔ１２を１つの周期として、狭域モードおよび広域モードでの検出動作交互に連続して実行し、それと併行してデータ処理を実行する。このとき、物体検出装置１００でのデータ処理は、その１周期前に生成された前フェーズの検出対象候補の検出情報と画像データを用いて実行される。これにより、物体検出装置１００は、狭域モードおよび広域モードでの検出動作がシームレスに連続して実行することができる。その結果、物体の検出精度を向上させつつ、物体検出時間を短縮することができる。
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図６に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。本開示による物体検出装置１００または情報処理装置１０は、車外情報検出ユニット１２０３０に備えられていてもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。本開示による撮像部３０は、撮像部１２０３１であってもよく、あるいは、撮像部１２０３１とは別体として設けられていてもよい。本開示による物体検出装置１００または情報処理装置１０は、撮像部１２０３１に備えられていてもよい。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図６の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図７は、撮像部１２０３１の設置位置の例を示す図である。
　図７では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。また、車両１２１００は、物体検出装置１００を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図７には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術は、例えば、車外情報検出ユニット１２０３０に適用され得る。具体的には、車外情報検出ユニット１２０３０に、上述の物体検出装置１００を実装することができる。撮像部１２０３１に、本開示に係る技術を適用することにより、幅広い明るさダイナミックレンジの環境において、正確な距離情報を得ることができ、車両１２１００の機能性および安全性を高めることができる。
　なお、本技術は、以下のような構成をとることができる。
（１）
　第１領域に電波を送信して該第１領域内にある検出対象候補を検出するレーダと、
　前記第１領域を撮像して画像データを生成する撮像部と、
　前記画像データに基づいて前記検出対象候補の中から検出対象を識別する識別部と、
　前記検出対象を含み前記第１領域よりも狭い第２領域に対して電波を照射するように前記レーダを制御するレーダ制御部と、を備える物体検出装置。
（２）
　前記レーダは、前記第１領域において電波を送信し、反射されてきた電波の送受信点を検出し、
　前記送受信点をクラスタリングして前記検出対象候補を生成するデータ処理部をさらに備える、（１）に記載の物体検出装置。
（３）
　前記レーダに対する前記検出対象候補の方向および相対距離から前記画像データにおける前記検出対象候補の座標へ変換する座標変換部と、
　前記画像データ上での前記検出対象候補の座標に基づいて、前記画像データから前記検出対象候補の画像部分を抽出する抽出部とをさらに備え、
　前記識別部は、抽出された前記検出対象候補の画像部分を用いて前記検出対象候補が前記検出対象であるか否かを識別し、
　前記レーダ制御部は、前記検出対象と判定された前記検出対象候補の方向および距離に基づいて、前記検出対象が前記第２領域に入るように前記レーダを制御する、（１）または（２）に記載の物体検出装置。
（４）
　前記検出対象を特定するために照合の基準となる参照画像を格納するデータベースをさらに備え、
　前記識別部は、抽出された前記検出対象候補の画像部分と前記参照画像とを比較し、類似する参照画像のある前記検出対象候補を前記検出対象と識別する、（３）に記載の物体検出装置。
（５）
　前記レーダ制御部は、前記第１領域に電波を照射する第１モードと、前記第２領域に電波を照射する第２モードとの間で切り替えるように前記レーダを制御する、（１）から（４）のいずれか一項に記載の物体検出装置。
（６）
　前記レーダ制御部は、前記第１モードで識別された前記検出対象に対して、次の前記第２モードにおいて電波を照射するように前記レーダを制御する、（５）に記載の物体検出装置。
（７）
　前記レーダ制御部は、前記第１モードおよび前記第２モードを交互に繰り返す、（５）または（６）に記載の物体検出装置。
（８）
　レーダから第１領域に電波を送信することによって検出された検出対象候補と撮像部から得られた画像データとに基づいて、前記検出対象候補の中から検出対象を識別する識別部と、
　前記検出対象を含み前記第１領域よりも狭い第２領域に対して電波を照射するように前記レーダを制御するレーダ制御部と、を備える情報処理装置。
（９）
　前記レーダから前記第１領域において電波を送信し、反射されてきた電波の送受信点をクラスタリングして前記検出対象候補を生成するデータ処理部をさらに備える、（８）に記載の情報処理装置。
（１０）
　前記レーダに対する前記検出対象候補の方向および相対距離から前記画像データにおける前記検出対象候補の座標へ変換する座標変換部と、
　前記画像データ上での前記検出対象候補の座標に基づいて、前記画像データから前記検出対象候補の画像部分を抽出する抽出部とをさらに備え、
　前記識別部は、抽出された前記検出対象候補の画像部分を用いて前記検出対象候補が前記検出対象であるか否かを識別し、
　前記レーダ制御部は、前記検出対象と判定された前記検出対象候補の方向および距離に基づいて、前記検出対象が前記第２領域に入るように前記レーダを制御する、（８）または（９）に記載の情報処理装置。
（１１）
　前記検出対象を特定するために照合の基準となる参照画像を格納するデータベースをさらに備え、
　前記識別部は、抽出された前記検出対象候補の画像部分と前記参照画像とを比較し、類似する参照画像のある前記検出対象候補を前記検出対象と識別する、（１０）に記載の情報処理装置。
（１２）
　前記レーダ制御部は、前記第１領域に電波を照射する第１モードと、前記第２領域に電波を照射する第２モードとの間で切り替えるように前記レーダを制御する、（８）から（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記レーダ制御部は、前記第１モードで識別された前記検出対象に対して、次の前記第２モードにおいて電波を照射するように前記レーダを制御する、（１２）に記載の情報処理装置。
（１４）
　前記レーダ制御部は、前記第１モードおよび前記第２モードを交互に繰り返す、（１２）または（１３）に記載の情報処理装置。
（１５）
　電波を送信するレーダと、画像を撮像する撮像部と、前記レーダからの検出情報および前記撮像部からの画像データを処理して前記レーダを制御する情報処理装置とを備えた物体検出装置を用いた物体検出方法であって、
　第１領域に電波を送信して該第１領域内にある検出対象候補を検出し、
　前記第１領域を撮像して画像データを生成し、
　前記画像データに基づいて前記検出対象候補の中から検出対象を識別し、
　前記検出対象を含み前記第１領域よりも狭い第２領域に対して電波を照射するように前記レーダを制御することを具備する物体検出方法。
（１６）
　前記検出対象候補の検出は、
　前記第１領域において電波を送信し、反射されてきた電波の送受信点を検出し、
　前記送受信点をクラスタリングして前記検出対象候補を生成することを含む、（１５）に記載の方法。
（１７）
　前記検出対象の識別は、
　前記レーダに対する前記検出対象候補の方向および相対距離から前記画像データにおける前記検出対象候補の座標へ変換し、
　前記画像データ上での前記検出対象候補の座標に基づいて、前記画像データから前記検出対象候補の画像部分を抽出し、
　抽出された前記検出対象候補の画像部分を用いて前記検出対象候補が前記検出対象であるか否かを識別することを含み、
　前記レーダの制御は、
　前記検出対象と判定された前記検出対象候補の方向および距離に基づいて、前記検出対象が前記第２領域に入るように前記レーダを制御することを含む、（１５）または（１６）に記載の方法。
（１８）
　前記物体検出装置は、前記検出対象を特定するために照合の基準となる参照画像を格納するデータベースをさらに備え、
　前記検出対象の識別は、
　抽出された前記検出対象候補の画像部分と前記参照画像とを比較し、
　類似する参照画像のある前記検出対象候補を前記検出対象と識別することを含む、（１７）に記載の方法。
（１９）
　前記レーダの制御は、前記第１領域に電波を照射する第１モードと、前記第２領域に電波を照射する第２モードとの間で周期的に交互に繰り返すように切り替える、（１５）から（１８）のいずれか一項に記載の方法。
（２０）
　前記レーダの制御は、前記第１モードで識別された前記検出対象に対して、次の前記第２モードにおいて電波を照射する、（１９）に記載の方法。
　本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
１００　物体検出装置、１０　情報処理装置、２０　ミリ波レーダ、３０　撮像部、２１　送信回路、２２　受信回路、２３　制御回路、ＡＮＴｔ　送信アンテナ、ＡＮＴｒ　受信アンテナ、１１　データ処理部、１２　抽出部、１３　座標変換部、１４　データベース、１５　識別部、１６　メモリ、１７　レーダ制御部

Claims (20)

  1. 　第１領域に電波を送信して該第１領域内にある検出対象候補を検出するレーダと、
    　前記第１領域を撮像して画像データを生成する撮像部と、
    　前記画像データに基づいて前記検出対象候補の中から検出対象を識別する識別部と、
    　前記検出対象を含み前記第１領域よりも狭い第２領域に対して電波を照射するように前記レーダを制御するレーダ制御部と、を備える物体検出装置。
  2. 　前記レーダは、前記第１領域において電波を送信し、反射されてきた電波の送受信点を検出し、
    　前記送受信点をクラスタリングして前記検出対象候補を生成するデータ処理部をさらに備える、請求項１に記載の物体検出装置。
  3. 　前記レーダに対する前記検出対象候補の方向および相対距離から前記画像データにおける前記検出対象候補の座標へ変換する座標変換部と、
    　前記画像データ上での前記検出対象候補の座標に基づいて、前記画像データから前記検出対象候補の画像部分を抽出する抽出部とをさらに備え、
    　前記識別部は、抽出された前記検出対象候補の画像部分を用いて前記検出対象候補が前記検出対象であるか否かを識別し、
    　前記レーダ制御部は、前記検出対象と判定された前記検出対象候補の方向および距離に基づいて、前記検出対象が前記第２領域に入るように前記レーダを制御する、請求項１に記載の物体検出装置。
  4. 　前記検出対象を特定するために照合の基準となる参照画像を格納するデータベースをさらに備え、
    　前記識別部は、抽出された前記検出対象候補の画像部分と前記参照画像とを比較し、類似する参照画像のある前記検出対象候補を前記検出対象と識別する、請求項３に記載の物体検出装置。
  5. 　前記レーダ制御部は、前記第１領域に電波を照射する第１モードと、前記第２領域に電波を照射する第２モードとの間で切り替えるように前記レーダを制御する、請求項１に記載の物体検出装置。
  6. 　前記レーダ制御部は、前記第１モードで識別された前記検出対象に対して、次の前記第２モードにおいて電波を照射するように前記レーダを制御する、請求項５に記載の物体検出装置。
  7. 　前記レーダ制御部は、前記第１モードおよび前記第２モードを交互に繰り返す、請求項５に記載の物体検出装置。
  8. 　レーダから第１領域に電波を送信することによって検出された検出対象候補と撮像部から得られた画像データとに基づいて、前記検出対象候補の中から検出対象を識別する識別部と、
    　前記検出対象を含み前記第１領域よりも狭い第２領域に対して電波を照射するように前記レーダを制御するレーダ制御部と、を備える情報処理装置。
  9. 　前記レーダから前記第１領域において電波を送信し、反射されてきた電波の送受信点をクラスタリングして前記検出対象候補を生成するデータ処理部をさらに備える、請求項８に記載の情報処理装置。
  10. 　前記レーダに対する前記検出対象候補の方向および相対距離から前記画像データにおける前記検出対象候補の座標へ変換する座標変換部と、
    　前記画像データ上での前記検出対象候補の座標に基づいて、前記画像データから前記検出対象候補の画像部分を抽出する抽出部とをさらに備え、
    　前記識別部は、抽出された前記検出対象候補の画像部分を用いて前記検出対象候補が前記検出対象であるか否かを識別し、
    　前記レーダ制御部は、前記検出対象と判定された前記検出対象候補の方向および距離に基づいて、前記検出対象が前記第２領域に入るように前記レーダを制御する、請求項８に記載の情報処理装置。
  11. 　前記検出対象を特定するために照合の基準となる参照画像を格納するデータベースをさらに備え、
    　前記識別部は、抽出された前記検出対象候補の画像部分と前記参照画像とを比較し、類似する参照画像のある前記検出対象候補を前記検出対象と識別する、請求項１０に記載の情報処理装置。
  12. 　前記レーダ制御部は、前記第１領域に電波を照射する第１モードと、前記第２領域に電波を照射する第２モードとの間で切り替えるように前記レーダを制御する、請求項８に記載の情報処理装置。
  13. 　前記レーダ制御部は、前記第１モードで識別された前記検出対象に対して、次の前記第２モードにおいて電波を照射するように前記レーダを制御する、請求項１２に記載の情報処理装置。
  14. 　前記レーダ制御部は、前記第１モードおよび前記第２モードを交互に繰り返す、請求項１２に記載の情報処理装置。
  15. 　電波を送信するレーダと、画像を撮像する撮像部と、前記レーダからの検出情報および前記撮像部からの画像データを処理して前記レーダを制御する情報処理装置とを備えた物体検出装置を用いた物体検出方法であって、
    　第１領域に電波を送信して該第１領域内にある検出対象候補を検出し、
    　前記第１領域を撮像して画像データを生成し、
    　前記画像データに基づいて前記検出対象候補の中から検出対象を識別し、
    　前記検出対象を含み前記第１領域よりも狭い第２領域に対して電波を照射するように前記レーダを制御することを具備する物体検出方法。
  16. 　前記検出対象候補の検出は、
    　前記第１領域において電波を送信し、反射されてきた電波の送受信点を検出し、
    　前記送受信点をクラスタリングして前記検出対象候補を生成することを含む、請求項１５に記載の方法。
  17. 　前記検出対象の識別は、
    　前記レーダに対する前記検出対象候補の方向および相対距離から前記画像データにおける前記検出対象候補の座標へ変換し、
    　前記画像データ上での前記検出対象候補の座標に基づいて、前記画像データから前記検出対象候補の画像部分を抽出し、
    　抽出された前記検出対象候補の画像部分を用いて前記検出対象候補が前記検出対象であるか否かを識別することを含み、
    　前記レーダの制御は、
    　前記検出対象と判定された前記検出対象候補の方向および距離に基づいて、前記検出対象が前記第２領域に入るように前記レーダを制御することを含む、請求項１５に記載の方法。
  18. 　前記物体検出装置は、前記検出対象を特定するために照合の基準となる参照画像を格納するデータベースをさらに備え、
    　前記検出対象の識別は、
    　抽出された前記検出対象候補の画像部分と前記参照画像とを比較し、
    　類似する参照画像のある前記検出対象候補を前記検出対象と識別することを含む、請求項１７に記載の方法。
  19. 　前記レーダの制御は、前記第１領域に電波を照射する第１モードと、前記第２領域に電波を照射する第２モードとの間で周期的に交互に繰り返すように切り替える、請求項１５に記載の方法。
  20. 　前記レーダの制御は、前記第１モードで識別された前記検出対象に対して、次の前記第２モードにおいて電波を照射する、請求項１９に記載の方法。
PCT/JP2021/006484 2020-04-13 2021-02-19 物体検出装置、情報処理装置および物体検出方法 WO2021210268A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/907,592 US20230152441A1 (en) 2020-04-13 2021-02-19 Object detection device, information processing device, and object detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-071594 2020-04-13
JP2020071594A JP2023078488A (ja) 2020-04-13 2020-04-13 物体検出装置、情報処理装置および物体検出方法

Publications (1)

Publication Number Publication Date
WO2021210268A1 true WO2021210268A1 (ja) 2021-10-21

Family

ID=78083869

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/006484 WO2021210268A1 (ja) 2020-04-13 2021-02-19 物体検出装置、情報処理装置および物体検出方法

Country Status (3)

Country Link
US (1) US20230152441A1 (ja)
JP (1) JP2023078488A (ja)
WO (1) WO2021210268A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4296718A1 (en) * 2022-06-20 2023-12-27 Honeywell International Inc. Integrated surveillance radar system
EP4386427A1 (en) * 2022-12-16 2024-06-19 Imec VZW An radar apparatus and a method for visual prescan for moving objects

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10160834A (ja) * 1996-11-29 1998-06-19 Sumitomo Electric Ind Ltd 先行車両認識方法
JP2005339175A (ja) * 2004-05-26 2005-12-08 Alpine Electronics Inc 対象物認識装置、ナビゲーション装置及び対象物認識方法
JP2009098025A (ja) * 2007-10-17 2009-05-07 Toyota Motor Corp 物体検出装置
JP2014169922A (ja) * 2013-03-04 2014-09-18 Denso Corp 物標認識装置
JP2016009474A (ja) * 2014-06-26 2016-01-18 株式会社リコー 物体識別システム、情報処理装置、情報処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10160834A (ja) * 1996-11-29 1998-06-19 Sumitomo Electric Ind Ltd 先行車両認識方法
JP2005339175A (ja) * 2004-05-26 2005-12-08 Alpine Electronics Inc 対象物認識装置、ナビゲーション装置及び対象物認識方法
JP2009098025A (ja) * 2007-10-17 2009-05-07 Toyota Motor Corp 物体検出装置
JP2014169922A (ja) * 2013-03-04 2014-09-18 Denso Corp 物標認識装置
JP2016009474A (ja) * 2014-06-26 2016-01-18 株式会社リコー 物体識別システム、情報処理装置、情報処理方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4296718A1 (en) * 2022-06-20 2023-12-27 Honeywell International Inc. Integrated surveillance radar system
EP4386427A1 (en) * 2022-12-16 2024-06-19 Imec VZW An radar apparatus and a method for visual prescan for moving objects

Also Published As

Publication number Publication date
US20230152441A1 (en) 2023-05-18
JP2023078488A (ja) 2023-06-07

Similar Documents

Publication Publication Date Title
US11027653B2 (en) Apparatus, system and method for preventing collision
US10683014B2 (en) Vehicle control system, vehicle control method, and vehicle control program
CN110001634B (zh) 车辆控制装置、车辆控制方法及存储介质
US10887568B2 (en) Image processing apparatus, and image processing method
US10672273B2 (en) Vehicle control method and apparatus
US20170080929A1 (en) Movement-assisting device
US20190283742A1 (en) Vehicle control device, vehicle control method, and storage medium
CN110271544B (zh) 车辆控制装置、车辆控制方法及存储介质
US10688989B2 (en) Apparatus, system, and method for vehicle collision avoidance control
WO2021210268A1 (ja) 物体検出装置、情報処理装置および物体検出方法
JP7413935B2 (ja) 車載センサシステム
US11897458B2 (en) Collision avoidance apparatus for vehicle
US20210402998A1 (en) Control device and control method
US11828882B2 (en) Distance measuring device and distance measuring method
US20220266855A1 (en) Determination device, vehicle control device, determination method, and storage medium
WO2021241360A1 (ja) 検出装置、検出システム及び検出方法
US20220381913A1 (en) Distance measurement sensor, signal processing method, and distance measurement module
JP6796047B2 (ja) 車両制御装置、車両制御方法、及びプログラム
US20220176956A1 (en) Vehicle control device, vehicle control method, and non-transitory computer-readable recording medium recording program
US20230341556A1 (en) Distance measurement sensor, signal processing method, and distance measurement module
JP4394476B2 (ja) 車両用運転支援装置
JP7152848B2 (ja) 車外環境認識装置
JP7250837B2 (ja) 制御装置、制御方法、およびプログラム
JP7184951B2 (ja) 車両制御装置、車両制御方法、およびプログラム
US20220306094A1 (en) Vehicle control device, vehicle control method, and storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21789323

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21789323

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP