WO2020129369A1 - キャリブレーション装置とキャリブレーション方法とプログラムおよびキャリブレーションシステムとキャリブレーションターゲット - Google Patents

キャリブレーション装置とキャリブレーション方法とプログラムおよびキャリブレーションシステムとキャリブレーションターゲット Download PDF

Info

Publication number
WO2020129369A1
WO2020129369A1 PCT/JP2019/039994 JP2019039994W WO2020129369A1 WO 2020129369 A1 WO2020129369 A1 WO 2020129369A1 JP 2019039994 W JP2019039994 W JP 2019039994W WO 2020129369 A1 WO2020129369 A1 WO 2020129369A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
time difference
detection signal
state
calibration
Prior art date
Application number
PCT/JP2019/039994
Other languages
English (en)
French (fr)
Inventor
山本　英明
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/311,644 priority Critical patent/US20220390557A9/en
Priority to JP2020561175A priority patent/JPWO2020129369A1/ja
Priority to CN201980081729.7A priority patent/CN113167859A/zh
Priority to EP19899989.8A priority patent/EP3901652A4/en
Publication of WO2020129369A1 publication Critical patent/WO2020129369A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4052—Means for monitoring or calibrating by simulation of echoes
    • G01S7/4082—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder
    • G01S7/4086—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder in a calibrating environment, e.g. anechoic chamber
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4021—Means for monitoring or calibrating of parts of a radar system of receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing

Definitions

  • This technology corrects the time lag of the information acquired by using multiple sensors in the information processing device regarding the calibration device, the calibration method, the program, the calibration system, and the calibration target.
  • Patent Document 1 when a calibration target is detected using a radar and a camera as a sensor, and the detection result is used to perform driving assistance, the coordinates of the calibration target obtained from the radar and the coordinates obtained from the camera are obtained. It is described that the calibration targets are easily matched with each other using the coordinates of the calibration targets thus obtained.
  • the detection results from multiple sensors are not limited to spatial deviations, and may cause temporal deviations. Therefore, when the detection result has a time shift, the spatial shift or the like cannot be accurately corrected based on the detection result from the sensor.
  • the purpose of this technology is to provide a calibration device, a calibration method, a program, a calibration system and a calibration target that can correct the time lag of the detection results acquired by multiple sensors.
  • the first aspect of this technology is A state detection unit that detects the state of the calibration target using a detection signal indicating the detection result of the calibration target generated for each of a plurality of sensors, The time difference correction amount for calculating the time difference between the detection signals generated for each of the sensors by using the state detection result of the calibration target obtained by the state detection unit, and setting the time difference correction amount based on the calculation result.
  • the calibration device includes a setting unit.
  • a plurality of sensors for example, an active type sensor and a passive type sensor, or a detection signal generated for each sensor of a plurality of active type sensors, which shows the detection result of the calibration target, is used to detect the calibration target of the calibration target in the state detection unit. Detect the condition.
  • a radar and/or a lidar is used as the active sensor.
  • the time difference correction amount setting unit calculates the time difference between the detection signals generated for each sensor, using the state detection result of the calibration target obtained by the state detection unit. Specifically, the time difference correction amount setting unit calculates the time difference with respect to the reference detection signal by using the detection result for each frame of the detection signal, using one of the detection signals generated for each of the plurality of sensors as a reference. To do.
  • the time difference correction amount setting unit calculates the difference between the frame numbers when the states of the calibration target change equally using the result of the state detection, and sets the frame number as the time difference.
  • a synchronization processing unit that corrects the time difference using the time difference correction amount for the detection signal for which the time difference has been calculated is further provided.
  • the time difference indicates the difference between the frame numbers when the calibration target states change equally, and the synchronization processing unit uses the detection signal corrected by the time difference correction amount as the reference detection signal and the frame number. Match and output.
  • the detection signal generated for each of the plurality of sensors is not limited to showing the detection result when the state of the calibration target is switched in a predetermined cycle, and may be the detection result when randomly switched. Good.
  • the second aspect of this technology is Detecting the state of the calibration target by the state detection unit using a detection signal indicating the detection result of the calibration target generated for each of a plurality of sensors, Using the state detection result of the calibration target obtained by the state detection unit, the time difference between the detection signals generated for each sensor is calculated, and the time difference correction amount is set based on the calculation result.
  • the third aspect of this technology is A program that causes a computer to perform calibration of a detection signal indicating a detection result of a calibration target generated for each of a plurality of sensors, A step of detecting the state of the calibration target using the detection signal;
  • the program causes the computer to execute a procedure of calculating a time difference between the detection signals generated for each sensor based on the state detection result of the calibration target and setting a time difference correction amount based on the calculation result.
  • the program of the present technology is, for example, a storage medium provided in a computer-readable format to a general-purpose computer capable of executing various programs, a communication medium, for example, a storage medium such as an optical disk, a magnetic disk, or a semiconductor memory, Alternatively, it is a program that can be provided by a communication medium such as a network.
  • a communication medium for example, a storage medium such as an optical disk, a magnetic disk, or a semiconductor memory
  • a communication medium for example, a storage medium such as an optical disk, a magnetic disk, or a semiconductor memory
  • a communication medium for example, a storage medium such as an optical disk, a magnetic disk, or a semiconductor memory
  • a communication medium for example, a storage medium such as an optical disk, a magnetic disk, or a semiconductor memory
  • it is a program that can be provided by a communication medium such as a network.
  • the fourth aspect of this technology is A sensor unit that generates a detection signal indicating the detection result of the calibration target generated for each of the plurality of sensors, A state detection unit that detects the state of the calibration target using the detection signal for each sensor generated by the sensor unit, The time difference correction amount for calculating the time difference between the detection signals generated for each of the sensors by using the state detection result of the calibration target obtained by the state detection unit, and setting the time difference correction amount based on the calculation result.
  • the calibration system includes a synchronization processing unit that corrects the time difference between the detection signals using the time difference correction amount set by the time difference correction amount setting unit.
  • the calibration target includes a characteristic switching unit capable of switching the reflection characteristics to different states.
  • an antireflection unit is movably provided on the front surface of a target having a predetermined reflection characteristic and can be moved in a predetermined cycle or a random cycle, or can be moved to the front surface of a plurality of targets having different reflection characteristics.
  • An antireflection unit is provided for each target, one target whose antireflection unit is moved from the front surface is selected, and the selected target is switched at a predetermined cycle or randomly.
  • a plurality of targets having different reflection characteristics are provided in the rotating direction of the rotator, and the target is switched at a predetermined cycle by rotating the rotator, so that the state having different reflection characteristics can be switched at a predetermined cycle.
  • a display device for displaying status information indicating the status of the reflection characteristic may be provided.
  • FIG. 6 is a flowchart illustrating the operation of the calibration unit. It is the figure which illustrated the composition of the information processor in a 1st embodiment. 6 is a flowchart illustrating a detection signal acquisition process according to the first embodiment. 6 is a flowchart illustrating a time difference correction amount setting process according to the first embodiment. It is a figure which shows the 1st operation example in 1st Embodiment. It is a figure which shows the 2nd operation example in 1st Embodiment. It is a figure which shows after the calibration of the 2nd operation example. It is a figure which shows the 3rd operation example in 1st Embodiment.
  • FIG. 13 is a flowchart illustrating a time difference correction amount setting process in the third embodiment. It is a figure which shows the 1st operation example in 3rd Embodiment. It is a figure which shows the 2nd operation example in 3rd Embodiment. It is a figure which shows after the calibration of the 2nd operation example. It is a perspective view which shows the other structure of a calibration target. It is a front view and a top view of other composition of a calibration target. It is the figure which illustrated the case where the time difference was more than the state change cycle of a calibration target. It is a block diagram showing an example of a schematic structure of a vehicle control system. It is a figure which illustrated arrangement
  • FIG. 1 illustrates the configuration of the calibration system.
  • the calibration system 10 includes a calibration target 20 and an information processing device 30.
  • the calibration target 20 includes a characteristic switching unit that can switch between different reflection characteristics.
  • the information processing device 30 is provided with a sensor unit 40 and a calibration unit 60 corresponding to the calibration device of the present technology.
  • the sensor unit 40 is configured by using a plurality of sensors, generates a detection signal indicating the detection result of the calibration target 20, and outputs the detection signal to the calibration unit 60.
  • the calibration unit 60 uses the detection signal supplied from the sensor unit 40 to detect which state the reflection characteristic of the calibration target 20 is switched to. Further, the calibration unit 60 uses the state detection result to calculate the time difference between the detection signals generated for each sensor, and sets the time difference correction amount based on the calculation result.
  • the plurality of sensors of the sensor unit 40 include at least active sensors.
  • the plurality of sensors may include an active sensor and a passive sensor, or may include a plurality of active sensors.
  • Active sensors use radar and/or lidar.
  • An imaging unit 41C that uses an image sensor (passive sensor) that generates a detection signal indicating a captured image of the calibration target as a plurality of sensors, and a transmission beam that emits a transmission beam and is reflected by the calibration target (reflection
  • the calibration target 20 includes a characteristic switching unit capable of switching between different reflection characteristics as a reflector. It is composed of a (reflector) 21 and a radio wave absorber 22. The calibration target 20 switches the reflector 21 to one of two states, that is, a state where the reflector 21 is not hidden by the radio wave absorber 22 and a state where the reflector 21 is hidden.
  • the calibration unit 60 detects the detection signals of the imaging unit 41C and the radar unit 41R based on the state detected based on the detection signal generated by the imaging unit 41C and the state detected based on the detection signal generated by the radar unit 41R. The time difference is detected, and the correction amount for correcting the detected time shift is set.
  • the calibration unit 60 has a state detection unit 61 and a time difference correction amount setting unit 65.
  • the state detection unit 61 detects which reflection characteristic state the calibration target 20 has (hereinafter, also simply referred to as “calibration target state”) based on the detection signal generated for each sensor by the sensor unit 40. To do. For example, the state detection unit 61 performs image recognition using the detection signal generated by the image pickup unit 41C, and whether the reflector 21 is hidden by the radio wave absorber 22 or hidden. Is detected and the state detection result is output to the time difference correction amount setting unit 65. Further, the state detection unit 61 determines whether the reflector 21 is hidden by the radio wave absorber 22 or hidden based on the reflection level indicated by the detection signal generated by the radar unit 41R. It is detected whether or not there is, and the state detection result is output to the time difference correction amount setting unit 65.
  • the time difference correction amount setting unit 65 calculates the time difference ER between the detection signals generated for each sensor based on the state detection result supplied from the state detection unit 61, and sets the time difference correction amount EC based on the calculation result. ..
  • FIG. 3 is a flowchart illustrating the operation of the calibration unit.
  • the calibration system starts the operation of the calibration target.
  • the calibration target 20 of the calibration system 10 starts the switching operation for switching the reflection characteristics to different states, and proceeds to step ST2.
  • the calibration system is set to the calibration mode in step ST2.
  • the information processing device 30 of the calibration system 10 sets the operation mode to the calibration mode that sets the time difference correction amount using the detection signal generated by the sensor unit 40, and proceeds to step ST3.
  • step ST3 the calibration system sets the judgment target period.
  • the information processing device 30 of the calibration system 10 sets the signal period of the detection signal used for setting the time difference correction amount as the determination target period, and proceeds to step ST4.
  • the calibration system performs detection signal acquisition processing in step ST4.
  • the information processing device 30 of the calibration system 10 starts the operation of the sensor unit 40, acquires the detection signal indicating the detection result of the calibration target for each sensor of the sensor unit 40 during the determination target period, and proceeds to step ST5.
  • step ST5 the calibration system performs the time difference correction amount setting process.
  • the calibration unit 60 in the information processing apparatus 30 of the calibration system 10 uses the state detection result indicating which of the reflection characteristics the calibration target 20 has, based on the detection signal acquired in step ST4, to detect the detection signal. The time difference between them is calculated and the time difference correction amount is set.
  • an imaging unit passive sensor
  • a radar unit active sensor
  • the time difference is calculated based on the detection signal generated by the imaging unit.
  • the frame number is used in the calculation of the time difference.
  • FIG. 4 illustrates the configuration of the information processing device according to the first embodiment.
  • the information processing device 30-1 includes a sensor unit 40-1 and a signal processing unit 50-1.
  • the sensor unit 40-1 has an imaging unit 41C and a radar unit 41R.
  • the image capturing unit 41C generates a detection signal indicating a captured image of the calibration target for each frame and outputs the detection signal to the signal processing unit 50-1.
  • the radar unit 41R generates a detection signal for each frame based on the reflected beam and outputs the detection signal to the signal processing unit 50-1. Further, the detection signals generated by the imaging unit 41C and the radar unit 41R include frame information (for example, frame number).
  • the signal processing unit 50-1 includes a camera signal processing unit 51C, a radar signal processing unit 51R, a synchronization extraction unit 52, a synchronization processing unit 53, a recognizer 55, and a calibration unit 60-1.
  • the camera signal processing unit 51C processes the detection signal supplied from the imaging unit 41C by at least one of camera signal processing such as noise removal processing, gain adjustment processing, defective pixel correction processing, demosaicing processing, and color adjustment processing. I do.
  • the camera signal processing unit 51C outputs the processed detection signal to the synchronization extraction unit 52 and the calibration unit 60-1.
  • the radar signal processing unit 51R calculates the relative distance and relative velocity to the calibration target based on the difference between the frequency of the reflected beam and the frequency of the transmitted beam based on the detection signal from the radar unit 41R. Also, the direction of the calibration target is calculated based on the phase difference between the reception array antennas of the reflected beam.
  • the radar signal processing unit 51R outputs the processed detection signal to the synchronization processing unit 53 and the calibration unit 60-1.
  • the synchronization extraction unit 52 extracts the frame number from the detection signal and outputs it to the synchronization processing unit 53. Further, the synchronization extraction unit 52 may extract the frame number and the synchronization signal from the detection signal and output them to the synchronization processing unit 53. Further, the synchronization extraction unit 52 outputs the detection signal supplied from the camera signal processing unit 51C to the recognizer 55.
  • the synchronization processing unit 53 corrects the frame number of the detection signal supplied from the radar signal processing unit 51R based on the frame number supplied from the synchronization extraction unit 52 and the time difference correction amount EC set by the calibration unit 60-1. Then, the corrected detection signal is output to the recognizer 55.
  • the synchronization processing unit 53 synchronizes the detection signal with the corrected frame number with the detection signal output from the synchronization extraction unit 52 to the recognizer 55. That is, the frame numbers may be matched and output to the recognizer 55 at the same timing.
  • the recognizer 55 performs subject recognition processing and the like based on the detection signal supplied from the synchronization extraction unit 52 and the detection signal corrected from the time shift supplied from the synchronization processing unit 53.
  • the calibration unit 60-1 sets the time difference correction amount EC using the detection signals generated by the imaging unit 41C and the radar unit 41R.
  • the calibration unit 60-1 includes state detection units 61C and 61R, frame number extraction units 62C and 62R, and a time difference correction amount setting unit 65-1.
  • the state detection unit 61C detects the state of the calibration target based on the detection signal supplied from the camera signal processing unit 51C. For example, the state detection unit 61C performs image recognition using the detection signal, and detects whether the reflector 21 in the calibration target 20 is hidden by the radio wave absorber 22 or hidden. Then, the detection result is output to the time difference correction amount setting unit 65-1.
  • the state detection unit 61R detects the state of the calibration target based on the detection signal supplied from the radar signal processing unit 51R. For example, the state detection unit 61R detects, based on the signal level of the detection signal, whether the reflector 21 in the calibration target 20 is hidden by the radio wave absorber 22 or hidden. , And outputs the detection result to the time difference correction amount setting unit 65-1.
  • the frame number extraction unit 62C extracts the frame number from the detection signal supplied from the camera signal processing unit 51C and outputs it to the time difference correction amount setting unit 65-1.
  • the frame number extraction unit 62R extracts the frame number from the detection signal supplied from the radar signal processing unit 51R and outputs it to the time difference correction amount setting unit 65-1.
  • the time difference correction amount setting unit 65-1 uses a detection signal generated for each of the plurality of sensors, for example, the detection signal SC as a reference, and the time difference ER of the detection signal SR with respect to the reference detection signal SC as a reference. It is calculated using the state detection result for each frame in 61C and 61R.
  • the time difference ER is calculated, for example, by using the frame numbers supplied from the frame number extraction units 62C and 62R, and the time difference ER is defined as the difference between the frame numbers when the states of the calibration target change equally. Further, the time difference correction amount setting unit 65-1 sets the time difference correction amount EC for the detection signal SR based on the calculated time difference ER.
  • FIG. 5 is a flowchart exemplifying the detection signal acquisition processing in the first embodiment.
  • the detection signal acquisition process corresponds to the process of step ST4 in FIG.
  • step ST11 the information processing device initializes the image pickup unit.
  • the information processing device 30-1 initializes the imaging unit 41C in the sensor unit 40 and proceeds to step ST12.
  • step ST12 the information processing device initializes the radar unit.
  • the information processing device 30-1 initializes the radar unit 41R in the sensor unit 40 and proceeds to step ST13.
  • step ST13 the information processing device starts the operation of the imaging unit.
  • the information processing device 30-1 operates the imaging unit 41C to start imaging the calibration target 20, generates a detection signal, and proceeds to step ST14.
  • the detection signal generated by the imaging unit 41C is processed by the camera signal processing unit 51C. Further, in step ST13, the imaging unit 41C outputs the synchronization signal used when generating the detection signal to the radar unit 41R.
  • step ST14 the information processing device starts the operation of the radar unit in synchronization with the imaging unit.
  • the information processing device 30-1 operates the radar unit 41R with the synchronization signal supplied from the imaging unit 41C as a reference to start generation of a detection signal indicating the reflection state of electromagnetic waves by the calibration target 20, and proceeds to step ST15. move on.
  • the detection signal generated by the radar unit 41R is processed by the radar signal processing unit 51R as described above.
  • step ST15 the information processing unit performs a calibration target state detection process.
  • the state detection unit 61C in the calibration unit 60 of the information processing device 30-1 detects the state of the calibration target 20 based on the detection signal generated by the imaging unit 41C and processed by the camera signal processing unit 51C.
  • the state detection unit 61L detects the state of the calibration target 20 based on the detection signal generated by the radar unit 41R and processed by the radar signal processing unit 51R, and proceeds to step ST16.
  • step ST16 the information processing device determines whether the detection signal has been generated for the determination target period. If the generation of the detection signal in the imaging unit 41C has not reached the determination target period, for example, if the generation of the detection signal has not reached the predetermined number of frames (for example, the number of n frames), the information processing device 30-1 proceeds to step ST15.
  • the imaging unit 41C determines that the generation of the detection signal is performed in the determination target period, for example, when the detection signal of the predetermined number of frames (for example, the number of n frames) is generated, the detection signal acquisition process ends. ..
  • FIG. 6 is a flowchart exemplifying the time difference correction amount setting process in the first embodiment.
  • the time difference correction amount setting process corresponds to step ST5 in FIG.
  • step ST21 the information processing device calculates the time difference ER.
  • the time difference correction amount setting unit 65-1 in the calibration unit 60 of the information processing device 30-1 detects the time difference between the time difference calculation target frame of the detection signal generated by the imaging unit 41C and the detection signal generated by the radar unit 41R. Is calculated based on the state detection result.
  • the time difference calculation target frame is a frame immediately after the state detection result of the calibration target 20 has changed and/or a frame immediately before the state detection result has changed in the determination target period. The case where the frame immediately after the change is set as the time difference calculation target frame is illustrated.
  • the frame number of the detection signal SC in the determination target period generated by the imaging unit 41C is “i to i+n”. Further, in the determination target period, the frame number of the detection signal SR generated by the radar unit 41R before the time difference correction is set to “j to j+n”.
  • the time difference correction amount setting unit 65-1 calculates the time difference ER by using the frame number of the detection signal SR that has the same change in the state detection result of the calibration target 20 with respect to the detection signal SC.
  • a frame having the same change in the state detection result is a frame with the smallest frame difference within a period shorter than one cycle of the state switching of the calibration target 20.
  • step ST22 the information processing device determines whether the calculation of the time difference of the determination target period is completed. If the time difference correction amount setting unit 65-1 of the information processing device 30-1 has not completed the calculation of the time difference for each frame in which the state detection result has changed in the determination target period, the process proceeds to step ST23 to detect the state. When the calculation of the time difference is completed for each frame in which the result has changed, the process proceeds to step ST24.
  • step ST23 the information processing device updates the time difference calculation target frame.
  • the time difference correction amount setting unit 65-1 of the information processing device 30-1 sets the time difference calculation target frame to the next frame in which the state detection result of the calibration target 20 in the detection signal SC has changed, and returns to step ST21.
  • step ST24 the information processing device determines whether the calculated time differences ER are equal.
  • the time difference correction amount setting unit 65-1 of the information processing device 30-1 proceeds to step ST25 when it is determined that the time differences ER are equal, and proceeds to step ST27 when frames with different time differences ER are included.
  • step ST25 the information processing device sets the time difference correction amount. Based on the time difference ER calculated in step ST22, the time difference correction amount setting unit 65-1 of the information processing device 30-1 sets the frame number of the detection signal SC and the detection signal SR in which the change in the state detection result is equal to the detection signal SC. The time difference correction amount EC is set to be equal to the frame number of, and the process proceeds to step ST26.
  • step ST26 the information processing device sets a calibration success flag.
  • the time difference correction amount setting unit 65-1 of the information processing device 30-1 sets the calibration success flag to the set state (ON state) since the setting of the time difference correction amount EC is completed, and ends the time difference correction amount setting process.
  • step ST27 the information processing device sets the calibration success flag to non-setting. Since the time difference correction amount setting unit 65-1 of the information processing device 30-1 does not set the time difference correction amount EC because the frames with different time differences are included, the calibration success flag is not set (OFF state). ), the time difference correction amount setting process ends.
  • FIG. 7 is a diagram showing a first operation example in the first embodiment
  • FIG. 8 is a diagram showing a second operation example in the first embodiment.
  • the periods of two states that is, the state where the reflector 21 in the calibration target 20 is not hidden by the radio wave absorber 22 and the state where the reflector 21 is hidden, of the detection signals SC and SR, respectively.
  • the case of one frame period is illustrated.
  • the first operation example shown in FIG. 7 shows a case where the detection signal SC generated by the imaging unit 41C and the detection signal SR generated by the radar unit 41R are synchronized.
  • FIG. 7A shows the state WS of the calibration target 20.
  • the state where the reflector 21 is not hidden by the radio wave absorber 22 is “OPEN”, and the hidden state is “CLOSE”. ..
  • the state switching cycle of the calibration target 20 is set to 2 frame periods (for example, about 1 second).
  • FIG. 7B shows the frame number and the state detection result of the detection signal SC generated by the imaging unit 41C. Further, FIG. 7C shows the frame number and the state detection result of the detection signal SR generated by the radar unit 41R.
  • the second operation example shown in FIG. 8 shows a case where the detection signal SC generated by the imaging unit 41C and the detection signal SR generated by the radar unit 41R have a time lag.
  • FIG. 8A shows the state WS of the calibration target 20.
  • the state where the reflector 21 is not hidden by the radio wave absorber 22 is “OPEN”, and the hidden state is “CLOSE”. .. Further, the state switching cycle of the calibration target 20 is set to 2 frame periods.
  • FIG. 8B shows the frame number and the state detection result of the detection signal SC generated by the imaging unit 41C. Further, FIG. 8C shows the frame number and the state detection result of the detection signal SR generated by the radar unit 41R.
  • the detection signal SC and the detection signal SR are the detection result of the state of the calibration target 20.
  • the same frame number may be changed. For example, for the frame number 2 which is the frame in which the state detection result based on the detection signal SC has changed from the OPEN state to the CLOSE state, the frame number in which the state detection result based on the detection signal SR has changed from the OPEN state to the CLOSE state is the frame number. Since it is 1, the time difference ER is “1”.
  • the frame whose state detection result based on the detection signal SC has changed from the CLOSE state to the OPEN state is a frame. Since the number is 2, the time difference ER is “1”. Further, the time difference ER is “1” also in other frame numbers when the states of the calibration target change equally. Therefore, the time difference correction amount setting unit 65-1 sets the time difference correction amount EC to "1". Further, the time difference correction amount EC is set, and the calibration success flag is set by the time difference correction amount setting process shown in FIG.
  • FIG. 9 shows after the calibration of the second operation example, and the time difference correction processing is performed on the detection signal SR generated by the radar unit 41R with the detection signal SC generated by the imaging unit 41C as a reference.
  • FIG. 9A shows the state WS of the calibration target 20. The state where the reflector 21 is not hidden by the radio wave absorber 22 is “OPEN”, and the hidden state is “CLOSE”. .. Further, the state switching cycle of the calibration target 20 is set to 2 frame periods.
  • FIG. 9B shows the frame number and the state detection result of the detection signal SC generated by the imaging unit 41C. Further, FIG. 9C shows the frame number and the state detection result of the detection signal SRh that has been subjected to the time difference correction processing.
  • the time difference correction amount EC is set to “1”. Therefore, the synchronization processing unit 53 adds “1” to the frame number of the detection signal SR to generate the detection signal SRh shown in (c) of FIG. By performing such processing, the time difference between the detection signal SC and the detection signal SR can be corrected.
  • FIG. 10 is a diagram showing a third operation example in the first embodiment
  • FIG. 11 is a diagram showing a fourth operation example in the first embodiment
  • FIG. 13 is a diagram showing in the first embodiment. It is a figure which shows the 5th operation example.
  • the third operation example, the fourth operation example, and the fifth operation example exemplify cases where the periods of the two states of the calibration target 20 are the plurality of frame periods of the detection signals SC and SR, respectively.
  • FIG. 10 shows a case where the detection signal SC generated by the imaging unit 41C and the detection signal SR generated by the radar unit 41R are synchronized.
  • FIG. 10A shows the state WS of the calibration target 20.
  • the state where the reflector 21 is not hidden by the radio wave absorber 22 is “OPEN”, and the hidden state is “CLOSE”. .. Further, the state switching cycle of the calibration target 20 is set to 2 frame periods.
  • FIG. 10B shows the frame number and the state detection result of the detection signal SC generated by the imaging unit 41C.
  • the symbol (O) indicates that the state detection result is the OPEN state
  • the symbol (C) indicates that the state detection result is the CLOSE state.
  • FIG. 10C shows the frame number and the state detection result of the detection signal SR generated by the radar unit 41R.
  • the fourth operation example shown in FIG. 11 shows a case where the detection signal generated by the imaging unit 41C and the detection signal generated by the radar unit 41R have a time lag.
  • FIG. 11A shows the state WS of the calibration target 20.
  • the state where the reflector 21 is not hidden by the radio wave absorber 22 is “OPEN”, and the hidden state is “CLOSE”. .. Further, the state switching cycle of the calibration target 20 is set to 2 frame periods.
  • FIG. 11B shows the frame number and the state detection result of the detection signal SC generated by the imaging unit 41C. Further, (c) of FIG. 11 shows the frame number and the state detection result of the detection signal SR generated by the radar unit 41R.
  • the detection signal SC and the detection signal SR are the detection result of the state of the calibration target 20.
  • the same frame number may be changed. For example, for the frame number 5 which is the frame in which the state detection result based on the detection signal SC has changed from the OPEN state to the CLOSE state, the frame number in which the state detection result based on the detection signal SR has changed from the OPEN state to the CLOSE state is the frame number. Since it is 3, the time difference ER is “2”.
  • the frame whose state detection result based on the detection signal SC has changed from the CLOSE state to the OPEN state is a frame. Since it is number 7, the time difference ER is “2”. Further, the time difference ER is "2" also in other frame numbers when the states of the calibration target change equally. Therefore, the time difference correction amount setting unit 65-1 sets the time difference correction amount EC to “2”. Further, the time difference correction amount EC is set, and the calibration success flag is set.
  • FIG. 12 shows after the calibration of the fourth operation example, and the time difference correction processing is performed on the detection signal SR generated by the radar unit 41R with the detection signal SC generated by the imaging unit 41C as a reference. ..
  • FIG. 12A shows the state WS of the calibration target 20.
  • the state where the reflector 21 is not hidden by the radio wave absorber 22 is “OPEN”, and the hidden state is “CLOSE”. .. Further, the state switching cycle of the calibration target 20 is set to 2 frame periods.
  • FIG. 12B shows the frame number and the state detection result of the detection signal SC generated by the imaging unit 41C. Further, FIG. 12C shows the frame number and the state detection result of the detection signal SRh subjected to the time difference correction processing.
  • the time difference correction amount EC is set to “2”. Therefore, the synchronization processing unit 53 adds "2" to the frame number of the detection signal SR to generate the detection signal SRh shown in (c) of FIG. By performing such processing, the time difference between the detection signal SC and the detection signal SR can be corrected.
  • the first embodiment it is possible to correct the time shift of the detection signals acquired by the plurality of sensors.
  • FIG. 13A shows the state WS of the calibration target 20.
  • the state where the reflector 21 is not hidden by the radio wave absorber 22 is “OPEN”, and the hidden state is “CLOSE”. .. Further, the state switching cycle of the calibration target 20 is set to 2 frame periods.
  • FIG. 13B shows the frame number and the state detection result of the detection signal SC generated by the imaging unit 41C. Further, FIG. 13C shows the frame number and the state detection result of the detection signal SR generated by the radar unit 41R.
  • the detection signal SC generated by the imaging unit 41C and the detection signal SR generated by the radar unit 41R have a time lag and the cycle of the detection signal SR is fluctuated, the detection signal SC is changed to the detection signal SC as described above.
  • the difference in the frame number of the detection signal SR that causes the same change in the state detection result of the based calibration target 20 may change.
  • the time difference ER which is the difference between the frame numbers, is "1" or "0". In such a case, the calibration success flag is set to the non-setting state by the time difference correction amount setting process shown in FIG.
  • the first embodiment it is possible to set the time difference correction amount based on the state detection result of the calibration target and correct the time shift of the detection signals acquired by the plurality of sensors. Further, when the calibration success flag is set, if the recognition process is performed using the corrected detection signal, the recognition process can be performed accurately. Further, when the time lag cannot be corrected, the calibration success flag is in the non-setting state. Therefore, when the calibration success flag is in the non-setting state, the recognizing unit 55 detects either the detection signal SC or the detection signal SR. If the recognition processing is performed by using, it is possible to prevent a problem such as a decrease in the recognition accuracy of the object due to the use of the detection signal having a time lag.
  • Second Embodiment> Next, a second embodiment will be described. As described above, when the two states of the calibration target 20 are switched at a predetermined cycle, if the time shift becomes equal to or longer than the cycle of the two states of the calibration target 20, the time shift cannot be corrected correctly. For example, if a frame difference of the detection signal SR having the same change in the state detection result is detected within the predetermined cycle when a time difference longer than the predetermined cycle occurs, the time difference cannot be detected correctly. Therefore, in the second embodiment, a case will be described in which the number of states of the calibration target 20 is set to be more than two, and the correctable time difference is made larger than that in the first embodiment.
  • FIG. 14 illustrates the configuration of the second embodiment.
  • an imaging unit 41C that generates a detection signal indicating an image of the image of the calibration target, and a transmission beam that radiates a transmission beam and is reflected by the calibration target (reflected beam)
  • the calibration target 20 includes a plurality of reflectors having different radar reflection cross-sections (RCS) and radio waves provided for each reflector. It is configured by using an absorber and an indicator 23 that indicates which reflector is used to reflect the transmission beam.
  • RCS radar reflection cross-sections
  • reflectors 21a, 21b and 21c having different radar reflection cross-sectional areas and radio wave absorbers 22a, 22b and 22c are provided for the respective reflectors.
  • the calibration target 20 selects the reflectors 21a, 21b, 21c in a predetermined order, the selected reflector is not hidden by the electromagnetic wave absorber, and the remaining reflectors are hidden by the electromagnetic wave absorber. State. For example, when the reflector 21a is selected, the reflector 21a is not hidden by the radio wave absorber 22a, and the other reflectors 21b, 21c are hidden by the radio wave absorbers 22b, 22c.
  • the display 23 displays information indicating the selected reflector, specifically, an index indicating the selected reflector or a radar reflection cross-sectional area of the selected reflector. For example, when the reflector 21a is selected, an index indicating the selected reflector 21a is displayed. In this way, if the reflectors 21a, 21b, and 21c are selected in a predetermined order, the calibration target 20 can switch three states in a predetermined order.
  • the calibration unit 60 detects the state of the calibration target 20 detected based on the detection signal generated by the imaging unit 41C and the state of the calibration target 20 detected based on the detection signal generated by the radar unit 41R.
  • the time difference is calculated based on the detection result and the time difference correction amount EC is set.
  • the information processing device has the same configuration as that of the first embodiment shown in FIG.
  • the state detection unit 61C detects the state of the calibration target 20 based on the detection signal supplied from the camera signal processing unit 51C. For example, the state detection unit 61C recognizes the display content of the display device 23 using the detection signal, and the calibration target 20 does not hide any one of the reflectors 21a, 21b, and 21c by the electromagnetic wave absorber. Then, it is detected whether the other reflector is hidden by the radio wave absorber, and the detection result is output to the time difference correction amount setting unit 65-1.
  • the state detection unit 61R detects the state of the calibration target 20 based on the detection signal supplied from the radar signal processing unit 51R. For example, the state detection unit 61R determines that one of the reflectors 21a, 21b, and 21c in the calibration target 20 is not hidden by the radio wave absorber while the other reflectors are radio wave based on the signal level of the detection signal. It is detected whether it is hidden by the absorber and the detection result is output to the time difference correction amount setting unit 65-1.
  • the time difference correction amount setting unit 65-1 sets the time difference correction amount EC based on the detection results from the state detection units 61C and 61R and the frame numbers supplied from the frame number extraction units 62C and 62L.
  • the detection signal acquisition process shown in FIG. 5 is performed to acquire the detection signal in the determination target period.
  • the determination target period is longer than the cycle of switching the state of the calibration target 20.
  • the time difference correction amount setting process shown in FIG. 6 is performed, and the change in the state detection result of the calibration target 20 is equal to the detection signal SC.
  • the time difference ER using the frame number of the detection signal SR is calculated, the time difference correction amount EC is set based on the calculated time difference ER, and the calibration success flag is set.
  • FIG. 15 to 20 are diagrams for explaining an operation example of the second embodiment.
  • FIG. 15 is a diagram showing a first operation example in the second embodiment
  • FIG. 16 is a diagram showing a second operation example in the second embodiment.
  • the first operation example and the second operation example exemplify a case where the periods of the three states of the calibration target 20 are one frame period of the detection signals SC and SR, respectively.
  • FIG. 15 shows a case where the detection signal generated by the imaging unit 41C and the detection signal generated by the radar unit 41R are synchronized.
  • FIG. 15A shows a selection state WSa of the reflector 21a in the calibration target 20, in which the state where the reflector 21a is not hidden by the radio wave absorber 22a is "OPEN", and the hidden state is shown. "CLOSE”.
  • FIG. 15B shows a selection state WSb of the reflector 21b in the calibration target 20. The state where the reflector 21b is not hidden by the radio wave absorber 22b is "OPEN", and the hidden state is shown. "CLOSE”.
  • FIG. 15A shows a selection state WSa of the reflector 21a in the calibration target 20, in which the state where the reflector 21a is not hidden by the radio wave absorber 22a is "OPEN", and the hidden state is shown. "CLOSE”.
  • FIG. 15A shows a selection state WSa of the reflector 21a in the calibration target 20, in which the state where the reflector 21a
  • the state switching cycle of the calibration target 20 is 3 frame periods.
  • FIG. 15D shows the display information DS of the display device 23.
  • the display La only the reflector 21a is not hidden by the radio wave absorber 22a, and the reflectors 21b and 21c absorb the radio wave. It is shown that the body is hidden by the bodies 22b and 22c.
  • the display Lb indicates that only the reflector 21b is not hidden by the radio wave absorber 22b, and the reflectors 21a and 21c are hidden by the radio wave absorbers 22a and 22c.
  • the display Lc indicates that only the reflector 21c is not hidden by the radio wave absorber 22c, and the reflectors 21a and 21b are hidden by the radio wave absorbers 22a and 22b.
  • FIG. 15E shows the detection signal SC generated by the imaging unit 41C together with the state detection result.
  • FIG. 15F shows the detection signal SR generated by the radar unit 41R together with the detection result of the state.
  • the symbol (La) indicates that the display recognition result of the display 23 is the display La
  • the symbol (Lb) indicates the display recognition result is the display Lb
  • the symbol (Lc) indicates that the display recognition result of the display unit 23 is the display Lc.
  • the second operation example shown in FIG. 16 shows a case where the detection signal generated by the imaging unit 41C and the detection signal generated by the radar unit 41R have a time lag. Note that (a) of FIG. 16 is similar to (a) of FIG. 15, and (b) to (d) of FIG. 16 is similar to (b) to (d) of FIG. ...
  • FIG. 16E shows the detection signal SC generated by the imaging unit 41C together with the state detection result. Further, (f) of FIG. 16 shows the detection signal SR generated by the radar unit 41R together with the state detection result.
  • the detection signal SC and the detection signal SR are the detection result of the state of the calibration target 20.
  • the same frame number may be changed. For example, for the frame number 2 which is the frame in which the state detection result based on the detection signal SC has changed from the display La to the display Lb, the frame number in which the state detection result based on the detection signal SR has changed from the display La to the display Lb is the frame number. Since it is 1, the time difference ER is “1”.
  • the frame number in which the state detection result based on the detection signal SC changes from the display Lb to the display Lc is the frame number. Since it is 2, the time difference ER is “1”.
  • the frame number in which the state detection result based on the detection signal SC changes from the display Lc to the display La is the frame number. Since it is 3, the time difference ER is “1”. Therefore, the time difference correction amount setting unit 65-1 sets the time difference correction amount EC to "1". Further, the time difference correction amount EC is set, and the calibration success flag is set by the time difference correction amount setting process shown in FIG.
  • FIG. 17 shows after the calibration of the second operation example, and the time difference correction processing is performed on the detection signal SR generated by the radar unit 41R with the detection signal SC generated by the imaging unit 41C as a reference. .. Note that (a) of FIG. 17 is similar to (a) of FIG. 15, and (b) to (d) of FIG. 17 are similar to (b) to (d) of FIG. ..
  • FIG. 17E shows the detection signal SC generated by the imaging unit 41C together with the state detection result. Further, (f) of FIG. 17 shows the detection signal SRh subjected to the time difference correction processing together with the detection result of the state.
  • the time difference correction amount EC is set to “1”, so that the frame of the detection signal SR is set. "1" is added to the number to generate the detection signal SRh shown in (f) of FIG. By performing such processing, the time difference between the detection signal SC and the detection signal SR can be corrected.
  • FIG. 18 is a diagram showing a third operation example in the second embodiment
  • FIG. 19 is a diagram showing a fourth operation example in the second embodiment.
  • the third operation example and the fourth operation example exemplify the case where the periods of the two states of the calibration target 20 are the plurality of frame periods of the detection signals SC and SR, respectively.
  • FIG. 18 shows a case where the detection signal generated by the imaging unit 41C and the detection signal generated by the radar unit 41R are synchronized.
  • FIG. 18A shows a selected state WSa of the reflector 21a in the calibration target 20. The state where the reflector 21a is not hidden by the radio wave absorber 22a is "OPEN", and the hidden state is shown. "CLOSE”.
  • FIG. 18B shows a selection state WSb of the reflector 21b in the calibration target 20. The state where the reflector 21b is not hidden by the radio wave absorber 22b is "OPEN", and the hidden state is shown. "CLOSE”.
  • FIG. 18A shows a selected state WSa of the reflector 21a in the calibration target 20. The state where the reflector 21a is not hidden by the radio wave absorber 22a is "OPEN", and the hidden state is shown. "CLOSE”.
  • FIG. 18A shows a selected state WSa of the reflector 21a in the calibration target 20. The state where the reflector 21a is not hidden
  • the 18C shows a selection state WSc of the reflector 21c in the calibration target 20, in which the reflector 21c is not hidden by the radio wave absorber 22c, and the hidden state is shown. "CLOSE".
  • the state switching cycle of the calibration target 20 is 3 frame periods.
  • FIG. 18D shows the display information DS of the display device 23.
  • the display La only the reflector 21a is not hidden by the radio wave absorber 22a, and the reflectors 21b and 21c absorb the radio wave. It is shown that the body is hidden by the bodies 22b and 22c.
  • the display Lb indicates that only the reflector 21b is not hidden by the radio wave absorber 22b, and the reflectors 21a and 21c are hidden by the radio wave absorbers 22a and 22c.
  • the display Lc indicates that only the reflector 21c is not hidden by the radio wave absorber 22c, and the reflectors 21a and 21b are hidden by the radio wave absorbers 22a and 22b.
  • FIG. 18 shows the detection signal SC generated by the imaging unit 41C together with the state detection result. Further, (f) of FIG. 18 shows the detection signal SR generated by the radar unit 41R together with the state detection result.
  • the fourth operation example shown in FIG. 19 shows a case where the detection signal generated by the image pickup unit 41C and the detection signal generated by the radar unit 41R have a time lag. Note that (a) of FIG. 19 is similar to (a) of FIG. 18, and (b) to (d) of FIG. 19 are similar to (b) to (d) of FIG. ...
  • FIG. 19E shows the detection signal SC generated by the imaging unit 41C together with the state detection result. Further, FIG. 19F shows the detection signal SR generated by the radar unit 41R together with the state detection result.
  • the state detection result of the calibration target 20 changes between the detection signal SC and the detection signal SR.
  • the same frame number may be different.
  • the frame number 6 is a frame in which the state detection result based on the detection signal SC is changed from the display La to the display Lb
  • the frame number 4 is a frame in which the state detection result based on the detection signal SR is changed from the display La to the display Lb. Therefore, the time difference ER is “2”.
  • the frame number in which the state detection result based on the detection signal SC changes from the display Lb to the display Lc is the frame number. Since it is 8, the time difference ER is “2”.
  • the frame number 14 which is the frame in which the state detection result based on the detection signal SC changes from the display Lc to the display La is the frame number. Since it is 12, the time difference ER is “2”. Therefore, the time difference correction amount setting unit 65-1 sets the time difference correction amount EC to “2”. Further, the time difference correction amount EC is set, and the calibration success flag is set by the time difference correction amount setting process shown in FIG.
  • FIG. 20 shows after the calibration of the fourth operation example, and the time difference correction processing is performed on the detection signal SR generated by the radar unit 41R with the detection signal SC generated by the imaging unit 41C as a reference. .. Note that (a) of FIG. 20 is the same as (a) of FIG. 18, and (b) to (d) of FIG. 20 are the same as (b) to (d) of FIG. ..
  • FIG. 20 shows the detection signal SC generated by the imaging unit 41C together with the state detection result. Further, (f) of FIG. 20 shows the detection signal SRh subjected to the time difference correction processing together with the detection result of the state.
  • the time difference correction amount EC is set to “2”, so that the frame of the detection signal SR is set. "2" is added to the number to generate the detection signal SRh shown in (f) of FIG. By performing such processing, the time difference between the detection signal SC and the detection signal SR can be corrected.
  • the time lag of the detection signals acquired by the multiple sensors can be corrected.
  • FIG. 21 illustrates the configuration of the information processing device according to the third embodiment.
  • the information processing device 30-3 has a sensor unit 40-3 and a signal processing unit 50-3.
  • the sensor unit 40-3 has an imaging unit 41C, a radar unit 41R, and a rider unit 41L.
  • the image capturing unit 41C generates a detection signal indicating a captured image of the calibration target for each frame and outputs the detection signal to the signal processing unit 50-3.
  • the radar unit 41R generates a detection signal for each frame based on the reflected beam and outputs the detection signal to the signal processing unit 50-3.
  • the lidar unit 41L generates a detection signal for each frame based on the reflected light and outputs the detection signal to the signal processing unit 50-3.
  • the detection signals generated by the imaging unit 41C, the radar unit 41R, and the lidar unit 41L include frame information (for example, frame number) that allows the frame to be identified.
  • the signal processing unit 50-3 includes a camera signal processing unit 51C, a radar signal processing unit 51R, a lidar signal processing unit 51L, a synchronization extraction unit 52, synchronization processing units 53R and 53L, a recognizer 55, and a calibration unit 60-3. doing.
  • the camera signal processing unit 51C processes the detection signal supplied from the imaging unit 41C by at least one of camera signal processing such as noise removal processing, gain adjustment processing, defective pixel correction processing, demosaicing processing, and color adjustment processing. I do.
  • the camera signal processing unit 51C outputs the processed detection signal to the synchronization extraction unit 52 and the calibration unit 60-1.
  • the radar signal processing unit 51R calculates the relative distance and relative velocity to the calibration target based on the difference between the frequency of the reflected beam and the frequency of the transmitted beam based on the detection signal from the radar unit 41R. Also, the direction of the calibration target is calculated based on the phase difference between the reception array antennas of the reflected beam.
  • the radar signal processing unit 51R outputs the processed detection signal to the synchronization processing unit 53 and the calibration unit 60-1.
  • the lidar signal processing unit 51L calculates the relative distance and relative speed to the calibration target based on the detection signal from the lidar unit 41L and the emission timing of the laser light and the reception result of the reflected light. Further, the direction of the calibration target is calculated based on the emission direction of the laser light and the reflected light. The lidar signal processing unit 51L outputs the processed detection signal to the synchronization processing unit 53L and the calibration unit 60-3.
  • the synchronization extraction unit 52 extracts the frame number from the detection signal and outputs it to the synchronization processing units 53R and 53L. Further, the synchronization extraction unit 52 may extract the frame number and the synchronization signal from the detection signal and output them to the synchronization processing units 53R and 53L. Further, the synchronization extraction unit 52 outputs the detection signal supplied from the camera signal processing unit 51C to the recognizer 56.
  • the synchronization processing unit 53R corrects the frame number of the detection signal supplied from the radar signal processing unit 51R based on the frame number supplied from the synchronization extraction unit 52 and the time difference correction amount ECr set by the calibration unit 60-3. Then, the corrected detection signal is output to the recognizer 56.
  • the synchronization processing unit 53 synchronizes the detection signal with the corrected frame number with the detection signal output from the synchronization extraction unit 52 to the recognizer 56. That is, the frame numbers may be matched and output to the recognizer 56 at the same timing.
  • the synchronization processing unit 53L corrects the frame number of the detection signal supplied from the lidar signal processing unit 51L based on the frame number supplied from the synchronization extraction unit 52 and the time difference correction amount ECl set by the calibration unit 60-3. Then, the corrected detection signal is output to the recognizer 56.
  • the synchronization processing unit 53L synchronizes the detection signal with the corrected frame number with the detection signal output from the synchronization extraction unit 52 to the recognizer 56, That is, the frame numbers may be matched and output to the recognizer 56 at the same timing.
  • the recognizer 56 performs the subject recognition process based on the detection signal supplied from the synchronization extraction unit 52 and the detection signal corrected by the time shifts supplied from the synchronization processing units 53R and 53L.
  • the calibration unit 60-3 sets the time difference correction amounts ECr, ECl using the detection signals generated by the imaging unit 41C, the radar unit 41R, and the lidar unit 41L.
  • the calibration unit 60-1 includes state detection units 61C, 61R and 61L, frame number extraction units 62C, 62R and 62L, and a time difference correction amount setting unit 65-3.
  • the state detection unit 61C detects the state of the calibration target based on the detection signal supplied from the camera signal processing unit 51C. For example, the state detection unit 61C performs image recognition using the detection signal, and detects whether the reflector 21 in the calibration target 20 is hidden by the radio wave absorber 22 or hidden. Then, the detection result is output to the time difference correction amount setting unit 65-3.
  • the state detection unit 61R detects the state of the calibration target based on the detection signal supplied from the radar signal processing unit 51R. For example, the state detection unit 61R detects which of the reflectors 21a, 21b, and 21c is selected in the calibration target 20 based on the signal level of the detection signal, and the detection result is the time difference correction amount. Output to the setting unit 65-3.
  • the state detection unit 61L detects the state of the calibration target based on the detection signal supplied from the lidar signal processing unit 51L. For example, the state detection unit 61L detects which of the reflectors 21a, 21b, and 21c is selected in the calibration target 20 based on the signal level of the detection signal, and the detection result is set as the time difference correction amount setting unit 65- Output to 3.
  • the frame number extraction unit 62C extracts the frame number from the detection signal supplied from the camera signal processing unit 51C and outputs it to the time difference correction amount setting unit 65-3.
  • the frame number extraction unit 62R extracts the frame number from the detection signal supplied from the radar signal processing unit 51R and outputs it to the time difference correction amount setting unit 65-3.
  • the frame number extraction unit 62L extracts the frame number from the detection signal supplied from the lidar signal processing unit 51L and outputs it to the time difference correction amount setting unit 65-3.
  • the time difference correction amount setting unit 65-1 uses the detection signal SC generated for each of the plurality of sensors, for example, the detection signal SC as a reference, with respect to the time difference ERr of the detection signal SR with respect to the reference detection signal SC and the detection signal SC.
  • the time difference ER1 of the detection signal SL is calculated using the state detection result for each frame in the state detection units 61C, 61R, 61L.
  • the time difference ERr is calculated by using, for example, the frame numbers supplied from the frame number extraction units 62C and 62R, and the time difference ERr is the difference between the frame numbers when the calibration target states change equally.
  • the time difference ERl is calculated by using, for example, the frame numbers supplied from the frame number extracting units 62C and 62L, and the difference between the frame numbers when the states of the calibration targets change equally is defined as the time difference ERl.
  • the time difference correction amount setting unit 65-1 sets the time difference correction amount ECr for the detection signal SR based on the calculated time difference ERr and the time difference correction amount ECl for the detection signal SL based on the calculated time difference ERl.
  • the detection signal acquisition process shown in FIG. 5 is performed to acquire the detection signals for the determination target period.
  • the determination target period is longer than the cycle of switching the state of the calibration target 20.
  • the time difference correction amount setting process is performed to calculate the time difference ERr using the frame number of the detection signal SR in which the change in the state detection result of the calibration target 20 is equal to that of the detection signal SC. Then, the time difference correction amount ECr and the calibration success flag are set.
  • the time difference ER1 is calculated by using the frame number of the detection signal SL in which the change in the state detection result of the calibration target 20 is equal to that of the detection signal SC, and the time difference correction amount ECl is set. And setting the calibration success flag.
  • FIG. 22 is a flowchart exemplifying the time difference correction amount setting process in the third embodiment.
  • the time difference correction amount setting process corresponds to the process of step ST5 of FIG.
  • step ST31 the information processing device calculates the time difference ERr, ERl.
  • the time difference correction amount setting unit 65-3 in the calibration unit 60 of the information processing device 30-3 determines the time difference between the time difference calculation target frame of the detection signal generated by the imaging unit 41C and the detection signal generated by the radar unit 41R.
  • the time difference ER1 between ERr and the detection signal generated by the lidar section 41L is calculated based on the state detection result.
  • the time difference calculation target frame is a frame when the state detection result of the calibration target 20 changes.
  • the time difference correction amount setting unit 65-3 calculates the time difference ERr of the detection signal SR with respect to the detection signal SC by performing the same processing as step ST21 of FIG. 6 described above. Further, the same process as the calculation of the time difference of the detection signal SR with respect to the detection signal SC is performed to calculate the time difference ERl of the detection signal SL with respect to the detection signal SC.
  • the time difference correction amount setting unit 65-3 sets the time difference correction amount ECr for the detection signal SR and the time difference correction amount ECl for the detection signal SL based on the calculated time difference, and proceeds to step ST32.
  • step ST32 the information processing device determines whether the calculation of the time difference of the determination target period is completed. If the time difference correction amount setting unit 65-3 of the information processing device 30-3 has not completed the calculation of the time difference for each frame in which the state detection result has changed in the determination target period, the process proceeds to step ST33 to detect the state. When the calculation of the time difference for each frame in which the change in the result has occurred is completed, the process proceeds to step ST34.
  • step ST33 the information processing device updates the time difference calculation target frame.
  • the time difference correction amount setting unit 65-3 of the information processing device 30-3 sets the time difference calculation target frame to the next frame in which the state detection result of the calibration target 20 in the detection signal SC has changed, and returns to step ST31.
  • step ST34 the information processing apparatus determines whether the calculated time difference ERr is equal.
  • the time difference correction amount setting unit 65-3 of the information processing device 30-3 proceeds to step ST35 when it is determined that the time differences ERr are equal, and proceeds to step ST37 when frames with different time differences ERr are included.
  • step ST35 the information processing device sets the time difference correction amount.
  • the time difference correction amount setting unit 65-3 of the information processing device 30-3 detects the detection signal SR whose change in the state detection result of the calibration target 20 is equal to that of the detection signal SC based on the time difference ERr calculated in step ST31.
  • the time difference correction amount ECr for making the frame number equal to the frame number of the detection signal SC is set, and the process proceeds to step ST36.
  • step ST36 the information processing device sets the radar unit calibration success flag. Since the time difference correction amount setting unit 65-3 of the information processing device 30-3 completes the setting of the time difference correction amount ECr with respect to the detection signal SR, the radar unit calibration success flag is set to the setting state (ON state), and the process proceeds to step ST38. move on.
  • step ST37 the information processing device does not set the radar unit calibration success flag. Since the time difference correction amount setting unit 65-3 of the information processing device 30-3 does not set the time difference correction amount ECr for the detection signal SR because the frames having different time differences ERr are included, the radar unit calibration is performed. The success flag is set to the non-setting state (off state) and the process proceeds to step ST38.
  • step ST38 the information processing device determines whether the time difference ERl is equal.
  • the time difference correction amount setting unit 65-3 of the information processing device 30-3 proceeds to step ST39 when it is determined that the time differences ERl are equal, and proceeds to step ST41 when the frames having different time differences ERl are included.
  • step ST39 the information processing device sets the time difference correction amount ECl.
  • the time difference correction amount setting unit 65-3 of the information processing device 30-3 detects the detection signal SL whose change in the state detection result of the calibration target 20 is equal to that of the detection signal SC based on the time difference ER1 calculated in step ST31.
  • the time difference correction amount ECl for making the frame number equal to the frame number of the detection signal SC is set, and the process proceeds to step ST40.
  • step ST40 the information processing device sets a calibration success flag for the detection signal SL.
  • the time difference correction amount setting unit 65-3 of the information processing device 30-3 sets the calibration success flag for the detection signal SL to the setting state (ON state) and ends the process since the setting of the time difference correction amount ECl is completed. To do.
  • step ST41 the information processing device does not set the calibration success flag for the detection signal SL. Since the time difference correction amount setting unit 65-3 of the information processing device 30-3 does not set the time difference correction amount ECl for the detection signal SL because frames with different time differences are included, the time difference correction amount setting unit 65-3 does not set the detection signal SL. Then, the calibration success flag is set to the non-setting state (OFF state), and the process is terminated.
  • the detection signal acquisition process shown in FIG. 5 is performed to acquire the detection signal for the determination target period.
  • the determination target period is longer than the cycle of switching the state of the calibration target 20.
  • the time difference correction amount setting process shown in FIG. 22 is performed, and the time difference using the frame number of the detection signal SR in which the change in the state detection result of the calibration target 20 is equal to that of the detection signal SC is used.
  • ERr is calculated, the time difference correction amount ECr is set based on the calculated time difference ERr, and the calibration success flag for the detection signal SR is set.
  • the time difference ER1 is calculated using the frame number of the detection signal SL in which the change in the state detection result of the calibration target 20 is equal to the detection signal SC, and the time difference correction amount ECl is set based on the calculated time difference ER1.
  • the calibration success flag is set for the detection signal SL.
  • FIG. 23 is a diagram showing a first operation example in the third embodiment
  • FIG. 24 is a diagram showing a second operation example in the third embodiment.
  • the first operation example and the second operation example exemplify a case where the periods of the two states of the calibration target 20 are one frame period of the detection signals SC and SR, respectively.
  • FIG. 23 shows a case where the detection signal generated by the imaging unit 41C and the detection signal generated by the radar unit 41R are synchronized.
  • FIG. 23A shows the state WSa of the reflector 21a in the calibration target 20. The state where the reflector 21a is not hidden by the radio wave absorber 22a is "OPEN", and the hidden state is " CLOSE”.
  • FIG. 23B shows the state WSb of the reflector 21b in the calibration target 20. The state where the reflector 21b is not hidden by the radio wave absorber 22b is "OPEN", and the hidden state is ". CLOSE”.
  • FIG. 23C shows the state WSc of the reflector 21c in the calibration target 20. The state where the reflector 21c is not hidden by the radio wave absorber 22c is "OPEN", and the hidden state is ". CLOSE”. In this case, the state switching cycle of the calibration target 20 is 3 frame periods.
  • FIG. 23D shows the display information DS of the display device 23.
  • the display La only the reflector 21a is not hidden by the radio wave absorber 22a, and the reflectors 21b and 21c absorb the radio wave. It is shown that the body is hidden by the bodies 22b and 22c.
  • the display Lb indicates that only the reflector 21b is not hidden by the radio wave absorber 22b, and the reflectors 21a and 21c are hidden by the radio wave absorbers 22a and 22c.
  • the display Lc indicates that only the reflector 21c is not hidden by the radio wave absorber 22c, and the reflectors 21a and 21b are hidden by the radio wave absorbers 22a and 22b.
  • FIG. 23E shows the detection signal SC generated by the imaging unit 41C together with the state detection result. Also, (f) of FIG. 23 shows the detection signal SR generated by the radar unit 41R together with the detection result of the state. Further, (g) of FIG. 23 shows the detection signal SL generated by the lidar section 41L together with the detection result of the state.
  • the reference sign (La) indicates that the display recognition result of the display 23 is the display La
  • the reference sign (Lb) indicates the display recognition result is the display Lb
  • the symbol (Lc) indicates that the display recognition result of the display unit 23 is the display Lc.
  • the calibration target 20 changes in the same state.
  • the detection signal SC, the detection signal SR, and the detection signal SL have the same frame number. Therefore, the time difference correction amounts ECr and ECl are "0".
  • the detection signal generated by the image pickup unit 41C and the detection signal generated by the radar unit 41R have a time lag, and the detection signal generated by the image pickup unit 41C and the lidar unit are generated.
  • the case where the detection signal generated by 41L has a time gap is shown. Note that (a) of FIG. 24 is similar to (a) of FIG. 23, and (b) to (d) of FIG. 24 is similar to (b) to (d) of FIG. ..
  • FIG. 24 shows the detection signal SC generated by the imaging unit 41C together with the state detection result. Further, (f) of FIG. 24 shows the detection signal SR generated by the radar section 41R together with the detection result of the state, and (g) of FIG. 24 shows the detection signal SL generated by the lidar section 41L of the state detection. It is shown together with the results.
  • the detection signal SC and the detection signal SR or The detection signal SC and the detection signal SL may have different frame numbers in which the changes in the state detection result of the calibration target 20 are the same.
  • the frame number 3 is the frame in which the state detection result based on the detection signal SC is changed from the display Lb to the display Lc
  • the frame number 1 is the frame in which the state detection result based on the detection signal SR is changed from the display Lb to the display Lc. Therefore, the time difference ERr is “2”.
  • the frame number in which the state detection result based on the detection signal SC changes from the display Lc to the display La is the frame number. Since it is 2, the time difference ERr is “2”.
  • the frame number in which the state detection result based on the detection signal SC changes from the display La to the display Lb is the frame number. Since it is 3, the time difference ERr is “2”.
  • the time difference correction amount ECr for the detection signal SR is set to "2". Further, the time difference correction amount ECr is set, and the radar section calibration success flag is set by the time difference correction amount setting process shown in FIG.
  • the frame number 2 is the frame in which the state detection result based on the detection signal SC has changed from the display La to the display Lb
  • the frame number 1 is the frame in which the state detection result based on the detection signal SL has changed from the display La to the display Lb. Therefore, the time difference ERl is "1".
  • the frame number in which the state detection result based on the detection signal SC changes from the display Lb to the display Lc is the frame number. Since it is 2, the time difference ERl is "1".
  • the frame number in which the state detection result based on the detection signal SC changes from the display Lc to the display La is the frame number. Since it is 3, the time difference ERl is "1". Thus, since the time difference ERl is "1", the time difference correction amount ECl for the detection signal SL is set to "1". Further, the time difference correction amount ECr is set, and the rider section calibration success flag is set by the time difference correction amount setting process shown in FIG.
  • FIG. 25 shows the second operation example after the calibration, in which the detection signal SR generated by the radar unit 41R and the detection generated by the lidar unit 41L are based on the detection signal SC generated by the imaging unit 41C.
  • the time difference correction process is performed on the signal SL. Note that (a) of FIG. 25 is similar to (a) of FIG. 23, and (b) to (d) of FIG. 25 is similar to (b) to (d) of FIG. ..
  • FIG. 25 shows the detection signal SC generated by the imaging unit 41C together with the state detection result. Further, (f) of FIG. 25 shows the detection signal SRh subjected to the time difference correction processing together with the detection result of the state. Further, (g) of FIG. 25 shows the detection signal SLh subjected to the time difference correction processing together with the detection result of the state.
  • the time difference correction amount ECr for the detection signal SR becomes “2”. Since it is set, “2” is added to the frame number of the detection signal SR to generate the detection signal SRh shown in (f) of FIG.
  • time difference correction amount ECl for the detection signal SL is set to "1"
  • "1" is added to the frame number of the detection signal SL to generate the detection signal SLh shown in (g) of FIG. To do.
  • the time difference between the detection signal SC, the detection signal SR, and the detection signal SL can be corrected.
  • the time difference correction amount is set based on the state detection result of the calibration target, and the detection signals of the plurality of sensors are detected.
  • the time lag can be corrected. If the recognition process is performed using not only the detection signal SC but also the corrected detection signal SRh when the radar calibration success flag is set, the recognition process can be performed with high accuracy. Similarly, if the recognition process is performed using the corrected detection signal SLh as well as the detection signal SC when the rider calibration success flag is set, the recognition process can be performed with high accuracy.
  • the recognizer 55 uses the detection signal SC and the detection signal in which the calibration success flag is in the set state, or the detection signal using any one of the detection signals when the calibration success flag is in the non-set state. By doing so, it is possible to prevent the occurrence of a problem such as a decrease in the recognition accuracy of the object due to the use of the detection signal having a time lag.
  • the calibration target 20 is configured by using the reflector (reflector) and the electromagnetic wave absorber, and the state of the calibration target 20 is switched by opening and closing the electromagnetic wave absorber.
  • the target 20 is not limited to such a configuration and operation.
  • 26 and 27 exemplify another configuration of the calibration target.
  • FIG. 26 is a perspective view showing another configuration of the calibration target
  • FIG. 27 is a front view and a top view of the other configuration of the calibration target. Is.
  • the calibration target 20e includes a rotating body 25, a rotation drive unit 26 that drives the rotating body 25, a support 27, and a pedestal 28.
  • the rotating body 25 is attached to the support column 27 via a rotation drive unit 26, and is rotatable by the rotation drive unit 26 with the support column 27 as a rotation axis.
  • the support column 27 is attached to the pedestal 28, and the display unit 23 is provided on the support column 27 with its display surface oriented toward the imaging unit 41C.
  • the rotating body 25 has a rectangular bottom portion 251 and a partition plate 252 extending from the diagonal position of the bottom portion 251 in the rotation axis direction.
  • the partition plate 252 is made of a member that does not reflect the transmission beam.
  • a reflector is arranged in the area partitioned by the partition plate 252 with the incident surface of the transmission beam facing outward.
  • two reflectors 21a and 21b having different radar reflection cross-sectional areas are arranged in the target region around the rotation axis with the incident surface of the transmission beam facing outward.
  • the calibration target 20e when such a calibration target 20e is used, when the rotating body 25 is rotated, the reflector corresponding to the radar section 41R is switched, and the state of the calibration target can be switched. Further, the calibration target 20e can switch the state of the calibration target simply by rotating the rotating body 25 without opening and closing the electromagnetic wave absorber, so that the state of the calibration target can be switched easily and at high speed. Is possible.
  • the state of the calibration target 20 is switched in a predetermined cycle, if the time difference is shorter than the predetermined cycle, the state detection results based on the detection signal SC are equal. Since there is only one change in a predetermined cycle, the time difference can be calculated correctly. However, when the time difference is equal to or greater than the predetermined period, when a state change with the same state detection result is detected with a difference in frame number shorter than the time difference, the detected time difference becomes short.
  • FIG. 28 exemplifies a case where the time difference is equal to or longer than the state switching cycle of the calibration target.
  • FIG. 28A shows the state WS of the calibration target 20.
  • the state where the reflector 21 is not hidden by the radio wave absorber 22 is “OPEN”, and the hidden state is “CLOSE”. .. Further, the state switching cycle of the calibration target 20 is set to 2 frame periods.
  • FIG. 28B shows the frame number and the state detection result of the detection signal SC generated by the imaging unit 41C. Further, (c) of FIG. 28 shows the frame number and the state detection result of the detection signal SR generated by the radar unit 41R, and shows a time difference of 8 frames (corresponding to the state switching cycle) with respect to the detection signal SC. Has occurred.
  • the frame whose state detection result based on the detection signal SC has changed from the OPEN state to the CLOSE state is a frame. Since the number 5 and the frame number 13 are the same and the changes in the state detection results are the same in the same frame number 13, there is a risk that the time difference may be determined to be “0”.
  • the calibration target may be able to correctly detect a time difference of a predetermined period or more by randomly switching the state WS, for example, in units of one or more frames of the detection signal.
  • the period in which the reflector 21 is not hidden by the radio wave absorber 22 and the period in which it is hidden are randomly set in frame units, or the reflectors 21a, 21b, and 21c are randomly selected.
  • the time difference correction amount setting unit 65-1 detects, with respect to the time difference calculation target frame of the detection signal generated by the imaging unit 41C, a detection signal generated by the radar unit 41R for a frame in which a change that is equal to the state change of the time difference calculation target frame has occurred. To detect from.
  • the time difference correction amount setting unit 65-1 calculates a time difference that is a difference in frame number between frames that have undergone a change equal to the state change, and the time difference calculated in each time difference calculation target frame is constant. Is the time difference between the detection signal SC and the detection signal SR, and the time difference correction amount is set. By performing such processing, even if a long time lag occurs, the time lag can be corrected.
  • the configuration of the calibration units 60-1 and 60-3 is not limited to the above-described configuration, and may be a configuration including the synchronization extraction unit 52 and the synchronization processing units 53, 53R, 53L, for example.
  • the plurality of sensors are not limited to the active type sensor and the passive type sensor as shown in the first to third embodiments, and may be any configuration including at least the active type sensor. May be used.
  • the plurality of sensors may be configured by the radar unit 41R and the lidar unit 41L, calculate the time difference as described above with reference to either one, and synchronize the other detection signal with one detection signal. ..
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is applicable to any type of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor). It may be realized as a device mounted on the body.
  • FIG. 29 is a block diagram showing a schematic functional configuration example of a vehicle control system 100 that is an example of a mobile body control system to which the present technology can be applied.
  • the vehicle when distinguishing a vehicle provided with the vehicle control system 100 from other vehicles, the vehicle is referred to as the own vehicle or the own vehicle.
  • the vehicle control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system system 108, a body system control unit 109, and a body.
  • the system 110, the storage unit 111, and the automatic operation control unit 112 are provided.
  • the communication network 121 is, for example, an in-vehicle communication network or a bus compliant with any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). Become. In addition, each part of the vehicle control system 100 may be directly connected without going through the communication network 121.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • the input unit 101 includes a device used by a passenger to input various data and instructions.
  • the input unit 101 includes an operation device such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device that can be input by a method other than manual operation such as voice or gesture.
  • the input unit 101 may be a remote control device that uses infrared rays or other radio waves, or an externally connected device such as a mobile device or a wearable device that corresponds to the operation of the vehicle control system 100.
  • the input unit 101 generates an input signal based on the data and instructions input by the passenger, and supplies the input signal to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors that acquire data used for processing of the vehicle control system 100, and supplies the acquired data to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the own vehicle and the like.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertial measurement unit (IMU), an accelerator pedal operation amount, a brake pedal operation amount, a steering wheel steering angle, and an engine speed. It is provided with a sensor or the like for detecting the number of rotations of the motor or the rotation speed of the wheels.
  • IMU inertial measurement unit
  • the data acquisition unit 102 includes various sensors for detecting information outside the vehicle.
  • the data acquisition unit 102 includes an imaging device such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting weather or weather, and an ambient information detection sensor for detecting an object around the vehicle.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the ambient information detection sensor includes, for example, an ultrasonic sensor, a radar, a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), a sonar, and the like.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the vehicle.
  • the data acquisition unit 102 includes a GNSS receiver that receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite.
  • GNSS Global Navigation Satellite System
  • the data acquisition unit 102 includes various sensors for detecting information inside the vehicle.
  • the data acquisition unit 102 includes an imaging device that images the driver, a biometric sensor that detects biometric information of the driver, and a microphone that collects voice in the vehicle interior.
  • the biometric sensor is provided on, for example, a seat surface or a steering wheel, and detects biometric information of an occupant sitting on a seat or a driver holding the steering wheel.
  • the communication unit 103 communicates with the in-vehicle device 104 and various devices outside the vehicle, a server, a base station, etc., and transmits data supplied from each unit of the vehicle control system 100 or receives received data from the vehicle control system. It is supplied to each part of 100.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can support a plurality of types of communication protocols.
  • the communication unit 103 performs wireless communication with the in-vehicle device 104 by wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like.
  • the communication unit 103 uses a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (via a connection terminal (and a cable, if necessary), not shown.
  • USB Universal Serial Bus
  • HDMI registered trademark
  • MHL via a connection terminal (and a cable, if necessary), not shown.
  • Mobile High-definition Link
  • the communication unit 103 communicates with a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a network unique to a business operator) via a base station or an access point. Communicate.
  • a device for example, an application server or a control server
  • an external network for example, the Internet, a cloud network, or a network unique to a business operator
  • the communication unit 103 uses a P2P (PeerToPeer) technology to communicate with a terminal (for example, a pedestrian or a shop terminal, or an MTC (MachineType Communication) terminal) existing near the vehicle. Communicate.
  • P2P PeeerToPeer
  • a terminal for example, a pedestrian or a shop terminal, or an MTC (MachineType Communication) terminal
  • the communication unit 103 may communicate between vehicles (VehicletoVehicle), roads (VehicletoInfrastructure), vehicles (VehicletoHome), and pedestrians (VehicletotoPedestrian). ) Perform V2X communication such as communication.
  • the communication unit 103 includes a beacon reception unit, receives radio waves or electromagnetic waves transmitted from a wireless station installed on the road, and obtains information such as the current position, traffic congestion, traffic regulation, or required time. To do.
  • the in-vehicle device 104 includes, for example, a mobile device or a wearable device that the passenger has, an information device that is carried in or attached to the vehicle, and a navigation device that searches for a route to an arbitrary destination.
  • the output control unit 105 controls the output of various information to the passengers of the own vehicle or the outside of the vehicle.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data), and supplies the output signal to the output unit 106 to output the output unit.
  • the output of visual information and auditory information from 106 is controlled.
  • the output control unit 105 synthesizes image data captured by different imaging devices of the data acquisition unit 102 to generate a bird's-eye image or a panoramic image, and outputs an output signal including the generated image. It is supplied to the output unit 106.
  • the output control unit 105 generates voice data including a warning sound or a warning message for a danger such as collision, contact, or entry into a dangerous zone, and outputs an output signal including the generated voice data to the output unit 106.
  • Supply for example, the output control unit 105 generates voice data including a warning sound or a warning message for a danger such as collision, contact
  • the output unit 106 includes a device capable of outputting visual information or auditory information to a passenger of the vehicle or outside the vehicle.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, a wearable device such as a glasses-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device included in the output unit 106 displays visual information in the driver's visual field, such as a device having a head-up display, a transmissive display, and an AR (Augmented Reality) display function, in addition to a device having a normal display. It may be a display device.
  • the drive system control unit 107 controls the drive system system 108 by generating various control signals and supplying them to the drive system system 108. Further, the drive system control unit 107 supplies a control signal to each unit other than the drive system system 108 as necessary to notify the control state of the drive system system 108 and the like.
  • the drive system 108 includes various devices related to the drive system of the vehicle.
  • the drive system 108 includes a drive force generation device for generating a drive force of an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to wheels, a steering mechanism for adjusting a steering angle, A braking device that generates a braking force, an ABS (Antilock Brake System), an ESC (Electronic Stability Control), and an electric power steering device are provided.
  • the body system control unit 109 controls the body system 110 by generating various control signals and supplying them to the body system 110. Further, the body system control unit 109 supplies a control signal to each unit other than the body system system 110 as necessary to notify the control state of the body system system 110 and the like.
  • the body type system 110 includes various body type devices mounted on the vehicle body.
  • the body system 110 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, headlights, backlights, brake lights, blinkers, fog lights, etc.). And so on.
  • the storage unit 111 includes, for example, a magnetic storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, and a magneto-optical storage device. ..
  • the storage unit 111 stores various programs and data used by each unit of the vehicle control system 100.
  • the storage unit 111 stores map data such as a three-dimensional high-accuracy map such as a dynamic map, a global map having a lower accuracy than the high-accuracy map and covering a wide area, and a local map including information around the vehicle.
  • Map data such as a three-dimensional high-accuracy map such as a dynamic map, a global map having a lower accuracy than the high-accuracy map and covering a wide area, and a local map including information around the vehicle.
  • the automatic driving control unit 112 controls automatic driving such as autonomous driving or driving support. Specifically, for example, the automatic driving control unit 112 issues collision avoidance or impact mitigation of the own vehicle, follow-up traveling based on an inter-vehicle distance, vehicle speed maintenance traveling, a collision warning of the own vehicle, or a lane departure warning of the own vehicle. Coordinated control for the purpose of realizing the functions of ADAS (Advanced Driver Assistance System) including Further, for example, the automatic driving control unit 112 performs cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation of the driver.
  • the automatic driving control unit 112 includes a detection unit 131, a self-position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • the detection unit 131 detects various kinds of information necessary for controlling automatic driving.
  • the detection unit 131 includes a vehicle exterior information detection unit 141, a vehicle interior information detection unit 142, and a vehicle state detection unit 143.
  • the outside-vehicle information detection unit 141 performs detection processing of information outside the own vehicle based on data or signals from each unit of the vehicle control system 100.
  • the vehicle exterior information detection unit 141 performs detection processing of an object around the vehicle, recognition processing, tracking processing, and detection processing of a distance to the object.
  • Objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, and road markings.
  • the vehicle exterior information detection unit 141 performs detection processing of the environment around the vehicle.
  • the surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, and road surface condition.
  • the outside-vehicle information detection unit 141 uses the data indicating the result of the detection processing as the self-position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognizer 152, the situation recognizer 153, and the operation control unit 135. It is supplied to the emergency avoidance unit 171 or the like.
  • the in-vehicle information detection unit 142 performs in-vehicle information detection processing based on data or signals from each unit of the vehicle control system 100.
  • the in-vehicle information detection unit 142 performs driver authentication processing and recognition processing, driver state detection processing, passenger detection processing, in-vehicle environment detection processing, and the like.
  • the state of the driver to be detected includes, for example, physical condition, arousal level, concentration level, fatigue level, line-of-sight direction, and the like.
  • the environment inside the vehicle to be detected includes, for example, temperature, humidity, brightness, odor, and the like.
  • the in-vehicle information detection unit 142 supplies data indicating the result of the detection process to the situation recognizer 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the vehicle state detection unit 143 performs a process of detecting the state of the vehicle based on data or signals from each unit of the vehicle control system 100.
  • the state of the vehicle to be detected includes, for example, speed, acceleration, steering angle, presence or absence of abnormality, content of driving operation, position and inclination of power seat, state of door lock, and other in-vehicle devices. State etc. are included.
  • the vehicle state detection unit 143 supplies the data indicating the result of the detection process to the situation recognizer 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the self-position estimating unit 132 estimates the position and attitude of the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the exterior information detecting unit 141 and the situation recognizing unit 153 of the situation analyzing unit 133. Perform processing. Moreover, the self-position estimation unit 132 generates a local map (hereinafter, referred to as a self-position estimation map) used for estimating the self-position, if necessary.
  • the self-position estimation map is, for example, a high-precision map using a technique such as SLAM (Simultaneous Localization and Mapping).
  • the self-position estimation unit 132 supplies data indicating the result of the estimation process to the map analysis unit 151, the traffic rule recognizer 152, the situation recognizer 153, and the like of the situation analysis unit 133. Also, the self-position estimation unit 132 stores the self-position estimation map in the storage unit 111.
  • the situation analysis unit 133 analyzes the situation of the vehicle and surroundings.
  • the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognizer 152, a situation recognizer 153, and a situation prediction unit 154.
  • the map analysis unit 151 uses data or signals from each unit of the vehicle control system 100, such as the self-position estimation unit 132 and the vehicle exterior information detection unit 141, as necessary, and stores various maps stored in the storage unit 111. Performs analysis processing and builds a map containing information required for automatic driving processing.
  • the map analysis unit 151 uses the constructed map as a traffic rule recognizer 152, a situation recognizer 153, a situation prediction unit 154, and a route planning unit 161, a behavior planning unit 162, and a motion planning unit 163 of the planning unit 134. Supply to.
  • the traffic rule recognizer 152 determines the traffic rules around the vehicle based on data or signals from the vehicle position control unit 100 such as the self-position estimation unit 132, the vehicle exterior information detection unit 141, and the map analysis unit 151. Perform recognition processing. By this recognition processing, for example, the position and state of the signal around the own vehicle, the content of traffic regulation around the own vehicle, the lane in which the vehicle can travel, and the like are recognized.
  • the traffic rule recognizer 152 supplies data indicating the result of the recognition process to the situation prediction unit 154 and the like.
  • the situation recognizer 153 converts data or signals from the vehicle position control unit 100 such as the self-position estimation unit 132, the vehicle exterior information detection unit 141, the vehicle interior information detection unit 142, the vehicle state detection unit 143, and the map analysis unit 151. Based on this, recognition processing of the situation regarding the own vehicle is performed. For example, the situation recognizer 153 performs recognition processing of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver of the own vehicle, and the like. In addition, the situation recognizer 153 generates a local map (hereinafter, referred to as a situation recognition map) used for recognizing the situation around the own vehicle, if necessary.
  • the situation recognition map is, for example, an occupancy grid map (Occupancy Grid Map).
  • the situation of the subject vehicle to be recognized includes, for example, the position, orientation, movement (for example, speed, acceleration, moving direction, etc.) of the subject vehicle, and the presence/absence of the abnormality and its content.
  • the situation around the subject vehicle is, for example, the type and position of surrounding stationary objects, the type, position and movement of surrounding moving objects (for example, speed, acceleration, moving direction, etc.), and surrounding roads.
  • the configuration and the condition of the road surface, and the surrounding weather, temperature, humidity, and brightness are included.
  • the driver's state to be recognized includes, for example, physical condition, arousal level, concentration level, fatigue level, line-of-sight movement, and driving operation.
  • the situation recognizer 153 supplies data indicating the result of the recognition process (including a situation recognition map if necessary) to the self-position estimation unit 132, the situation prediction unit 154, and the like.
  • the situation recognizer 153 also stores a situation recognition map in the storage unit 111.
  • the situation predicting unit 154 performs a process of predicting the situation regarding the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the map analyzing unit 151, the traffic rule recognizer 152, and the situation recognizer 153. For example, the situation prediction unit 154 performs a prediction process of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver, and the like.
  • the situation of the subject vehicle to be predicted includes, for example, the behavior of the subject vehicle, occurrence of abnormality, and possible driving distance.
  • the situation around the subject vehicle to be predicted includes, for example, the behavior of the moving body around the subject vehicle, a change in the signal state, and a change in the environment such as the weather.
  • the driver's situation to be predicted includes, for example, the driver's behavior and physical condition.
  • the situation prediction unit 154 together with the data from the traffic rule recognizer 152 and the situation recognizer 153, shows the data indicating the result of the prediction process, the route planning unit 161, the action planning unit 162, and the operation planning unit 163 of the planning unit 134. Etc.
  • the route planning unit 161 plans a route to a destination based on data or signals from each part of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to the designated destination based on the global map. In addition, for example, the route planning unit 161 appropriately changes the route based on traffic jams, accidents, traffic regulations, construction conditions, and the physical condition of the driver. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action planning unit 162 safely operates the route planned by the route planning unit 161 within the planned time on the basis of data or signals from each part of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan your car's behavior to drive. For example, the action planning unit 162 makes a plan such as starting, stopping, traveling direction (for example, forward, backward, turning left, turning right, turning, etc.), driving lane, traveling speed, and passing. The action planning unit 162 supplies data indicating the planned action of the own vehicle to the action planning unit 163 and the like.
  • the operation planning unit 163 operates the own vehicle to realize the action planned by the action planning unit 162, based on the data or the signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan.
  • the operation planning unit 163 makes a plan such as acceleration, deceleration, and traveling track.
  • the operation planning unit 163 supplies data indicating the planned operation of the own vehicle to the acceleration/deceleration control unit 172, the direction control unit 173, and the like of the operation control unit 135.
  • the operation control unit 135 controls the operation of the own vehicle.
  • the operation control unit 135 includes an emergency avoidance unit 171, an acceleration/deceleration control unit 172, and a direction control unit 173.
  • the emergency avoidance unit 171 is based on the detection results of the vehicle exterior information detection unit 141, the vehicle interior information detection unit 142, and the vehicle state detection unit 143, and collides, touches, enters a dangerous zone, a driver's abnormality, a vehicle abnormality, and the like. Detects abnormal situations such as abnormalities. When the occurrence of an emergency is detected, the emergency avoidance unit 171 plans the operation of the own vehicle for avoiding an emergency such as a sudden stop or a sharp turn. The emergency avoidance unit 171 supplies data indicating the planned operation of the own vehicle to the acceleration/deceleration control unit 172, the direction control unit 173, and the like.
  • the acceleration/deceleration control unit 172 performs acceleration/deceleration control for realizing the operation of the vehicle planned by the operation planning unit 163 or the emergency situation avoidance unit 171. For example, the acceleration/deceleration control unit 172 calculates the control target value of the driving force generation device or the braking device for realizing the planned acceleration, deceleration, or sudden stop, and drives the control command indicating the calculated control target value. It is supplied to the system control unit 107.
  • the direction control unit 173 performs direction control for realizing the operation of the vehicle planned by the operation planning unit 163 or the emergency avoidance unit 171. For example, the direction control unit 173 calculates the control target value of the steering mechanism for realizing the planned running track or sharp turn planned by the operation planning unit 163 or the emergency situation avoiding unit 171 and performs the control indicating the calculated control target value. The command is supplied to the drive system controller 107.
  • the sensor unit 40 shown in the present embodiment corresponds to the data acquisition unit 102.
  • the signal processing unit 50-1 (50-3) is provided in the vehicle exterior information detection unit 141.
  • the out-of-vehicle information detection unit 141 performs detection processing, recognition processing, and tracking processing of an object around the own vehicle, detection processing of a distance to the object, and the like based on the data acquired by the data acquisition unit 102. In this case, it is possible to correct the time shift of the detection information output from multiple sensors by using the time difference correction amount set by the calibration process. It can be performed accurately without being affected by.
  • FIG. 30 illustrates an arrangement of calibration targets when performing the calibration process.
  • the calibration target 20 is installed on a floor 71, which is a radio wave absorber, in a region surrounded by a wall 72 of the radio wave absorber.
  • the image pickup unit 41C is attached to, for example, an upper portion of a front window of the vehicle 80, and the radar unit 41R and the rider unit 41L are provided, for example, at a position of a front grill of the vehicle 80.
  • the state of the calibration target 20 is switched as described above, and the imaging unit 41C, the radar unit 41R, and the rider unit 41L generate a detection signal indicating the state of the calibration target 20.
  • the vehicle exterior information detection unit 141 provided in the vehicle 80 detects the time lag of the detection signal between the sensors based on the detection signal and sets or updates the time difference correction amount. After that, the vehicle 80 corrects the time shift of the detection signal based on the time difference correction amount and performs various data processing.
  • the calibration is performed using the calibration target as described above, even if the characteristics of the data acquisition unit 102 are changed or exchanged, and the time difference of the detection signals generated by the plurality of sensors is changed, it is easy. Therefore, the time difference between the detection signals can be corrected.
  • the arrangement of the calibration targets shown in FIG. 30 is an example, and the calibration targets are used, for example, on a road on which the vehicle 80 is traveling, such as an intersection, and the calibration target is used while the vehicle 80 is stopped due to a signal or the like. May be performed.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • a program in which a processing sequence is recorded is installed in a memory in a computer incorporated in dedicated hardware and executed.
  • the program can be installed and executed in a general-purpose computer that can execute various processes.
  • the program can be recorded in advance on a hard disk as a recording medium, SSD (Solid State Drive), or ROM (Read Only Memory).
  • a hard disk as a recording medium
  • SSD Solid State Drive
  • ROM Read Only Memory
  • the program is a flexible disk, CD-ROM (Compact Disc Read Only Memory), MO (Magneto optical) disc, DVD (Digital Versatile Disc), BD (Blu-Ray Disc (registered trademark)), magnetic disc, semiconductor memory card. It can be stored (recorded) temporarily or permanently in a removable recording medium such as.
  • a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as LAN (Local Area Network) or the Internet.
  • LAN Local Area Network
  • the program thus transferred can be received and installed in a recording medium such as a built-in hard disk.
  • the calibration device of the present technology can also have the following configurations.
  • a state detection unit that detects a state of the calibration target by using a detection signal indicating a detection result of the calibration target generated for each of a plurality of sensors, The time difference correction amount for calculating the time difference between the detection signals generated for each of the sensors by using the state detection result of the calibration target obtained by the state detection unit, and setting the time difference correction amount based on the calculation result.
  • the calibration device according to any one of (2) to (4), wherein a radar and/or a lidar is used as the active sensor.
  • the time difference correction amount setting unit uses a state detection result for each frame of the detection signal as a time difference with respect to the reference detection signal, with any detection signal generated for each of the plurality of sensors as a reference.
  • the calibration device according to any one of (1) to (5).
  • the calibration according to (6), wherein the time difference correction amount setting unit calculates a difference in frame number when the states of the calibration target change equally using the result of the state detection and sets the difference as a time difference. Device.
  • the calibration device according to (6) or (7), wherein the detection signal generated for each of the plurality of sensors indicates a detection result when the state of the calibration target is randomly switched.
  • the calibration device according to any one of (6) to (8), further including a synchronization processing unit that corrects the time difference using the time difference correction amount for the detection signal for which the time difference is calculated.
  • the time difference indicates a difference in frame number when the states of the calibration target change equally.
  • the synchronization processing unit outputs the detection signal corrected by the time difference correction amount while matching the reference detection signal with the frame number.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

キャリブレーション部６０は、センサ部４０において複数のセンサ毎に生成されたキャリブレーションターゲットの検知結果を示す検知信号を取得する。状態検出部６１は、検知信号を用いてキャリブレーションターゲットの状態を検出する。時間差補正量設定部６５は、状態検出部６１で得られたキャリブレーションターゲットの状態検出結果を用いて、センサ部４０のセンサ毎に生成された検知信号間の時間差を算出して、算出結果に基づき時間差補正量を設定する。センサ部４０の複数のセンサで取得された情報の時間的なずれを、時間差補正量設定部６５で設定された時間差補正量に基づき、補正できるようになる。

Description

キャリブレーション装置とキャリブレーション方法とプログラムおよびキャリブレーションシステムとキャリブレーションターゲット
　この技術は、キャリブレーション装置とキャリブレーション方法とプログラムおよびキャリブレーションシステムとキャリブレーションターゲットに関し、情報処理装置で複数のセンサを用いて取得した情報の時間的ずれを補正する。
　従来、複数種類のセンサを用いて得られた情報を用いて物体の認識処理等を高精度に行う提案がなされている。例えば、特許文献１ではセンサとしてレーダおよびカメラを用いてキャリブレーションターゲットの検知を行い、検知結果を用いて運転支援等を行う際に、レーダから得られたキャリブレーションターゲットの座標と、カメラから得られたキャリブレーションターゲットの座標とを用いて、キャリブレーションターゲット同士を容易にマッチングさせることが記載されている。
特開２００７－２１８７３８号公報
　ところで、複数センサからの検知結果は、空間的なずれに限らず時間的なずれを生じるおそれもある。このため、検知結果に時間的なずれを生じている場合は、センサからの検知結果に基づき空間的なずれ等を精度よく補正することができない。
　そこで、この技術では複数センサで取得された検知結果の時間的なずれを補正できるキャリブレーション装置とキャリブレーション方法とプログラムおよびキャリブレーションシステムとキャリブレーションターゲットを提供することを目的とする。
　この技術の第１の側面は、
　複数のセンサ毎に生成されたキャリブレーションターゲットの検知結果を示す検知信号を用いて前記キャリブレーションターゲットの状態を検出する状態検出部と、
　前記状態検出部で得られた前記キャリブレーションターゲットの状態検出結果を用いて、前記センサ毎に生成された検知信号間の時間差を算出して、算出結果に基づき時間差補正量を設定する時間差補正量設定部と
を備えるキャリブレーション装置にある。
　この技術においては、複数のセンサ例えばアクティブ型センサとパッシブ型センサあるいは複数のアクティブ型センサのセンサ毎に生成されたキャリブレーションターゲットの検知結果を示す検知信号を用いて状態検出部でキャリブレーションターゲットの状態を検出する。アクティブ型センサとしては、レーダおよび／またはライダを用いる。時間差補正量設定部は、状態検出部で得られたキャリブレーションターゲットの状態検出結果を用いて、センサ毎に生成された検知信号間の時間差を算出する。具体的には、時間差補正量設定部は、複数のセンサ毎に生成されたいずれかの検知信号を基準として、基準とした検知信号に対する時間差を検知信号のフレーム毎の状態検出結果を用いて算出する。例えば、時間差補正量設定部は、状態検出結果を用いてキャリブレーションターゲットの状態が等しい変化を生じときのフレーム番号の差を算出して時間差とする。また、時間差が算出された検知信号に対して時間差補正量を用いて時間差を補正する同期処理部をさらに備える。例えば、時間差は、キャリブレーションターゲットの状態が等しい変化を生じときのフレーム番号の差を示しており、同期処理部は、時間差補正量で補正した検知信号を、基準とした検知信号とフレーム番号を一致させて出力する。また、複数のセンサ毎に生成された検知信号は、キャリブレーションターゲットの状態が所定周期で切り替えられたときの検知結果を示す場合に限らず、ランダムに切り替えられたときの検出結果を示してもよい。
　この技術の第２の側面は、
　複数のセンサ毎に生成されたキャリブレーションターゲットの検知結果を示す検知信号を用いて前記キャリブレーションターゲットの状態を状態検出部で検出することと、
　前記状態検出部で得られた前記キャリブレーションターゲットの状態検出結果を用いて、前記センサ毎に生成された検知信号間の時間差を算出して、算出結果に基づき時間差補正量を時間差補正量設定部で設定することと
を含むキャリブレーション方法にある。
　この技術の第３の側面は、
　複数のセンサ毎に生成されたキャリブレーションターゲットの検知結果を示す検知信号のキャリブレーションをコンピュータで実行させるプログラムであって、
　前記検知信号を用いて前記キャリブレーションターゲットの状態を検出する手順と、
　前記キャリブレーションターゲットの状態検出結果に基づき、前記センサ毎に生成された検知信号間の時間差を算出して、算出結果に基づき時間差補正量を設定する手順と
を前記コンピュータで実行させるプログラムにある。
　なお、本技術のプログラムは、例えば、様々なプログラムを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
　この技術の第４の側面は、
　複数のセンサ毎に生成されたキャリブレーションターゲットの検知結果を示す検知信号を生成するセンサ部と、
　前記センサ部で生成されたセンサ毎の検知信号を用いて前記キャリブレーションターゲットの状態を検出する状態検出部と、
　前記状態検出部で得られた前記キャリブレーションターゲットの状態検出結果を用いて、前記センサ毎に生成された検知信号間の時間差を算出して、算出結果に基づき時間差補正量を設定する時間差補正量設定部と、
　前記時間差補正量設定部で設定された前記時間差補正量を用いて前記検知信号間の時間差を補正する同期処理部と
を備えるキャリブレーションシステムにある。
　この技術の第５の側面は、
　反射特性を異なる状態に切り替え可能な特性切り替え部
を備えるキャリブレーションターゲットにある。
　この技術においては、所定の反射特性を有するターゲットの前面に移動可能に反射防止部を設けて所定の周期あるいはランダムな周期で移動させて、あるいは異なる反射特性を有する複数のターゲットの前面に移動可能に反射防止部をターゲット毎に設けて、反射防止部が前面から移動されているターゲットを１つ選択して、この選択するターゲットを所定の周期あるいはランダムに切り替える。また、回転体の回転方向に反射特性が異なる複数のターゲットを設けて、回転体を回転させることでターゲットを所定の周期で切り替えて、反射特性が異なる状態に所定の周期で切り替え可能とする。また、反射特性の状態を示す状態情報を表示する表示器を設けるようにしてもよい。
キャリブレーションシステムの構成を示す図である。 キャリブレーション部の構成を示す図である。 キャリブレーション部の動作を例示したフローチャートである。 第１の実施の形態における情報処理装置の構成を例示した図である。 第１の実施の形態における検知信号取得処理を例示したフローチャートである。 第１の実施の形態における時間差補正量設定処理を例示したフローチャートである。 第１の実施の形態における第１動作例を示す図である。 第１の実施の形態における第２動作例を示す図である。 第２動作例のキャリブレーション後を示す図である。 第１の実施の形態における第３動作例を示す図である。 第１の実施の形態における第４動作例を示す図である。 第４動作例のキャリブレーション後を示す図である。 第１の実施の形態における第５動作例を示す図である。 第２の実施の形態の構成を示す図である。 第２の実施の形態における第１動作例を示す図である。 第２の実施の形態における第２動作例を示す図である。 第２動作例のキャリブレーション後を示す図である。 第２の実施の形態における第３動作例を示す図である。 第２の実施の形態における第４動作例を示す図である。 第４動作例のキャリブレーション後を示す図である。 第３の実施の形態における情報処理装置の構成を例示した図である。 第３の実施の形態における時間差補正量設定処理を例示したフローチャートである。 第３の実施の形態における第１動作例を示す図である。 第３の実施の形態における第２動作例を示す図である。 第２動作例のキャリブレーション後を示す図である。 キャリブレーションターゲットの他の構成を示す斜視図である。 キャリブレーションターゲットの他の構成の正面図と上面図である。 時間差がキャリブレーションターゲットの状態切り替え周期以上である場合を例示した図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 キャリブレーションターゲットの配置を例示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．キャリブレーションシステムについて
　２．第１の実施の形態
　３．第２の実施の形態
　４．第３の実施の形態
　５．変形例
　６．応用例
　＜１．キャリブレーションシステムについて＞
　図１は、キャリブレーションシステムの構成を例示している。キャリブレーションシステム１０は、キャリブレーションターゲット２０と情報処理装置３０を有している。キャリブレーションターゲット２０は、反射特性が異なる状態に切り替え可能な特性切り替え部を備えている。情報処理装置３０には、センサ部４０と本技術のキャリブレーション装置に相当するキャリブレーション部６０が設けられている。センサ部４０は、複数のセンサを用いて構成されており、キャリブレーションターゲット２０の検知結果を示す検知信号を生成してキャリブレーション部６０へ出力する。キャリブレーション部６０は、センサ部４０から供給された検知信号を用いて、キャリブレーションターゲット２０の反射特性がいずれの状態に切り替えられているか状態検出を行う。また、キャリブレーション部６０は、状態検出結果用いて、センサ毎に生成された検知信号間の時間差を算出して、算出結果に基づき時間差補正量を設定する。
　センサ部４０の複数のセンサは、少なくともアクティブ型センサを含む。例えば、複数のセンサはアクティブ型センサとパッシブ型センサを含む構成であってもよく、複数のアクティブ型センサで構成してもよい。アクティブ型センサは、レーダおよび／またはライダを用いる。
　複数のセンサとして、キャリブレーションターゲットの撮像画を示す検知信号を生成するイメージセンサ（パッシブ型センサ）を用いた撮像部４１Ｃと、送信ビームを放射してキャリブレーションターゲットで反射された送信ビーム（反射ビーム）に基づき検知信号を生成するレーダ（アクティブ型センサ）を用いたレーダ部４１Ｒが用いられている場合、キャリブレーションターゲット２０は、反射特性が異なる状態に切り替え可能な特性切り替え部を、反射器（リフレクタ）２１と電波吸収体２２で構成する。キャリブレーションターゲット２０は、反射器２１が電波吸収体２２で隠されていない状態と隠されている状態の２つの状態のいずれかに切り替える。キャリブレーション部６０は、撮像部４１Ｃで生成された検知信号に基づき検出された状態とレーダ部４１Ｒで生成された検知信号に基づき検出された状態に基づき、撮像部４１Ｃとレーダ部４１Ｒの検知信号の時間差を検出して、検出した時間的ずれを補正する補正量を設定する。
　図２はキャリブレーション部の構成を例示している。キャリブレーション部６０は状態検出部６１と時間差補正量設定部６５を有している。
　状態検出部６１は、センサ部４０でセンサ毎に生成された検知信号に基づき、キャリブレーションターゲット２０がいずれの反射特性の状態（以下、単に「キャリブレーションターゲットの状態」ともいう）であるか検出する。例えば状態検出部６１は撮像部４１Ｃで生成された検知信号を用いて画像認識を行い、反射器２１が電波吸収体２２で隠されていない状態と隠されている状態のいずれの状態であるかを検出して状態検出結果を時間差補正量設定部６５へ出力する。また、状態検出部６１はレーダ部４１Ｒで生成された検知信号で示された反射レベルに基づき、反射器２１が電波吸収体２２で隠されていない状態と隠されている状態のいずれの状態であるかを検出して、状態検出結果を時間差補正量設定部６５へ出力する。
　時間差補正量設定部６５は、状態検出部６１から供給された状態検出結果に基づき、センサ毎に生成された検知信号間の時間差ＥＲを算出して、算出結果に基づき時間差補正量ＥＣを設定する。
　図３はキャリブレーション部の動作を例示したフローチャートである。ステップＳＴ１でキャリブレーションシステムはキャリブレーションターゲットの動作を開始する。キャリブレーションシステム１０のキャリブレーションターゲット２０は、反射特性を異なる状態に切り替える切り替え動作を開始してステップＳＴ２に進む。
　ステップＳＴ２でキャリブレーションシステムはキャリブレーションモードに設定する。キャリブレーションシステム１０の情報処理装置３０は、センサ部４０で生成される検知信号を用いて時間差補正量を設定するキャリブレーションモードに動作モードを設定してステップＳＴ３に進む。
　ステップＳＴ３でキャリブレーションシステムは判定対象期間を設定する。キャリブレーションシステム１０の情報処理装置３０は、時間差補正量の設定に用いる検知信号の信号期間を判定対象期間として設定してステップＳＴ４に進む。
　ステップＳＴ４でキャリブレーションシステムは検知信号取得処理を行う。キャリブレーションシステム１０の情報処理装置３０は、センサ部４０の動作を開始して、センサ部４０のセンサ毎にキャリブレーションターゲットの検知結果を示す検知信号を判定対象期間取得してステップＳＴ５に進む。
　ステップＳＴ５でキャリブレーションシステムは時間差補正量設定処理を行う。キャリブレーションシステム１０の情報処理装置３０におけるキャリブレーション部６０は、ステップＳＴ４で取得した検知信号に基づき、キャリブレーションターゲット２０がいずれの反射特性の状態であるかを示す状態検出結果を用いて検知信号間の時間差を算出して時間差補正量を設定する。
　＜２．第１の実施の形態＞
　次に第１の実施の形態について説明する。第１の実施の形態では、複数のセンサとして例えば撮像部（パッシブ型センサ）とレーダ部（アクティブ型センサ）を用いて、撮像部で生成された検知信号を基準として時間差の算出を行う。また、時間差の算出ではフレーム番号を用いている。
　図４は、第１の実施の形態における情報処理装置の構成を例示している。情報処理装置３０-1は、センサ部４０-1と信号処理部５０-1を有している。
　センサ部４０-1は、撮像部４１Ｃとレーダ部４１Ｒを有している。撮像部４１Ｃは、キャリブレーションターゲットの撮像画を示す検知信号をフレーム毎に生成して信号処理部５０-1へ出力する。レーダ部４１Ｒは、反射ビームに基づき検知信号をフレーム毎に生成して信号処理部５０-1へ出力する。また、撮像部４１Ｃとレーダ部４１Ｒで生成された検知信号には、フレーム情報（例えばフレーム番号）が含まれている。
　信号処理部５０-1は、カメラ信号処理部５１Ｃとレーダ信号処理部５１Ｒ、同期抽出部５２、同期処理部５３、認識器５５、キャリブレーション部６０-1を有している。
　カメラ信号処理部５１Ｃは、撮像部４１Ｃから供給された検知信号に対してカメラ信号処理、例えばノイズ除去処理や利得調整処理、欠陥画素補正処理、デモザイク処理、色調整処理等の少なくともいずれかの処理を行う。カメラ信号処理部５１Ｃは、処理後の検知信号を同期抽出部５２とキャリブレーション部６０-1へ出力する。
　レーダ信号処理部５１Ｒは、レーダ部４１Ｒからの検知信号に基づき、反射ビームの周波数と送信ビームの周波数の差に基づきキャリブレーションターゲットまでの相対距離や相対速度を算出する。また、反射ビームの受信アレーアンテナ間の位相差に基づきキャリブレーションターゲットの方角を算出する。レーダ信号処理部５１Ｒは、処理後の検知信号を同期処理部５３とキャリブレーション部６０-1へ出力する。
　同期抽出部５２は、検知信号からフレーム番号を抽出して同期処理部５３へ出力する。また、同期抽出部５２は、検知信号からフレーム番号と同期信号を抽出して同期処理部５３へ出力してもよい。また、同期抽出部５２は、カメラ信号処理部５１Ｃから供給された検知信号を認識器５５へ出力する。
　同期処理部５３は、同期抽出部５２から供給されたフレーム番号とキャリブレーション部６０-1で設定された時間差補正量ＥＣに基づき、レーダ信号処理部５１Ｒから供給された検知信号のフレーム番号を補正して、補正後の検知信号を認識器５５へ出力する。また、同期処理部５３は、同期抽出部５２から同期信号が供給されている場合、フレーム番号を補正した検知信号を、同期抽出部５２から認識器５５へ出力される検知信号と同期させて、すなわちフレーム番号を一致させて等しいタイミングで認識器５５へ出力してもよい。
　認識器５５は、同期抽出部５２から供給された検知信号と同期処理部５３から供給された時間的ずれの補正された検知信号に基づき被写体の認識処理等を行う。
　キャリブレーション部６０-1は、撮像部４１Ｃとレーダ部４１Ｒで生成された検知信号を用いて時間差補正量ＥＣを設定する。キャリブレーション部６０-1は、状態検出部６１Ｃ，６１Ｒとフレーム番号抽出部６２Ｃ，６２Ｒと時間差補正量設定部６５-1を有している。
　状態検出部６１Ｃは、カメラ信号処理部５１Ｃから供給された検知信号に基づきキャリブレーションターゲットの状態を検出する。例えば、状態検出部６１Ｃは、検知信号を用いて画像認識を行い、キャリブレーションターゲット２０において反射器２１が電波吸収体２２で隠されていない状態と隠されている状態のいずれであるかを検出して、検出結果を時間差補正量設定部６５-1へ出力する。
　状態検出部６１Ｒは、レーダ信号処理部５１Ｒから供給された検知信号に基づきキャリブレーションターゲットの状態を検出する。例えば、状態検出部６１Ｒは、検知信号の信号レベルに基づき、キャリブレーションターゲット２０において反射器２１が電波吸収体２２で隠されていない状態と隠されている状態のいずれであるかを検出して、検出結果を時間差補正量設定部６５-1へ出力する。
　フレーム番号抽出部６２Ｃは、カメラ信号処理部５１Ｃから供給された検知信号からフレーム番号を抽出して時間差補正量設定部６５-1へ出力する。
　フレーム番号抽出部６２Ｒは、レーダ信号処理部５１Ｒから供給された検知信号からフレーム番号を抽出して時間差補正量設定部６５-1へ出力する。
　時間差補正量設定部６５-1は、複数のセンサ毎に生成されたいずれかの検知信号、例えば検知信号ＳＣを基準として、基準とした検知信号ＳＣに対する検知信号ＳＲの時間差ＥＲを、状態検出部６１Ｃ，６１Ｒにおけるフレーム毎の状態検出結果を用いて算出する。時間差ＥＲの算出は、例えばフレーム番号抽出部６２Ｃ，６２Ｒから供給されたフレーム番号を用いて、キャリブレーションターゲットの状態が等しい変化を生じときのフレーム番号の差を時間差ＥＲとする。また、時間差補正量設定部６５-1は、算出した時間差ＥＲに基づき検知信号ＳＲに対する時間差補正量ＥＣを設定する。
　次に、第１の実施の形態の動作について説明する。図５は、第１の実施の形態における検知信号取得処理を例示したフローチャートである。なお、検知信号取得処理は、図３のステップＳＴ４の処理に相当する。
　ステップＳＴ１１で情報処理装置は撮像部を初期化する。情報処理装置３０-1は、センサ部４０における撮像部４１Ｃの初期化してステップＳＴ１２に進む。
　ステップＳＴ１２で情報処理装置はレーダ部を初期化する。情報処理装置３０-1は、センサ部４０におけるレーダ部４１Ｒを初期化してステップＳＴ１３に進む。
　ステップＳＴ１３で情報処理装置は撮像部の動作を開始する。情報処理装置３０-1は、撮像部４１Ｃを動作させてキャリブレーションターゲット２０の撮像を開始して検知信号の生成を行いステップＳＴ１４に進む。なお、撮像部４１Ｃで生成された検知信号はカメラ信号処理部５１Ｃで処理される。また、ステップＳＴ１３で撮像部４１Ｃは、検知信号の生成時に用いた同期信号をレーダ部４１Ｒへ出力する。
　ステップＳＴ１４で情報処理装置は撮像部に同期させてレーダ部の動作を開始する。情報処理装置３０-1は、撮像部４１Ｃから供給された同期信号を基準としてレーダ部４１Ｒを動作させて、キャリブレーションターゲット２０による電磁波の反射状況を示す検知信号の生成を開始してステップＳＴ１５に進む。なお、レーダ部４１Ｒで生成された検知信号は上述のようにレーダ信号処理部５１Ｒで処理される。
　ステップＳＴ１５で情報処理部はキャリブレーションターゲットの状態検出処理を行う。情報処理装置３０-1のキャリブレーション部６０における状態検出部６１Ｃは、撮像部４１Ｃで生成されてカメラ信号処理部５１Ｃで処理された検知信号に基づきキャリブレーションターゲット２０の状態を検出する。また、状態検出部６１Ｌは、レーダ部４１Ｒで生成されてレーダ信号処理部５１Ｒで処理された検知信号に基づきキャリブレーションターゲット２０の状態を検出してステップＳＴ１６に進む。
　ステップＳＴ１６で情報処理装置は検知信号の生成を判定対象期間行ったか判別する。情報処理装置３０-1は、撮像部４１Ｃで検知信号の生成が判定対象期間に達していない場合、例えば検知信号の生成が所定フレーム数（例えばｎフレーム数）に達していない場合にはステップＳＴ１５に戻り、撮像部４１Ｃで検知信号の生成が判定対象期間行われたと判別した場合、例えば所定フレーム数（例えばｎフレーム数）の検知信号の生成が行われた場合に検知信号取得処理を終了する。
　図６は、第１の実施の形態における時間差補正量設定処理を例示したフローチャートである。なお、時間差補正量設定処理は、図３のステップＳＴ５に相当する。
　ステップＳＴ２１で情報処理装置は時間差ＥＲを算出する。情報処理装置３０-1のキャリブレーション部６０における時間差補正量設定部６５-1は、撮像部４１Ｃで生成された検知信号の時間差算出対象フレームについて、レーダ部４１Ｒで生成された検知信号との時間差を状態検出結果に基づいて算出する。なお、時間差算出対象フレームは、判定対象期間において、キャリブレーションターゲット２０の状態検出結果が変化した直後のフレームおよび／または状態検出結果が変化した直前のフレームであり、以下の説明では、状態検出結果が変化した直後のフレームを時間差算出対象フレームとした場合を例示している。
　例えば、撮像部４１Ｃで生成された判定対象期間の検知信号ＳＣのフレーム番号を「ｉ～ｉ＋ｎ」とする。また、判定対象期間において、レーダ部４１Ｒで生成された検知信号ＳＲの時間差補正前のフレーム番号を「ｊ～ｊ＋ｎ」とする。
　時間差補正量設定部６５-1は、検知信号ＳＣに対してキャリブレーションターゲット２０の状態検出結果の変化が等しい検知信号ＳＲのフレーム番号を用いて時間差ＥＲを算出する。また、キャリブレーションターゲット２０の状態を所定の周期で切り替えられる場合、状態検出結果の変化が等しいフレームは、キャリブレーションターゲット２０の状態切り替えの１周期よりも短い期間内で、フレーム差分が最も少ないフレームとする。
　ここで、検知信号ＳＣがフレーム番号ｉgであるときに状態検出結果が変化して、この変化と等しい変化を生じた検知信号ＳＲがフレーム番号ｊkである場合、式（１）に基づき時間差ＥＲgを算出してステップＳＴ２２に進む。
　　ＥＲg　＝（ｉg－ｊk）・・・（１）
　ステップＳＴ２２で情報処理装置は判定対象期間の時間差の算出は完了したか判別する。情報処理装置３０-1の時間差補正量設定部６５-1は、判定対象期間における状態検出結果の変化を生じた各フレームについての時間差の算出が完了していない場合はステップＳＴ２３に進み、状態検出結果の変化が生じた各フレームについての時間差の算出が完了した場合にはステップＳＴ２４に進む。
　ステップＳＴ２３で情報処理装置は時間差算出対象フレームの更新処理を行う。情報処理装置３０-1の時間差補正量設定部６５-1は、時間差算出対象フレームを、検知信号ＳＣにおいてキャリブレーションターゲット２０の状態検出結果が変化した次のフレームに設定してステップＳＴ２１に戻る。
　ステップＳＴ２４で情報処理装置は算出した時間差ＥＲが等しいか判別する。情報処理装置３０-1の時間差補正量設定部６５-1は、時間差ＥＲが等しいと判別した場合にステップＳＴ２５に進み、異なる時間差ＥＲのフレームが含まれている場合はステップＳＴ２７に進む。
　ステップＳＴ２５で情報処理装置は時間差補正量を設定する。情報処理装置３０-1の時間差補正量設定部６５-1は、ステップＳＴ２２で算出された時間差ＥＲに基づき、検知信号ＳＣと状態検出結果の変化が等しい検知信号ＳＲのフレーム番号を、検知信号ＳＣのフレーム番号と等しくする時間差補正量ＥＣに設定してステップＳＴ２６に進む。
　ステップＳＴ２６で情報処理装置はキャリブレーション成功フラグを設定する。情報処理装置３０-1の時間差補正量設定部６５-1は、時間差補正量ＥＣの設定が完了したことから、キャリブレーション成功フラグを設定状態（オン状態）として時間差補正量設定処理を終了する。
　ステップＳＴ２７で情報処理装置はキャリブレーション成功フラグを非設定とする。情報処理装置３０-1の時間差補正量設定部６５-1は、異なる時間差のフレームが含まれているため時間差補正量ＥＣの設定を行わないことから、キャリブレーション成功フラグを非設定状態（オフ状態）として時間差補正量設定処理を終了する。
　次に、図７乃至図１３を用いて第１の実施の形態の動作例を説明する。図７は、第１の実施の形態における第１動作例を示す図であり、図８は、第１の実施の形態における第２動作例を示す図である。第１動作例と第２動作例では、キャリブレーションターゲット２０における反射器２１が電波吸収体２２で隠されていない状態と隠されている状態の２つの状態の期間がそれぞれ検知信号ＳＣ，ＳＲの１フレーム期間である場合を例示している。
　図７に示す第１動作例は、撮像部４１Ｃで生成された検知信号ＳＣとレーダ部４１Ｒで生成された検知信号ＳＲが同期している場合を示している。図７の（ａ）は、キャリブレーションターゲット２０の状態ＷＳを示しており、反射器２１が電波吸収体２２で隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。また、キャリブレーションターゲット２０の状態切り替え周期は２フレーム期間（例えば１秒程度）とされている。
　図７の（ｂ）は撮像部４１Ｃで生成された検知信号ＳＣについて、フレーム番号と状態検出結果を示している。また、図７の（ｃ）はレーダ部４１Ｒで生成された検知信号ＳＲについて、フレーム番号と状態検出結果を示している。
　撮像部４１Ｃで生成された検知信号ＳＣとレーダ部４１Ｒで生成された検知信号ＳＲが同期している場合、キャリブレーションターゲット２０の状態が等しい変化を生じときの検知信号ＳＣと検知信号ＳＲのフレーム番号は等しい。したがって、時間差補正量ＥＣは「０」となる。
　図８に示す第２動作例は、撮像部４１Ｃで生成された検知信号ＳＣとレーダ部４１Ｒで生成された検知信号ＳＲが時間的ずれを生じている場合を示している。
　図８の（ａ）は、キャリブレーションターゲット２０の状態ＷＳを示しており、反射器２１が電波吸収体２２で隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。また、キャリブレーションターゲット２０の状態切り替え周期は２フレーム期間とされている。
　図８の（ｂ）は撮像部４１Ｃで生成された検知信号ＳＣのフレーム番号と状態検出結果を示している。また、図８の（ｃ）はレーダ部４１Ｒで生成された検知信号ＳＲのフレーム番号と状態検出結果を示している。
　撮像部４１Ｃで生成された検知信号ＳＣに対してレーダ部４１Ｒで生成された検知信号ＳＲが時間的ずれを生じている場合、検知信号ＳＣと検知信号ＳＲは、キャリブレーションターゲット２０の状態検出結果の変化が等しいフレーム番号が異なる場合が生じる。例えば、検知信号ＳＣに基づく状態検出結果がＯＰＥＮ状態からＣＬＯＳＥ状態に変化したフレームであるフレーム番号２に対して、検知信号ＳＲに基づく状態検出結果がＯＰＥＮ状態からＣＬＯＳＥ状態に変化したフレームはフレーム番号１であることから、時間差ＥＲは「１」である。また、検知信号ＳＣに基づく状態検出結果がＣＬＯＳＥ状態からＯＰＥＮ状態に変化したフレームであるフレーム番号３に対して、検知信号ＳＲに基づく状態検出結果がＣＬＯＳＥ状態からＯＰＥＮ状態に変化したフレームは、フレーム番号２であることから、時間差ＥＲは「１」である。また、キャリブレーションターゲットの状態が等しい変化を生じときの他のフレーム番号においても、時間差ＥＲは「１」である。したがって、時間差補正量設定部６５-1は、時間差補正量ＥＣを「１」に設定する。また、時間差補正量ＥＣが設定されると共に、図６に示す時間差補正量設定処理によって、キャリブレーション成功フラグは設定状態となる。
　図９は、第２動作例のキャリブレーション後を示しており、撮像部４１Ｃで生成された検知信号ＳＣを基準としてレーダ部４１Ｒで生成された検知信号ＳＲについて時間差補正処理が行われている。図９の（ａ）は、キャリブレーションターゲット２０の状態ＷＳを示しており、反射器２１が電波吸収体２２で隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。また、キャリブレーションターゲット２０の状態切り替え周期は２フレーム期間とされている。
　図９の（ｂ）は撮像部４１Ｃで生成された検知信号ＳＣのフレーム番号と状態検出結果と共に示している。また、図９の（ｃ）は時間差補正処理が行われた検知信号ＳＲｈのフレーム番号と状態検出結果を示している。図８を用いて説明したように、検知信号ＳＣと検知信号ＳＲが図８に示す時間差を生じている場合、時間差補正量ＥＣは「１」に設定されている。したがって、同期処理部５３は、検知信号ＳＲのフレーム番号に「１」を加算して、図９の（ｃ）に示す検知信号ＳＲｈを生成する。このような処理を行うことで、検知信号ＳＣと検知信号ＳＲの時間差を補正することができる。
　図１０は、第１の実施の形態における第３動作例を示す図であり、図１１は、第１の実施の形態における第４動作例を示す図、図１３は第１の実施の形態における第５動作例を示す図である。第３動作例と第４動作例および第５動作例では、キャリブレーションターゲット２０の２つの状態の期間がそれぞれ検知信号ＳＣ，ＳＲの複数フレーム期間である場合を例示している。
　図１０に示す第３動作例は、撮像部４１Ｃで生成された検知信号ＳＣとレーダ部４１Ｒで生成された検知信号ＳＲが同期している場合を示している。図１０の（ａ）は、キャリブレーションターゲット２０の状態ＷＳを示しており、反射器２１が電波吸収体２２で隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。また、キャリブレーションターゲット２０の状態切り替え周期は２フレーム期間とされている。
　図１０の（ｂ）は撮像部４１Ｃで生成された検知信号ＳＣのフレーム番号と状態検出結果を示している。なお、以下の図において、符号(O)は、状態検出結果がＯＰＥＮ状態であることを示しており、符号(C)は、状態検出結果がＣＬＯＳＥ状態であることを示している。図１０の（ｃ）はレーダ部４１Ｒで生成された検知信号ＳＲのフレーム番号と状態検出結果を示している。
　撮像部４１Ｃで生成された検知信号ＳＣとレーダ部４１Ｒで生成された検知信号ＳＲが同期している場合、キャリブレーションターゲット２０の状態が等しい変化を生じときの検知信号ＳＣと検知信号ＳＲのフレーム番号は等しい。したがって、時間差補正量ＥＣは「０」となる。
　図１１に示す第４動作例は、撮像部４１Ｃで生成された検知信号とレーダ部４１Ｒで生成された検知信号が時間的ずれを生じている場合を示している。
　図１１の（ａ）は、キャリブレーションターゲット２０の状態ＷＳを示しており、反射器２１が電波吸収体２２で隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。また、キャリブレーションターゲット２０の状態切り替え周期は２フレーム期間とされている。
　図１１の（ｂ）は撮像部４１Ｃで生成された検知信号ＳＣのフレーム番号と状態検出結果を示している。また、図１１の（ｃ）はレーダ部４１Ｒで生成された検知信号ＳＲのフレーム番号と状態検出結果を示している。
　撮像部４１Ｃで生成された検知信号ＳＣに対してレーダ部４１Ｒで生成された検知信号ＳＲが時間的ずれを生じている場合、検知信号ＳＣと検知信号ＳＲは、キャリブレーションターゲット２０の状態検出結果の変化が等しいフレーム番号が異なる場合が生じる。例えば、検知信号ＳＣに基づく状態検出結果がＯＰＥＮ状態からＣＬＯＳＥ状態に変化したフレームであるフレーム番号５に対して、検知信号ＳＲに基づく状態検出結果がＯＰＥＮ状態からＣＬＯＳＥ状態に変化したフレームはフレーム番号３であることから、時間差ＥＲは「２」である。また、検知信号ＳＣに基づく状態検出結果がＣＬＯＳＥ状態からＯＰＥＮ状態に変化したフレームであるフレーム番号９に対して、検知信号ＳＲに基づく状態検出結果がＣＬＯＳＥ状態からＯＰＥＮ状態に変化したフレームは、フレーム番号７であることから、時間差ＥＲは「２」である。また、キャリブレーションターゲットの状態が等しい変化を生じときの他のフレーム番号においても、時間差ＥＲは「２」である。したがって、時間差補正量設定部６５-1は、時間差補正量ＥＣを「２」に設定する。また、時間差補正量ＥＣが設定されると共に、キャリブレーション成功フラグは設定状態となる。
　図１２は、第４動作例のキャリブレーション後を示しており、撮像部４１Ｃで生成された検知信号ＳＣを基準として、レーダ部４１Ｒで生成された検知信号ＳＲについて時間差補正処理が行われている。図１２の（ａ）は、キャリブレーションターゲット２０の状態ＷＳを示しており、反射器２１が電波吸収体２２で隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。また、キャリブレーションターゲット２０の状態切り替え周期は２フレーム期間とされている。
　図１２の（ｂ）は撮像部４１Ｃで生成された検知信号ＳＣのフレーム番号と状態検出結果を示している。また、図１２の（ｃ）は時間差補正処理が行われた検知信号ＳＲｈのフレーム番号と状態検出結果を示している。図１１を用いて説明したように、検知信号ＳＣと検知信号ＳＲが図１１に示す時間差を生じている場合、時間差補正量ＥＣは「２」に設定されている。したがって、同期処理部５３は、検知信号ＳＲのフレーム番号に「２」を加算して、図１２の（ｃ）に示す検知信号ＳＲｈを生成する。このような処理を行うことで、検知信号ＳＣと検知信号ＳＲの時間差を補正することができる。
　このように、第１の実施の形態によれば、複数センサで取得された検知信号の時間的なずれを補正できる。
　図１３に示す第５動作例は、撮像部４１Ｃで生成された検知信号とレーダ部４１Ｒで生成された検知信号が時間的ずれを生じており、検知信号ＳＲの周期が変動している場合を例示している。
　図１３の（ａ）は、キャリブレーションターゲット２０の状態ＷＳを示しており、反射器２１が電波吸収体２２で隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。また、キャリブレーションターゲット２０の状態切り替え周期は２フレーム期間とされている。
　図１３の（ｂ）は撮像部４１Ｃで生成された検知信号ＳＣのフレーム番号と状態検出結果を示している。また、図１３の（ｃ）はレーダ部４１Ｒで生成された検知信号ＳＲのフレーム番号と状態検出結果を示している。
　撮像部４１Ｃで生成された検知信号ＳＣとレーダ部４１Ｒで生成された検知信号ＳＲが時間的ずれを生じており、検知信号ＳＲの周期が変動している場合、上述のように検知信号ＳＣに基づくキャリブレーションターゲット２０の状態検出結果の変化が等しい検知信号ＳＲのフレーム番号の差は、変動することがある。なお、図１３ではフレーム番号の差である時間差ＥＲが「１」または「０」となっている。このような場合、図６に示す時間差補正量設定処理によって、キャリブレーション成功フラグを非設定状態とする。
　このように、第１の実施の形態によれば、キャリブレーションターゲットの状態検出結果に基づき時間差補正量を設定して、複数センサで取得された検知信号の時間的なずれを補正できる。また、キャリブレーション成功フラグが設定状態であるとき、補正後の検知信号を用いて認識処理を行うようにすれば、精度よく認識処理を行うことができる。また、時間的すれを補正できない場合にはキャリブレーション成功フラグが非設定状態となるので、認識器５５は、キャリブレーション成功フラグが非設定状態である場合、検知信号ＳＣあるいは検知信号ＳＲのいずれかを用いて認識処理を行うようにすれば、時間的ずれを生じた検知信号を用いたことにより例えば物体の認識精度の低下等の不具合が生じてしまうことを防止できる。
　＜３．第２の実施の形態＞
　次に第２の実施の形態について説明する。上述のように、キャリブレーションターゲット２０の２つの状態を所定の周期で切り替える場合、時間的ずれがキャリブレーションターゲット２０の２つの状態の周期以上となると、時間的ずれを正しく補正できない。例えば、所定の周期よりも長い時間差が生じている場合に、所定の周期内で状態検出結果の変化が等しい検知信号ＳＲのフレーム番号が検出されると、時間差を正しく検出することができない。そこで、第２の実施の形態では、キャリブレーションターゲット２０の状態を２つよりも多くして、第１の実施の形態よりも補正可能な時間的ずれを大きくする場合について説明する。
　図１４は、第２の実施の形態の構成を例示している。第１の実施の形態と同様に複数のセンサとして、キャリブレーションターゲットの撮像画を示す検知信号を生成する撮像部４１Ｃと、送信ビームを放射してキャリブレーションターゲットで反射された送信ビーム（反射ビーム）に基づき検知信号を生成するレーダ部４１Ｒが用いられている場合、キャリブレーションターゲット２０は、レーダ反射断面積（RCS:Radar cross-section）が異なる複数の反射器と反射器毎に設けた電波吸収体と、いずれの反射器で送信ビームの反射が行われているかを示す表示器２３を用いて構成する。なお、図１４では、レーダ反射断面積が異なる反射器２１ａ，２１ｂ，２１ｃと、反射器毎に電波吸収体２２ａ，２２ｂ，２２ｃを設けている。
　キャリブレーションターゲット２０は、反射器２１ａ，２１ｂ，２１ｃを所定順序で選択して、選択した反射器は電波吸収体で隠されていない状態として、残りの反射器は電波吸収体で隠されている状態とする。例えば反射器２１ａが選択された場合、反射器２１ａは電波吸収体２２ａで隠されていない状態として、他の反射器２１ｂ，２１ｃは電波吸収体２２ｂ，２２ｃで隠された状態とする。また、表示器２３では選択した反射器を示す情報、具体的には選択した反射器を示すインデックスあるいは選択した反射器のレーダ反射断面積等を表示する。例えば反射器２１ａが選択された場合、選択された反射器２１ａを示すインデックスを表示する。このように、反射器２１ａ，２１ｂ，２１ｃを所定の順序で選択すれば、キャリブレーションターゲット２０では３つの状態が所定の順序で切り替えられる。
　キャリブレーション部６０は、撮像部４１Ｃで生成された検知信号に基づいて検出されたキャリブレーションターゲット２０の状態とレーダ部４１Ｒで生成された検知信号に基づいて検出されたキャリブレーションターゲット２０の状態の検出結果に基づき時間差を算出して時間差補正量ＥＣを設定する。
　第２の実施の形態における情報処理装置は、図４に示す第１の実施の形態と同様に構成する。
　第２の実施の形態において、状態検出部６１Ｃは、カメラ信号処理部５１Ｃから供給された検知信号に基づきキャリブレーションターゲット２０の状態を検出する。例えば、状態検出部６１Ｃは、検知信号を用いて表示器２３の表示内容の認識を行い、キャリブレーションターゲット２０において反射器２１ａ，２１ｂ，２１ｃのいずれか１つが電波吸収体で隠されていない状態で、他の反射器が電波吸収体で隠されている状態であるかを検出して、検出結果を時間差補正量設定部６５-1へ出力する。
　状態検出部６１Ｒは、レーダ信号処理部５１Ｒから供給された検知信号に基づきキャリブレーションターゲット２０の状態を検出する。例えば、状態検出部６１Ｒは、検知信号の信号レベルに基づき、キャリブレーションターゲット２０において反射器２１ａ，２１ｂ，２１ｃのいずれか１つが電波吸収体で隠されていない状態で、他の反射器が電波吸収体で隠されている状態であるかを検出して、検出結果を時間差補正量設定部６５-1へ出力する。
　時間差補正量設定部６５-1は、状態検出部６１Ｃ，６１Ｒからの検出結果と、フレーム番号抽出部６２Ｃ，６２Ｌから供給されたフレーム番号に基づいて、時間差補正量ＥＣを設定する。
　次に、第２の実施の形態の動作について説明する。第２の実施の形態では、第１の実施の形態と同様に、図５に示す検知信号取得処理を行い、判定対象期間の検知信号を取得する。なお、判定対象期間は、キャリブレーションターゲット２０の状態切り替えの周期よりも長い期間とする。また、第２の実施の形態では、第１の実施の形態と同様に、図６に示す時間差補正量設定処理を行い、検知信号ＳＣに対してキャリブレーションターゲット２０の状態検出結果の変化が等しい検知信号ＳＲのフレーム番号を用いた時間差ＥＲを算出して、算出した時間差ＥＲに基づき時間差補正量ＥＣを設定、およびキャリブレーション成功フラグの設定等を行う。
　図１５乃至図２０は第２の実施の形態の動作例を説明するための図である。図１５は、第２の実施の形態における第１動作例を示す図であり、図１６は、第２の実施の形態における第２動作例を示す図である。第１動作例と第２動作例では、キャリブレーションターゲット２０の３つの状態の期間がそれぞれ検知信号ＳＣ，ＳＲの１フレーム期間である場合を例示している。
　図１５に示す第１動作例は、撮像部４１Ｃで生成された検知信号とレーダ部４１Ｒで生成された検知信号が同期している場合を示している。図１５の（ａ）は、キャリブレーションターゲット２０における反射器２１ａの選択状態ＷＳａを示しており、反射器２１ａが電波吸収体２２ａで隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。図１５の（ｂ）は、キャリブレーションターゲット２０における反射器２１ｂの選択状態ＷＳｂを示しており、反射器２１ｂが電波吸収体２２ｂで隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。図１５の（ｃ）は、キャリブレーションターゲット２０における反射器２１ｃの選択状態ＷＳｃを示しており、反射器２１ｃが電波吸収体２２ｃで隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。この場合、キャリブレーションターゲット２０の状態切り替え周期は３フレーム期間となる。
　図１５の（ｄ）は表示器２３の表示情報ＤＳを示しており、例えば表示Ｌａは、反射器２１ａのみが電波吸収体２２ａで隠されていない状態であり、反射器２１ｂ，２１ｃが電波吸収体２２ｂ，２２ｃで隠されている状態であることを示している。表示Ｌｂは、反射器２１ｂのみが電波吸収体２２ｂで隠されていない状態であり、反射器２１ａ，２１ｃが電波吸収体２２ａ，２２ｃで隠されている状態であることを示している。表示Ｌｃは、反射器２１ｃのみが電波吸収体２２ｃで隠されていない状態であり、反射器２１ａ，２１ｂが電波吸収体２２ａ，２２ｂで隠されている状態であることを示している。
　図１５の（ｅ）は撮像部４１Ｃで生成された検知信号ＳＣを状態の検出結果と共に示している。また、図１５の（ｆ）はレーダ部４１Ｒで生成された検知信号ＳＲを状態の検出結果と共に示している。なお、図１５および後述する図１６乃至図２０において、符号(La)は、表示器２３の表示認識結果が表示Ｌａであることを示しており、符号(Lb)は、表示認識結果が表示Ｌｂであることを示しており、符号(Lc)は、表示器２３の表示認識結果が表示Ｌｃであることを示している。
　撮像部４１Ｃで生成された検知信号ＳＣとレーダ部４１Ｒで生成された検知信号ＳＲが同期している場合、キャリブレーションターゲット２０の状態が等しい変化を生じときの検知信号ＳＣと検知信号ＳＲのフレーム番号は等しい。したがって、時間差補正量ＥＣは「０」となる。
　図１６に示す第２動作例は、撮像部４１Ｃで生成された検知信号とレーダ部４１Ｒで生成された検知信号が時間的ずれを生じている場合を示している。なお、図１６の（ａ）は図１５の（ａ）と同様であり、図１６の（ｂ）～（ｄ）は図１５の（ｂ）～（ｄ）と同様であり、説明は省略する。
　図１６の（ｅ）は撮像部４１Ｃで生成された検知信号ＳＣを状態の検出結果と共に示している。また、図１６の（ｆ）はレーダ部４１Ｒで生成された検知信号ＳＲを状態の検出結果と共に示している。
　撮像部４１Ｃで生成された検知信号ＳＣに対してレーダ部４１Ｒで生成された検知信号ＳＲが時間的ずれを生じている場合、検知信号ＳＣと検知信号ＳＲは、キャリブレーションターゲット２０の状態検出結果の変化が等しいフレーム番号が異なる場合が生じる。例えば、検知信号ＳＣに基づく状態検出結果が表示Ｌａから表示Ｌｂに変化したフレームであるフレーム番号２に対して、検知信号ＳＲに基づく状態検出結果が表示Ｌａから表示Ｌｂに変化したフレームはフレーム番号１であることから時間差ＥＲは「１」である。また、検知信号ＳＣに基づく状態検出結果が表示Ｌｂから表示Ｌｃに変化したフレームであるフレーム番号３に対して、検知信号ＳＲに基づく状態検出結果が表示Ｌｂから表示Ｌｃに変化したフレームはフレーム番号２であることから時間差ＥＲは「１」である。さらに、検知信号ＳＣに基づく状態検出結果が表示Ｌｃから表示Ｌａに変化したフレームであるフレーム番号４に対して、検知信号ＳＲに基づく状態検出結果が表示Ｌｃから表示Ｌａに変化したフレームはフレーム番号３であることから時間差ＥＲは「１」である。したがって、時間差補正量設定部６５-1は、時間差補正量ＥＣを「１」に設定する。また、時間差補正量ＥＣが設定されると共に、図６に示す時間差補正量設定処理によって、キャリブレーション成功フラグは設定状態となる。
　図１７は、第２動作例のキャリブレーション後を示しており、撮像部４１Ｃで生成された検知信号ＳＣを基準として、レーダ部４１Ｒで生成された検知信号ＳＲについて時間差補正処理が行われている。なお、図１７の（ａ）は図１５の（ａ）と同様であり、図１７の（ｂ）～（ｄ）は図１５の（ｂ）～（ｄ）と同様であり、説明は省略する。
　図１７の（ｅ）は撮像部４１Ｃで生成された検知信号ＳＣを状態の検出結果と共に示している。また、図１７の（ｆ）は、時間差補正処理が行われた検知信号ＳＲｈを状態の検出結果と共に示している。図１６を用いて説明したように、検知信号ＳＣと検知信号ＳＲが図１６に示す時間差を生じている場合、時間差補正量ＥＣは「１」に設定されていることから、検知信号ＳＲのフレーム番号に「１」を加算して、図１７の（ｆ）に示す検知信号ＳＲｈを生成する。このような処理を行うことで、検知信号ＳＣと検知信号ＳＲの時間差を補正することができる。
　図１８は、第２の実施の形態における第３動作例を示す図であり、図１９は、第２の実施の形態における第４動作例を示す図である。第３動作例と第４動作例では、キャリブレーションターゲット２０の２つの状態の期間がそれぞれ検知信号ＳＣ，ＳＲの複数フレーム期間である場合を例示している。
　図１８に示す第３動作例は、撮像部４１Ｃで生成された検知信号とレーダ部４１Ｒで生成された検知信号が同期している場合を示している。図１８の（ａ）は、キャリブレーションターゲット２０における反射器２１ａの選択状態ＷＳａを示しており、反射器２１ａが電波吸収体２２ａで隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。図１８の（ｂ）は、キャリブレーションターゲット２０における反射器２１ｂの選択状態ＷＳｂを示しており、反射器２１ｂが電波吸収体２２ｂで隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。図１８の（ｃ）は、キャリブレーションターゲット２０における反射器２１ｃの選択状態ＷＳｃを示しており、反射器２１ｃが電波吸収体２２ｃで隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。この場合、キャリブレーションターゲット２０の状態切り替え周期は３フレーム期間となる。
　図１８の（ｄ）は表示器２３の表示情報ＤＳを示しており、例えば表示Ｌａは、反射器２１ａのみが電波吸収体２２ａで隠されていない状態であり、反射器２１ｂ，２１ｃが電波吸収体２２ｂ，２２ｃで隠されている状態であることを示している。表示Ｌｂは、反射器２１ｂのみが電波吸収体２２ｂで隠されていない状態であり、反射器２１ａ，２１ｃが電波吸収体２２ａ，２２ｃで隠されている状態であることを示している。表示Ｌｃは、反射器２１ｃのみが電波吸収体２２ｃで隠されていない状態であり、反射器２１ａ，２１ｂが電波吸収体２２ａ，２２ｂで隠されている状態であることを示している。
　図１８の（ｅ）は撮像部４１Ｃで生成された検知信号ＳＣを状態の検出結果と共に示している。また、図１８の（ｆ）はレーダ部４１Ｒで生成された検知信号ＳＲを状態の検出結果と共に示している。
　撮像部４１Ｃで生成された検知信号ＳＣとレーダ部４１Ｒで生成された検知信号ＳＲが同期している場合、キャリブレーションターゲット２０の状態が等しい変化を生じときの検知信号ＳＣと検知信号ＳＲのフレーム番号は等しい。したがって、時間差補正量ＥＣは「０」となる。
　図１９に示す第４動作例は、撮像部４１Ｃで生成された検知信号とレーダ部４１Ｒで生成された検知信号が時間的ずれを生じている場合を示している。なお、図１９の（ａ）は図１８の（ａ）と同様であり、図１９の（ｂ）～（ｄ）は図１８の（ｂ）～（ｄ）と同様であり、説明は省略する。
　図１９の（ｅ）は撮像部４１Ｃで生成された検知信号ＳＣを状態の検出結果と共に示している。また、図１９の（ｆ）はレーダ部４１Ｒで生成された検知信号ＳＲを状態の検出結果と共に示している。
　撮像部４１Ｃで生成された検知信号ＳＣに対してレーダ部４１Ｒで生成された検知信号ＳＲが時間差を生じている場合、検知信号ＳＣと検知信号ＳＲではキャリブレーションターゲット２０の状態検出結果の変化が等しいフレーム番号が異なる場合が生じる。例えば検知信号ＳＣに基づく状態検出結果が表示Ｌａから表示Ｌｂに変化したフレームであるフレーム番号６に対して、検知信号ＳＲに基づく状態検出結果が表示Ｌａから表示Ｌｂに変化したフレームはフレーム番号４であることから時間差ＥＲは「２」である。また、検知信号ＳＣに基づく状態検出結果が表示Ｌｂから表示Ｌｃに変化したフレームであるフレーム番号１０に対して、検知信号ＳＲに基づく状態検出結果が表示Ｌｂから表示Ｌｃに変化したフレームはフレーム番号８であることから時間差ＥＲは「２」である。さらに、検知信号ＳＣに基づく状態検出結果が表示Ｌｃから表示Ｌａに変化したフレームであるフレーム番号１４に対して、検知信号ＳＲに基づく状態検出結果が表示Ｌｃから表示Ｌａに変化したフレームはフレーム番号１２であることから時間差ＥＲは「２」である。したがって、時間差補正量設定部６５-1は、時間差補正量ＥＣを「２」に設定する。また、時間差補正量ＥＣが設定されると共に、図６に示す時間差補正量設定処理によって、キャリブレーション成功フラグは設定状態となる。
　図２０は、第４動作例のキャリブレーション後を示しており、撮像部４１Ｃで生成された検知信号ＳＣを基準として、レーダ部４１Ｒで生成された検知信号ＳＲについて時間差補正処理が行われている。なお、図２０の（ａ）は図１８の（ａ）と同様であり、図２０の（ｂ）～（ｄ）は図１８の（ｂ）～（ｄ）と同様であり、説明は省略する。
　図２０の（ｅ）は撮像部４１Ｃで生成された検知信号ＳＣを状態の検出結果と共に示している。また、図２０の（ｆ）は、時間差補正処理が行われた検知信号ＳＲｈを状態の検出結果と共に示している。図１９を用いて説明したように、検知信号ＳＣと検知信号ＳＲが図１９に示す時間差を生じている場合、時間差補正量ＥＣは「２」に設定されていることから、検知信号ＳＲのフレーム番号に「２」を加算して、図２０の（ｆ）に示す検知信号ＳＲｈを生成する。このような処理を行うことで、検知信号ＳＣと検知信号ＳＲの時間差を補正することができる。
　なお、上述の動作例では、キャリブレーションターゲット２０の３つの状態が所定周期で繰り返される場合を例示したが、キャリブレーションターゲット２０の状態を多くして所定周期で繰り返すようにすれば、３フレーム以上の時間的ずれを補正することができる。
　このように、第２の実施の形態によれば、第１の実施の形態よりも時間ずれが大きい場合でも、複数センサで取得された検知信号の時間的なずれを補正できる。
　＜４．第３の実施の形態＞
　上述の実施の形態では、撮像部とレーダ部を用いる場合について説明したが、アクティブ型センサとしてライダ（Lider）センサを用いたライダ部４１Ｌをさらに用いてもよい。ライダは、レーザ光を照射してキャリブレーションターゲットで反射されたレーザ光（反射光）に基づき検知信号を生成する。
　図２１は、第３の実施の形態における情報処理装置の構成を例示している。情報処理装置３０-3は、センサ部４０-3と信号処理部５０-3を有している。
　センサ部４０-3は、撮像部４１Ｃとレーダ部４１Ｒとライダ部４１Ｌを有している。撮像部４１Ｃは、キャリブレーションターゲットの撮像画を示す検知信号をフレーム毎に生成して信号処理部５０-3へ出力する。レーダ部４１Ｒは、反射ビームに基づき検知信号をフレーム毎に生成して信号処理部５０-3へ出力する。ライダ部４１Ｌは、反射光に基づき検知信号をフレーム毎に生成して信号処理部５０-3へ出力する。また、撮像部４１Ｃとレーダ部４１Ｒおよびライダ部４１Ｌで生成された検知信号には、フレームを識別可能とするフレーム情報（例えばフレーム番号）が含まれている。
　信号処理部５０-3は、カメラ信号処理部５１Ｃとレーダ信号処理部５１Ｒとライダ信号処理部５１Ｌ、同期抽出部５２、同期処理部５３Ｒ，５３Ｌ、認識器５５、キャリブレーション部６０-3を有している。
　カメラ信号処理部５１Ｃは、撮像部４１Ｃから供給された検知信号に対してカメラ信号処理、例えばノイズ除去処理や利得調整処理、欠陥画素補正処理、デモザイク処理、色調整処理等の少なくともいずれかの処理を行う。カメラ信号処理部５１Ｃは、処理後の検知信号を同期抽出部５２とキャリブレーション部６０-1へ出力する。
　レーダ信号処理部５１Ｒは、レーダ部４１Ｒからの検知信号に基づき、反射ビームの周波数と送信ビームの周波数の差に基づきキャリブレーションターゲットまでの相対距離や相対速度を算出する。また、反射ビームの受信アレーアンテナ間の位相差に基づきキャリブレーションターゲットの方角を算出する。レーダ信号処理部５１Ｒは、処理後の検知信号を同期処理部５３とキャリブレーション部６０-1へ出力する。
　ライダ信号処理部５１Ｌは、ライダ部４１Ｌからの検知信号に基づき、レーザ光の出射タイミングと反射光の受光結果に基づきキャリブレーションターゲットまでの相対距離や相対速度を算出する。また、レーザ光の放射方向と反射光に基づきキャリブレーションターゲットの方角を算出する。ライダ信号処理部５１Ｌは、処理後の検知信号を同期処理部５３Ｌとキャリブレーション部６０-3へ出力する。
　同期抽出部５２は、検知信号からフレーム番号を抽出して同期処理部５３Ｒ，５３Ｌへ出力する。また、同期抽出部５２は、検知信号からフレーム番号と同期信号を抽出して同期処理部５３Ｒ，５３Ｌへ出力してもよい。また、同期抽出部５２は、カメラ信号処理部５１Ｃから供給された検知信号を認識器５６へ出力する。
　同期処理部５３Ｒは、同期抽出部５２から供給されたフレーム番号とキャリブレーション部６０-3で設定された時間差補正量ＥＣrに基づき、レーダ信号処理部５１Ｒから供給された検知信号のフレーム番号を補正して、補正後の検知信号を認識器５６へ出力する。また、同期処理部５３は、同期抽出部５２から同期信号が供給されている場合、フレーム番号を補正した検知信号を、同期抽出部５２から認識器５６へ出力される検知信号と同期させて、すなわちフレーム番号を一致させて等しいタイミングで認識器５６へ出力してもよい。
　同期処理部５３Ｌは、同期抽出部５２から供給されたフレーム番号とキャリブレーション部６０-3で設定された時間差補正量ＥＣlに基づき、ライダ信号処理部５１Ｌから供給された検知信号のフレーム番号を補正して、補正後の検知信号を認識器５６へ出力する。また、同期処理部５３Ｌは、同期抽出部５２から同期信号が供給されている場合、フレーム番号を補正した検知信号を、同期抽出部５２から認識器５６へ出力される検知信号と同期させて、すなわちフレーム番号を一致させて等しいタイミングで認識器５６へ出力してもよい。
　認識器５６は、同期抽出部５２から供給された検知信号と同期処理部５３Ｒ，５３Ｌから供給された時間的ずれの補正された検知信号に基づき被写体の認識処理を行う。
　キャリブレーション部６０-3は、撮像部４１Ｃとレーダ部４１Ｒとライダ部４１Ｌで生成された検知信号を用いて時間差補正量ＥＣr，ＥＣlを設定する。キャリブレーション部６０-1は、状態検出部６１Ｃ，６１Ｒ，６１Lとフレーム番号抽出部６２Ｃ，６２Ｒ，６２Ｌと時間差補正量設定部６５-3を有している。
　状態検出部６１Ｃは、カメラ信号処理部５１Ｃから供給された検知信号に基づきキャリブレーションターゲットの状態を検出する。例えば、状態検出部６１Ｃは、検知信号を用いて画像認識を行い、キャリブレーションターゲット２０において反射器２１が電波吸収体２２で隠されていない状態と隠されている状態のいずれであるかを検出して、検出結果を時間差補正量設定部６５-3へ出力する。
　状態検出部６１Ｒは、レーダ信号処理部５１Ｒから供給された検知信号に基づきキャリブレーションターゲットの状態を検出する。例えば、状態検出部６１Ｒは、検知信号の信号レベルに基づき、キャリブレーションターゲット２０において反射器２１ａ，２１ｂ，２１ｃのいずれが選択されている状態であるかを検出して、検出結果を時間差補正量設定部６５-3へ出力する。
　状態検出部６１Ｌは、ライダ信号処理部５１Ｌから供給された検知信号に基づきキャリブレーションターゲットの状態を検出する。例えば、状態検出部６１Ｌは、検知信号の信号レベルに基づき、キャリブレーションターゲット２０において反射器２１ａ，２１ｂ，２１ｃのいずれが選択されているかを検出して、検出結果を時間差補正量設定部６５-3へ出力する。
　フレーム番号抽出部６２Ｃは、カメラ信号処理部５１Ｃから供給された検知信号からフレーム番号を抽出して時間差補正量設定部６５-3へ出力する。
　フレーム番号抽出部６２Ｒは、レーダ信号処理部５１Ｒから供給された検知信号からフレーム番号を抽出して時間差補正量設定部６５-3へ出力する。
　フレーム番号抽出部６２Ｌは、ライダ信号処理部５１Ｌから供給された検知信号からフレーム番号を抽出して時間差補正量設定部６５-3へ出力する。
　時間差補正量設定部６５-1は、複数のセンサ毎に生成されたいずれかの検知信号、例えば検知信号ＳＣを基準として、基準とした検知信号ＳＣに対する検知信号ＳＲの時間差ＥＲrと検知信号ＳＣに対する検知信号ＳＬの時間差ＥＲlを、状態検出部６１Ｃ，６１Ｒ，６１Ｌにおけるフレーム毎の状態検出結果を用いて算出する。時間差ＥＲrの算出は、例えばフレーム番号抽出部６２Ｃ，６２Ｒから供給されたフレーム番号を用いて、キャリブレーションターゲットの状態が等しい変化を生じときのフレーム番号の差を時間差ＥＲrとする。時間差ＥＲlの算出は、例えばフレーム番号抽出部６２Ｃ，６２Ｌから供給されたフレーム番号を用いて、キャリブレーションターゲットの状態が等しい変化を生じときのフレーム番号の差を時間差ＥＲlとする。時間差補正量設定部６５-1は、算出した時間差ＥＲrに基づき検知信号ＳＲに対する時間差補正量ＥＣrと、算出した時間差ＥＲlに基づき検知信号ＳＬに対する時間差補正量ＥＣlをそれぞれ設定する。
　次に、第３の実施の形態の動作について説明する。第３の実施の形態では、第１の実施の形態と同様に、図５に示す検知信号取得処理を行い、判定対象期間分の検知信号を取得する。なお、判定対象期間は、キャリブレーションターゲット２０の状態切り替えの周期よりも長い期間とする。また、第３の実施の形態では、時間差補正量設定処理を行い、検知信号ＳＣに対してキャリブレーションターゲット２０の状態検出結果の変化が等しい検知信号ＳＲのフレーム番号を用いた時間差ＥＲrを算出して、時間差補正量ＥＣrの設定やキャリブレーション成功フラグの設定等を行う。また、第３の実施の形態では、検知信号ＳＣに対してキャリブレーションターゲット２０の状態検出結果の変化が等しい検知信号ＳＬのフレーム番号を用いた時間差ＥＲlを算出して、時間差補正量ＥＣlを設定やキャリブレーション成功フラグの設定等を行う。
　図２２は、第３の実施の形態における時間差補正量設定処理を例示したフローチャートである。なお、時間差補正量設定処理は、図３のステップＳＴ５の処理に相当する。
　ステップＳＴ３１で情報処理装置は時間差ＥＲr，ＥＲlを算出する。情報処理装置３０-3のキャリブレーション部６０における時間差補正量設定部６５-3は、撮像部４１Ｃで生成された検知信号の時間差算出対象フレームについて、レーダ部４１Ｒで生成された検知信号との時間差ＥＲrと、ライダ部４１Ｌで生成された検知信号との時間差ＥＲlとを状態検出結果に基づいて算出する。なお、時間差算出対象フレームは、キャリブレーションターゲット２０の状態検出結果が変化したときのフレームとする。
　時間差補正量設定部６５-3は、上述の図６のステップＳＴ２１と同様な処理を行い、検知信号ＳＣに対する検知信号ＳＲの時間差ＥＲrを算出する。また、検知信号ＳＣに対する検知信号ＳＲの時間差の算出と同様な処理を行い、検知信号ＳＣに対する検知信号ＳＬの時間差ＥＲlを算出する。時間差補正量設定部６５-3は、算出した時間差に基づき、検知信号ＳＲに対する時間差補正量ＥＣrと検知信号ＳＬに対する時間差補正量ＥＣlをそれぞれ設定してステップＳＴ３２に進む。
　ステップＳＴ３２で情報処理装置は判定対象期間の時間差の算出は完了したか判別する。情報処理装置３０-3の時間差補正量設定部６５-3は、判定対象期間における状態検出結果の変化を生じた各フレームについての時間差の算出が完了していない場合はステップＳＴ３３に進み、状態検出結果の変化が生じた各フレームについての時間差の算出が完了した場合にはステップＳＴ３４に進む。
　ステップＳＴ３３で情報処理装置は時間差算出対象フレームの更新処理を行う。情報処理装置３０-3の時間差補正量設定部６５-3は、時間差算出対象フレームを、検知信号ＳＣにおいてキャリブレーションターゲット２０の状態検出結果が変化した次のフレームに設定してステップＳＴ３１に戻る。
　ステップＳＴ３４で情報処理装置は算出した時間差ＥＲrが等しいか判別する。情報処理装置３０-3の時間差補正量設定部６５-3は、時間差ＥＲrが等しいと判別した場合にステップＳＴ３５に進み、時間差ＥＲrが異なるフレームが含まれている場合はステップＳＴ３７に進む。
　ステップＳＴ３５で情報処理装置は時間差補正量を設定する。情報処理装置３０-3の時間差補正量設定部６５-3は、ステップＳＴ３１で算出された時間差ＥＲrに基づき、検知信号ＳＣに対してキャリブレーションターゲット２０の状態検出結果の変化が等しい検知信号ＳＲのフレーム番号を、検知信号ＳＣのフレーム番号と等しくするための時間差補正量ＥＣrを設定してステップＳＴ３６に進む。
　ステップＳＴ３６で情報処理装置はレーダ部キャリブレーション成功フラグを設定する。情報処理装置３０-3の時間差補正量設定部６５-3は、検知信号ＳＲに対する時間差補正量ＥＣrの設定が完了したことから、レーダ部キャリブレーション成功フラグを設定状態（オン状態）としてステップＳＴ３８に進む。
　ステップＳＴ３７で情報処理装置はレーダ部キャリブレーション成功フラグを非設定とする。情報処理装置３０-3の時間差補正量設定部６５-3は、時間差ＥＲrが異なるフレームが含まれているため検知信号ＳＲに対して時間差補正量ＥＣrの設定を行わないことから、レーダ部キャリブレーション成功フラグを非設定状態（オフ状態）としてステップＳＴ３８に進む。
　ステップＳＴ３８で情報処理装置は時間差ＥＲlが等しいか判別する。情報処理装置３０-3の時間差補正量設定部６５-3は、時間差ＥＲlが等しいと判別した場合にステップＳＴ３９に進み、時間差ＥＲlの異なるフレームが含まれている場合はステップＳＴ４１に進む。
　ステップＳＴ３９で情報処理装置は時間差補正量ＥＣlを設定する。情報処理装置３０-3の時間差補正量設定部６５-3は、ステップＳＴ３１で算出された時間差ＥＲlに基づき、検知信号ＳＣに対してキャリブレーションターゲット２０の状態検出結果の変化が等しい検知信号ＳＬのフレーム番号を、検知信号ＳＣのフレーム番号と等しくするための時間差補正量ＥＣlを設定してステップＳＴ４０に進む。
　ステップＳＴ４０で情報処理装置は検知信号ＳＬに対してキャリブレーション成功フラグを設定する。情報処理装置３０-3の時間差補正量設定部６５-3は、時間差補正量ＥＣlの設定が完了したことから、検知信号ＳＬに対してキャリブレーション成功フラグを設定状態（オン状態）として処理を終了する。
　ステップＳＴ４１で情報処理装置は検知信号ＳＬに対してキャリブレーション成功フラグを非設定とする。情報処理装置３０-3の時間差補正量設定部６５-3は、異なる時間差のフレームが含まれているため検知信号ＳＬに対して時間差補正量ＥＣlの設定を行わないことから、検知信号ＳＬに対してキャリブレーション成功フラグを非設定状態（オフ状態）として処理を終了する。
　次に、第３の実施の形態の動作について説明する。第３の実施の形態では、第１の実施の形態や第２の実施の形態と同様に、図５に示す検知信号取得処理を行い、判定対象期間分の検知信号を取得する。なお、判定対象期間は、キャリブレーションターゲット２０の状態切り替えの周期よりも長い期間とする。また、第３の実施の形態では、図２２に示す時間差補正量設定処理を行い、検知信号ＳＣに対してキャリブレーションターゲット２０の状態検出結果の変化が等しい検知信号ＳＲのフレーム番号を用いた時間差ＥＲrを算出して、算出した時間差ＥＲrに基づき時間差補正量ＥＣrを設定、および検知信号ＳＲに対するキャリブレーション成功フラグの設定等を行う。さらに、検知信号ＳＣに対してキャリブレーションターゲット２０の状態検出結果の変化が等しい検知信号ＳＬのフレーム番号を用いて時間差ＥＲlの算出を行い、算出した時間差ＥＲlに基づき時間差補正量ＥＣlを設定、および検知信号ＳＬに対するキャリブレーション成功フラグの設定等を行う。
　次に、図２３乃至図２５を用いて第３の実施の形態の動作例を説明する。図２３は、第３の実施の形態における第１動作例を示す図であり、図２４は、第３の実施の形態における第２動作例を示す図である。第１動作例と第２動作例では、キャリブレーションターゲット２０の２つの状態の期間がそれぞれ検知信号ＳＣ，ＳＲの１フレーム期間である場合を例示している。
　図２３に示す第１動作例は、撮像部４１Ｃで生成された検知信号とレーダ部４１Ｒで生成された検知信号が同期している場合を示している。図２３の（ａ）は、キャリブレーションターゲット２０における反射器２１ａの状態ＷＳａを示しており、反射器２１ａが電波吸収体２２ａで隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。図２３の（ｂ）は、キャリブレーションターゲット２０における反射器２１ｂの状態ＷＳｂを示しており、反射器２１ｂが電波吸収体２２ｂで隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。図２３の（ｃ）は、キャリブレーションターゲット２０における反射器２１ｃの状態ＷＳｃを示しており、反射器２１ｃが電波吸収体２２ｃで隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。この場合、キャリブレーションターゲット２０の状態切り替え周期は３フレーム期間となる。
　図２３の（ｄ）は表示器２３の表示情報ＤＳを示しており、例えば表示Ｌａは、反射器２１ａのみが電波吸収体２２ａで隠されていない状態であり、反射器２１ｂ，２１ｃが電波吸収体２２ｂ，２２ｃで隠されている状態であることを示している。表示Ｌｂは、反射器２１ｂのみが電波吸収体２２ｂで隠されていない状態であり、反射器２１ａ，２１ｃが電波吸収体２２ａ，２２ｃで隠されている状態であることを示している。表示Ｌｃは、反射器２１ｃのみが電波吸収体２２ｃで隠されていない状態であり、反射器２１ａ，２１ｂが電波吸収体２２ａ，２２ｂで隠されている状態であることを示している。
　図２３の（ｅ）は撮像部４１Ｃで生成された検知信号ＳＣを状態の検出結果と共に示している。また、図２３の（ｆ）はレーダ部４１Ｒで生成された検知信号ＳＲを状態の検出結果と共に示している。さらに、図２３の（ｇ）はライダ部４１Ｌで生成された検知信号ＳＬを状態の検出結果と共に示している。なお、図２３および後述する図２４，図２５において、符号(La)は、表示器２３の表示認識結果が表示Ｌａであることを示しており、符号(Lb)は、表示認識結果が表示Ｌｂであることを示しており、符号(Lc)は、表示器２３の表示認識結果が表示Ｌｃであることを示している。
　撮像部４１Ｃで生成された検知信号ＳＣとレーダ部４１Ｒで生成された検知信号ＳＲとライダ部４１Ｌで生成された検知信号ＳＬが同期している場合、キャリブレーションターゲット２０の状態が等しい変化を生じときの検知信号ＳＣと検知信号ＳＲと検知信号ＳＬはフレーム番号が等しい。したがって、時間差補正量ＥＣr，ＥＣlは「０」となる。
　図２４に示す第２動作例は、撮像部４１Ｃで生成された検知信号とレーダ部４１Ｒで生成された検知信号が時間的ずれを生じており、撮像部４１Ｃで生成された検知信号とライダ部４１Ｌで生成された検知信号が時間的ずれを生じている場合を示している。なお、図２４の（ａ）は図２３の（ａ）と同様であり、図２４の（ｂ）～（ｄ）は図２３の（ｂ）～（ｄ）と同様であり、説明は省略する。
　図２４の（ｅ）は撮像部４１Ｃで生成された検知信号ＳＣを状態の検出結果と共に示している。また、図２４の（ｆ）はレーダ部４１Ｒで生成された検知信号ＳＲを状態の検出結果と共に示しており、図２４の（ｇ）はライダ部４１Ｌで生成された検知信号ＳＬを状態の検出結果と共に示している。
　撮像部４１Ｃで生成された検知信号ＳＣに対してレーダ部４１Ｒで生成された検知信号ＳＲやライダ部４１Ｌで生成された検知信号ＳＬが時間差を生じている場合、検知信号ＳＣと検知信号ＳＲや検知信号ＳＣと検知信号ＳＬではキャリブレーションターゲット２０の状態検出結果の変化が等しいフレーム番号が異なる場合が生じる。例えば検知信号ＳＣに基づく状態検出結果が表示Ｌｂから表示Ｌｃに変化したフレームであるフレーム番号３に対して、検知信号ＳＲに基づく状態検出結果が表示Ｌｂから表示Ｌｃに変化したフレームはフレーム番号１であることから時間差ＥＲrは「２」である。また、検知信号ＳＣに基づく状態検出結果が表示Ｌｃから表示Ｌａに変化したフレームであるフレーム番号４に対して、検知信号ＳＲに基づく状態検出結果が表示Ｌｃから表示Ｌａに変化したフレームはフレーム番号２であることから時間差ＥＲrは「２」である。さらに、検知信号ＳＣに基づく状態検出結果が表示Ｌａから表示Ｌｂに変化したフレームであるフレーム番号５に対して、検知信号ＳＲに基づく状態検出結果が表示Ｌａから表示Ｌｂに変化したフレームはフレーム番号３であることから時間差ＥＲrは「２」である。このように、時間差ＥＲrは「２」であることから検知信号ＳＲに対する時間差補正量ＥＣrは「２」に設定する。また、時間差補正量ＥＣrが設定されると共に、図２２に示す時間差補正量設定処理によって、レーダ部キャリブレーション成功フラグは設定状態となる。
　検知信号ＳＣに基づく状態検出結果が表示Ｌａから表示Ｌｂに変化したフレームであるフレーム番号２に対して、検知信号ＳＬに基づく状態検出結果が表示Ｌａから表示Ｌｂに変化したフレームはフレーム番号１であることから時間差ＥＲlは「１」である。また、検知信号ＳＣに基づく状態検出結果が表示Ｌｂから表示Ｌｃに変化したフレームであるフレーム番号３に対して、検知信号ＳＬに基づく状態検出結果が表示Ｌｂから表示Ｌｃに変化したフレームはフレーム番号２であることから時間差ＥＲlは「１」である。さらに、検知信号ＳＣに基づく状態検出結果が表示Ｌｃから表示Ｌａに変化したフレームであるフレーム番号４に対して、検知信号ＳＬに基づく状態検出結果が表示Ｌｃから表示Ｌａに変化したフレームはフレーム番号３であることから時間差ＥＲlは「１」である。このように、時間差ＥＲlは「１」であることから検知信号ＳＬに対する時間差補正量ＥＣlは「１」に設定する。また、時間差補正量ＥＣrが設定されると共に、図２２に示す時間差補正量設定処理によって、ライダ部キャリブレーション成功フラグは設定状態となる。
　図２５は、第２動作例のキャリブレーション後を示しており、撮像部４１Ｃで生成された検知信号ＳＣを基準として、レーダ部４１Ｒで生成された検知信号ＳＲとライダ部４１Ｌで生成された検知信号ＳＬについて時間差補正処理が行われている。なお、図２５の（ａ）は図２３の（ａ）と同様であり、図２５の（ｂ）～（ｄ）は図２３の（ｂ）～（ｄ）と同様であり、説明は省略する。
　図２５の（ｅ）は撮像部４１Ｃで生成された検知信号ＳＣを状態の検出結果と共に示している。また、図２５の（ｆ）は、時間差補正処理が行われた検知信号ＳＲｈを状態の検出結果と共に示している。さらに、図２５の（ｇ）は、時間差補正処理が行われた検知信号ＳＬｈを状態の検出結果と共に示している。図２４を用いて説明したように、検知信号ＳＣと検知信号ＳＲおよび検知信号ＳＣと検知信号ＳＬが図２４に示す時間差を生じている場合、検知信号ＳＲに対する時間差補正量ＥＣrは「２」に設定されていることから、検知信号ＳＲのフレーム番号に「２」を加算して、図２５の（ｆ）に示す検知信号ＳＲｈを生成する。また、検知信号ＳＬに対する時間差補正量ＥＣlは「１」に設定されていることから、検知信号ＳＬのフレーム番号に「１」を加算して、図２５の（ｇ）に示す検知信号ＳＬｈを生成する。このような処理を行うことで、検知信号ＳＣと検知信号ＳＲおよび検知信号ＳＬの時間差を補正することができる。
　このように、第３の実施の形態によれば、第１の実施の形態と同様に、キャリブレーションターゲットの状態検出結果に基づき時間差補正量を設定して、複数センサで取得された検知信号の時間的なずれを補正できる。また、レーダ部キャリブレーション成功フラグが設定状態であるとき、検知信号ＳＣだけでなく補正後の検知信号ＳＲｈを用いて認識処理を行うようにすれば、精度よく認識処理を行うことができる。同様に、ライダ部キャリブレーション成功フラグが設定状態であるとき、検知信号ＳＣだけでなく補正後の検知信号ＳＬｈを用いて認識処理を行うようにすれば、精度よく認識処理を行うことができる。また、検知信号ＳＲの時間的すれを補正できない場合にはレーダ部キャリブレーション成功フラグが非設定状態となり、検知信号ＳＬの時間的すれを補正できない場合にはライダ部キャリブレーション成功フラグが非設定状態となるので、認識器５５は、検知信号ＳＣとキャリブレーション成功フラグが設定状態である検知信号、あるいはキャリブレーション成功フラグが全て非設定状態ある場合にはいずれか１つの検知信号を用いて認識処理を行うようにすれば、時間的ずれを生じた検知信号を用いたことにより例えば物体の認識精度の低下等の不具合が生じてしまうことを防止できる。
　＜５．変形例＞
　上述の実施の形態において、キャリブレーションターゲット２０は反射器（リフレクタ）と電波吸収体を用いて構成して、電波吸収体の開閉によってキャリブレーションターゲット２０の状態を切り替える場合を例示したが、キャリブレーションターゲット２０はこのような構成および動作に限られない。図２６，２７は、キャリブレーションターゲットの他の構成を例示しており、図２６はキャリブレーションターゲットの他の構成を示す斜視図、図２７はキャリブレーションターゲットの他の構成の正面図と上面図である。
　キャリブレーションターゲット２０ｅは、回転体２５と回転体２５を駆動する回転駆動部２６、支柱２７、台座２８を有している。回転体２５は、回転駆動部２６を介して支柱２７に取り付けられており、支柱２７を回転軸として回転駆動部２６によって回転可能とされている。また、支柱２７は、台座２８に取り付けられており、支柱２７には表示器２３が表示面を撮像部４１Ｃの方向として設けられている。
　回転体２５は、矩形状の底部２５１と底部２５１の対角線位置から回転軸方向に延びた仕切り板２５２を有している。また、仕切り板２５２は送信ビームを反射しない部材で構成されている。仕切り板２５２で区切られた領域には反射器が、送信ビームの入射面を外側に向けて配置されている。例えば図２６，２７では、レーダ反射断面積が異なる２つの反射器２１ａ，２１ｂが、回転軸を中心として対象となる領域に、送信ビームの入射面を外側に向けて配置されている。
　このようなキャリブレーションターゲット２０ｅを用いる場合、回転体２５を回転させると、レーダ部４１Ｒに対応する反射器が切り替えられて、キャリブレーションターゲットの状態を切り替えることができる。また、キャリブレーションターゲット２０ｅは、電波吸収体を開閉させることなく、回転体２５を回転させるだけでキャリブレーションターゲットの状態を切り替えることができるので、簡単かつ高速にキャリブレーションターゲットの状態切り替えを行うことが可能となる。
　ところで、上述の実施の形態では、キャリブレーションターゲット２０の状態を所定の周期で切り替えを行っていることから、所定の周期よりも短い時間差であれば、検知信号ＳＣに基づく状態検出結果が等しい状態変化は、所定の周期で１つであることから正しく時間差を算出できる。しかし、時間差が所定の周期以上の場合、時間差よりも短いフレーム番号の差で状態検出結果が等しい状態変化が検出されると、検出された時間差は短くなってしまう。
　図２８は、時間差がキャリブレーションターゲットの状態切り替え周期以上である場合を例示している。図２８の（ａ）は、キャリブレーションターゲット２０の状態ＷＳを示しており、反射器２１が電波吸収体２２で隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。また、キャリブレーションターゲット２０の状態切り替え周期は２フレーム期間とされている。
　図２８の（ｂ）は撮像部４１Ｃで生成された検知信号ＳＣのフレーム番号と状態検出結果を示している。また、図２８の（ｃ）はレーダ部４１Ｒで生成された検知信号ＳＲのフレーム番号と状態検出結果を示しており、検知信号ＳＣに対して例えば８フレームの時間差（状態切り替え周期に相当）を生じている。
　この場合、検知信号ＳＣに基づく状態検出結果がＯＰＥＮ状態からＣＬＯＳＥ状態に変化したフレームであるフレーム番号１３に対して、検知信号ＳＲに基づく状態検出結果がＯＰＥＮ状態からＣＬＯＳＥ状態に変化したフレームはフレーム番号５とフレーム番号１３であり、同じフレーム番号１３で状態検出結果の変化が等しいことから時間差は「０」と判別されてしまうおそれがある。
　そこで、キャリブレーションターゲットは、状態ＷＳを例えば検知信号の１あるいは複数フレーム単位でランダムに切り替えることで、所定の周期以上の時間差を正しく検出できるようにしてもよい。例えば反射器２１が電波吸収体２２で隠されていない状態の期間と隠されている状態の期間をフレーム単位でランダムに設定して、あるいは反射器２１ａ，２１ｂ，２１ｃをランダムに選択して、時間差補正量設定部６５-1は、撮像部４１Ｃで生成された検知信号の時間差算出対象フレームについて、時間差算出対象フレームの状態変化と等しい変化を生じたフレームをレーダ部４１Ｒで生成された検知信号から検出する。さらに、時間差補正量設定部６５-1は、状態変化と等しい変化を生じたフレーム間でフレーム番号の差である時間差を算出して、各時間差算出対象フレームで算出された時間差が一定となる時間差を、検知信号ＳＣと検知信号ＳＲとの時間差として、時間差補正量を設定する。このような処理を行うようにすれば、長い時間的ずれが生じても、時間的ずれを補正できるようになる。
　また、キャリブレーション部６０-1，６０-3の構成は、上述の構成に限られるものではなく、例えば同期抽出部５２や同期処理部５３，５３Ｒ，５３Ｌを含めた構成であってもよい。
　また、複数のセンサは、第１乃至第３の実施の形態で示したように、アクティブ型センサとパッシブ型センサに限らず、少なくともアクティブ型センサを含む構成であればよく、複数のアクティブ型センサを用いてもよい。例えば、複数のセンサは、レーダ部４１Ｒとライダ部４１Ｌで構成して、いずれか一方を基準として上述のように時間差を算出して、他方の検知信号を一方の検知信号に同期させてもよい。
　なお、第１の実施の形態乃至第３の実施の形態や変形例に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
　＜６．応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２９は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
　なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
　車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
　なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
　入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
　データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
　例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
　また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
　さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
　また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
　通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
　さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
　車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
　出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
　出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
　駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
　記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
　自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
　車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識器１５２、及び、状況認識器１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識器１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識器１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識器１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識器１５２、及び、状況認識器１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
　状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識器１５２、状況認識器１５３、及び、状況予測部１５４を備える。
　マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識器１５２、状況認識器１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　交通ルール認識器１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識器１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
　状況認識器１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識器１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識器１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
　認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
　状況認識器１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識器１５３は、状況認識用マップを記憶部１１１に記憶させる。
　状況予測部１５４は、マップ解析部１５１、交通ルール認識器１５２及び状況認識器１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
　予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
　状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識器１５２及び状況認識器１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
　行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
　動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
　加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　以上説明した車両制御システム１００において、本実施の形態で示したセンサ部４０はデータ取得部１０２に対応する。また、信号処理部５０-1（５０-3）は車外情報検出部１４１に設けられる。車外情報検出部１４１は、データ取得部１０２で取得したデータ等に基づいて、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理等を行う場合、キャリブレーション処理によって設定された時間差補正量を用いることで複数のセンサから出力された検知情報の時間的ずれを補正できるので、取得したデータに基づいた各種の処理を、データの時間的ずれの影響を受けることなく精度よく行えるようになる。
　図３０はキャリブレーション処理を行う場合のキャリブレーションターゲットの配置を例示している。キャリブレーションターゲット２０は、電波吸収体である床７１の上であって、電波吸収体の壁７２で囲まれた領域に設置されている。撮像部４１Ｃは車両８０の例えばフロントウィンドウ上部に取り付けられており、レーダ部４１Ｒとライダ部４１Ｌは車両８０の例えばフロントグリルの位置に設けられている。ここで、キャリブレーションを行う場合、キャリブレーションターゲット２０の状態を上述のように切り替えて、撮像部４１Ｃとレーダ部４１Ｒやライダ部４１Ｌは、キャリブレーションターゲット２０の状態を示す検知信号を生成する。車両８０に設けられている車外情報検出部１４１は、検知信号に基づきセンサ間の検知信号の時間的ずれを検出して時間差補正量を設定あるいは更新する。その後、車両８０は時間差補正量に基づき、検知信号の時間的ずれを補正して、各種のデータ処理を行う。
　このようにキャリブレーションターゲットを用いてキャリブレーションを行うようにすれば、データ取得部１０２の特性変化や交換等が生じて、複数のセンサで生成された検知信号の時間差が変化しても、容易に検知信号の時間差を補正できるようになる。
　なお、図３０に示すキャリブレーションターゲットの配置は一例であって、例えば車両８０が走行する道路例えば交差点等にキャリブレーションターゲットを用いて、車両８０が信号待ち等で停車している期間中等にキャリブレーションを行うようにしてもよい。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術のキャリブレーション装置は以下のような構成も取ることができる。
　（１）　複数のセンサ毎に生成されたキャリブレーションターゲットの検知結果を示す検知信号を用いて前記キャリブレーションターゲットの状態を検出する状態検出部と、
　前記状態検出部で得られた前記キャリブレーションターゲットの状態検出結果を用いて、前記センサ毎に生成された検知信号間の時間差を算出して、算出結果に基づき時間差補正量を設定する時間差補正量設定部と
を備えるキャリブレーション装置。
　（２）　前記複数のセンサは少なくともアクティブ型センサを含む（１）に記載のキャリブレーション装置。
　（３）　前記複数のセンサは前記アクティブ型センサとパッシブ型センサを含む（２）に記載のキャリブレーション装置。
　（４）　前記複数のセンサは前記アクティブ型センサで構成する（２）に記載のキャリブレーション装置。
　（５）　前記アクティブ型センサとして、レーダおよび／またはライダを用いる（２）乃至（４）のいずれかに記載のキャリブレーション装置。
　（６）　前記時間差補正量設定部は、前記複数のセンサ毎に生成されたいずれかの検知信号を基準として、前記基準とした検知信号に対する時間差を前記検知信号のフレーム毎の状態検出結果を用いて算出する（１）乃至（５）のいずれかに記載のキャリブレーション装置。
　（７）　前記時間差補正量設定部は、前記状態検出結果を用いて前記キャリブレーションターゲットの状態が等しい変化を生じときのフレーム番号の差を算出して前記時間差とする（６）に記載のキャリブレーション装置。
　（８）　複数のセンサ毎に生成された検知信号は、前記キャリブレーションターゲットの状態がランダムに切り替えられたときの検出結果を示す（６）または（７）に記載のキャリブレーション装置。
　（９）　前記時間差が算出された検知信号に対して前記時間差補正量を用いて前記時間差を補正する同期処理部をさらに備える（６）乃至（８）のいずれかに記載のキャリブレーション装置。
　（１０）　前記時間差は、前記キャリブレーションターゲットの状態が等しい変化を生じときのフレーム番号の差を示しており、
　前記同期処理部は、前記時間差補正量で補正した検知信号を、前記基準とした検知信号とフレーム番号を一致させて出力する（９）に記載のキャリブレーション装置。
　１０・・・キャリブレーションシステム
　２０，２０ｅ・・・キャリブレーションターゲット
　２１，２１ａ，２１ｂ，２１ｃ・・・反射器
　２２，２２ａ，２２ｂ，２２ｃ・・・電波吸収体
　２３・・・表示器
　２５・・・回転体
　２６・・・回転駆動部
　２７・・・支柱
　２８・・・台座
　３０，３０-1，３０-3・・・情報処理装置
　４０，４０-1，４０-3・・・センサ部
　４１Ｃ・・・撮像部
　４１Ｌ・・・ライダ部
　４１Ｒ・・・レーダ部
　５０-1，５０-3・・・信号処理部
　５１Ｃ・・・カメラ信号処理部
　５１Ｌ・・・ライダ信号処理部
　５１Ｒ・・・レーダ信号処理部
　５２・・・同期抽出部
　５３，５３Ｒ，５３Ｌ・・・同期処理部
　５５，５６・・・認識器
　６０，６０-1，６０-3・・・キャリブレーション部
　６１，６１Ｃ，６１Ｒ，６１Ｌ・・・状態検出部
　６２Ｃ，６２Ｒ，６２Ｌ・・・フレーム番号抽出部
　６５，６５-1，６５-3・・・時間差補正量設定部

Claims (18)

  1. 　複数のセンサ毎に生成されたキャリブレーションターゲットの検知結果を示す検知信号を用いて前記キャリブレーションターゲットの状態を検出する状態検出部と、
    　前記状態検出部で得られた前記キャリブレーションターゲットの状態検出結果を用いて、前記センサ毎に生成された検知信号間の時間差を算出して、算出結果に基づき時間差補正量を設定する時間差補正量設定部と
    を備えるキャリブレーション装置。
  2. 　前記複数のセンサは少なくともアクティブ型センサを含む
    請求項１に記載のキャリブレーション装置。
  3. 　前記複数のセンサは前記アクティブ型センサとパッシブ型センサを含む
    請求項２に記載のキャリブレーション装置。
  4. 　前記複数のセンサは前記アクティブ型センサで構成する
    請求項２に記載のキャリブレーション装置。
  5. 　前記アクティブ型センサとして、レーダおよび／またはライダを用いる
    請求項２に記載のキャリブレーション装置。
  6. 　前記時間差補正量設定部は、前記複数のセンサ毎に生成されたいずれかの検知信号を基準として、前記基準とした検知信号に対する時間差を前記検知信号のフレーム毎の状態検出結果を用いて算出する
    請求項１に記載のキャリブレーション装置。
  7. 　前記時間差補正量設定部は、前記状態検出結果を用いて前記キャリブレーションターゲットの状態が等しい変化を生じときのフレーム番号の差を算出して前記時間差とする
    請求項６に記載のキャリブレーション装置。
  8. 　複数のセンサ毎に生成された検知信号は、前記キャリブレーションターゲットの状態がランダムに切り替えられたときの検出結果を示す
    請求項６に記載のキャリブレーション装置。
  9. 　前記時間差が算出された検知信号に対して前記時間差補正量を用いて前記時間差を補正する同期処理部をさらに備える
    請求項６に記載のキャリブレーション装置。
  10. 　前記時間差は、前記キャリブレーションターゲットの状態が等しい変化を生じときのフレーム番号の差を示しており、
    　前記同期処理部は、前記時間差補正量で補正した検知信号を、前記基準とした検知信号とフレーム番号を一致させて出力する
    請求項９に記載のキャリブレーション装置。
  11. 　複数のセンサ毎に生成されたキャリブレーションターゲットの検知結果を示す検知信号を用いて前記キャリブレーションターゲットの状態を状態検出部で検出することと、
    　前記状態検出部で得られた前記キャリブレーションターゲットの状態検出結果を用いて、前記センサ毎に生成された検知信号間の時間差を算出して、算出結果に基づき時間差補正量を時間差補正量設定部で設定することと
    を含むキャリブレーション方法。
  12. 　複数のセンサ毎に生成されたキャリブレーションターゲットの検知結果を示す検知信号のキャリブレーションをコンピュータで実行させるプログラムであって、
    　前記検知信号を用いて前記キャリブレーションターゲットの状態を検出する手順と、
    　前記キャリブレーションターゲットの状態検出結果に基づき、前記センサ毎に生成された検知信号間の時間差を算出して、算出結果に基づき時間差補正量を設定する手順と
    を前記コンピュータで実行させるプログラム。
  13. 　複数のセンサ毎に生成されたキャリブレーションターゲットの検知結果を示す検知信号を生成するセンサ部と、
    　前記センサ部で生成されたセンサ毎の検知信号を用いて前記キャリブレーションターゲットの状態を検出する状態検出部と、
    　前記状態検出部で得られた前記キャリブレーションターゲットの状態検出結果を用いて、前記センサ毎に生成された検知信号間の時間差を算出して、算出結果に基づき時間差補正量を設定する時間差補正量設定部と、
    　前記時間差補正量設定部で設定された前記時間差補正量を用いて前記検知信号間の時間差を補正する同期処理部と
    を備えるキャリブレーションシステム。
  14. 　反射特性が異なる状態に切り替え可能な特性切り替え部を備える
    キャリブレーションターゲット。
  15. 　前記反射特性の状態を示す状態情報を表示する表示器をさらに備える
    請求項１４に記載のキャリブレーションターゲット。
  16. 　前記特性切り替え部は、所定の反射特性を有するターゲットと、前記ターゲットの前面に移動可能に設けられた反射防止部を備え、前記反射防止部を所定の周期またはランダムな周期で移動させて、前記反射特性を異なる状態に切り替える
    請求項１４に記載のキャリブレーションターゲット。
  17. 　前記特性切り替え部は、異なる反射特性を有する複数のターゲットと、前記複数のターゲットの前面に移動可能に設けられた反射防止部を備え、前記反射防止部が前面から移動されているターゲットを１つ選択して、該選択するターゲットを所定の周期またはランダムな周期で切り替える
    請求項１４に記載のキャリブレーションターゲット。
  18. 　前記特性切り替え部は、反射特性が異なる複数のターゲットを回転方向に設けられた回転体と、前記回転体を回転させて反射特性を所定の周期で異なる状態に切り替える回転駆動部とを備える
    請求項１４に記載のキャリブレーションターゲット。
PCT/JP2019/039994 2018-12-17 2019-10-10 キャリブレーション装置とキャリブレーション方法とプログラムおよびキャリブレーションシステムとキャリブレーションターゲット WO2020129369A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/311,644 US20220390557A9 (en) 2018-12-17 2019-10-10 Calibration apparatus, calibration method, program, and calibration system and calibration target
JP2020561175A JPWO2020129369A1 (ja) 2018-12-17 2019-10-10 キャリブレーション装置とキャリブレーション方法とプログラムおよびキャリブレーションシステムとキャリブレーションターゲット
CN201980081729.7A CN113167859A (zh) 2018-12-17 2019-10-10 校准装置、校准方法、程序和校准***及校准目标
EP19899989.8A EP3901652A4 (en) 2018-12-17 2019-10-10 CALIBRATION DEVICE, CALIBRATION PROCESS, PROGRAM, CALIBRATION SYSTEM AND CALIBRATION TARGET

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018235268 2018-12-17
JP2018-235268 2018-12-17

Publications (1)

Publication Number Publication Date
WO2020129369A1 true WO2020129369A1 (ja) 2020-06-25

Family

ID=71100758

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/039994 WO2020129369A1 (ja) 2018-12-17 2019-10-10 キャリブレーション装置とキャリブレーション方法とプログラムおよびキャリブレーションシステムとキャリブレーションターゲット

Country Status (5)

Country Link
US (1) US20220390557A9 (ja)
EP (1) EP3901652A4 (ja)
JP (1) JPWO2020129369A1 (ja)
CN (1) CN113167859A (ja)
WO (1) WO2020129369A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230031754A (ko) * 2021-08-27 2023-03-07 모셔널 에이디 엘엘씨 범용 교정 타겟들 및 교정 공간들
WO2023170766A1 (ja) * 2022-03-08 2023-09-14 三菱電機株式会社 レーダ断面積算出装置、レーダ断面積算出方法及びレーダ装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11269066B2 (en) * 2019-04-17 2022-03-08 Waymo Llc Multi-sensor synchronization measurement device
GB202312965D0 (en) * 2020-07-27 2023-10-11 Motional Ad Llc Autonomous vehicle stations
CN113992255B (zh) * 2021-12-27 2022-04-19 南京典格通信科技有限公司 一种基于***帧号的天线校准方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4972192A (en) * 1989-11-06 1990-11-20 Georgia Tech Research Corporation Constant amplitude doppler producing radar reflector
JP2007218738A (ja) 2006-02-16 2007-08-30 Kumamoto Univ 校正装置、物標検知装置および校正方法
JP2018082313A (ja) * 2016-11-16 2018-05-24 本田技研工業株式会社 周辺監視装置
JP2018097688A (ja) * 2016-12-14 2018-06-21 株式会社デンソー 物体検出装置、物体検出方法
US20190072646A1 (en) * 2017-09-05 2019-03-07 Valeo Radar Systems, Inc. Automotive radar sensor blockage detection using adaptive overlapping visibility
WO2019097731A1 (ja) * 2017-11-20 2019-05-23 三菱電機株式会社 障害物認識装置および障害物認識方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9255989B2 (en) * 2012-07-24 2016-02-09 Toyota Motor Engineering & Manufacturing North America, Inc. Tracking on-road vehicles with sensors of different modalities

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4972192A (en) * 1989-11-06 1990-11-20 Georgia Tech Research Corporation Constant amplitude doppler producing radar reflector
JP2007218738A (ja) 2006-02-16 2007-08-30 Kumamoto Univ 校正装置、物標検知装置および校正方法
JP2018082313A (ja) * 2016-11-16 2018-05-24 本田技研工業株式会社 周辺監視装置
JP2018097688A (ja) * 2016-12-14 2018-06-21 株式会社デンソー 物体検出装置、物体検出方法
US20190072646A1 (en) * 2017-09-05 2019-03-07 Valeo Radar Systems, Inc. Automotive radar sensor blockage detection using adaptive overlapping visibility
WO2019097731A1 (ja) * 2017-11-20 2019-05-23 三菱電機株式会社 障害物認識装置および障害物認識方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3901652A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230031754A (ko) * 2021-08-27 2023-03-07 모셔널 에이디 엘엘씨 범용 교정 타겟들 및 교정 공간들
KR102631142B1 (ko) * 2021-08-27 2024-01-29 모셔널 에이디 엘엘씨 범용 교정 타겟들 및 교정 공간들
WO2023170766A1 (ja) * 2022-03-08 2023-09-14 三菱電機株式会社 レーダ断面積算出装置、レーダ断面積算出方法及びレーダ装置
JP7459403B2 (ja) 2022-03-08 2024-04-01 三菱電機株式会社 レーダ断面積算出装置、レーダ断面積算出方法及びレーダ装置

Also Published As

Publication number Publication date
US20220018932A1 (en) 2022-01-20
EP3901652A4 (en) 2022-06-22
US20220390557A9 (en) 2022-12-08
JPWO2020129369A1 (ja) 2021-11-04
EP3901652A1 (en) 2021-10-27
CN113167859A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
WO2020129369A1 (ja) キャリブレーション装置とキャリブレーション方法とプログラムおよびキャリブレーションシステムとキャリブレーションターゲット
US20200241549A1 (en) Information processing apparatus, moving apparatus, and method, and program
US11341615B2 (en) Image processing apparatus, image processing method, and moving body to remove noise in a distance image
US11959999B2 (en) Information processing device, information processing method, computer program, and mobile device
US11377101B2 (en) Information processing apparatus, information processing method, and vehicle
JPWO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US11590985B2 (en) Information processing device, moving body, information processing method, and program
WO2020116206A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US11200795B2 (en) Information processing apparatus, information processing method, moving object, and vehicle
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
US20220383749A1 (en) Signal processing device, signal processing method, program, and mobile device
US20230370709A1 (en) Imaging device, information processing device, imaging system, and imaging method
US20240054793A1 (en) Information processing device, information processing method, and program
US20230230368A1 (en) Information processing apparatus, information processing method, and program
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
JPWO2020116194A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US20220319013A1 (en) Image processing device, image processing method, and program
CN112567726B (zh) 信息处理设备，信息处理方法和计算机可读记录介质
WO2022004423A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2020129656A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2020036044A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2023054090A1 (ja) 認識処理装置、認識処理方法、および認識処理システム
WO2022024569A1 (ja) 情報処理装置と情報処理方法およびプログラム
WO2024157658A1 (ja) 車載カメラ
WO2023021756A1 (ja) 情報処理システム、情報処理装置、及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19899989

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020561175

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019899989

Country of ref document: EP

Effective date: 20210719