WO2017057042A1 - 信号処理装置、信号処理方法、プログラム、および、物体検出システム - Google Patents
信号処理装置、信号処理方法、プログラム、および、物体検出システム Download PDFInfo
- Publication number
- WO2017057042A1 WO2017057042A1 PCT/JP2016/077398 JP2016077398W WO2017057042A1 WO 2017057042 A1 WO2017057042 A1 WO 2017057042A1 JP 2016077398 W JP2016077398 W JP 2016077398W WO 2017057042 A1 WO2017057042 A1 WO 2017057042A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- target
- image
- signal processing
- coordinate system
- vehicle
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
- G01C3/085—Use of electric radiation detectors with electronic parallax measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
- G01S7/4052—Means for monitoring or calibrating by simulation of echoes
- G01S7/4082—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder
- G01S7/4091—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder during normal radar operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Definitions
- the present disclosure relates to a signal processing device, a signal processing method, a program, and an object detection system, and in particular, a signal processing device, a signal processing method, a program, and an object detection system that can accurately perform object detection.
- a signal processing device a signal processing method, a program, and an object detection system that can accurately perform object detection.
- Patent Document 1 discloses a radar apparatus that detects an object in front of the host vehicle as an object, and an object detection apparatus that corrects a shift in the detection direction axis of the imaging apparatus in accordance with the traveling environment of the host vehicle.
- a technique for suppressing calibration at a place unsuitable for calibration from information and navigation information is disclosed.
- the present disclosure has been made in view of such a situation, and makes it possible to accurately detect an object.
- the target is reliable by the reliability determination unit that determines whether the target is reliable by communication with the target whose position information is known, and the reliability determination unit
- a calibration processing unit that performs a calibration process for eliminating the shift of the coordinate system occurring in the stereo image and radar image where the target is detected.
- the signal processing method or program determines whether or not the target is reliable through communication with a target whose position information is known, and when the target is determined to be reliable, Including a step of performing a calibration process for eliminating the shift of the coordinate system occurring in the stereo image and the radar image in which is detected.
- An object detection system uses a stereo image capturing apparatus that acquires a stereo image by capturing images with a plurality of image capturing units, and uses a radio wave in a predetermined wavelength range to be within an irradiation range of the radio wave. Whether or not the target is reliable by communication with a radar device that acquires a radar image in which the position of an object is detected, a communication device that communicates with a target whose position information is known, and the target via the communication device A reliability determination unit that determines whether the target is reliable by the reliability determination unit, and a coordinate system generated in the stereo image and the radar image in which the target is detected.
- a signal processing device including a calibration processing unit that performs a calibration process for eliminating the deviation;
- Calibration processing is performed to eliminate the shift of the coordinate system occurring in the image and the radar image.
- object detection can be performed accurately.
- FIG. 18 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
- FIG. 1 is a block diagram illustrating a configuration example of an in-vehicle sensor (object detection system) in which a signal processing device to which the present technology is applied is incorporated.
- the in-vehicle sensor 11 includes a millimeter wave radar 12, a right camera 13R, a left camera 13L, a position measuring device 14, a communication device 15, and a signal processing device 16.
- the millimeter wave radar 12 can detect the position of an object within the millimeter wave irradiation range using millimeter wave radio waves (hereinafter referred to as millimeter waves). For example, the millimeter wave radar 12 irradiates millimeter waves forward in the traveling direction of the vehicle, and sets the traveling direction as the Z axis and the horizontal direction orthogonal to the traveling direction as the X axis. A radar image indicating the position is supplied to the signal processing device 16.
- millimeter waves hereinafter referred to as millimeter waves.
- the right camera 13R and the left camera 13L are arranged at the same height and at a predetermined interval in the lateral direction, and image the front in the traveling direction of the vehicle.
- the right camera image which is an image captured by the right camera 13R
- the left camera image which is an image captured by the left camera 13L
- the positional relationship between the right camera 13R and the left camera 13L is accurately calibrated.
- a pair of the right camera 13R and the left camera 13L is also referred to as a stereo camera 13 as appropriate, and a right camera image and a left camera image are also referred to as a stereo image unless otherwise distinguished.
- the position measuring device 14 can measure the current position by receiving a radio wave from the satellite by using a satellite navigation system such as GPS (Global Positioning System), and outputs position information obtained by the measurement as a signal. This is supplied to the processing device 16. Further, the position measurement device 14 may measure the position information by matching a travel route on the map data based on, for example, acceleration data or travel distance data.
- a satellite navigation system such as GPS (Global Positioning System)
- GPS Global Positioning System
- the communication device 15 can perform communication complying with the Wi-Fi standard, for example, and communicates with a target (a target 22 shown in FIG. 3 described later) having a communication function as described later.
- the communication device 15 can perform communication via a mobile communication network used for communication by a mobile phone, and can acquire various types of information such as map data via a network such as the Internet. Can do.
- the signal processing device 16 Based on the radar image supplied from the millimeter wave radar 12 and the stereo image supplied from the stereo camera 13, the signal processing device 16 accurately specifies the position of an object such as a vehicle shown in those images. Signal processing. For example, the object specified by the signal processing device 16 is recognized as an obstacle to the traveling of the vehicle, supplied to a vehicle braking system (not shown), and used for automatic driving control for avoiding a collision with the object. . Further, the signal processing device 16 can perform a calibration process for adjusting a shift between the coordinate axes of the radar image and the stereo image when it is determined that the target is reliable as will be described later. The detailed configuration of the signal processing device 16 will be described later with reference to FIG.
- the position of the vehicle shown in the stereo image captured by the stereo camera 13 is specified based on a coordinate system as shown in the upper left of FIG. That is, in the stereo image of the stereo camera 13, the horizontal direction orthogonal to the traveling direction of the vehicle is the X axis, the vertical direction orthogonal to the traveling direction of the vehicle is the Y axis, and the traveling direction of the vehicle is the Z axis.
- the position of the vehicle is specified based on the coordinate system.
- the position of the vehicle shown in the radar image acquired by the millimeter wave radar 12 is specified based on a coordinate system as shown in the upper right of FIG. That is, in the radar image of the millimeter wave radar 12, the position of the vehicle is specified based on a coordinate system in which the horizontal direction orthogonal to the traveling direction of the vehicle is the X axis and the traveling direction of the vehicle is the Z axis.
- the signal processing device 16 can specify the position of the vehicle using both the stereo image and the radar image. For example, the vehicle A displayed in front of the right side of the stereo image. Corresponds to the laser image shown in the lower right of the radar image.
- the signal processing device 16 maps a vehicle detected from these images to a coordinate system in the real space, thereby An accurate and more robust vehicle position can be identified.
- the coordinate system of the stereo image and the coordinate system of the radar image are adjusted using a large-scale system at the time of shipment of the in-vehicle sensor 11 so as to coincide with the coordinate system of the real space.
- deviations may occur in those coordinate systems, and there is a possibility that the vehicle detected from the stereo image and the radar image cannot be accurately detected.
- the in-vehicle sensor 11 appropriately performs a calibration process for eliminating the deviation between the coordinate axes of the radar image and the stereo image, and matches the correspondence of the detected objects to accurately detect the objects. Need to be able to. That is, when each of the stereo camera 13 and the millimeter wave radar 12 detects the same vehicle, the adjustment that maps to match the same position in the coordinate system of the real space is compared with the time of shipment. It is important to do simply.
- the in-vehicle sensor 11 can perform a calibration process using, for example, a target as shown in FIG.
- FIG. 3 shows the positional relationship between the vehicle 21 on which the vehicle-mounted sensor 11 is mounted and the four targets 22A to 22D.
- the in-vehicle sensor 11 has a millimeter wave radar 12 and a stereo camera 13 in front of the vehicle 21 inside the windshield of the vehicle 21 so that an object in front of the vehicle 21 can be detected. Fixed to face.
- the targets 22A to 22D are installed on the road shoulder at a predetermined height that can be detected by the millimeter wave radar 12 and the stereo camera 13 of the in-vehicle sensor 11.
- the targets 22A to 22D can be installed at a known constant interval (or a specific encoded interval) with an appearance like a reflector provided at the upper end of a guardrail post.
- the height at which the targets 22A to 22D are installed is preferably about 1 meter with the highest calibration accuracy, for example, with emphasis on human recognition.
- the in-vehicle sensor 11 acquires a stereo image and a radar image of the same coordinate system as described above with reference to FIG. To do.
- the horizontal direction orthogonal to the traveling direction of the vehicle is taken as the X axis
- the vertical direction perpendicular to the traveling direction of the vehicle is taken as the Y axis.
- the targets 22A to 22D are detected in a coordinate system in which the traveling direction is the Z axis.
- the millimeter wave radar 12 detects the targets 22A to 22D in a coordinate system in which the horizontal direction orthogonal to the traveling direction of the vehicle is the X axis and the traveling direction of the vehicle is the Z axis.
- the signal processing device 16 maps the targets 22A to 22D detected from the stereo image and the targets 22A to 22D detected from the radar image to the coordinate system in the real space. To do.
- the signal processing device 16 performs calibration so as to eliminate the deviation when the positions of the targets 22A to 22D detected from the stereo image and the radar image are generated.
- the position information of the targets 22A to 22D is known according to the coordinate system in the real space, and the signal processing device 16 can refer to the map data in which the position information is registered. Then, the signal processing device 16 performs calibration by rotating or translating the coordinate system of the stereo image and the radar image so that the deviation from the known positions of the targets 22A to 22D is minimized.
- the targets 22A to 22D are installed in public places such as road shoulders, the reliability that the objects detected by the stereo image and the radar image are actually registered in the map data is low. There is concern. That is, in order to perform the calibration process accurately, it is necessary to ensure the reliability of the targets 22A to 22D.
- the signal processing device 16 is configured to perform a calibration process when it is determined that the targets 22A to 22D are reliable.
- targets 22 when it is not necessary to distinguish each of the targets 22A to 22D as appropriate, they are simply referred to as targets 22.
- FIG. 5 is a block diagram illustrating a configuration example of the signal processing device 16.
- the signal processing device 16 includes an own vehicle position specifying unit 31, a storage unit 32, a target installation area determination unit 33, a reliability determination unit 34, a calibration processing unit 35, and an object detection processing unit 36. It is prepared for.
- the own vehicle position specifying unit 31 specifies the position of the vehicle 21 (hereinafter, appropriately referred to as the own vehicle position) according to the position information supplied from the position measurement device 14 of FIG. 1, and sets the own vehicle position of the vehicle 21 as a target. It supplies to the region judgment part 33.
- the storage unit 32 stores map data in which arrangement information indicating the position where the target 22 is installed is registered.
- the map data can be acquired or updated via a network such as the Internet by communication of the communication device 15 in FIG.
- the target installation area determination unit 33 Based on the own vehicle position of the vehicle 21 supplied from the own vehicle position specifying unit 31, the target installation area determination unit 33 acquires the installation position of the target 22 closest to the own vehicle position from the map data in the storage unit 32. To do. Then, the target installation area determination unit 33 determines whether the vehicle position of the vehicle 21 is within an installation area that is a predetermined range centered on the installation position of the target 22. When the target installation area determination unit 33 determines that the position of the vehicle 21 is within the installation area of the target 22, the target installation area determination unit 33 supplies the determination result to the reliability determination unit 34 to perform reliability determination. Make it.
- the reliability determination unit 34 requests, for example, a digital signature from the target 22 through communication with the target 22 via the communication device 15 in FIG. 1, and uses the digital signature transmitted from the target 22.
- the reliability of the target 22 can be determined.
- the calibration processing unit 35 is a calibration that eliminates the deviation of the coordinate system that occurs in the stereo image and radar image in which the target 22 is detected when the reliability determination unit 34 determines that the target 22 is reliable. Process. The calibration processing by the calibration processing unit 35 will be described later with reference to FIGS.
- the object detection processing unit 36 detects an object in front of the vehicle 21 based on the stereo image and the radar image according to the coordinate system to which the calibration by the calibration processing unit 35 is applied.
- the object detection processing unit 36 can accurately perform object detection.
- the reliability determination unit 34 performs the determination of reliability, thereby performing the determination process more appropriately. Can do.
- FIG. 6 is a block diagram illustrating a configuration example of the signal processing device included in the target 22.
- the signal processing device 51 includes a receiving unit 52, a signature creating unit 53, and a transmitting unit 54.
- the target 22 includes a communication device (not shown) that performs communication based on, for example, the Wi-Fi standard, as with the communication device 15 of the in-vehicle sensor 11.
- the receiving unit 52 When receiving the signature request through communication with the signal processing device 51, the receiving unit 52 notifies the signature creating unit 53 that a digital signature has been requested.
- the signature creation unit 53 calculates a hash value of predetermined data with a hash function, for example, and encrypts the hash value with the secret key of the signal processing device 51. Then, the signature creation unit 53 supplies the predetermined data and the encrypted hash value to the transmission unit 54 as a digital signature.
- the transmitting unit 54 transmits the digital signature (predetermined data and the encrypted hash value) created by the signature creating unit 53 to the signal processing device 51 via the communication device.
- the signal processing device 51 of the target 22 can transmit a digital signature in response to a signature request from the signal processing device 16.
- the reliability determination unit 34 decrypts the encrypted hash value transmitted from the target 22 as a digital signature with the public key of the signal processing device 51. In addition, the reliability determination unit 34 calculates a hash value by using a hash function for predetermined data transmitted together with the encrypted hash value. Then, the reliability determination unit 34 compares the hash value calculated from the predetermined data with the hash value decrypted with the public key, and determines that the target 22 is reliable when they match.
- the public key of the signal processing device 51 is registered in the map data stored in the storage unit 32 together with the position information of the target 22, for example.
- the calibration processing by the calibration processing unit 35 is performed.
- the calibration processing unit 35 A stereo image and a radar image are acquired via the object detection processing unit 36.
- stereo images (right camera image and left camera image) as shown in the upper part of FIG. 7 are supplied to the calibration processing unit 35.
- the targets 22A to 22D are configured such that they can be identified by, for example, a two-dimensional code attached to the targets 22A to 22D themselves.
- the calibration processing unit 35 can individually detect the targets 22A to 22D by recognizing the stereo image and recognizing the two-dimensional code. That is, as shown on the left side in the middle of FIG. 7, the calibration processing unit 35 can identify each of the targets 22A to 22D.
- the calibration processing unit 35 estimates the distance to the captured object based on the parallax between the right camera image and the left camera image, and the estimated distance as shown on the right side of the middle stage of FIG.
- the represented distance image can be acquired.
- the calibration process part 35 specifies the distance to each of the targets 22A thru
- the radar image as shown on the upper right side of FIG. 8 is supplied to the calibration processing unit 35. Then, the calibration processing unit 35 reads the arrangement information of the targets 22A to 22D from the storage unit 32.
- the calibration processing unit 35 performs alignment (correspondence detection processing) between the targets 22A to 22D shown in the radar image and the arrangement information of the targets 22A to 22D, as shown in the lower part of FIG. In addition, each of the targets 22A to 22D can be specified.
- the calibration process part 35 maps the targets 22A thru
- the calibration processing unit 35 sets the coordinate system of the stereo image so that the deviation between the targets 22A to 22D detected from the stereo image and the targets 22A to 22D based on the position information acquired from the map data is minimized. Rotate or translate. Thereby, the calibration processing unit 35 performs calibration of the coordinate system of the stereo image.
- the calibration processing unit 35 adjusts the coordinate system of the radar image so that the deviation between the targets 22A to 22D detected from the radar image and the targets 22A to 22D based on the position information acquired from the map data is minimized. Rotate or translate Thereby, the calibration processing unit 35 performs calibration of the coordinate system of the radar image.
- the object detected from the stereo image By performing calibration so that the coordinate system of the stereo image and the coordinate system of the radar image match the coordinate system of the real space (the error is minimized), the object detected from the stereo image, The position of the object detected from the radar image can be matched.
- the signal processing device 16 is set to perform signal processing periodically (for example, every fixed time or every fixed mileage).
- the own vehicle position specifying unit 31 acquires position information from the position measuring device 14, specifies the own vehicle position of the vehicle 21, and supplies the own vehicle position of the vehicle 21 to the target installation area determination unit 33. .
- step S12 the target installation area determination unit 33 acquires, from the map data in the storage unit 32, the installation position of the target 22 that is closest to the vehicle position based on the vehicle position of the vehicle 21 supplied in step S11. To do.
- step S13 the target installation area determination unit 33 determines whether or not the vehicle position of the vehicle 21 is within the installation area of the target 22, based on the installation position of the target 22 acquired in step S12.
- the target installation area determination unit 33 determines that the vehicle position of the vehicle 21 is not within the installation area of the target 22, the signal processing ends.
- the target installation area determination unit 33 determines that the vehicle position of the vehicle 21 is within the installation area of the target 22, the process proceeds to step S14.
- step S14 the reliability determination unit 34 performs a target reliability determination process as described with reference to FIG.
- step S15 the reliability determination unit 34 determines whether all the targets 22 in the installation area are reliable according to the processing result of the target reliability determination process.
- the reliability determination unit 34 determines that all the targets 22 in the installation area are unreliable (that is, there is even one unreliable target 22)
- the signal processing ends.
- the reliability determination unit 34 determines that all the targets 22 in the installation area are reliable, the process proceeds to step S16.
- step S16 after the calibration processing unit 35 performs the calibration processing described with reference to FIG. 12, the signal processing is ended.
- FIG. 11 is a flowchart for explaining the target reliability determination process performed in step S14 of FIG.
- the reliability determination unit 34 stores the arrangement information of the target 22 estimated to be detected from the stereo image and the radar image based on the own vehicle position and the traveling direction of the vehicle 21 in the storage unit 32. Read out from the map data. For example, the reliability determination unit 34 acquires arrangement information of the target 22 in the irradiation range of the millimeter wave in front of the vehicle 21 on the map data.
- step S ⁇ b> 22 the reliability determination unit 34 requests the communication device 15 to sign the target 22 whose arrangement information has been acquired in step S ⁇ b> 21 in a predetermined order, and the communication device 15 Send a signature request to.
- the signal processing device 51 of the target 22 transmits a digital signature in response to a signature request from the signal processing device 16.
- step S23 the reliability determination unit 34 receives the digital signature (predetermined data and the encrypted hash value) transmitted from the target 22 via the communication device 15.
- step S24 the reliability determination unit 34 determines whether the digital signature has been successfully received in step S23. If it is determined that the digital signature has not been successfully received, the process returns to step S22. The signature request is repeatedly transmitted. On the other hand, if the reliability determination unit 34 determines in step S24 that the digital signature has been successfully received, the process proceeds to step S25.
- step S25 the reliability determination unit 34 decrypts the encrypted hash value transmitted from the target 22 as a digital signature with the public key of the signal processing device 51.
- step S26 the reliability determination unit 34 calculates a hash value by using a hash function for predetermined data transmitted together with the encrypted hash value. Then, the reliability determination unit 34 compares the hash value calculated from the predetermined data with the hash value decrypted with the public key.
- step S27 the reliability determination unit 34 determines whether the hash values match as a result of the comparison in step S26.
- step S27 when the reliability determination unit 34 determines that the hash values match, the process proceeds to step S28. And the reliability determination part 34 acquires the determination result that it can trust with respect to the target 22 used as the object of a process.
- step S27 when the reliability determination unit 34 determines in step S27 that the hash values do not match, the process proceeds to step S29. And the reliability determination part 34 acquires the determination result that it cannot trust with respect to the target 22 used as the object of a process.
- step S28 or S29 the process proceeds to step S30, and the reliability determination unit 34 determines whether or not the determination result has been acquired for all the targets 22 for which the arrangement information has been acquired in step S21.
- step S30 when the reliability determination unit 34 determines that all the targets 22 are not processed and has acquired the determination result, the process returns to step S22, and the next target 22 that has not yet acquired the determination result. In the following, the same processing is repeated. On the other hand, when the reliability determination unit 34 determines in step S30 that the determination result has been acquired for all the targets 22 as a processing target, the target reliability determination process is terminated.
- FIG. 12 is a flowchart for explaining the calibration process performed in step S16 of FIG.
- step S41 the calibration processing unit 35 acquires a stereo image and a radar image via the object detection processing unit 36.
- step S ⁇ b> 42 the calibration processing unit 35 stores the arrangement information of the target 22 estimated to be detected from the stereo image and the radar image based on the vehicle position and the traveling direction of the vehicle 21 in the storage unit 32. Read out from the map data. For example, the calibration processing unit 35 acquires arrangement information of the target 22 in the millimeter wave irradiation range in front of the vehicle 21 on the map data.
- step S43 the calibration processing unit 35 performs image recognition on the stereo image using the distance image obtained using the parallax of the stereo image acquired in step S41.
- the distance to the individually recognized target 22 is specified.
- step S44 the calibration processing unit 35, as described above with reference to FIG. 8, sets the position information of the target 22 detected in the radar image acquired in step S41 and the arrangement information of the target 22 acquired in step S42. By matching, the target 22 is specified individually.
- step S45 the calibration processing unit 35 maps the target 22 specified from the stereo image in step S43 and the target 22 specified from the radar image in step S44 to a real space coordinate system. Then, the calibration processing unit 35 performs calibration so that the deviation between the known position of the target 22 and the position of the target 22 specified from the stereo image and the radar image is eliminated. Thereafter, the calibration processing unit 35 supplies the calibration result (rotation and translation of the coordinate system) to the object detection processing unit 36, and the object detection processing unit 36 detects the object according to the coordinate system to which the calibration is applied. Thus, the calibration process is terminated.
- the calibration processing unit 35 detects the correspondence between the arrangement information of the target 22 and the target 22 detected in the radar image.
- the placement information of the target 22 is also referred to as pre-placement information.
- the position of the target 22 is specified in the world coordinate system.
- Y Det (k) is a fixed value.
- K targets in the sensor coordinate system of the millimeter wave radar 12 or the stereo camera 13, K or more targets may be detected due to the influence of disturbance or the like.
- the target position f in the pre-arrangement information, there are five targets, but in the sensor coordinate system, the target position f is detected as a target by noise, for example, and the target detection positions a to f are 6 Targets have been detected.
- the detection of the correspondence between the five target positions 1 to 5 on the world coordinate system and the six target detection positions a to f on the sensor coordinate system is most likely performed by a three-dimensional point of a different coordinate system. It can be solved by considering it as a graph matching problem that finds the correspondences that overlap well.
- the correspondence (connection) between the five target positions 1 to 5 on the world coordinate system and the six target detection positions a to f on the sensor coordinate system is represented by a matrix variable X of M rows and N columns, and (1).
- the subscript i of x is a variable for identifying a target on the world coordinate system (0 ⁇ i ⁇ M + 1)
- the subscript j of x is a variable for identifying a target on the sensor coordinate system (0 ⁇ j ⁇ N + 1).
- x i, j represents whether or not the i th target on the world coordinate system and the j th target on the sensor coordinate system are connected, and is “1” when connected, “0” when not connected. It is a variable that takes
- the target position 1 on the world coordinate system and the target detection position a on the sensor coordinate system For example, as shown by a thick solid line in FIG. 15, the target position 1 on the world coordinate system and the target detection position a on the sensor coordinate system, the target position 2 on the world coordinate system and the target detection position b on the sensor coordinate system. , Target position 3 on the world coordinate system, target detection position c on the sensor coordinate system, target position 4 on the world coordinate system, target detection position d on the sensor coordinate system, and target position 5 on the world coordinate system
- the matrix variable X representing the correspondence is expressed by the following equation (2).
- the calibration processing unit 35 obtains X that maximizes the score function score (X) using the matrix variable X represented by the equation (2).
- the score function score (X) is expressed by the following equation (3).
- i1 and i2 are variables that identify targets on the world coordinate system
- j1 and j2 are variables that identify targets on the sensor coordinate system.
- l i1, i2 is the length of the line segment connecting P MAP (i1) and P MAP (i2) on the world coordinate system
- h j1, j2 is P Det (j1) and P Det on the sensor coordinate system This represents the length of the line segment connecting (j2).
- S (l i1, i2 , h j1, j2 ) represents the similarity between the line length l i1, i2 and the line length h j1, j2 , and the line length l i1, i2 and the line The closer the minute length h j1, j2 is, the larger the value becomes.
- Similarity S (l i1, i2, h j1, j2) for example, the length of the line segment l i1, i2 and the line segment of length h j1, j2 of the difference d (l i1, i2, h j1, j2
- the following equation (4) using) can be employed.
- the first correspondence detection process described above is a detection method that uses the target pre-position information, but the target detected by the radar three-dimensional coordinate system and the camera three-dimensional coordinates without using the target pre-position information. It is also possible to detect the correspondence with the target detected by the system.
- the calibration processing unit 35 determines at least one of the target position P MMW (k) on the radar three-dimensional coordinate system and the target position P cam (k) on the camera three-dimensional coordinate system. By superimposing by sliding a predetermined amount, it is possible to match the targets arranged in the nearest vicinity. ⁇ 5. Detailed explanation of calculation of positional relationship>
- the calibration processing unit 35 calculates the positional relationship between the millimeter wave radar 12 and the stereo camera 13 using a plurality of targets whose correspondences have been specified as described above.
- the position of the kth target (0 ⁇ k ⁇ K + 1) among the K targets for which the correspondence relationship has been specified is P in the radar three-dimensional coordinate system.
- MMW (k) [X MMW (k) Y A Z MMW (k)] T.
- P cam (k) [X cam (k) Y cam (k) Z cam (K)] T.
- T represents transposition
- Y A represents a predetermined fixed value.
- the calibration processing unit 35 is an expression representing the positional relationship between the target position P MMW (k) on the radar three-dimensional coordinate system and the target position P cam (k) on the camera three-dimensional coordinate system for each of the K targets. Substituting into (5) and solving the optimization problem using the least square method or the like, the rotation matrix R and the translation vector V in equation (5) are calculated.
- k is a variable (0 ⁇ k ⁇ K + 1) for identifying a predetermined one of a plurality (K) of targets
- P cam (k) is a camera three-dimensional coordinate system.
- the detected target detection position of the kth target, P MMW (k) represents the target detection position of the kth target detected in the radar three-dimensional coordinate system.
- Expression (5) is an expression for converting the target detection position P MMW (k) of the k-th target detected in the radar three-dimensional coordinate system into the target detection position P cam (k) on the camera three-dimensional coordinate system.
- the rotation matrix R represents the attitude of the millimeter wave radar 12 with respect to the stereo camera 13
- the translation vector V represents the position of the millimeter wave radar 12 with respect to the stereo camera 13.
- the rotation matrix R Since there are three variables of the rotation matrix R and three variables of the translation vector V, if at least six target detection positions can be obtained, the rotation matrix R and the translation vector V of Expression (5) are calculated. be able to. Note that the rotation matrix R can be expressed by a quaternion in addition to using the least square method.
- the communication device 15 employs a communication method other than Wi-Fi, for example, communication using visible light, communication using millimeter waves output from the millimeter wave radar 12, and the like. May be.
- the signal processing device 16 may always refer to the latest map data via a network by communication via the communication device 15.
- the millimeter wave radar 12 and the stereo camera 13 are mounted so that the detection direction faces the front of the vehicle 21 and the object in front of the vehicle 21 is detected.
- the detection direction is not limited to the front of the vehicle 21.
- the in-vehicle sensor 11 detects an object behind the vehicle.
- the present technology can be mounted on a moving object that moves on land, such as a robot, in addition to the vehicle. is there.
- the series of processes including the calibration process described above can be executed by hardware or can be executed by software.
- a program constituting the software is installed in the computer.
- the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
- FIG. 19 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
- a CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- An input / output interface 205 is further connected to the bus 204.
- An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
- the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
- the output unit 207 includes a display, a speaker, and the like.
- the storage unit 208 includes a hard disk, a nonvolatile memory, and the like.
- the communication unit 209 includes a network interface and the like.
- the drive 210 drives a removable recording medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
- the CPU 201 loads, for example, the program stored in the storage unit 208 to the RAM 203 via the input / output interface 205 and the bus 204 and executes the program. Is performed.
- the program can be installed in the storage unit 208 via the input / output interface 205 by attaching the removable recording medium 211 to the drive 210. Further, the program can be received by the communication unit 209 via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting, and can be installed in the storage unit 208. In addition, the program can be installed in the ROM 202 or the storage unit 208 in advance.
- the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
- the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
- Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
- the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
- each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
- the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
- this technique can also take the following structures.
- a reliability determination unit that determines whether the target is reliable by communication with a target whose position information is known;
- a calibration process for performing a calibration process for eliminating a shift of a coordinate system occurring in a stereo image and a radar image in which the target is detected when the reliability determination unit determines that the target is reliable.
- a signal processing device that performs a calibration process for eliminating a shift of a coordinate system occurring in a stereo image and a radar image in which the target is detected when the reliability determination unit determines that the target is reliable.
- An own vehicle position specifying unit for specifying a current position of a vehicle on which the signal processing device is mounted; Reference to map data in which a plurality of target placement positions are registered, and target installation area determination that causes the reliability determination unit to make a determination when the current position of the vehicle is within the target installation area
- the signal processing apparatus further including: (3) The calibration processing unit Individually recognizing the target shown in the stereo image by performing image recognition on the stereo image; The signal processing device according to (1) or (2), wherein the distance of the target that is individually recognized is specified using a distance image obtained by using parallax of the stereo image.
- the calibration processing unit individually recognizes the targets detected in the radar image by aligning the position information of the known target with the target detected in the radar image.
- the signal processing device according to any one of (1) to (3).
- the calibration processing unit maps the target recognized from the stereo image and the radar image to a coordinate system in a real space based on the known position information of the target, and shifts from the known position of the target.
- the signal processing device according to any one of (1) to (4), wherein the calibration is performed by rotating or translating the coordinate system of the stereo image and the radar image so that the minimum value is minimized.
- the reliability determination unit requests a digital signature from the target and determines the reliability of the target using the digital signature transmitted from the target. (1) to (5) The signal processing device according to any one of the above.
- a signal processing method including a step of performing a calibration process for eliminating a shift of a coordinate system occurring in a stereo image and a radar image in which the target is detected when it is determined that the target is reliable.
- a stereo image capturing device that acquires a stereo image by capturing images with a plurality of image capturing units;
- a radar device that acquires a radar image obtained by detecting a position of an object within an irradiation range of the radio wave using radio waves in a predetermined wavelength range;
- a communication device for communicating with a target whose position information is known;
- a reliability determination unit that determines whether or not the target is reliable by communication with the target via the communication device; and the target when the target is determined to be reliable by the reliability determination unit
- An object detection system comprising: a calibration processing unit that performs a calibration process that eliminates a shift in a coordinate system that has occurred in the stereo image and the radar image in which the image is detected.
- 11 in-vehicle sensor 12 millimeter wave radar, 13 stereo camera, 13R right camera, 13L left camera, 14 position measuring device, 15 communication device, 16 signal processing device, 21 vehicle, 22 target, 31 own vehicle position specifying unit, 32 storage Part, 33 target installation area judgment part, 34 reliability judgment part, 35 calibration processing part, 36 object detection processing part
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本開示は、物体検出を正確に行うことができるようにする信号処理装置、信号処理方法、プログラム、および、物体検出システムに関する。 ステレオカメラは、右カメラおよび左カメラにより撮像を行うことでステレオ画像を取得し、ミリ波レーダは、ミリ波帯の電波であるミリ波を利用して、ミリ波の照射範囲内にある物体の位置を検出したレーダ画像を取得する。そして、位置情報が既知のターゲットとの通信装置を介した通信により、ターゲットが信頼できるか否かを判定し、ターゲットが信頼できると判定された場合に、ターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行う。本技術は、例えば、自動運転制御を行う車両に搭載される車載センサに適用できる。
Description
本開示は、信号処理装置、信号処理方法、プログラム、および、物体検出システムに関し、特に、物体検出を正確に行うことができるようにした信号処理装置、信号処理方法、プログラム、および、物体検出システムに関する。
近年、自動車等の車両において、前方の車や歩行者を検知して自動でブレーキ制御等を行うことにより、衝突を回避する衝突回避システムの導入が進んでいる。
前方の車や歩行者などの物体の検知には、ステレオカメラで撮像された画像の画像認識や、ミリ波レーダやレーザレーダなどによるレーダ情報が用いられる。また、センサフュージョンと呼ばれる、ステレオカメラとレーダの両方を用いた物体検出システムの開発も進んでいる。このような物体検出システムでは、ステレオカメラとレーダとのキャリブレーションを正確に行うことが必要となる。
例えば、特許文献1には、自車両の前方の物体を対象物として検出するレーダ装置および撮像装置の検出方向軸のズレの補正を自車両の走路環境に応じて行う物体検出装置において、車両進行情報とナビゲーション情報からキャリブレーションに適さない場所でのキャリブレーションを抑制する技術が開示されている。
ところで、キャリブレーションに利用するために路肩などに設置されたターゲットを用いることで、より正確なキャリブレーションを行うことができるが、そのターゲットが信頼できるものである必要がある。つまり、信頼できるターゲットを利用してキャリブレーションを行うことで、より正確に物体検出を行うことができるようになる。
本開示は、このような状況に鑑みてなされたものであり、物体検出を正確に行うことができるようにするものである。
本開示の一側面の信号処理装置は、位置情報が既知のターゲットとの通信により、前記ターゲットが信頼できるか否かを判定する信頼性判定部と、前記信頼性判定部により前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行うキャリブレーション処理部とを備える。
本開示の一側面の信号処理方法またはプログラムは、位置情報が既知のターゲットとの通信により、前記ターゲットが信頼できるか否かを判定し、前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行うステップを含む。
本開示の一側面の物体検出システムは、複数の撮像部により撮像を行うことでステレオ画像を取得するステレオ画像撮像装置と、所定の波長域の電波を利用して、その電波の照射範囲内にある物体の位置を検出したレーダ画像を取得するレーダ装置と、位置情報が既知のターゲットと通信を行う通信装置と、前記通信装置を介した前記ターゲットとの通信により、前記ターゲットが信頼できるか否かを判定する信頼性判定部と、前記信頼性判定部により前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されている前記ステレオ画像および前記レーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行うキャリブレーション処理部と有する信号処理装置とを備える。
本開示の一側面においては、位置情報が既知のターゲットとの通信により、ターゲットが信頼できるか否かが判定され、そのターゲットが信頼できると判定された場合に、そのターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理が行われる。
本開示の一側面によれば、物体検出を正確に行うことができる。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。なお、説明は以下の順序で行う。
1.車載センサの構成例
2.信号処理装置の構成例
3.キャリブレーション処理の処理フロー
4.対応検出処理
5.位置関係の算出
6.コンピュータ構成例
1.車載センサの構成例
2.信号処理装置の構成例
3.キャリブレーション処理の処理フロー
4.対応検出処理
5.位置関係の算出
6.コンピュータ構成例
<1.車載センサの構成例について>
図1は、本技術を適用した信号処理装置が組み込まれる車載センサ(物体検出システム)の構成例を示すブロック図である。
図1に示すように、車載センサ11は、ミリ波レーダ12、右カメラ13R、左カメラ13L、位置計測装置14、通信装置15、および信号処理装置16を備えて構成される。
ミリ波レーダ12は、ミリ波帯の電波(以下、ミリ波と称する)を利用して、ミリ波の照射範囲内にある物体の位置を検出することができる。例えば、ミリ波レーダ12は、車両の進行方向の前方に向かってミリ波を照射して、その進行方向をZ軸とし、進行方向に対して直交する水平方向をX軸として、検出した物体の位置を示すレーダ画像を信号処理装置16に供給する。
右カメラ13Rおよび左カメラ13Lは、同一の高さで、横方向に所定の間隔を空けて配置されており、車両の進行方向の前方を撮像する。例えば、右カメラ13Rが撮像した画像である右カメラ画像と、左カメラ13Lが撮像した画像である左カメラ画像とは、それぞれの配置位置の違いから、視差(横方向のずれ)を有する画像となっている。また、右カメラ13Rおよび左カメラ13Lの位置関係は正確にキャリブレーションされている。なお、以下適宜、右カメラ13Rおよび左カメラ13Lの一組をステレオカメラ13とも称し、右カメラ画像と左カメラ画像を特に区別しない場合、ステレオ画像とも称する。
位置計測装置14は、例えば、GPS(Global Positioning System)などの衛星航法システムを利用し、衛星からの電波を受信することで現在位置を計測することができ、その計測により得られる位置情報を信号処理装置16に供給する。また、位置計測装置14は、例えば、加速度データや走行距離データに基づいて、地図データ上の走行経路をマッチングすることにより位置情報を計測してもよい。
通信装置15は、例えば、Wi-Fiの規格に準拠した通信を行うことができ、後述するような通信機能を備えたターゲット(後述する図3に示すターゲット22)と通信を行う。また、通信装置15は、携帯電話機による通信に利用される移動体通信網を介した通信を行うことができ、インターネットなどのネットワークを経由して各種の情報、例えば、地図データなどを取得することができる。
信号処理装置16は、ミリ波レーダ12から供給されるレーダ画像、および、ステレオカメラ13から供給されるステレオ画像に基づいて、それらの画像に映されている車両などの物体の位置を正確に特定する信号処理を行う。例えば、信号処理装置16によって特定された物体は、車両の走行に対する障害物として認識され、図示しない後段の車両制動システムに供給され、その物体との衝突を回避する自動運転制御などに利用される。また、信号処理装置16は、後述するようにターゲットが信頼できるものであると判定された場合に、レーダ画像の座標軸およびステレオ画像の座標軸のズレを調整するキャリブレーション処理を行うことができる。なお、信号処理装置16の詳細な構成については、図5を参照して後述する。
ここで、ステレオ画像とレーダ画像の対応関係について、図2を参照して説明する。
例えば、車載センサ11では、ステレオカメラ13により撮像されたステレオ画像に写されている車両の位置は、図2の左上に示すような座標系に基づいて特定される。即ち、ステレオカメラ13のステレオ画像では、車両の進行方向に対して直交する水平方向をX軸とし、車両の進行方向に対して直交する垂直方向をY軸とし、車両の進行方向をZ軸とした座標系に基づいて、車両の位置が特定される。
また、車載センサ11では、ミリ波レーダ12により取得されるレーダ画像に示される車両の位置は、図2の右上に示すような座標系に基づいて特定される。即ち、ミリ波レーダ12のレーダ画像では、車両の進行方向に対して直交する水平方向をX軸とし、車両の進行方向をZ軸としたとした座標系に基づいて、車両の位置が特定される。
このような座標系に基づいて、信号処理装置16は、ステレオ画像およびレーダ画像の両方を用いて車両の位置を特定することができ、例えば、ステレオ画像の右側の手前に映されている車両Aは、レーダ画像の右下に示されるレーザー像に対応する。
例えば、図2の下側に示すように、信号処理装置16は、ステレオ画像およびレーダ画像が供給されると、それらの画像から検出された車両を実空間の座標系にマッピングすることで、より正確な、かつ、よりロバストな車両の位置を特定することができる。一般的に、ステレオ画像の座標系およびレーダ画像の座標系は、実空間の座標系に一致するように、車載センサ11の出荷時に大掛かりなシステムを用いて調整される。しかしながら、車載センサ11の使用に伴う経年変化などにより、それらの座標系にズレが発生することがあり、ステレオ画像およびレーダ画像から検出された車両を正確に検出することができなくなる恐れがある。
従って、車載センサ11は、レーダ画像の座標軸およびステレオ画像の座標軸のズレを解消するためのキャリブレーション処理を適切に行って、それぞれ検出された物体の対応関係を一致させ、物体を正確に検出することができるようにする必要がある。即ち、ステレオカメラ13およびミリ波レーダ12それぞれが同一の車両を検出した場合に、実空間の座標系において、同一の位置に一致するようにマッピングされるような調整を、出荷時と比較して簡易的に行うことが重要となる。
そこで、車載センサ11は、例えば、図3に示すようなターゲットを利用して、キャリブレーション処理を行うことができる。
図3には、車載センサ11が搭載された車両21と、4つのターゲット22A乃至22Dとの位置関係が示されている。
図3に示すように、車載センサ11は、車両21の前方の物体を検出することができるように、車両21のフロントガラスの内側に、ミリ波レーダ12およびステレオカメラ13が車両21の前方に向かうように固定される。
また、ターゲット22A乃至22Dは、車載センサ11のミリ波レーダ12およびステレオカメラ13により検出可能な所定の高さで、路肩に設置される。例えば、ターゲット22A乃至22Dは、既知の一定の間隔(または、特定の符号化された間隔)で、ガードレールの支柱の上端に設けられる反射板のような見た目で設置することができる。また、ターゲット22A乃至22Dが設置される高さは、例えば、人物の認識を重視して、キャリブレーション精度が最も良い1メートル程度とすることが望ましい。
そして、車両21およびターゲット22A乃至22Dが、図3に示すような位置関係であるとき、車載センサ11は、図2を参照して上述したのと同様の座標系のステレオ画像およびレーダ画像を取得する。
即ち、図4の上段に示すように、ステレオカメラ13では、車両の進行方向に対して直交する水平方向をX軸とし、車両の進行方向に対して直交する垂直方向をY軸とし、車両の進行方向をZ軸としたとした座標系で、ターゲット22A乃至22Dが検出される。また、ミリ波レーダ12では、車両の進行方向に対して直交する水平方向をX軸とし、車両の進行方向をZ軸としたとした座標系で、ターゲット22A乃至22Dが検出される。
そして、信号処理装置16は、図4の下側に示すように、実空間の座標系に、ステレオ画像から検出されたターゲット22A乃至22D、および、レーダ画像から検出されたターゲット22A乃至22Dをマッピングする。
このとき、信号処理装置16は、ステレオ画像およびレーダ画像から検出されたターゲット22A乃至22Dの位置にズレが発生している場合、そのズレを解消するようなキャリブレーションを行う。例えば、ターゲット22A乃至22Dの位置情報は実空間の座標系に従って既知とされており、信号処理装置16は、それらの位置情報が登録された地図データを参照することができる。そして、信号処理装置16は、ターゲット22A乃至22Dの既知の位置とのズレが最小となるように、ステレオ画像およびレーダ画像の座標系をそれぞれ回転または並進させることによりキャリブレーションを行う。
ところで、ターゲット22A乃至22Dは、路肩などの公共の場所に設置されていることより、ステレオ画像およびレーダ画像により検出された物体が、本当に地図データに登録されているものであるという信頼性が低いことが懸念される。つまり、キャリブレーション処理を正確に行うためには、ターゲット22A乃至22Dの信頼性を確保する必要がある。
そこで、信号処理装置16は、ターゲット22A乃至22Dが信頼できると判定した場合に、キャリブレーション処理を行うことができるように構成される。なお、以下適宜、ターゲット22A乃至22Dそれぞれを区別する必要がない場合、単に、ターゲット22と称する。
<2.信号処理装置の構成例について>
図5は、信号処理装置16の構成例を示すブロック図である。
図5に示すように、信号処理装置16は、自車位置特定部31、記憶部32、ターゲット設置地域判断部33、信頼性判定部34、キャリブレーション処理部35、および物体検出処理部36を備えて構成される。
自車位置特定部31は、図1の位置計測装置14から供給される位置情報に従って、車両21の位置(以下適宜、自車位置と称する)を特定し、車両21の自車位置をターゲット設置地域判断部33に供給する。
記憶部32には、ターゲット22が設置されている位置を示す配置情報が登録された地図データが記憶されている。例えば、この地図データは、図1の通信装置15の通信によりインターネットなどのネットワークを経由して、取得または更新することができる。
ターゲット設置地域判断部33は、自車位置特定部31から供給される車両21の自車位置に基づいて、その自車位置に最も近いターゲット22の設置位置を、記憶部32の地図データから取得する。そして、ターゲット設置地域判断部33は、車両21の自車位置が、ターゲット22の設置位置を中心とした所定範囲である設置地域内であるかを判断する。ターゲット設置地域判断部33は、車両21の自車位置がターゲット22の設置地域内であると判断した場合には、その判断結果を信頼性判定部34に供給して、信頼性の判定を行わせる。
信頼性判定部34は、図1の通信装置15を介したターゲット22との通信により、例えば、ターゲット22に対してデジタル署名を要求し、ターゲット22から送信されてくるデジタル署名を利用して、ターゲット22の信頼性を判定することができる。
キャリブレーション処理部35は、信頼性判定部34によりターゲット22が信頼できると判定された場合に、ターゲット22が検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行う。なお、キャリブレーション処理部35によるキャリブレーション処理については、図7乃至図9を参照して後述する。
物体検出処理部36は、キャリブレーション処理部35によるキャリブレーションが適用された座標系に従って、ステレオ画像およびレーダ画像に基づいて、車両21の前方にある物体の検出を行う。
以上のように構成される信号処理装置16では、信頼性判定部34により信頼性があると判定されたターゲット22を利用してステレオ画像およびレーダ画像のキャリブレーションを行うことで、より正確にキャリブレーションを行うことができる。これにより、そのキャリブレーションが適用された座標系に従って、物体検出処理部36は、物体検出を正確に行うことができる。また、ターゲット設置地域判断部33によりターゲット22の設置地域内であると判断された場合に、信頼性判定部34による信頼性の判定を行うようにすることで、より適切に判定処理を行うことができる。
図6は、ターゲット22が備える信号処理装置の構成例を示すブロック図である。
図6に示すように、信号処理装置51は、受信部52、署名作成部53、および送信部54を備えて構成される。また、ターゲット22は、車載センサ11の通信装置15と同様に、例えば、Wi-Fiの規格に準拠した通信を行う通信装置(図示せず)を備えている。
受信部52は、信号処理装置51との通信により署名要求を受信すると、デジタル署名が要求されたことを署名作成部53に通知する。
署名作成部53は、例えば、ハッシュ関数で所定のデータのハッシュ値を算出し、そのハッシュ値を信号処理装置51の秘密鍵で暗号化する。そして、署名作成部53は、所定のデータと、暗号化したハッシュ値とを、デジタル署名として送信部54に供給する。
送信部54は、署名作成部53において作成されたデジタル署名(所定のデータ、および、暗号化したハッシュ値)を、通信装置を介して信号処理装置51に送信する。
このように、ターゲット22の信号処理装置51は、信号処理装置16からの署名要求に応じてデジタル署名を送信することができる。
そして、信号処理装置16では、信頼性判定部34が、デジタル署名としてターゲット22から送信されてきた、暗号化されたハッシュ値を信号処理装置51の公開鍵で復号する。また、信頼性判定部34は、暗号化されたハッシュ値とともに送信されてきた所定のデータについてハッシュ関数によりハッシュ値を算出する。そして、信頼性判定部34は、所定のデータから算出したハッシュ値と、公開鍵で復号したハッシュ値を比較して、それらが一致した場合、ターゲット22が信頼できるものと判定する。なお、信号処理装置51の公開鍵は、例えば、ターゲット22の位置情報とともに、記憶部32に記憶される地図データに登録されている。
このように、信号処理装置16では、デジタル署名を利用してターゲット22が信頼できるものと判定された場合に、キャリブレーション処理部35によるキャリブレーション処理が行われる。
ここで、図7乃至図9を参照して、キャリブレーション処理部35によるキャリブレーション処理について説明する。
例えば、車両21およびターゲット22A乃至22Dが、上述した図3に示すような位置関係であり、信頼性判定部34によりターゲット22A乃至22Dが信頼できると判定されると、キャリブレーション処理部35は、物体検出処理部36を介して、ステレオ画像およびレーダ画像を取得する。
このとき、キャリブレーション処理部35には、図7の上段に示すようなステレオ画像(右カメラ画像および左カメラ画像)が供給される。ここで、ターゲット22A乃至22Dは、例えば、ターゲット22A乃至22D自身に貼られている二次元コードなどにより、それぞれを識別することができるように構成されている。
従って、キャリブレーション処理部35は、ステレオ画像に対する画像認識を行って二次元コードを認識することにより、ターゲット22A乃至22Dを個別に検出することができる。即ち、図7の中段の左側に示すように、キャリブレーション処理部35は、ターゲット22A乃至22Dそれぞれを識別することができる。
また、キャリブレーション処理部35は、右カメラ画像および左カメラ画像の視差に基づいて、写されている物体までの距離を推定し、図7の中段の右側に示すように、推定された距離により表される距離画像を取得することができる。
そして、キャリブレーション処理部35は、ターゲット22A乃至22Dを個別に検出した画像と、距離画像とのアンドを取る(論理積を演算する)ことによって、ターゲット22A乃至22Dそれぞれまでの距離を特定することができる。また、キャリブレーション処理部35は、個別に検出されたターゲット22A乃至22Dに対応する箇所における距離画像の平均値または中央値を、ターゲット22A乃至22Dそれぞれまでの距離として特定することができる。
また、このとき、キャリブレーション処理部35には、図8の上段右側に示すようなレーダ画像が供給される。そして、キャリブレーション処理部35は、記憶部32からターゲット22A乃至22Dの配置情報を読み出す。
従って、キャリブレーション処理部35は、レーダ画像に映されているターゲット22A乃至22Dと、ターゲット22A乃至22Dの配置情報との位置合わせ(対応検出処理)を行うことにより、図8の下段に示すように、ターゲット22A乃至22Dそれぞれを特定することができる。
そして、図9に示すように、キャリブレーション処理部35は、ステレオ画像から検出されたターゲット22A乃至22Dと、レーダ画像から検出されたターゲット22A乃至22Dとを、実空間の座標系にマッピングする。
さらに、キャリブレーション処理部35は、ステレオ画像から検出されたターゲット22A乃至22Dと、地図データから取得した位置情報に基づくターゲット22A乃至22Dとのズレが最小となるように、ステレオ画像の座標系を回転または並進させる。これにより、キャリブレーション処理部35は、ステレオ画像の座標系のキャリブレーションを行う。
同様に、キャリブレーション処理部35は、レーダ画像から検出されたターゲット22A乃至22Dと、地図データから取得した位置情報に基づくターゲット22A乃至22Dとのズレが最小となるように、レーダ画像の座標系を回転または並進させる。これにより、キャリブレーション処理部35は、レーダ画像の座標系のキャリブレーションを行う。
このように、ステレオ画像の座標系およびレーダ画像の座標系が、実空間の座標系に一致する(誤差が最小になる)ようにキャリブレーションを行うことで、ステレオ画像から検出される物体と、レーダ画像から検出される物体との位置を一致させることができる。
<3.キャリブレーション処理の処理フローについて>
図10乃至図12を参照して、信号処理装置16において実行される信号処理について説明する。
例えば、信号処理装置16は、定期的(例えば、一定時間または一定走行距離ごと)に信号処理を行うように設定されている。ステップS11において、自車位置特定部31は、位置計測装置14から位置情報を取得し、車両21の自車位置を特定して、車両21の自車位置をターゲット設置地域判断部33に供給する。
ステップS12において、ターゲット設置地域判断部33は、ステップS11で供給された車両21の自車位置に基づいて、その自車位置に最も近いターゲット22の設置位置を、記憶部32の地図データから取得する。
ステップS13において、ターゲット設置地域判断部33は、ステップS12で取得したターゲット22の設置位置に基づいて、車両21の自車位置が、ターゲット22の設置地域内であるか否かを判定する。そして、ターゲット設置地域判断部33が、車両21の自車位置はターゲット22の設置地域内でないと判定した場合、信号処理は終了する。一方、ターゲット設置地域判断部33が、車両21の自車位置はターゲット22の設置地域内であると判定した場合、処理はステップS14に進む。
ステップS14において、信頼性判定部34は、図11を参照して説明するようなターゲット信頼性判定処理を行う。
ステップS15において、信頼性判定部34は、ターゲット信頼性判定処理の処理結果に従って、設置地域内にある全てのターゲット22が信頼できるか否かを判定する。そして、信頼性判定部34が、設置地域内にある全てのターゲット22が信頼できない(即ち、1つでも信頼できないターゲット22がある)と判定した場合、信号処理は終了する。一方、信頼性判定部34が、設置地域内にある全てのターゲット22が信頼できると判定した場合、処理はステップS16に進む。
ステップS16において、キャリブレーション処理部35が、図12を参照して説明するようなキャリブレーション処理を行った後、信号処理は終了される。
次に、図11は、図10のステップS14で行われるターゲット信頼性判定処理を説明するフローチャートである。
ステップS21において、信頼性判定部34は、車両21の自車位置および進行方向に基づいて、ステレオ画像およびレーダ画像により検出されると推定されるターゲット22の配置情報を、記憶部32に記憶されている地図データから読み出して取得する。例えば、信頼性判定部34は、地図データ上で、車両21の前方におけるミリ波の照射範囲内にあるターゲット22の配置情報を取得する。
ステップS22において、信頼性判定部34は、通信装置15に対して、ステップS21で配置情報を取得したターゲット22を、所定の順で処理の対象として署名を要求し、通信装置15は、ターゲット22に署名要求を送信する。これに応じて、図6を参照して上述したように、ターゲット22の信号処理装置51は、信号処理装置16からの署名要求に応じてデジタル署名を送信する。
ステップS23において、信頼性判定部34は、通信装置15を介して、ターゲット22から送信されてくるデジタル署名(所定のデータ、および、暗号化したハッシュ値)を受信する。
ステップS24において、信頼性判定部34は、ステップS23におけるデジタル署名の受信に成功したか否かを判定し、デジタル署名の受信に成功していないと判定した場合には、処理はステップS22に戻って、署名要求の送信を繰り返して行う。一方、ステップS24において、信頼性判定部34が、デジタル署名の受信に成功したと判定した場合、処理はステップS25に進む。
ステップS25において、信頼性判定部34は、デジタル署名としてターゲット22から送信されてきた、暗号化されたハッシュ値を信号処理装置51の公開鍵で復号する。
ステップS26において、信頼性判定部34は、暗号化されたハッシュ値とともに送信されてきた所定のデータについてハッシュ関数によりハッシュ値を算出する。そして、信頼性判定部34は、所定のデータから算出したハッシュ値と、公開鍵で復号したハッシュ値を比較する。
ステップS27において、信頼性判定部34は、ステップS26における比較の結果、ハッシュ値が一致したか否かを判定する。
ステップS27において、信頼性判定部34が、ハッシュ値が一致したと判定した場合、処理はステップS28に進む。そして、信頼性判定部34は、処理の対象となっているターゲット22に対して信頼できるという判定結果を取得する。
一方、ステップS27において、信頼性判定部34が、ハッシュ値が一致しなかったと判定した場合、処理はステップS29に進む。そして、信頼性判定部34は、処理の対象となっているターゲット22に対して信頼できないという判定結果を取得する。
ステップS28またはS29の処理後、処理はステップS30に進み、信頼性判定部34は、ステップS21で配置情報を取得した全てのターゲット22を処理対象として判定結果を取得したか否かを判定する。
ステップS30において、信頼性判定部34が、全てのターゲット22を処理対象として判定結果を取得していないと判定した場合、処理はステップS22に戻り、まだ判定結果を取得していない次のターゲット22を処理対象として、以下、同様の処理が繰り返される。一方、ステップS30において、信頼性判定部34が、全てのターゲット22を処理対象として判定結果を取得したと判定した場合、ターゲット信頼性判定処理は終了される。
次に、図12は、図10のステップS16で行われるキャリブレーション処理を説明するフローチャートである。
ステップS41において、キャリブレーション処理部35は、物体検出処理部36を介して、ステレオ画像およびレーダ画像を取得する。
ステップS42において、キャリブレーション処理部35は、車両21の自車位置および進行方向に基づいて、ステレオ画像およびレーダ画像により検出されると推定されるターゲット22の配置情報を、記憶部32に記憶されている地図データから読み出して取得する。例えば、キャリブレーション処理部35は、地図データ上で、車両21の前方におけるミリ波の照射範囲内にあるターゲット22の配置情報を取得する。
ステップS43において、キャリブレーション処理部35は、図7を参照して上述したように、ステップS41で取得したステレオ画像の視差を利用して求められる距離画像を用いて、ステレオ画像に対する画像認識を行うことにより個別に認識したターゲット22までの距離を特定する。
ステップS44において、キャリブレーション処理部35は、図8を参照して上述したように、ステップS42で取得したターゲット22の配置情報と、ステップS41で取得したレーダ画像において検出されたターゲット22との位置合わせを行うことで、ターゲット22を個別に特定する。
ステップS45において、キャリブレーション処理部35は、ステップS43でステレオ画像から特定されたターゲット22、および、ステップS44でレーダ画像から特定されたターゲット22を、実空間の座標系にマッピングする。そして、キャリブレーション処理部35は、ターゲット22の既知の位置と、ステレオ画像およびレーダ画像それぞれから特定されたターゲット22の位置とのズレが解消されるようにキャリブレーションを行う。その後、キャリブレーション処理部35は、キャリブレーション結果(座標系の回転および並進)を物体検出処理部36に供給し、物体検出処理部36は、キャリブレーションが適用された座標系に従って物体を検出するように設定を行い、キャリブレーション処理は終了される。
ここで、キャリブレーション処理部35が、ターゲット22の配置情報と、レーダ画像において検出されたターゲット22との対応を検出する処理について説明する。なお、以下では、ターゲット22の配置情報を事前配置情報とも称し、事前配置情報では、世界座標系でターゲット22の位置が特定されている。
<4.対応検出処理の詳細説明>
<第1の対応検出処理>
まず、キャリブレーション処理部35が行う、ターゲットの事前配置情報を用いた第1の対応検出処理についてさらに詳しく説明する。
<4.対応検出処理の詳細説明>
<第1の対応検出処理>
まず、キャリブレーション処理部35が行う、ターゲットの事前配置情報を用いた第1の対応検出処理についてさらに詳しく説明する。
図13に示されるように、k番目のターゲットの位置が、ターゲットの事前配置情報では、所定の場所を原点とする世界座標系上のPMAP(k)=[XMAP(k) YMAP(k) ZMAP(k)]Tで表され、ミリ波レーダ12またはステレオカメラ13のセンサ座標系では、PDet(k)=[XDet(k) YDet(k) ZDet(k)]Tで表されるとする。
なお、センサ座標系がレーダ3次元座標系である場合には、YDet(k)は固定値となる。また、ターゲットはK個であるが、ミリ波レーダ12またはステレオカメラ13のセンサ座標系では、外乱等の影響により、K個以上のターゲットが検出される場合がある。図13の例では、事前配置情報では5個のターゲットであるのに対して、センサ座標系では、ターゲット位置fが、例えば、ノイズによりターゲットとして検出されており、ターゲット検出位置a乃至fの6個のターゲットが検出されている。
このように、世界座標系上の5個のターゲット位置1乃至5と、センサ座標系上の6個のターゲット検出位置a乃至fとの対応関係の検出は、異なる座標系の3次元点が最も良く重なる対応関係を見つけるグラフマッチング問題とみなして解くことができる。
世界座標系上の5個のターゲット位置1乃至5と、センサ座標系上の6個のターゲット検出位置a乃至fとの対応可能な組み合わせは、図14に示される場合だけ有り得る。
世界座標系上の5個のターゲット位置1乃至5と、センサ座標系上の6個のターゲット検出位置a乃至fとの対応関係(接続)をM行N列の行列変数Xで表すと、以下の式(1)で表すことができる。
式(1)において、Mは世界座標系上のターゲットの個数(図13の例ではM=5)、Nは、センサ座標系上のターゲットの個数(図13の例ではN=6)である。また、xの添え字iは、世界座標系上のターゲットを識別する変数(0<i<M+1)、xの添え字jは、センサ座標系上のターゲットを識別する変数(0<j<N+1)を表す。xi,jは、世界座標系上のi番目のターゲットと、センサ座標系上のj番目のターゲットの接続の有無を表し、接続されているとき“1”、接続されていないとき“0”をとる変数である。
例えば、図15において太実線で示されるように、世界座標系上のターゲット位置1とセンサ座標系上のターゲット検出位置a、世界座標系上のターゲット位置2とセンサ座標系上のターゲット検出位置b、世界座標系上のターゲット位置3とセンサ座標系上のターゲット検出位置c、世界座標系上のターゲット位置4とセンサ座標系上のターゲット検出位置d、及び、世界座標系上のターゲット位置5とセンサ座標系上のターゲット検出位置eが対応している場合には、対応関係を表す行列変数Xは、以下の式(2)で表される。
そして、キャリブレーション処理部35は、式(2)で表される行列変数Xを用いたスコア関数score(X)を最大化するようなXを求める。スコア関数score(X)は、次の式(3)で表される。
式(3)において、i1及びi2は、世界座標系上のターゲットを識別する変数であり、j1及びj2は、センサ座標系上のターゲットを識別する変数である。li1,i2は、世界座標系上のPMAP(i1)とPMAP(i2)とを結ぶ線分の長さ、hj1,j2は、センサ座標系上のPDet(j1)とPDet(j2)とを結ぶ線分の長さを表す。
S(li1,i2,hj1,j2)は、線分の長さli1,i2と線分の長さhj1,j2の類似度を表し、線分の長さli1,i2と線分の長さhj1,j2が近い値であるほど大きな値となる。類似度S(li1,i2,hj1,j2)は、例えば、線分の長さli1,i2と線分の長さhj1,j2の差分d(li1,i2,hj1,j2)を用いた次の式(4)を採用することができる。
以上のようにして算出されるスコア関数score(X)は、図16に示されるように、例えば、世界座標系上のターゲット1と4の線分と、センサ座標系上のターゲットaとdの線分が対応するならば、両者の線分の長さl1,4とla,dは、ほぼ等しくなり、差分d(li1,i2,hj1,j2)=d(l1,4,ha,d)は小さくなる、という考えに基づくものである。
<第2の対応検出処理>
上述した第1の対応検出処理は、ターゲットの事前配置情報を用いた検出方法であるが、ターゲットの事前配置情報を用いずに、レーダ3次元座標系で検出されたターゲットと、カメラ3次元座標系で検出されたターゲットとの対応関係を検出することもできる。
上述した第1の対応検出処理は、ターゲットの事前配置情報を用いた検出方法であるが、ターゲットの事前配置情報を用いずに、レーダ3次元座標系で検出されたターゲットと、カメラ3次元座標系で検出されたターゲットとの対応関係を検出することもできる。
例えば、キャリブレーション処理部35は、図17に示されるように、レーダ3次元座標系上のターゲット位置PMMW(k)とカメラ3次元座標系上のターゲット位置Pcam(k)の少なくとも一方を所定量スライドさせることで重畳させ、最近傍に配置されたターゲットどうしを対応させることができる。
<5.位置関係の算出の詳細説明>
<5.位置関係の算出の詳細説明>
キャリブレーション処理部35は、上述したように対応関係が特定された複数のターゲットを用いて、ミリ波レーダ12とステレオカメラ13の位置関係を算出する。
具体的には、図18に示されるように、対応関係が特定されたK個のターゲットのうちの、k番目(0<k<K+1)のターゲットの位置が、レーダ3次元座標系では、PMMW(k)=[XMMW(k) YA ZMMW(k)]Tで表され、カメラ3次元座標系では、Pcam(k)=[Xcam(k) Ycam(k) Zcam(k)]Tで表される。ここで、Tは転置を表し、YAは、所定の固定値を表す。
キャリブレーション処理部35は、K個のターゲットそれぞれについて、レーダ3次元座標系上のターゲット位置PMMW(k)とカメラ3次元座標系上のターゲット位置Pcam(k)との位置関係を表す式(5)に代入し、最小二乗法などを用いて最適化問題を解くことにより、式(5)の回転行列Rと並進ベクトルVを算出する。
式(5)において、kは、複数(K個)のターゲットのうちの所定の1つを識別する変数(0<k<K+1)であり、Pcam(k)は、カメラ3次元座標系で検出されたk番目のターゲットのターゲット検出位置、PMMW(k)は、レーダ3次元座標系で検出されたk番目のターゲットのターゲット検出位置を表す。
式(5)は、レーダ3次元座標系で検出されたk番目のターゲットのターゲット検出位置PMMW(k)を、カメラ3次元座標系上のターゲット検出位置Pcam(k)に変換する式に相当する。回転行列Rは、ステレオカメラ13を基準にしたミリ波レーダ12の姿勢を表し、並進ベクトルVは、ステレオカメラ13を基準にしたミリ波レーダ12の位置を表す。
回転行列Rの変数は3個、並進ベクトルVの変数は3個であるので、少なくとも6個のターゲット検出位置を取得することができれば、式(5)の回転行列Rと並進ベクトルVは算出することができる。なお、回転行列Rは、最小二乗法を用いる他、四元数で表現して解くことも可能である。
このようにして算出されたミリ波レーダ12とステレオカメラ13の位置関係に従って、具体的には、式(5)の回転行列Rと並進ベクトルVに従って、ミリ波レーダ12とステレオカメラ13の位置関係を算出される。
なお、本実施の形態では、通信装置15は、例えば、Wi-Fi以外の通信方式、例えば、可視光を利用した通信や、ミリ波レーダ12から出力されるミリ波を利用した通信などを採用してもよい。また、信号処理装置16は、記憶部32に記憶されている地図データを参照する他、通信装置15を介した通信によりネットワーク経由で、常に最新の地図データを参照するようにしてもよい。
また、図3に示したように、ミリ波レーダ12およびステレオカメラ13は、検出方向が車両21の前方を向くように搭載され、車両21の前方の物体を検出する場合について説明したが、物体の検出方向は、車両21の前方に限られない。例えば、ミリ波レーダ12とステレオカメラ13が車両21の後方を向くように搭載されている場合には、車載センサ11は、車両の後方の物体を検出する。
さらに、上述した例では、車載センサ11が車両に搭載される例について説明したが、本技術は、車両の他、例えば、ロボット等のその他の陸上を移動する移動物体に搭載することも可能である。
<6.コンピュータ構成例について>
上述したキャリブレーション処理を含む一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
上述したキャリブレーション処理を含む一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図19は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)201,ROM(Read Only Memory)202,RAM(Random Access Memory)203は、バス204により相互に接続されている。
バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、入力部206、出力部207、記憶部208、通信部209、及びドライブ210が接続されている。
入力部206は、キーボード、マウス、マイクロホンなどよりなる。出力部207は、ディスプレイ、スピーカなどよりなる。記憶部208は、ハードディスクや不揮発性のメモリなどよりなる。通信部209は、ネットワークインタフェースなどよりなる。ドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体211を駆動する。
以上のように構成されるコンピュータでは、CPU201が、例えば、記憶部208に記憶されているプログラムを、入出力インタフェース205及びバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。
コンピュータでは、プログラムは、リムーバブル記録媒体211をドライブ210に装着することにより、入出力インタフェース205を介して、記憶部208にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部209で受信し、記憶部208にインストールすることができる。その他、プログラムは、ROM202や記憶部208に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
位置情報が既知のターゲットとの通信により、前記ターゲットが信頼できるか否かを判定する信頼性判定部と、
前記信頼性判定部により前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行うキャリブレーション処理部と
を備える信号処理装置。
(2)
前記信号処理装置が搭載される車両の現在位置を特定する自車位置特定部と、
複数の前記ターゲットの配置位置が登録されている地図データを参照し、前記車両の現在位置が、前記ターゲットの設置領域内である場合に、前記信頼性判定部による判定を行わせるターゲット設置地域判断部と
をさらに備える上記(1)に記載の信号処理装置。
(3)
前記キャリブレーション処理部は、
前記ステレオ画像に対する画像認識を行うことにより前記ステレオ画像に映されている前記ターゲットを個別に認識し、
前記ステレオ画像の視差を利用して求められる距離画像を用いて、個別に認識した前記ターゲットの距離を特定する
上記(1)または(2)に記載の信号処理装置。
(4)
前記キャリブレーション処理部は、既知である前記ターゲットの位置情報と、前記レーダ画像において検出された前記ターゲットとの位置合わせを行うことで、前記レーダ画像において検出された前記ターゲットを個別に認識する
上記(1)から(3)までのいずれかに記載の信号処理装置。
(5)
前記キャリブレーション処理部は、前記ターゲットの既知の位置情報に基づく実空間の座標系に、前記ステレオ画像および前記レーダ画像から認識された前記ターゲットをそれぞれマッピングし、前記ターゲットの既知の位置とのズレが最小となるように前記ステレオ画像および前記レーダ画像の座標系をそれぞれ回転または並進させることによりキャリブレーションを行う
上記(1)から(4)までのいずれかに記載の信号処理装置。
(6)
前記信頼性判定部は、前記ターゲットに対してデジタル署名を要求し、前記ターゲットから送信されてくる前記デジタル署名を利用して前記ターゲットの信頼性を判定する
上記(1)から(5)までのいずれかに記載の信号処理装置。
(7)
位置情報が既知のターゲットとの通信により、前記ターゲットが信頼できるか否かを判定し、
前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行う
ステップを含む信号処理方法。
(8)
位置情報が既知のターゲットとの通信により、前記ターゲットが信頼できるか否かを判定し、
前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行う
ステップを含む信号処理をコンピュータに実行させるプログラム。
(9)
複数の撮像部により撮像を行うことでステレオ画像を取得するステレオ画像撮像装置と、
所定の波長域の電波を利用して、その電波の照射範囲内にある物体の位置を検出したレーダ画像を取得するレーダ装置と、
位置情報が既知のターゲットと通信を行う通信装置と、
前記通信装置を介した前記ターゲットとの通信により、前記ターゲットが信頼できるか否かを判定する信頼性判定部と、前記信頼性判定部により前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されている前記ステレオ画像および前記レーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行うキャリブレーション処理部と有する信号処理装置と
を備える物体検出システム。
(1)
位置情報が既知のターゲットとの通信により、前記ターゲットが信頼できるか否かを判定する信頼性判定部と、
前記信頼性判定部により前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行うキャリブレーション処理部と
を備える信号処理装置。
(2)
前記信号処理装置が搭載される車両の現在位置を特定する自車位置特定部と、
複数の前記ターゲットの配置位置が登録されている地図データを参照し、前記車両の現在位置が、前記ターゲットの設置領域内である場合に、前記信頼性判定部による判定を行わせるターゲット設置地域判断部と
をさらに備える上記(1)に記載の信号処理装置。
(3)
前記キャリブレーション処理部は、
前記ステレオ画像に対する画像認識を行うことにより前記ステレオ画像に映されている前記ターゲットを個別に認識し、
前記ステレオ画像の視差を利用して求められる距離画像を用いて、個別に認識した前記ターゲットの距離を特定する
上記(1)または(2)に記載の信号処理装置。
(4)
前記キャリブレーション処理部は、既知である前記ターゲットの位置情報と、前記レーダ画像において検出された前記ターゲットとの位置合わせを行うことで、前記レーダ画像において検出された前記ターゲットを個別に認識する
上記(1)から(3)までのいずれかに記載の信号処理装置。
(5)
前記キャリブレーション処理部は、前記ターゲットの既知の位置情報に基づく実空間の座標系に、前記ステレオ画像および前記レーダ画像から認識された前記ターゲットをそれぞれマッピングし、前記ターゲットの既知の位置とのズレが最小となるように前記ステレオ画像および前記レーダ画像の座標系をそれぞれ回転または並進させることによりキャリブレーションを行う
上記(1)から(4)までのいずれかに記載の信号処理装置。
(6)
前記信頼性判定部は、前記ターゲットに対してデジタル署名を要求し、前記ターゲットから送信されてくる前記デジタル署名を利用して前記ターゲットの信頼性を判定する
上記(1)から(5)までのいずれかに記載の信号処理装置。
(7)
位置情報が既知のターゲットとの通信により、前記ターゲットが信頼できるか否かを判定し、
前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行う
ステップを含む信号処理方法。
(8)
位置情報が既知のターゲットとの通信により、前記ターゲットが信頼できるか否かを判定し、
前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行う
ステップを含む信号処理をコンピュータに実行させるプログラム。
(9)
複数の撮像部により撮像を行うことでステレオ画像を取得するステレオ画像撮像装置と、
所定の波長域の電波を利用して、その電波の照射範囲内にある物体の位置を検出したレーダ画像を取得するレーダ装置と、
位置情報が既知のターゲットと通信を行う通信装置と、
前記通信装置を介した前記ターゲットとの通信により、前記ターゲットが信頼できるか否かを判定する信頼性判定部と、前記信頼性判定部により前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されている前記ステレオ画像および前記レーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行うキャリブレーション処理部と有する信号処理装置と
を備える物体検出システム。
11 車載センサ, 12 ミリ波レーダ, 13 ステレオカメラ, 13R 右カメラ, 13L 左カメラ, 14 位置計測装置, 15 通信装置, 16 信号処理装置, 21 車両, 22 ターゲット, 31 自車位置特定部, 32 記憶部, 33 ターゲット設置地域判断部, 34 信頼性判定部, 35 キャリブレーション処理部, 36 物体検出処理部
Claims (9)
- 位置情報が既知のターゲットとの通信により、前記ターゲットが信頼できるか否かを判定する信頼性判定部と、
前記信頼性判定部により前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行うキャリブレーション処理部と
を備える信号処理装置。 - 前記信号処理装置が搭載される車両の現在位置を特定する自車位置特定部と、
複数の前記ターゲットの配置位置が登録されている地図データを参照し、前記車両の現在位置が、前記ターゲットの設置領域内である場合に、前記信頼性判定部による判定を行わせるターゲット設置地域判断部と
をさらに備える請求項1に記載の信号処理装置。 - 前記キャリブレーション処理部は、
前記ステレオ画像に対する画像認識を行うことにより前記ステレオ画像に映されている前記ターゲットを個別に認識し、
前記ステレオ画像の視差を利用して求められる距離画像を用いて、個別に認識した前記ターゲットの距離を特定する
請求項1に記載の信号処理装置。 - 前記キャリブレーション処理部は、既知である前記ターゲットの位置情報と、前記レーダ画像において検出された前記ターゲットとの位置合わせを行うことで、前記レーダ画像において検出された前記ターゲットを個別に認識する
請求項1に記載の信号処理装置。 - 前記キャリブレーション処理部は、前記ターゲットの既知の位置情報に基づく実空間の座標系に、前記ステレオ画像および前記レーダ画像から認識された前記ターゲットをそれぞれマッピングし、前記ターゲットの既知の位置とのズレが最小となるように前記ステレオ画像および前記レーダ画像の座標系をそれぞれ回転または並進させることによりキャリブレーションを行う
請求項1に記載の信号処理装置。 - 前記信頼性判定部は、前記ターゲットに対してデジタル署名を要求し、前記ターゲットから送信されてくる前記デジタル署名を利用して前記ターゲットの信頼性を判定する
請求項1に記載の信号処理装置。 - 位置情報が既知のターゲットとの通信により、前記ターゲットが信頼できるか否かを判定し、
前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行う
ステップを含む信号処理方法。 - 位置情報が既知のターゲットとの通信により、前記ターゲットが信頼できるか否かを判定し、
前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行う
ステップを含む信号処理をコンピュータに実行させるプログラム。 - 複数の撮像部により撮像を行うことでステレオ画像を取得するステレオ画像撮像装置と、
所定の波長域の電波を利用して、その電波の照射範囲内にある物体の位置を検出したレーダ画像を取得するレーダ装置と、
位置情報が既知のターゲットと通信を行う通信装置と、
前記通信装置を介した前記ターゲットとの通信により、前記ターゲットが信頼できるか否かを判定する信頼性判定部と、前記信頼性判定部により前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されている前記ステレオ画像および前記レーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行うキャリブレーション処理部と有する信号処理装置と
を備える物体検出システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16851216.8A EP3358364A4 (en) | 2015-09-30 | 2016-09-16 | SIGNAL PROCESSING DEVICE, SIGNAL PROCESSING, PROGRAM AND OBJECT DETECTION SYSTEM |
US15/761,195 US10670697B2 (en) | 2015-09-30 | 2016-09-16 | Signal processing apparatus, signal processing method, and object detection system |
US16/866,312 US11061111B2 (en) | 2015-09-30 | 2020-05-04 | Signal processing apparatus, signal processing method, and object detection system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-193357 | 2015-09-30 | ||
JP2015193357 | 2015-09-30 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/761,195 A-371-Of-International US10670697B2 (en) | 2015-09-30 | 2016-09-16 | Signal processing apparatus, signal processing method, and object detection system |
US16/866,312 Continuation US11061111B2 (en) | 2015-09-30 | 2020-05-04 | Signal processing apparatus, signal processing method, and object detection system |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017057042A1 true WO2017057042A1 (ja) | 2017-04-06 |
Family
ID=58427627
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/077398 WO2017057042A1 (ja) | 2015-09-30 | 2016-09-16 | 信号処理装置、信号処理方法、プログラム、および、物体検出システム |
Country Status (3)
Country | Link |
---|---|
US (2) | US10670697B2 (ja) |
EP (1) | EP3358364A4 (ja) |
WO (1) | WO2017057042A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018212346A1 (ja) * | 2017-05-18 | 2018-11-22 | パイオニア株式会社 | 制御装置、走査システム、制御方法、およびプログラム |
JP2019086393A (ja) * | 2017-11-07 | 2019-06-06 | トヨタ自動車株式会社 | 物体認識装置 |
JP2020042819A (ja) * | 2018-09-07 | 2020-03-19 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 運動ベクトル場の決定方法、運動ベクトル場の決定装置、機器、コンピュータ読み取り可能な記憶媒体及び車両 |
JP2020047276A (ja) * | 2018-09-19 | 2020-03-26 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | センサーキャリブレーション方法と装置、コンピュータ機器、媒体及び車両 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10921133B2 (en) * | 2017-12-07 | 2021-02-16 | International Business Machines Corporation | Location calibration based on movement path and map objects |
DE102018200396A1 (de) * | 2018-01-11 | 2019-07-11 | Robert Bosch Gmbh | Radarsystem mit mindestens einer verschlüsselbaren Datenleitung |
CN111886626A (zh) * | 2018-03-29 | 2020-11-03 | 索尼公司 | 信号处理设备和信号处理方法、程序及移动体 |
KR102675522B1 (ko) * | 2018-09-07 | 2024-06-14 | 삼성전자주식회사 | 센서들에 대한 정렬 모델 조정 방법 및 그 방법을 수행하는 전자 장치 |
TWI734932B (zh) * | 2018-09-17 | 2021-08-01 | 為昇科科技股份有限公司 | 雷達偵測角度校正系統及其方法 |
CN109409331A (zh) * | 2018-11-27 | 2019-03-01 | 惠州华阳通用电子有限公司 | 一种基于雷达的防疲劳驾驶方法 |
CN109901123B (zh) * | 2018-12-24 | 2023-12-01 | 文远知行有限公司 | 传感器标定方法、装置、计算机设备和存储介质 |
CN112558023B (zh) * | 2019-09-25 | 2024-03-26 | 华为技术有限公司 | 传感器的标定方法和装置 |
CN111383285B (zh) * | 2019-11-25 | 2023-11-24 | 的卢技术有限公司 | 一种基于毫米波雷达与摄像机传感器融合标定方法及*** |
CN111008671B (zh) * | 2019-12-23 | 2023-08-18 | Oppo广东移动通信有限公司 | 姿势识别方法和装置、电子设备、计算机可读存储介质 |
JP7386098B2 (ja) * | 2020-02-27 | 2023-11-24 | 株式会社日立製作所 | 測距センサの校正システム、及び測距センサの校正方法 |
CN111953934B (zh) * | 2020-07-03 | 2022-06-10 | 北京航空航天大学杭州创新研究院 | 目标标示方法及装置 |
CN112859024B (zh) * | 2021-04-01 | 2024-05-28 | 东风汽车集团股份有限公司 | 一种车载毫米波雷达标定装置及标定方法 |
CN113205563B (zh) * | 2021-06-03 | 2022-11-18 | 河南科技大学 | 一种自动驾驶传感器联合标定靶和标定方法 |
CN115797463A (zh) * | 2022-11-28 | 2023-03-14 | 湖南华诺星空电子技术有限公司 | 一种fod雷达与相机的神经网络训练方法及全局标定方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007218738A (ja) * | 2006-02-16 | 2007-08-30 | Kumamoto Univ | 校正装置、物標検知装置および校正方法 |
JP2010151682A (ja) * | 2008-12-25 | 2010-07-08 | Topcon Corp | レーザスキャナ及びレーザスキャナ測定システム及びレーザスキャナ測定システムの較正方法及び較正用ターゲット |
US20110122257A1 (en) * | 2009-11-25 | 2011-05-26 | Honeywell International Inc. | Geolocation of objects in an area of interest |
JP2012147085A (ja) * | 2011-01-07 | 2012-08-02 | Sumitomo Electric Ind Ltd | 通信システム |
WO2014159620A1 (en) * | 2013-03-14 | 2014-10-02 | Samuels Mark A | Encoded calibration device and systems and methods thereof |
JP5695271B1 (ja) * | 2013-09-19 | 2015-04-01 | 株式会社小松製作所 | 通信装置およびこれを備えた作業車両 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5012270B1 (ja) * | 1969-03-08 | 1975-05-10 | ||
JP2007024590A (ja) * | 2005-07-13 | 2007-02-01 | Toyota Motor Corp | 物体検出装置 |
JP4304517B2 (ja) * | 2005-11-09 | 2009-07-29 | トヨタ自動車株式会社 | 物体検出装置 |
JP5145585B2 (ja) * | 2007-06-08 | 2013-02-20 | 国立大学法人 熊本大学 | 物標検出装置 |
JP5012270B2 (ja) * | 2007-07-10 | 2012-08-29 | トヨタ自動車株式会社 | 物体検出装置 |
EP2491344B1 (en) * | 2009-10-22 | 2016-11-30 | TomTom Global Content B.V. | System and method for vehicle navigation using lateral offsets |
JP2011216011A (ja) | 2010-04-01 | 2011-10-27 | Toyota Motor Corp | 物体検出装置 |
JP5632762B2 (ja) * | 2011-01-25 | 2014-11-26 | パナソニック株式会社 | 測位情報形成装置、検出装置、及び測位情報形成方法 |
US10132745B2 (en) * | 2013-03-14 | 2018-11-20 | Mark A. Samuels | Encoded calibration device and systems and methods thereof |
US9367067B2 (en) * | 2013-03-15 | 2016-06-14 | Ashley A Gilmore | Digital tethering for tracking with autonomous aerial robot |
US9671493B1 (en) * | 2014-09-19 | 2017-06-06 | Hrl Laboratories, Llc | Automated scheduling of radar-cued camera system for optimizing visual inspection (detection) of radar targets |
-
2016
- 2016-09-16 WO PCT/JP2016/077398 patent/WO2017057042A1/ja active Application Filing
- 2016-09-16 US US15/761,195 patent/US10670697B2/en not_active Expired - Fee Related
- 2016-09-16 EP EP16851216.8A patent/EP3358364A4/en not_active Withdrawn
-
2020
- 2020-05-04 US US16/866,312 patent/US11061111B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007218738A (ja) * | 2006-02-16 | 2007-08-30 | Kumamoto Univ | 校正装置、物標検知装置および校正方法 |
JP2010151682A (ja) * | 2008-12-25 | 2010-07-08 | Topcon Corp | レーザスキャナ及びレーザスキャナ測定システム及びレーザスキャナ測定システムの較正方法及び較正用ターゲット |
US20110122257A1 (en) * | 2009-11-25 | 2011-05-26 | Honeywell International Inc. | Geolocation of objects in an area of interest |
JP2012147085A (ja) * | 2011-01-07 | 2012-08-02 | Sumitomo Electric Ind Ltd | 通信システム |
WO2014159620A1 (en) * | 2013-03-14 | 2014-10-02 | Samuels Mark A | Encoded calibration device and systems and methods thereof |
JP5695271B1 (ja) * | 2013-09-19 | 2015-04-01 | 株式会社小松製作所 | 通信装置およびこれを備えた作業車両 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3358364A4 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018212346A1 (ja) * | 2017-05-18 | 2018-11-22 | パイオニア株式会社 | 制御装置、走査システム、制御方法、およびプログラム |
JPWO2018212346A1 (ja) * | 2017-05-18 | 2020-03-19 | パイオニア株式会社 | 制御装置、走査システム、制御方法、およびプログラム |
JP2021120682A (ja) * | 2017-05-18 | 2021-08-19 | パイオニア株式会社 | 制御装置 |
US11511747B2 (en) | 2017-05-18 | 2022-11-29 | Pioneer Corporation | Control device, scanning system, control method, and program |
JP2023017824A (ja) * | 2017-05-18 | 2023-02-07 | パイオニア株式会社 | 制御装置 |
JP2019086393A (ja) * | 2017-11-07 | 2019-06-06 | トヨタ自動車株式会社 | 物体認識装置 |
JP2020042819A (ja) * | 2018-09-07 | 2020-03-19 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 運動ベクトル場の決定方法、運動ベクトル場の決定装置、機器、コンピュータ読み取り可能な記憶媒体及び車両 |
US11227395B2 (en) | 2018-09-07 | 2022-01-18 | Apollo Intelligent Driving Technology (Beijing) Co., Ltd. | Method and apparatus for determining motion vector field, device, storage medium and vehicle |
JP2020047276A (ja) * | 2018-09-19 | 2020-03-26 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | センサーキャリブレーション方法と装置、コンピュータ機器、媒体及び車両 |
US11042762B2 (en) | 2018-09-19 | 2021-06-22 | Baidu Online Network Technology (Beijing) Co., Ltd. | Sensor calibration method and device, computer device, medium, and vehicle |
Also Published As
Publication number | Publication date |
---|---|
US20180259621A1 (en) | 2018-09-13 |
EP3358364A1 (en) | 2018-08-08 |
US11061111B2 (en) | 2021-07-13 |
US10670697B2 (en) | 2020-06-02 |
EP3358364A4 (en) | 2019-03-13 |
US20200264276A1 (en) | 2020-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017057042A1 (ja) | 信号処理装置、信号処理方法、プログラム、および、物体検出システム | |
JP7160040B2 (ja) | 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム | |
CN109920246B (zh) | 一种基于v2x通信与双目视觉的协同局部路径规划方法 | |
US10565736B2 (en) | Image processing apparatus and method, program, and image processing system | |
US10788830B2 (en) | Systems and methods for determining a vehicle position | |
EP3378033B1 (en) | Systems and methods for correcting erroneous depth information | |
US11206388B2 (en) | Image processing apparatus and image processing method for aligning polarized images based on a depth map and acquiring a polarization characteristic using the aligned polarized images | |
JP6881307B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP5152244B2 (ja) | 追従対象車特定装置 | |
WO2017159382A1 (ja) | 信号処理装置および信号処理方法 | |
JP7259749B2 (ja) | 情報処理装置、および情報処理方法、プログラム、並びに移動体 | |
US10761191B2 (en) | Systems and methods for LiDAR detection | |
US20170177958A1 (en) | Target Detection Apparatus and Target Detection Method | |
WO2019026715A1 (ja) | 制御装置、および制御方法、プログラム、並びに移動体 | |
WO2017057061A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
US20220018932A1 (en) | Calibration apparatus, calibration method, program, and calibration system and calibration target | |
US20220058428A1 (en) | Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object | |
JP2022034086A (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
US20200230820A1 (en) | Information processing apparatus, self-localization method, program, and mobile body | |
JP6834914B2 (ja) | 物体認識装置 | |
EP3223188A1 (en) | A vehicle environment mapping system | |
WO2019093136A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16851216 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15761195 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2016851216 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: JP |