WO2022191197A1 - 物***置検出装置及び方法 - Google Patents

物***置検出装置及び方法 Download PDF

Info

Publication number
WO2022191197A1
WO2022191197A1 PCT/JP2022/010041 JP2022010041W WO2022191197A1 WO 2022191197 A1 WO2022191197 A1 WO 2022191197A1 JP 2022010041 W JP2022010041 W JP 2022010041W WO 2022191197 A1 WO2022191197 A1 WO 2022191197A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
position detection
distance
detection device
radar
Prior art date
Application number
PCT/JP2022/010041
Other languages
English (en)
French (fr)
Inventor
光明 久保
圭記 松浦
昌之 小泉
大樹 七條
彩花 岩出
雄太郎 奥野
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to EP22767151.8A priority Critical patent/EP4307001A1/en
Priority to US18/279,296 priority patent/US20240142600A1/en
Priority to CN202280017396.3A priority patent/CN116888502A/zh
Publication of WO2022191197A1 publication Critical patent/WO2022191197A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/536—Discriminating between fixed and moving objects or between objects moving at different speeds using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/343—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using sawtooth modulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/538—Discriminating between fixed and moving objects or between objects moving at different speeds eliminating objects that have not moved between successive antenna scans, e.g. area MTi
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/881—Radar or analogous systems specially adapted for specific applications for robotics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to an object position detection device and method for estimating and detecting the position of an object, for example, based on radar information from a radar device.
  • radar equipment detects the target object by applying peak detection (CFAR (Constant False Alarm Rate)) and cluster analysis to the reflection intensity and Doppler velocity of the observation area generated from the received radar signal. is detected.
  • CFAR Constant False Alarm Rate
  • Patent Literature 1 discloses a radar device capable of suppressing erroneous detection and extracting only target objects with high accuracy.
  • the radar device transmits and receives pulses or continuous waves to create range-Doppler (RD) data from N (N ⁇ 1) CPI (Coherent Pulse Interval) data, and the range exceeding a predetermined threshold for the RD data - Extract the cells of the Doppler axis.
  • the radar device selects a representative value of the target candidate cluster by analyzing the cluster using the extracted cells, extracts the range-Doppler of the target from the representative value, and measures the distance, speed, and speed. At least one of the corners is processed to output the target observation.
  • RD range-Doppler
  • An object of the present invention is to solve the above problems, and to detect an object with high accuracy even in a situation where a plurality of objects or structures are close to each other such that the reflected waves interfere with each other. It is an object of the present invention to provide an object position detection device and method capable of
  • An object position detection device includes: An object position detection device that detects the position of an object based on a radar signal from a radar device, Based on the image data including the radar signal, using a machine learning model learned from predetermined teacher image data representing the position of the object, estimating the presence and position of the object, a position estimating unit that outputs image data representing presence/absence and position, Prepare.
  • the object position detection device and the like it is possible to detect an object with high accuracy even in a situation where a plurality of objects or structures approach each other such that reflected waves interfere with each other.
  • FIG. 1 is a block diagram showing a configuration example of an object position detection device when estimating an object according to an embodiment
  • FIG. 1 is a block diagram showing a configuration example of an object position detection device during learning according to an embodiment
  • FIG. FIG. 3 is a timing chart of chirp signals of radio signals transmitted from the radar apparatus of FIGS. 1 and 2
  • FIG. FIG. 3 is a block diagram showing a first configuration example of the machine learning model of FIGS. 1 and 2
  • FIG. FIG. 3 is a block diagram showing a second configuration example of the machine learning model of FIGS. 1 and 2
  • FIG. FIG. 3 is an example of image data for the machine learning model of FIGS.
  • FIG. 1 and 2 showing image data representing the position of a target
  • 6B is a diagram showing image data of a radar signal obtained when a target exists at a position corresponding to the image data of FIG. 6A
  • FIG. FIG. 3 is a first example of image data for the machine learning model of FIGS. 1 and 2, showing image data representing the position of a target
  • 7B is a diagram showing image data of a radar signal obtained when a target exists at a position corresponding to the image data of FIG. 7A
  • FIG. FIG. 8 is a diagram showing an example of radar image data, which corresponds to the image data of FIG. 7B and is training teacher image data given as teacher data for a machine learning model
  • Fig. 3 is a second example of image data for the machine learning model of Figs.
  • FIG. 8B is a diagram showing image data of a radar signal obtained when a target exists at a position corresponding to the image data of FIG. 8A
  • FIG. 9B is a diagram showing an example of radar image data, which corresponds to the image data in FIG. 8B and is learning teacher image data given as teacher data for a machine learning model
  • 2 is a block diagram showing a configuration example and a processing example of an object coordinate detection unit in FIG. 1
  • FIG. It is a figure which shows the dimension of the image data used with the object position detection apparatus which concerns on a modification.
  • a radar signal source estimation method based on machine learning is devised instead of a method of combining CFAR and clustering as means for estimating the position of a target.
  • a radar signal source estimation method based on machine learning is devised.
  • a machine learning model we devised to generate images with labels corresponding to target positions. As a result, it is characterized by estimating the position of each target with high accuracy even in situations where problems occur in CFAR and clustering. Embodiments will be described below.
  • FIG. 1 is a block diagram showing a configuration example of the object position detection device during object estimation according to the embodiment
  • FIG. 2 is a block diagram showing a configuration example of the object position detection device during learning according to the embodiment.
  • the object position detection device includes a radar device 1, a signal processing unit 2, an input processing unit 3, an object detection unit 4, an output processing unit 5, and object coordinate detection. It comprises a unit 6 , a display unit 7 and a storage unit 8 .
  • the object position detection apparatus of the present embodiment includes the radar device 1, the signal processing unit 2, the input processing unit 3, the object detection unit 4, the output processing unit 5A, the storage unit 8.
  • the object detection unit 4 has a machine learning model 40, and the learned machine learning model 40 is stored in the storage unit 8 as a learned machine learning model 81 for use in estimation detection.
  • FIGS. 1 and 2 different diagrams are used for object estimation and learning. may be configured to be connected to each other.
  • the radar device 1 uses, for example, the FCM (Fast Chirp Modulation) method to transmit a radio signal including a chirp signal toward a target, and transmit the radio signal reflected by the target. It receives and generates a beat signal, which is a radar signal for estimating the distance and relative velocity to the target.
  • FCM Fast Chirp Modulation
  • a radio signal including a chirp signal in which a plurality of chirp signals whose frequencies continuously change are repeated is transmitted to the target by radio, and the target existing within the detection range is detected. Detect distance and relative velocity.
  • a distance (range) fast Fourier transform is applied to a beat signal generated from a modulated signal that generates a chirp signal and a reception signal that is obtained by receiving a reflected wave of a transmission signal from a target.
  • Processing (hereinafter referred to as distance FFT processing) is executed to estimate the distance to the target (see the description of the distance FFT unit 22 described later).
  • FIG. 3 is a timing chart of chirp signals of radio signals transmitted from the radar apparatus of FIGS. 1 and 2.
  • received data forming one sheet of radio wave image data is called "one frame", and one frame is made up of a plurality of chirp signals.
  • FIG. 3 shows a frame of the high-speed FMCW (Frequency Modulation Continuous Wave) scheme, where B is the bandwidth of the chirp signal, T is the repetition time of the chirp signal, and T ⁇ M is the active chirp signal within one frame. indicate the time. Note that the frame time includes idle time.
  • the noise resistance can be improved by averaging a plurality of chirp signals of the received radio signal.
  • the radio receiver of the radar device 1 uses, for example, an array antenna including a plurality of antennas to receive the radio signal reflected by the target, and then mixes it with the radio signal transmitted by the radio transmitter and performs low-pass filtering. By doing so, a plurality of beat signals corresponding to each antenna are calculated and output to the signal processing unit 2 .
  • the signal processing unit 2 includes an AD conversion unit 21, a distance FFT unit 22, and a direction-of-arrival estimation unit 23.
  • the AD conversion unit 21 AD-converts a plurality of beat signals of the radar signal output from the radar device 1 and outputs the result to the distance FFT unit 22 .
  • the distance FFT section 22 performs distance FFT processing on the input AD-converted beat signal and outputs the processed distance FFT spectrum to the direction-of-arrival estimation section 23 .
  • the direction-of-arrival estimating unit 23 estimates the direction of arrival (azimuth) of the radio signal reflected from the target using, for example, a beamforming method, based on the input range FFT spectrum, and generates a two-dimensional image of the distance with respect to the azimuth. , input in the form of two-dimensional image data (having predetermined discrete time intervals) including information on reflected signal intensity (for example, values obtained by converting the amplitude values of I and Q signals that are orthogonal to each other into logarithmic values) as pixel values Output to the processing unit 3 .
  • reflected signal intensity for example, values obtained by converting the amplitude values of I and Q signals that are orthogonal to each other into logarithmic values
  • the input processing unit 3 includes a time difference unit 31 and a normalization unit 32.
  • the time difference unit 31 selects the two-dimensional image of the distance with respect to the azimuth that is input from among the image data including the information of the intensity of the reflected signal (indicating the presence/absence and position of the target) as pixel values.
  • a backward difference calculation (calculating a finite difference in the time direction) is sequentially performed on the two-dimensional image data of each pair of time frames for each of a predetermined number (for example, 31) of frames in the time series to obtain the distance with respect to the azimuth.
  • 3D image data of azimuth, distance and time with a plurality of frames in time are generated and output.
  • the normalization unit 32 normalizes each pixel value by a predetermined maximum value based on the three-dimensional image data after the backward difference calculation, generates normalized three-dimensional image data, and converts the data into a machine. It is used as input data for the learning model 40 .
  • the processing of the time difference unit 31 is performed on two-dimensional image data of each pair of temporally adjacent time frames among the image data including the information of the reflected signal intensity as the pixel value.
  • the backward difference calculation is sequentially performed for each predetermined number of frames in the time series, and the estimation frequency is once for the number of frames related to the predetermined number of frames in the time series.
  • the present invention is not limited to this, and the processing of the time difference unit 31 is, for example, as described above, the image data including the information of the reflected signal intensity as the pixel value.
  • the backward difference calculation may be sequentially performed on the two-dimensional image data of the pair of time frames while shifting each frame in the time series. In this case, the estimation frequency is once per frame.
  • the processing of the time difference unit 31 is performed by the image data including the information of the intensity of the reflected signal (indicating the presence or absence and position of the target) as the pixel value.
  • a backward difference operation is performed on the two-dimensional image data of each pair of time frames to obtain time-series three-dimensional image data having dimensions of direction, distance, and time, in which there are a plurality of frames of distance with respect to direction in time. is generating
  • Doppler FFT is performed on the two-dimensional image data of the distance to the direction for clutter suppression to calculate the zero Doppler component, and the zero Doppler component is calculated from the original two-dimensional image data.
  • a Doppler component may be subtracted.
  • a backward difference operation is performed on the two-dimensional image data of each pair of time frames that are temporally adjacent to each other, so that the frame of the distance with respect to the direction is time Time-series three-dimensional image data having a plurality of dimensions of orientation, distance, and time is generated.
  • the output processing unit 5A generates two-dimensional teacher image data when the target position is detected using the radar device 1 (as will be described later with reference to FIGS. 7A to 9C, for known target positions).
  • Two-dimensional image data positional information of a target is represented as a bird's-eye view
  • the output processing unit 5 stores the two-dimensional image data of the estimation result from the object detection unit 4 in a built-in buffer memory. Output to the coordinate detection unit 6 .
  • Table 1 below shows the signal processing (types of signal data) and output data formats of the signal processing unit 2 and the input processing unit 3.
  • the object detection unit 4 in FIGS. 1 and 2 is an example of a position estimation unit, and has a machine learning model 40 composed of a DNN (deep neural network) composed of, for example, a convolutional encoder and a convolutional decoder. While inputting the three-dimensional image data after the normalization process as output data, the two-dimensional teacher image data is input from the output processing unit 5A as output data, and after learning the machine learning model 40, the learned machine learning model 40 is stored in the storage unit 8 as a trained machine learning model 81 . 1, the object detection unit 4 saves and stores the learned machine learning model 81 in the storage unit 8 in the internal memory of the object detection unit 4 as the machine learning model 40, and uses it for estimation detection. .
  • a machine learning model 40 composed of a DNN (deep neural network) composed of, for example, a convolutional encoder and a convolutional decoder.
  • the processing from the radar device 1 to the object detection unit 4 via the signal processing unit 2 and the input processing unit 3 is the same as during learning.
  • the machine learning model 40 is used to estimate the time of object detection, and output data, which is two-dimensional image data, is output to the output processing unit 5 .
  • the output processing unit 5 stores the two-dimensional image data of the estimation result from the object detection unit 4 in a built-in buffer memory, and then outputs the data to the object coordinate detection unit 6 shown in FIG.
  • FIG. 4 is a block diagram showing a machine learning model 40A that is a first configuration example (embodiment) of the machine learning model 40 of FIGS.
  • a machine learning model 40A comprises a three-dimensional convolutional encoder 41 and a two-dimensional convolutional decoder .
  • the three-dimensional convolutional encoder 41 in FIG. 4 includes four signal processing units, three-dimensional transform filter 3 ⁇ 3 ⁇ 3 (16 or 32), maximum pooling processing unit 2 ⁇ 2 ⁇ 2, and activation function processing unit. (function Relu).
  • the numbers in parentheses indicate the number of filters.
  • the two-dimensional convolutional decoder 42 includes five signal processing units, a two-dimensional transform filter 3 ⁇ 3 (16 or 32), an upsampling processing unit 2 ⁇ 2, an activation function processing unit (function Relu), and , and an activation function processor (sigmoid function) in the output layer.
  • FIG. 5 is a block diagram showing a machine learning model 40B that is a second configuration example (modification) of the machine learning models of FIGS.
  • the machine learning model 40B of FIG. 5 comprises a two-dimensional convolutional encoder 51 and a two-dimensional convolutional decoder 52.
  • the two-dimensional convolutional encoder 51 in FIG. 5 includes four signal processing units, two-dimensional transform filter 3 ⁇ 3 (16 or 32), maximum pooling processing unit 2 ⁇ 2, and activation function processing unit (function Relu). and Here, the numbers in parentheses indicate the number of filters.
  • the two-dimensional convolution decoder 52 includes five signal processing units, a two-dimensional conversion filter 3 ⁇ 3 (16 or 32), an upsampling processing unit 2 ⁇ 2, an activation function processing unit (function Relu), and , and an activation function processor (sigmoid function) in the output layer.
  • the input data has no dimension in the time direction (that is, the time difference unit 31 is omitted in FIGS. 1 and 2), and the convolutional encoder 51 is two-dimensional. It is characterized by being composed of As a result, although the recognition performance of object detection is lower than that of the machine learning model 40A, it has the unique effect of reducing the computational load.
  • FIG. 6A is an example of image data for the machine learning model of FIGS. 1 and 2, and is a diagram showing image data representing the position of the target.
  • FIG. 6A shows a pixel 101 corresponding to a coordinate point where a target exists in a two-dimensional image representing distances with respect to azimuths.
  • FIG. 6B shows radar signal image data obtained when a target exists at a position corresponding to the image data of FIG. 6A.
  • the width in the azimuth direction of the main lobe of the radar signal corresponding to the presence of the target is determined by the number of channels in the azimuth direction of the radar device 1 .
  • the number of channels in the azimuth direction of the radar system 1 is 8, and its mainlobe width corresponds to approximately 22 degrees.
  • 1 degree is represented by 1 pixel, so the main lobe corresponds to 22 pixels.
  • FIG. 7A is a first example of image data for the machine learning model of FIGS. 1 and 2, and is a diagram showing image data representing the position of the target.
  • FIG. 7A shows a pixel 101 corresponding to a coordinate point where a target exists in a two-dimensional image representing distances with respect to azimuths.
  • FIG. 7B shows the image data of the radar signal obtained when the target exists at the position corresponding to the image data of FIG. 7A
  • FIG. 7C shows the image data of FIG.
  • the point representing the position of the target in the image data (teacher image data) given as teacher data for the machine learning model 40 is one pixel point.
  • Learning converges with high accuracy by using an "object label" which is a figure having a range consisting of a plurality of pixels (here, for example, the pixel 101 is positioned at the center of the object label).
  • object label is a figure having a range consisting of a plurality of pixels (here, for example, the pixel 101 is positioned at the center of the object label).
  • the width in the azimuth direction of the figure representing the position of the target to 22 pixels or less (the width in the horizontal direction of the central white portion in FIG. 7C)
  • the original radar signal The position of the target can be estimated without impairing the azimuth resolution of the target.
  • FIG. 8A is a second example of image data for the machine learning model of FIGS. 1 and 2, and is a diagram showing image data representing the position of the target.
  • FIG. 8A shows a pixel 101 corresponding to a coordinate point where a target exists in a two-dimensional image representing distances with respect to azimuths.
  • FIG. 8B is a diagram showing image data of radar signals obtained when a target exists at a position corresponding to the image data of FIG. 8A.
  • FIG. 8C is a diagram showing an example of radar image data, which corresponds to the image data in FIG. 8B and is learning teacher image data given as teacher data for the machine learning model.
  • the width in the azimuth direction of the figure representing the position of the target should be in the range of 0.25 to 0.75 times the main lobe width of the radar device 1. is desirable in order to achieve both convergence and resolution of learning.
  • the estimation accuracy is best when it is about 11 pixels (the horizontal width of the central white portion in FIG. 8C), which corresponds to 0.5 times the main lobe width.
  • the shape of the figure representing the position of the target is a convex shape like an ellipse in any direction, as shown in FIG. is desirable. Therefore, the size of the object label should preferably be at least 3 pixels or more in each dimension so that it has a convex shape in any dimension.
  • the size of the object label in each dimension direction in the teacher image data is set with the main lobe width in each dimension direction as the upper limit when the reflected wave from the point reflection source is detected, or (2) the teacher image data
  • the size of the object label in each dimension direction in is set with the main lobe width in each dimension direction as an upper limit determined from the number of channels in the azimuth direction of the radar device and the radar bandwidth, is preferred.
  • the machine learning model 40 used in this embodiment is preferably configured as follows.
  • Input data of the machine learning model 40 (1) The input data is image data representing a heat map obtained by backward subtracting a radar image including information on reflection intensity in each direction and each distance in time frames. (2) The range of distance and direction can be arbitrarily set according to the application. (3) Input image data does not necessarily have to be three-dimensional, and may be deduced in one frame without time series. (4) The input and output distance and azimuth ranges (image sizes) are not necessarily the same. (5) It is also possible to increase modals of input data. For example, a reflection intensity image before time difference may be prepared as a second modal, and an RGB image may be prepared as a second channel.
  • Teacher image data and output image data include grayscale images expressed in an output range of 0 to 1, for example.
  • the background other than the target to be detected is expressed as 0.
  • a target to be detected is set to 1, and is represented by an object label of a figure having a predetermined shape of a plurality of pixels.
  • the position of the target is determined based on a specific frame in the time series, and in the embodiment of FIGS. 6A to 8C, the position of the target is determined based on the central frame in the time series.
  • the center coordinates of the object label indicate the position information of the target.
  • the size of the object label is represented by a constant size independent of the size of the target.
  • FIG. 9 is a block diagram showing a configuration example and processing example of the object coordinate detection unit 6 in FIG. 1 and 9, the object coordinate detection unit 6 includes a template matching unit 61 and a peak search unit 62.
  • FIG. 9 in the post-processing of the output data from the output processing unit 5, template matching and peak search are performed to extract the number of detection points and coordinate information of the target from the results of the output data of the machine learning model 40.
  • the template matching unit 61 performs pattern matching processing by obtaining a cross-correlation value between the pattern of the object label of the target in the input image data and the pattern of the object label of the correct target stored in advance. , the degree of matching is calculated to calculate the image data of the similarity map.
  • the peak search section 62 performs the following peak search processing on the similarity map image data output from the template matching section 61 . (1) Search for the peak position of the maximum value using a maximum value filter (a 6 ⁇ 6 filter, the size of which can be arbitrarily determined according to the correct label size and the application), and search for the pixel of the search result to obtain image data having (2) Next, mask processing is performed on the obtained image data to obtain image data in which only elements having the same values as the original array are left. (3) Furthermore, in order to remove noise from the obtained image data, pixels with low-value peaks below a predetermined threshold value are eliminated to obtain image data.
  • a maximum value filter a 6 ⁇ 6 filter, the size of which can be arbitrarily determined according to the
  • the object coordinate detection unit 6 outputs the image data obtained by the peak search unit 62 as well as the number of detection points of the target and the coordinate position (distance, direction) of the target to the display unit 7 for display.
  • the object coordinate detection unit 6 can obtain the number and coordinates of targets included in the observation area of the radar device 1 by combining the processes of the template matching unit 61 and the peak search unit 62. can. In addition to the processing used here, a general method of obtaining the center coordinates of a figure can be applied, and the basic effect of the invention is not impaired.
  • time-series time-difference radar image data including reflection intensity information at each azimuth and distance processed by the signal processing unit 2 is processed by the object detection unit.
  • machine learning model 40 it is possible to generate image data in which an object label corresponding to the position of the target is drawn. This allows the user to simultaneously detect the position of each moving object with higher accuracy than in the prior art even in an environment in which multiple moving targets are close to each other.
  • the position of each moving object can be detected at the same time with higher accuracy than in the prior art, even under conditions where clutter occurs in radar data due to proximity of walls such as tunnels and highway soundproof walls.
  • This embodiment further has the following specific effects.
  • Doppler velocity FFT processing for separating signals becomes unnecessary.
  • CFAR and cluster analysis are not required;
  • Detection is possible even if the reflected signal from the desired target is weak.
  • radar image information is not lost.
  • Highly accurate detection is possible even with a small number of antenna elements.
  • FIG. 10 is a diagram showing dimensions of image data used in the object position detection device according to the modification.
  • the target is detected using the two-dimensional image data representing the distance with respect to the azimuth.
  • the dimensions of azimuth and distance further include relative velocity (Doppler velocity), and three-dimensional image data representing distance and velocity with respect to azimuth is used to may be detected.
  • a distance and velocity FFT section is provided to perform known two-dimensional FFT processing of distance and velocity.
  • image data according to the present invention may be image data having at least two dimensions of distance, azimuth and velocity.
  • a radar device is mounted on the ceiling of a tunnel and used for monitoring traffic flow (traffic traffic) in the tunnel. According to the embodiment of the present invention, it is possible to accurately detect the position of a target (moving object) existing in an observation area without being affected by virtual images caused by inner walls or vehicles. In addition, by adding tracking to the results, it can be applied to traffic flow monitoring and notification control.
  • Radar devices are mounted on roadside units in environments with large structures close to roads, such as noise barriers on expressways. used for traffic monitoring. According to the embodiment of the present invention, it is possible to accurately detect the position of a target (moving object) existing in an observation area without being affected by noise barriers or virtual images caused by vehicles. In addition, by adding tracking to the results, it can be applied to traffic flow monitoring and notification control.
  • Radar devices are mounted on roadside units at intersections and used to monitor traffic flow. According to the embodiment of the present invention, the position of a target (moving object) existing in the observation area is correctly detected without being affected by virtual images caused by people, utility poles, buildings, etc., and the result is used for safety monitoring and notification of pedestrians. is used to control
  • Radar devices are mounted on automatic guided vehicles and self-propelled robots operating in factories and used to detect obstacles.
  • the position of a target (obstacle) existing in the observation area is correctly detected without being affected by virtual images caused by machines and workers on the production line in the factory, and the result is an automatic guided vehicle. It is also used for travel control of self-propelled robots.
  • the embodiment of the present invention is characterized in that the machine learning model 40 outputs information corresponding to the position of the object as image data.
  • the input data of the machine learning model 40 is the time-series image data obtained by subtracting the image data of the radar signal including the information of the reflection intensity at each position of the distance with respect to the azimuth.
  • the teacher output data of the machine learning model 40 is characterized by representing position information of an object with a plurality of pixels. This makes it possible to output information on the presence and positions of multiple objects in the form of a single image data, compared to conventional techniques that use, for example, RAD (Range Azimuth Doppler) heat map tensors and correct box classes and positions. Therefore, the computational cost is extremely small. Also, the structure of the machine learning model 40 is simpler than in the prior art.
  • the object position detection device of the present invention can be applied to, for example, a counter device for counting vehicles or pedestrians, a traffic counter device, an infrastructure radar device, and a sensor device for detecting obstacles in an automatic guided vehicle in a factory. can.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、従来技術に比較して、反射波が干渉するような近接する複数の物体又は構造物が近接する状況においても高精度で物体を検出する物***置検出装置を提供する。当該物***置検出装置は、レーダ装置からのレーダ信号に基づいて、物体の位置を検出する。物***置検出装置は、レーダ信号を含む画像データに基づいて、物体の位置を表す所定の教師画像データにより学習された機械学習モデルを用いて、物体の有無及び位置を推定して、推定された物体の有無及び位置を表す画像データを出力する位置推定部（４）を備える。ここで、画像データは、方位に対する距離の２次元画像データ、もしくは方位に対する距離及び相対速度の３次元画像データである。また、教師画像データは、物体の位置を示す複数の画素から構成された図形である物体ラベルで表わされる。

Description

物***置検出装置及び方法
　本発明は、例えばレーダ装置からのレーダ情報に基づいて、物体の位置を推定して検出する物***置検出装置及び方法に関する。
　一般的に、レーダ装置は、受信されたレーダ信号から生成された観測エリアの反射強度及びドップラー速度に対してピーク検出（ＣＦＡＲ（Constant False Alarm Rate））やクラスタ分析を適用することで、物標である移動物体を検出している。
　例えば、特許文献１では、誤検出を抑圧し、目標物体のみを高精度に抽出することのできるレーダ装置が開示されている。当該レーダ装置は、パルス又は連続波を送受信してＮ回（Ｎ≧１）のＣＰＩ（Coherent Pulse Interval）データからレンジ－ドップラー（ＲＤ）データを作成し、前記ＲＤデータについて所定のスレショルドを超えるレンジ－ドップラー軸のセルを抽出する。そして、レーダ装置は、抽出されたセルを用いてクラスタを分析することで目標候補となるクラスタの代表値を選出し、前記代表値から目標のレンジ－ドップラーを抽出し、測距、測速及び測角の少なくともいずれかの処理を行って目標観測値を出力する。
特開２０１８－２０５１７４号公報
　しかし、光学系センサと比較して、レーダ装置はアンテナ数の制約により角度分離分解能を高めることが難しいため、ＣＦＡＲやクラスタ分析の様な手法では、反射波が干渉するような近接する複数の物体や構造物が近接する状況において、物体検出は難しいという問題点があった。
　例えば、ＣＦＡＲの手法を用いたとき、２つの物体が同一距離かつレーダ固有の角度分解能よりも狭い距離で近接する場合、２つの物体からの反射波が干渉し、物標由来の反射波源のピークの検出が困難になる。また、クラスタリングの手法を用いたとき、２つの物体が同一速度で近接移動する場合、クラスタの分離が困難になる。
　本発明の目的は以上の問題点を解決し、従来技術に比較して、反射波が干渉するような近接する複数の物体又は構造物が近接する状況においても高精度で物体を検出することができる物***置検出装置及び方法を提供することにある。
　本発明の一態様に係る物***置検出装置は、
　レーダ装置からのレーダ信号に基づいて、物体の位置を検出する物***置検出装置であって、
　前記レーダ信号を含む画像データに基づいて、前記物体の位置を表す所定の教師画像データにより学習された機械学習モデルを用いて、前記物体の有無及び位置を推定して、前記推定された物体の有無及び位置を表す画像データを出力する位置推定部を、
備える。
　従って、本発明に係る物***置検出装置等によれば、反射波が干渉するような近接する複数の物体又は構造物が近接する状況においても高精度で物体を検出することができる。
実施形態に係る物体推定時の物***置検出装置の構成例を示すブロック図である。 実施形態に係る学習時の物***置検出装置の構成例を示すブロック図である。 図１及び図２のレーダ装置から送信される無線信号のチャープ信号のタイミングチャートである。 図１及び図２の機械学習モデルの第１の構成例を示すブロック図である。 図１及び図２の機械学習モデルの第２の構成例を示すブロック図である。 図１及び図２の機械学習モデルのための画像データ例であって、物標の位置を表す画像データを示す図である。 図６Ａの画像データに対応する位置に物標が存在するときに得られるレーダ信号の画像データを示す図である。 図１及び図２の機械学習モデルのための画像データの第１例であって、物標の位置を表す画像データを示す図である。 図７Ａの画像データに対応する位置に物標が存在するときに得られるレーダ信号の画像データを示す図である。 図７Ｂの画像データに対応し、機械学習モデルの教師データとして与える学習用教師画像データであるレーダ画像データの一例を示す図である。 図１及び図２の機械学習モデルのための画像データの第２例であって、物標の位置を表す画像データを示す図である。 図８Ａの画像データに対応する位置に物標が存在するときに得られるレーダ信号の画像データを示す図である。 図８Ｂの画像データに対応し、機械学習モデルの教師データとして与える学習用教師画像データであるレーダ画像データの一例を示す図である。 図１の物体座標検出部の構成例及び処理例を示すブロック図である。 変形例に係る物***置検出装置で用いる画像データの次元を示す図である。
　以下、本発明に係る実施形態について図面を参照して説明する。なお、同一又は同様の構成要素については同一の符号を付している。
（発明者の知見）
　本発明者らは、レーダ装置を用いた例えば通行車両数計測のアプリケーションにおいて、トンネル内や防音壁が近接する場所等で、マルチパスフェージングやクラッタが発生する環境内で、計数がうまくいかないという課題があることを知り、それに対する解決手段として本発明の実施形態を考案したものである。
　本発明では、物標の位置を推定する手段としてＣＦＡＲとクラスタリングを組み合わせる方法ではなく、機械学習によるレーダ信号の波源推定手法を考案し、信号処理によって生成した時間差分時系列情報と画像認識用の機械学習モデルを用いることで、物標の位置に対応するラベルを描画した画像を生成することを考案した。それにより、ＣＦＡＲやクラスタリングで課題が発生する状況においても、それぞれの物標の位置を高精度に推定することを特徴としている。以下、実施形態について説明する。
（実施形態）
　図１は実施形態に係る物体推定時の物***置検出装置の構成例を示すブロック図であり、図２は実施形態に係る学習時の物***置検出装置の構成例を示すブロック図である。
　図１の物体推定時において、実施形態に係る物***置検出装置は、レーダ装置１と、信号処理部２と、入力処理部３と、物体検出部４と、出力処理部５と、物体座標検出部６と、表示部７と、記憶部８を備えて構成される。また、図２の学習時において、本実施形態の物***置検出装置は、レーダ装置１と、信号処理部２と、入力処理部３と、物体検出部４と、出力処理部５Ａと、記憶部８を備えて構成される。ここで、物体検出部４は機械学習モデル４０を有し、学習後の機械学習モデル４０を、推定検出時に用いるために、学習済み機械学習モデル８１として記憶部８に格納する。なお、図１及び図２においては、物体推定時と学習時で、異なる図で図示しているが、物体検出部４に対して出力処理部５又は５Ａを、スイッチを用いて選択的に切り換えて接続するように構成してもよい。
　図１及び図２において、レーダ装置１は、例えばＦＣＭ（Fast Chirp Modulation）方式を用いて、チャープ信号を含む無線信号を物標に向けて送信し、当該物標で反射されてくる無線信号を受信して、物標との距離及び相対速度を推定するためのレーダ信号であるビート信号を生成する。ここで、ＦＣＭ方式では、周波数が連続的に変化する複数のチャープ信号が繰り返されるチャープ信号を含む無線信号を、物標に対して無線送信して、検出範囲内に存在する各物標との距離及び相対速度を検出する。具体的には、ＦＣＭ方式は、チャープ信号を生成する変調信号と物標による送信信号の反射波を受信して得られる受信信号とから生成されたビート信号に対して距離（レンジ）高速フーリエ変換処理（以下、距離ＦＦＴ処理という）を実行して物標との距離を推定する（後述する距離ＦＦＴ部２２の説明参照）。
　図３は図１及び図２のレーダ装置から送信される無線信号のチャープ信号のタイミングチャートである。本実施形態において、１枚の電波画像データを構成する受信データを「１フレーム」と呼び、１フレームは複数のチャープ信号から構成される。図３は、高速ＦＭＣＷ（Frequency Modulation Continuous Wave）方式のフレームを表しており、Ｂはチャープ信号の帯域幅を示し、Ｔはチャープ信号の反復時間、Ｔ・Ｍは１つのフレーム内にあるアクティブチャープ時間を示す。なお、フレーム時間には、アイドル時間を含む。ここで、例えば、１フレーム当たりのチャープ数は２４として、受信された無線信号の複数のチャープ信号を積算平均することでノイズ耐性を高めることができる。
　さらに、レーダ装置１の無線受信部は、例えば複数のアンテナを含むアレーアンテナを用いて、物標で反射された無線信号を受信した後、無線送信部の送信無線信号と混合しかつローパスフィルタリングすることで、各アンテナに対応する複数のビート信号を計算して信号処理部２に出力する。
　図１及び図２において、信号処理部２は、ＡＤ変換部２１と、距離ＦＦＴ部２２と、到来方向推定部２３とを備える。ＡＤ変換部２１は、レーダ装置１から出力されるレーダ信号の複数のビート信号をＡＤ変換して距離ＦＦＴ部２２に出力する。距離ＦＦＴ部２２は、入力されるＡＤ変換されたビート信号に対して距離ＦＦＴ処理を実行して、処理後の距離ＦＦＴスペクトルを到来方向推定部２３に出力する。到来方向推定部２３は、入力される距離ＦＦＴスペクトルに基づいて、例えばビームフォーミング法を用いて、物標から反射された無線信号の到来方向（方位）を推定し、方位に対する距離の２次元画像において、画素値として反射信号強度（例えば互いに直交するＩ信号及びＱ信号の振幅値を対数値に変換した値）の情報を含む２次元画像データ（所定の離散時間間隔を有する）の形式で入力処理部３に出力する。
　図１及び図２において、入力処理部３は、時間差分部３１と、正規化部３２とを備える。時間差分部３１は、入力される、方位に対する距離の２次元画像において、画素値として反射信号強度の情報（物標の有無及び位置を示す）を含む画像データのうち、互いに時間的に隣接する各１対の時間フレームの２次元画像データに対して後退差分演算（時間方向の有限差分を演算する）を順次、時系列の所定数（例えば３１個）のフレーム毎に行って、方位に対する距離のフレームが時間的に複数ある、方位、距離及び時間の３次元画像データを生成して出力する。次いで、正規化部３２は、後退差分演算後の３次元画像データに基づいて、その各画素値を所定の最大値で正規化し、正規化処理後の３次元画像データを生成し、これを機械学習モデル４０に対する入力データとする。
　なお、時間差分部３１の処理は、例えば上述のように、画素値として反射信号強度の情報を含む画像データのうち、互いに時間的に隣接する各１対の時間フレームの２次元画像データに対して後退差分演算を順次、時系列の所定数のフレーム毎に行っており、推定頻度は当該時系列の所定数のフレームに係るフレーム数に対して１回となる。これに対して、本発明はこれに限らず、時間差分部３１の処理は、例えば上述のように、画素値として反射信号強度の情報を含む画像データのうち、互いに時間的に隣接する各１対の時間フレームの２次元画像データに対して後退差分演算を順次、時系列の１フレーム毎にシフトさせながら行ってもよい。この場合、推定頻度は１フレームに対して１回となる。
　また、時間差分部３１の処理は、方位に対する距離の２次元画像データにおいて、画素値として反射信号強度の情報（物標の有無及び位置を示す）を含む画像データのうち、互いに時間的に隣接する各１対の時間フレームの２次元画像データに対して後退差分演算を行って、方位に対する距離のフレームが時間的に複数ある、方位、距離及び時間の次元を有する時系列の３次元画像データを生成している。ここで、後退差分演算の代替手段として、方位に対する距離の２次元画像データに対して、クラッタ抑圧のために、ドップラーＦＦＴを行ってゼロドップラー成分を計算し、元の２次元画像データから当該ゼロドップラー成分を減算してもよい。このとき、前記減算された２次元力画像データに基づいて、互いに時間的に隣接する各１対の時間フレームの２次元画像データに対して後退差分演算を行って、方位に対する距離のフレームが時間的に複数ある、方位、距離及び時間の次元を有する時系列の３次元画像データを生成する。
　一方、出力処理部５Ａは、レーダ装置１を用いて物標の位置検出したときの２次元教師画像データ（図７Ａ～図９Ｃを参照して後述するように、既知の物標位置に対して複数画素を２次元画像データ（物標の位置情報を鳥瞰図として表す）において与える）を内蔵メモリに格納しておき、機械学習モデル４０に対する学習時に出力データとして物体検出部４に入力する。なお、物体推定時の出力処理部に対して符号５を付し、出力処理部５は、物体検出部４からの推定結果の２次元画像データを内蔵バッファメモリに格納した後、図１の物体座標検出部６に出力する。
　以下の表１に、信号処理部２及び入力処理部３の信号処理（信号データの種類）と出力データフォーマットを示す。
［表１］
信号処理部２及び入力処理部３の信号処理（信号データの種類）と
出力データフォーマット
――――――――――――――――――――――――――――――――――
レーダ装置１のＩ／Ｑ信号取得処理（複素数データ）：
フレーム数×チャープ数×仮想受信アンテナ数×取得サンプル数
――――――――――――――――――――――――――――――――――
レーダ装置１のチャープ信号の積算処理（複素数データ）：
フレーム数×仮想受信アンテナ数×取得サンプル数
――――――――――――――――――――――――――――――――――
距離ＦＦＴ処理（複素数データ）：
フレーム数×仮想受信アンテナ数×距離ビン数
――――――――――――――――――――――――――――――――――
到来方向推定処理（デジタルビームフォーミング法）（複素数データ）：
フレーム数×方位ビン数×距離ビン数
――――――――――――――――――――――――――――――――――
到来方向推定処理後のＩ／Ｑ信号の振幅絶対値演算及び対数変換処理
（複素数データ）：
フレーム数×方位ビン数×距離ビン数
――――――――――――――――――――――――――――――――――
時間差分処理（複素数データ）：
（フレーム数－１）×方位ビン数×距離ビン数
――――――――――――――――――――――――――――――――――
正規化処理（複素数データ）：
（フレーム数－１）×方位ビン数×距離ビン数
――――――――――――――――――――――――――――――――――
　図１及び図２の物体検出部４は位置推定部の一例であって、例えば畳み込みエンコーダと畳み込みデコーダで構成されるＤＮＮ（ディープニューラルネットワーク）で構成される機械学習モデル４０を有し、入力データとして前記正規化処理後の３次元画像データを入力する一方、出力データとして出力処理部５Ａから前記２次元教師画像データを入力して、機械学習モデル４０を学習させた後、学習済み機械学習モデル４０を、学習済み機械学習モデル８１として記憶部８に保存する。次いで、物体検出部４は、図１の物体検出時において、記憶部８内の学習済み機械学習モデル８１を、機械学習モデル４０として物体検出部４の内蔵メモリに保存格納して推定検出に用いる。
　図１の物体検出時においては、レーダ装置１から信号処理部２及び入力処理部３を経て物体検出部４に至る処理は、学習時と同じであるが、物体検出部４は、入力データに用いて機械学習モデル４０を用いて物体検出時の推定を行って、２次元画像データである出力データを出力処理部５に出力する。出力処理部５は、物体検出部４からの推定結果の２次元画像データを内蔵バッファメモリに格納した後、図１の物体座標検出部６に出力する。
　図４は図１及び図２の機械学習モデル４０の第１の構成例（実施形態）である機械学習モデル４０Ａを示すブロック図である。図４において、機械学習モデル４０Ａは、３次元畳み込みエンコーダ４１と、２次元畳み込みデコーダ４２とを備えて構成される。
　図４の３次元畳み込みエンコーダ４１は４個の信号処理部を備え、３次元変換フィルタ３×３×３（１６又は３２）と、最大プーリング処理部２×２×２と、活性化関数処理部（関数Ｒｅｌｕ）とを用いて構成される。ここで、括弧内はフィルタ数を示す。また、２次元畳み込みデコーダ４２は５個の信号処理部を備え、２次元変換フィルタ３×３（１６又は３２）と、アップサンプリング処理部２×２と、活性化関数処理部（関数Ｒｅｌｕ）と、出力層の活性化関数処理部（シグモイド関数）とを用いて構成される。
　３次元畳み込みエンコーダ４１の入力データは、例えば次式のデータフォーマットを有する。
（時間，距離，方位，チャネル）＝（８０，１２８，８０，１）
　また、２次元畳み込みデコーダ４２の出力データは、例えば次式のデータフォーマットを有する。
（距離，方位，チャネル）＝（１２８，８０，１）
　以上のように構成された図４の機械学習モデル４０Ａの基本構成に対して、例えば一般的な深層学習のディープドロップ又はバッチノーマライゼション等の追加処理を行ってもよい。
　図５は図１及び図２の機械学習モデルの第２の構成例（変形例）である機械学習モデル４０Ｂを示すブロック図である。図４の機械学習モデル４０Ａに対して、図５の機械学習モデル４０Ｂは、２次元畳み込みエンコーダ５１と、２次元畳み込みデコーダ５２とを備えて構成される。
　図５の２次元畳み込みエンコーダ５１は４個の信号処理部を備え、２次元変換フィルタ３×３（１６又は３２）と、最大プーリング処理部２×２と、活性化関数処理部（関数Ｒｅｌｕ）とを用いて構成される。ここで、括弧内はフィルタ数を示す。また、２次元畳み込みデコーダ５２は５個の信号処理部を備え、２次元変換フィルタ３×３（１６又は３２）と、アップサンプリング処理部２×２と、活性化関数処理部（関数Ｒｅｌｕ）と、出力層の活性化関数処理部（シグモイド関数）とを用いて構成される。
　２次元畳み込みエンコーダ５１の入力データは、例えば次式のデータフォーマットを有する。
（距離，方位，チャネル）＝（１２８，８０，１）
　また、２次元畳み込みデコーダ５２の出力データは、例えば次式のデータフォーマットを有する。
（距離，方位，チャネル）＝（１２８，８０，１）
　以上のように構成された図５の機械学習モデル４０Ｂでは、入力データにおいて時間方向の次元を無くし（すなわち、図１及び図２において、時間差分部３１を省略する）、畳み込みエンコーダ５１を２次元で構成したことを特徴としている。これにより、物体検出の認識性能は、機械学習モデル４０Ａに比較して低下するが、計算負荷が小さくなるという特有の効果を有する。
　次いで、図１及び図２の機械学習モデル４０の画像データの一例について以下に説明する。
　図６Ａは図１及び図２の機械学習モデルのための画像データ例であって、物標の位置を表す画像データを示す図である。図６Ａに、方位に対する距離を表す２次元画像において、物標が存在する座標点に対応する画素１０１を示している。これに対して、図６Ｂは図６Ａの画像データに対応する位置に物標が存在するときに得られるレーダ信号の画像データを示している。図６Ｂにおいて、物標の存在に対応するレーダ信号のメインローブの方位方向の幅は、レーダ装置１の方位方向のチャンネル数によって決まる。図６Ｂの実施例では、レーダ装置１の方位方向のチャンネル数は８であり、そのメインローブ幅はおよそ２２度に相当する。実施例では１度を１画素で表現しているため、メインローブは２２画素に相当する。
　図７Ａは図１及び図２の機械学習モデルのための画像データの第１例であって、物標の位置を表す画像データを示す図である。図７Ａに、方位に対する距離を表す２次元画像において、物標が存在する座標点に対応する画素１０１を示している。これに対して、図７Ｂは図７Ａの画像データに対応する位置に物標が存在するときに得られるレーダ信号の画像データを示しており、図７Ｃは図７Ｂの画像データに対応し、機械学習モデル４０の教師データとして与える学習用教師画像データであるレーダ画像データの一例を示している。
　図７Ｃに示すように、機械学習モデル４０の教師データとして与える画像データ（教師画像データ）における物標の位置を表す点（図７Ａの画素１０１の位置に対応する）は、１画素の点ではなく複数画素からなる範囲を持った図形である「物体ラベル」（ここで、例えば物体ラベルの中心に、画素１０１が位置する。）とすることで、学習が精度よく収束する。このとき、上記の実施例で、物標の位置を表す図形の方位方向の幅を、２２ピクセル以下（図７Ｃの中央部の白部分の横方向の幅）とすることで、元々のレーダ信号のもつ方位分解能を損なわずに物標の位置の推定を行うことができる。同様に距離の次元やその他の次元に対しても、レーダ装置１のパラメータによって定められるメインローブの幅を、物標の位置を表す図形の対応する次元方向の幅の上限とすることが望ましい。
　図８Ａは図１及び図２の機械学習モデルのための画像データの第２例であって、物標の位置を表す画像データを示す図である。図８Ａに、方位に対する距離を表す２次元画像において、物標が存在する座標点に対応する画素１０１を示している。これに対して、図８Ｂは図８Ａの画像データに対応する位置に物標が存在するときに得られるレーダ信号の画像データを示す図である。図８Ｃは図８Ｂの画像データに対応し、機械学習モデルの教師データとして与える学習用教師画像データであるレーダ画像データの一例を示す図である。
　発明者らのシミュレーション及び実験によれば、経験的に、物標の位置を表す図形の方位方向の幅をレーダ装置１のメインローブ幅の０．２５倍～０．７５倍の範囲とすることが、学習の収束性と分解能を両立させる上で望ましい。上記の実施例では、１１画素程度（図８Ｃの中央部の白部分の横方向の幅）とすると最も推定精度がよく、これはメインローブ幅の０．５倍に対応する。また、物標の位置を表す図形の形状は、テンプレートマッチングの際にどの次元方向に対しても分離がされやすいように、図８Ｃに示すように、楕円のようにどの方向にも凸な形状が望ましい。そのため、物体ラベルのサイズはどの次元方向に対しても凸な形状になるよう、好ましくは最低でも各次元で３ピクセル以上である必要がある。
　図６A～図７Cを参照して説明したように、
（１）教師画像データにおける前記物体ラベルの各次元方向におけるサイズは、点反射源からの反射波を検出したときの各次元方向におけるメインローブ幅を上限として設定され、もしくは
（２）教師画像データにおける前記物体ラベルの各次元方向におけるサイズは、前記レーダ装置の方位方向のチャンネル数及びレーダ帯域幅から定まる各次元方向におけるメインローブ幅を上限として設定される、
ことが好ましい。
　以上説明したように、本実施形態で用いる機械学習モデル４０は以下のように構成することが好ましい。
１．機械学習モデル４０の入力データ
（１）入力データは、各方位及び各距離における反射強度の情報を含むレーダ画像を時間フレームで後退差分したヒートマップを表す画像データある。
（２）距離及び方位の範囲はアプリケーションに合わせて任意に設定可能である。
（３）入力される画像データは必ずしも３次元である必要はなく、時系列をなくして１フレームで推論してもよい。
（４）入力と出力の距離及び方位の範囲（画像サイズ）は必ずしも同じである必要はない。
（５）入力データのモーダルを増やすことも可能であって、例えば、時間差分前の反射強度画像を２つ目のモーダルとして、ＲＧＢ画像のように２つ目のチャネルとして用意してもよい。
２．機械学習モデル４０の教師データ及び出力データ
（１）教師画像データ及び出力画像データは、例えば０～１の出力範囲で表現されたグレースケールの画像を含む。
（２）検出対象となる物標以外の背景等を０として表現する。
（３）検出対象となる物標を１とし、複数画素の所定形状の図形の物体ラベルで表現する。
（４）物標の位置は時系列中の特定のフレームを基準に決定し、図６Ａ～図８Ｃの実施例では時系列中の中心フレームを基準に物標の位置を決定した。
（５）物体ラベルの中心座標は物標の位置情報を示す。
（６）物体ラベルのサイズは物標のサイズには依存せず一定のサイズで表す。
　次いで、図１の物体座標検出部６の構成例及び処理例について以下に説明する。
　図９は図１の物体座標検出部６の構成例及び処理例を示すブロック図である。図１及び図９において、物体座標検出部６は、テンプレートマッチング部６１と、ピークサーチ部６２とを備える。本実施形態では、出力処理部５からの出力データの後処理において、機械学習モデル４０の出力データの結果から物標の検出点数及び座標情報を抽出するためにテンプレートマッチングとピークサーチを行った。
　テンプレートマッチング部６１は、入力される画像データのうち、物標の物体ラベルのパターンを、予め格納した物標の正解物標の物体ラベルのパターンと相互相関値を求めてパターンマッチング処理を行うことで、合致度の計算を行って類似度マップの画像データを計算する。次いで、ピークサーチ部６２は、テンプレートマッチング部６１から出力される類似度マップの画像データに対して以下のピークサーチ処理を行う。
（１）最大値フィルタ（６×６のフィルタであって、正解ラベルサイズやアプリケーションに応じて任意にサイズを決定することが可能）を用いて最大値のピーク位置を検索し、検索結果の画素を有する画像データを得る。
（２）次いで、得られた画像データに対してマスク処理を行うことで元の配列と同じ値を持つ要素だけ残した画像データを得る。
（３）さらに、得られた画像データに対してノイズ除去のために、所定のしきい値以下の低値ピークの画素を排除して画像データを得る。
　さらに、物体座標検出部６は、ピークサーチ部６２で得られた画像データとともに、物標の検出点数及び物標の座標位置（距離、方位）を表示部７に出力して表示させる。
　以上説明したように、物体座標検出部６では、テンプレートマッチング部６１及びピークサーチ部６２との各処理を組み合わせることで、レーダ装置１の観測エリアに含まれる物標の数や座標を求めることができる。また、ここで用いた処理以外にも一般的な図形の中心座標の求め方を適用することができ、発明の基本的な効果を損なうことはない。
（実施形態の作用効果）
　以上説明したように、本実施形態によれば、物標の位置を推定する手段としてＣＦＡＲとクラスタリングを組み合わせる方法ではなく、信号処理によって生成した時間差分時系列情報と画像認識用の機械学習モデルを用いることで、物標の位置に対応する物体ラベルを描画した画像データを生成することができる。それにより、ＣＦＡＲやクラスタリングで課題が発生する状況においても、それぞれの物標の位置を、従来技術に比較して高精度に推定することが可能になった。ここで、従来技術であるドップラーＦＦＴ、ＣＦＡＲ、クラスタ分析では計数がうまくいかない物体近接状況において、正しく波源数を計数でき位置を検出できるという、特有の効果を有する。
　本実施形態では、特に、画像認識用の機械学習モデル４０に対して、信号処理部２によって処理された各方位及び各距離における反射強度情報を含む時系列の時間差分レーダ画像データを物体検出部４の機械学習モデル４０に入力することで、物標の位置に対応する物体ラベルを描画された画像データを生成できる。これにより、ユーザは、移動する複数の物標が近接する環境内でも、各移動物体の位置を従来技術に比較して高精度で同時に検出することができる。また、例えばトンネルや高速道路の防音壁など壁が近接しレーダデータにおいてクラッタが発生するような状況下でも各移動物体の位置を従来技術に比較して高精度で同時に検出することができる。
　本実施形態では，以下の特有の効果をさらに有する。
（１）信号処理部２において、信号を分離するためのドップラー速度ＦＦＴ処理が不要になる。なお、従来技術では、距離（レンジ）及びドップラー速度（相対速度）の２次元ＦＦＴ処理を行うことが一般的である。
（２）ＣＦＡＲ及びクラスタ分析が不要である。
（３）クラッタやサイドローブを抑圧する必要がない。
（４）所望する物標からの反射信号が微弱であっても検知が可能である。
（５）実施形態に係る物体検出処理では、レーダ画像の情報は欠損しない。
（６）アンテナ素子が少なくても高精度な検知が可能である。
（変形例）
　図１０は変形例に係る物***置検出装置で用いる画像データの次元を示す図である。以上の実施形態では、方位に対する距離を表す２次元画像データを用いて物標を検出している。しかし、本発明はこれに限らず、図１０に示すように、方位及び距離の次元にさらに、相対速度（ドップラー速度）を含み、方位に対する距離及び速度を表す３次元画像データを用いて物標を検出してもよい。この場合、距離ＦＦＴ部２２に代えて、距離及び速度ＦＦＴ部を備え、公知の距離及び速度の２次元ＦＦＴ処理を行う。
　さらに、例えば、方位に対するチャンネルを持たず距離の一次元のみに対して物標の位置を検出するレーダ装置も考えられ、位置を距離として使用する場合もある。この場合に、本発明を適用して距離－速度平面上での波源位置推定を行うと、より正確な物標位置を求めることができる。従って、本発明に係る画像データは、距離、方位及び速度のうちの少なくとも２つの次元を有する画像データであってもよい。
（応用例）
　本実施形態に係る物***置検出装置の応用例について以下に説明する。
（１）トンネル内の交通流の監視
　レーダ装置はトンネル内の天井に搭載されて、トンネル内の交通流（交通トラフィック）の監視のために使用される。本発明の実施形態によって、内壁や車両同士による虚像の影響を受けずに観測エリアに存在する物標（移動体）の位置を正しく検出することができる。また、その結果に対してトラッキングを加えることで交通流の監視や通知の制御に適用することができる。
（２）道路に近接する大きな構造物が存在する環境での交通流の監視
　レーダ装置は高速道路の防音壁（遮音壁）のように道路に近接する大きな構造物が存在する環境の路側機に搭載されて、交通流の監視のために使用される。本発明の実施形態によって、防音壁や車両同士による虚像の影響を受けずに観測エリアに存在する物標（移動体）の位置を正しく検出することができる。また、その結果に対してトラッキングを加えることで交通流の監視や通知の制御に適用することができる。
（３）交差点での歩行者の安全監視
　レーダ装置は交差点の路側機に搭載されて、交通流の監視のために使用される。本発明の実施形態によって、人間同士や電柱や建物などによる虚像の影響を受けずに観測エリアに存在する物標（移動体）の位置を正しく検出し、その結果が歩行者の安全監視や通知の制御に用いられる。
（４）工場内での自動搬送車もしくは自走ロボットの障害物検知のセンサ
　レーダ装置は工場内で稼働する自動搬送車や自走ロボットに搭載され、障害物を検知するために使用される。本発明の実施形態によって、工場内における製造ラインの機械や作業者などによる虚像の影響を受けずに観測エリアに存在する物標（障害物）の位置を正しく検出し、その結果が自動搬送車や自走ロボットの走行制御に用いられる。
（従来技術との相違点と特有の効果）
　本発明の実施形態では、機械学習モデル４０は、物体の位置に対応する情報を画像データとして出力することを特徴としている。ここで、機械学習モデル４０の入力データは、方位に対する距離の各位置における反射強度の情報を含むレーダ信号の画像データを時間フレームで差分した後、時系列化した画像データである。また、機械学習モデル４０の教師出力データは、物体の位置情報を複数の画素で表すことを特徴としている。これにより、例えばＲＡＤ（Range Azimuth Doppler）のヒートマップのテンソル及び正解ボックスのクラス及び位置を用いる従来技術に比較して、複数の物体の有無と位置に関する情報を１枚の画像データの形式で出力するために、計算コストがきわめて小さい。また、機械学習モデル４０の構造も従来技術に比較して簡単である。
　以上詳述したように、本発明によれば、従来技術に比較して、反射波が干渉するような近接する複数の物体又は構造物が近接する状況においても高精度で物体を検出することができる。本発明の物***置検出装置は、例えば、車両又は歩行者を計数するカウンタ装置、トラフィックカウンタ装置、インフラレーダ装置、及び工場内での自動搬送車の障害物を検出するセンサ装置に適用することができる。
１　レーダ装置
２　信号処理部
３　入力処理部
４　物体検出部
５　出力処理部
６　物体座標検出部
７　表示部
８　記憶部
２１　ＡＤ変換部
２２　距離ＦＦＴ部
２３　到来方向推定部
３１　時間差分部
３２　正規化部
４０，４０Ａ，４０Ｂ　機械学習モデル
４１　３次元畳み込みエンコーダ
４２　２次元畳み込みデコーダ
５１　２次元畳み込みエンコーダ
５２　２次元畳み込みデコーダ
６１　テンプレートマッチング部
６２　ピークサーチ部
８１　学習済み機械学習モデル
１０１　物標が存在する座標点に対応する画素

Claims (27)

  1. 　レーダ装置からのレーダ信号に基づいて、物体の位置を検出する物***置検出装置であって、
    　前記レーダ信号を含む画像データに基づいて、前記物体の位置を表す所定の教師画像データにより学習された機械学習モデルを用いて、前記物体の有無及び位置を推定して、前記推定された物体の有無及び位置を表す画像データを出力する位置推定部を、
    備える物***置検出装置。
  2. 　前記画像データは、方位に対する距離の２次元画像データである、
    請求項１に記載の物***置検出装置。
  3. 　前記画像データは、距離、方位及び速度のうちの少なくとも２つの次元を有する画像データである、
    請求項１に記載の物***置検出装置。
  4. 　前記教師画像データは、前記物体の位置を示す複数の画素から構成された図形である物体ラベルで表わされる、
    請求項１～３のいずれか１項に記載の物***置検出装置。
  5. 　前記物体ラベルは、前記物体の位置が前記物体ラベルの中心に位置するように構成される、請求項４に記載の物***置検出装置。
  6. 　前記教師画像データにおける前記物体ラベルの各次元方向におけるサイズは、点反射源からの反射波を検出したときの各次元方向におけるメインローブ幅を上限として設定される、
    請求項４又は５に記載の物***置検出装置。
  7. 　前記教師画像データにおける前記物体ラベルの各次元方向におけるサイズは、前記レーダ装置の方位方向のチャンネル数及びレーダ帯域幅から定まる各次元方向におけるメインローブ幅を上限として設定される、
    請求項４又は５に記載の物***置検出装置。
  8. 　前記物体ラベルは、各次元方向に凸である形状を有する、
    請求項４～７のいずれか１項に記載の物***置検出装置。
  9. 　前記物体ラベルは、楕円形状を有する、
    請求項８に記載の物***置検出装置。
  10. 　前記レーダ信号を含む画像データは、方位に対する距離の各位置における反射強度を含む画像データである、
    請求項１～９のいずれか１項に記載の物***置検出装置。
  11. 　前記レーダ信号を含む画像データは、前記方位に対する距離の各位置における反射強度を含む画像データに基づいて、複数の異なる時刻で取得された時系列の複数の画像データである、
    請求項１０に記載の物***置検出装置。
  12. 　前記レーダ信号を含む画像データは、前記複数の異なる時刻で取得された時系列の複数の画像データに対して、時間差分の反射強度を計算することで得られる前記時間差分の反射強度を含む画像データである、
    請求項１１に記載の物***置検出装置。
  13. 　前記レーダ信号を含む画像データは、
    　前記方位に対する距離の各位置における反射強度を含む画像データに対してドップラーＦＦＴを行った後、前記ドップラーＦＦＴにより得られたゼロドップラー成分を、前記レーダ信号を含む画像データから減算し、当該減算された画像データに基づいて複数の異なる時刻で取得された時系列の複数の画像データである、請求項１１に記載の物***置検出装置。
  14. 　前記物***置検出装置は、
    （１）トンネル内の交通流を測定するトンネル交通流監視センサ装置と、
    （２）所定の構造物の傍に設けられた交通流監視センサ装置、
    （３）交差点に設けられ、交差点の歩行者を測定する歩行者監視センサ装置と、
    （４）工場内での自動搬送車もしくは自走ロボットの障害物を検出するセンサ装置との
    いずれかである、請求項１～１３のいずれか１項に記載の物***置検出装置。
  15. 　レーダ装置からのレーダ信号に基づいて、物体の位置を検出する物***置検出装置の物***置検出方法であって、
    　位置推定部が、前記レーダ信号を含む画像データに基づいて、前記物体の位置を表す所定の教師画像データにより学習された機械学習モデルを用いて、前記物体の有無及び位置を推定して、前記推定された物体の有無及び位置を表す画像データを出力するステップを、
    含む物***置検出方法。
  16. 　前記画像データは、方位に対する距離の２次元画像データである、
    請求項１５に記載の物***置検出方法。
  17. 　前記画像データは、距離、方位及び速度のうちの少なくとも２つの次元を有する画像データである、
    請求項１５に記載の物***置検出方法。
  18. 　前記教師画像データは、前記物体の位置を示す複数の画素から構成された図形である物体ラベルで表わされる、
    請求項１５～１７のいずれか１項に記載の物***置検出方法。
  19. 　前記物体ラベルは、前記物体の位置が前記物体ラベルの中心に位置するように構成される、請求項１８に記載の物***置検出方法。
  20. 　前記教師画像データにおける前記物体ラベルの各次元方向におけるサイズは、点反射源からの反射波を検出したときの各次元方向におけるメインローブ幅を上限として設定される、
    請求項１８又は１９に記載の物***置検出方法。
  21. 　前記教師画像データにおける前記物体ラベルの各次元方向におけるサイズは、前記レーダ装置の方位方向のチャンネル数及びレーダ帯域幅から定まる各次元方向におけるメインローブ幅を上限として設定される、
    請求項１８又は１９に記載の物***置検出方法。
  22. 　前記物体ラベルは、各次元方向に凸である形状を有する、
    請求項１８～２１のいずれか１項に記載の物***置検出方法。
  23. 　前記物体ラベルは、楕円形状を有する、
    請求項２２に記載の物***置検出方法。
  24. 　前記レーダ信号を含む画像データは、方位に対する距離の各位置における反射強度を含む画像データである、
    請求項１５～２３のいずれか１項に記載の物***置検出方法。
  25. 　前記レーダ信号を含む画像データは、前記方位に対する距離の各位置における反射強度を含む画像データに基づいて、複数の異なる時刻で取得された時系列の複数の画像データである、
    請求項２４に記載の物***置検出方法。
  26. 　前記レーダ信号を含む画像データは、前記複数の異なる時刻で取得された時系列の複数の画像データに対して、時間差分の反射強度を計算することで得られる前記時間差分の反射強度を含む画像データである、
    請求項２５に記載の物***置検出方法。
  27. 　前記レーダ信号を含む画像データは、
    　前記方位に対する距離の各位置における反射強度を含む画像データに対してドップラーＦＦＴを行った後、前記ドップラーＦＦＴにより得られたゼロドップラー成分を、前記レーダ信号を含む画像データから減算し、当該減算された画像データに基づいて複数の異なる時刻で取得された時系列の複数の画像データである、請求項２５に記載の物***置検出方法。
PCT/JP2022/010041 2021-03-10 2022-03-08 物***置検出装置及び方法 WO2022191197A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22767151.8A EP4307001A1 (en) 2021-03-10 2022-03-08 Object-position detecting device and method
US18/279,296 US20240142600A1 (en) 2021-03-10 2022-03-08 Object-position detector apparatus and detection method for estimating position of object based on rader information from rader apparatus
CN202280017396.3A CN116888502A (zh) 2021-03-10 2022-03-08 物***置检测装置及方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021038305A JP2022138425A (ja) 2021-03-10 2021-03-10 物***置検出装置及び方法
JP2021-038305 2021-03-10

Publications (1)

Publication Number Publication Date
WO2022191197A1 true WO2022191197A1 (ja) 2022-09-15

Family

ID=83226760

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/010041 WO2022191197A1 (ja) 2021-03-10 2022-03-08 物***置検出装置及び方法

Country Status (5)

Country Link
US (1) US20240142600A1 (ja)
EP (1) EP4307001A1 (ja)
JP (1) JP2022138425A (ja)
CN (1) CN116888502A (ja)
WO (1) WO2022191197A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5345539A (en) * 1990-11-02 1994-09-06 The Secretary Of State For Defence In Her Britannic Majesty's Government Of The United Kingdom Of Great Britain And Northern Ireland Radar apparatus using neural network for azimuth and elevation detection
JP2018205174A (ja) 2017-06-06 2018-12-27 株式会社東芝 レーダ装置及びそのレーダ信号処理方法
JP2019152543A (ja) * 2018-03-02 2019-09-12 株式会社東芝 目標認識装置、目標認識方法及びプログラム
WO2020022110A1 (ja) * 2018-07-27 2020-01-30 パナソニック株式会社 レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法
US20200278444A1 (en) * 2019-03-01 2020-09-03 Samsung Electronics Co., Ltd. Determining relevant signals using multi-dimensional radar signals
WO2020261525A1 (ja) * 2019-06-28 2020-12-30 日本電気株式会社 レーダ装置、イメージング方法およびイメージングプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5345539A (en) * 1990-11-02 1994-09-06 The Secretary Of State For Defence In Her Britannic Majesty's Government Of The United Kingdom Of Great Britain And Northern Ireland Radar apparatus using neural network for azimuth and elevation detection
JP2018205174A (ja) 2017-06-06 2018-12-27 株式会社東芝 レーダ装置及びそのレーダ信号処理方法
JP2019152543A (ja) * 2018-03-02 2019-09-12 株式会社東芝 目標認識装置、目標認識方法及びプログラム
WO2020022110A1 (ja) * 2018-07-27 2020-01-30 パナソニック株式会社 レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法
US20200278444A1 (en) * 2019-03-01 2020-09-03 Samsung Electronics Co., Ltd. Determining relevant signals using multi-dimensional radar signals
WO2020261525A1 (ja) * 2019-06-28 2020-12-30 日本電気株式会社 レーダ装置、イメージング方法およびイメージングプログラム

Also Published As

Publication number Publication date
US20240142600A1 (en) 2024-05-02
CN116888502A (zh) 2023-10-13
EP4307001A1 (en) 2024-01-17
JP2022138425A (ja) 2022-09-26

Similar Documents

Publication Publication Date Title
EP3252501B1 (en) Enhanced object detection and motion state estimation for a vehicle environment detection system
US11506776B2 (en) Method and device with improved radar resolution
EP3825728A1 (en) Method and device to improve radar data using reference data background
EP2382486B1 (en) A method for estimating an object motion characteristic from a radar signal, a computer system and a computer program product
JP2020091281A (ja) レーダーデータを処理する装置及び方法
CN109102702A (zh) 基于视频车辆检测和雷达信号融合的车辆测速方法
CN110832340B (zh) 用于探测运动对象的***
EP3982160A1 (en) Method and system for indoor multipath ghosts recognition
Khomchuk et al. Pedestrian motion direction estimation using simulated automotive MIMO radar
EP3460515B1 (en) Mapping for autonomous robotic devices
US20230139751A1 (en) Clustering in automotive imaging
Cui et al. 3D detection and tracking for on-road vehicles with a monovision camera and dual low-cost 4D mmWave radars
CN115061113B (zh) 用于雷达的目标检测模型训练方法、装置及存储介质
CN115856854A (zh) 一种模型与数据混合驱动的雷达探测方法及***
Holder et al. Modeling and simulation of radar sensor artifacts for virtual testing of autonomous driving
WO2022191197A1 (ja) 物***置検出装置及び方法
KR20150001393A (ko) 레이더 배열 안테나 빔 감지 장치 및 방법
CN111175715A (zh) 可抑制雷达近距离谐波的辅助驾驶***、方法
Gao et al. Static background removal in vehicular radar: Filtering in azimuth-elevation-doppler domain
CN113640802B (zh) 一种基于多融合传感器的机器人空间定位方法和***
CN111175717A (zh) 可抑制雷达近距离谐波的辅助驾驶方法和场景应用
CN111190154A (zh) 可抑制雷达近距离谐波的辅助驾驶***、方法
Ren et al. Discrimination of Automotive Radar Distributed Targets
US20240094377A1 (en) High resolution radar simulation to train vehicle radar system neural network
EP4369028A1 (en) Interface for detection representation of hidden activations in neural networks for automotive radar

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22767151

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280017396.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18279296

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2022767151

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022767151

Country of ref document: EP

Effective date: 20231010