JP7511471B2 - 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置 - Google Patents
情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置 Download PDFInfo
- Publication number
- JP7511471B2 JP7511471B2 JP2020528851A JP2020528851A JP7511471B2 JP 7511471 B2 JP7511471 B2 JP 7511471B2 JP 2020528851 A JP2020528851 A JP 2020528851A JP 2020528851 A JP2020528851 A JP 2020528851A JP 7511471 B2 JP7511471 B2 JP 7511471B2
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- unit
- data
- processing
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 61
- 238000004590 computer program Methods 0.000 title claims description 11
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000012545 processing Methods 0.000 claims description 274
- 238000007499 fusion processing Methods 0.000 claims description 261
- 238000001514 detection method Methods 0.000 claims description 114
- 238000000034 method Methods 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 50
- 230000006870 function Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 27
- 238000004458 analytical method Methods 0.000 description 23
- 238000005516 engineering process Methods 0.000 description 23
- 230000001133 acceleration Effects 0.000 description 13
- 230000010391 action planning Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000004927 fusion Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000036626 alertness Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 101100020619 Arabidopsis thaliana LATE gene Proteins 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002079 cooperative effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229910052755 nonmetal Inorganic materials 0.000 description 1
- 150000002843 nonmetals Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/865—Combination of radar systems with lidar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/411—Identification of targets based on measurements of radar reflectivity
- G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/414—Discriminating targets with respect to background clutter
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/50—Systems of measurement based on relative movement of target
- G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
- G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
- G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9318—Controlling the steering
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/93185—Controlling the brakes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9319—Controlling the accelerator
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/646—Following a predefined trajectory, e.g. a line marked on the floor or a flight path
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Description
センサの検出信号に基づいて物体を認識処理する認識部と、
前記認識部による認識前の第1のデータと他のデータをフュージョン処理する処理部と、
を具備する情報処理装置である。
センサの検出信号に基づいて物体を認識処理する認識ステップと、
前記認識ステップによる認識前の第1のデータと他のデータをフュージョン処理する処理ステップと、
を有する情報処理方法である。前記処理ステップでは、前記第2の認識部による認識前の第3のデータと前記第1のデータとのフュージョン処理、前記第2の認識部による認識後の第4のデータと前記第1のデータとのフュージョン処理、前記第1のデータと前記認識部による認識後の第2のデータとのフュージョン処理、又は、前記第4のデータと前記第2のデータとのフュージョン処理のうち少なくとも1つのフュージョン処理を実施するようにしてもよい。
センサの検出信号に基づいて物体を認識処理する認識部、
前記認識部による認識前の第1のデータと他のデータをフュージョン処理する処理部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラムである。前記処理部は、前記第2の認識部による認識前の第3のデータと前記第1のデータとのフュージョン処理、前記第2の認識部による認識後の第4のデータと前記第1のデータとのフュージョン処理、前記第1のデータと前記認識部による認識後の第2のデータとのフュージョン処理、又は、前記第4のデータと前記第2のデータとのフュージョン処理のうち少なくとも1つのフュージョン処理を実施するようにしてもよい。
移動手段と、
センサと、
前記センサの検出信号に基づいて物体を認識処理する認識部と、
前記認識部による認識前の第1のデータと他のデータをフュージョン処理する処理部と、
前記処理部による処理結果に基づいて前記移動手段を制御する制御部と、
を具備する移動体装置である。前記処理部は、前記第2の認識部による認識前の第3のデータと前記第1のデータとのフュージョン処理、前記第2の認識部による認識後の第4のデータと前記第1のデータとのフュージョン処理、前記第1のデータと前記認識部による認識後の第2のデータとのフュージョン処理、又は、前記第4のデータと前記第2のデータとのフュージョン処理のうち少なくとも1つのフュージョン処理を実施するようにしてもよい。
(1)センサの検出信号に基づいて物体を認識処理する認識部と、
前記認識部による認識前の第1のデータと他のデータをフュージョン処理する処理部と、
を具備する情報処理装置。この情報処理装置によれば、前記認識部で判定閾値により切り捨てる前の情報を含む第1のデータをフュージョン処理に利用することで、より多くの物体を認識することが可能になるという効果がある。
(2)前記センサはミリ波レーダーである、
上記(1)に記載の情報処理装置。この情報処理装置によれば、ミリ波レーダー用の認識器で認識した後の、尤度は高いが情報量が少ない認識結果を、認識器で判定閾値により切り捨てる前の豊富なRAWデータとフュージョン処理することで、より多くの物体を認識することが可能になるという効果がある。
(3)前記認識部は、認識前に前記センサの検出信号に基づいて物体の距離検出、速度検出、角度検出、前記物体の追跡の各処理を実施し、
前記第1のデータは、前記検出信号、前記物体の距離検出結果、速度検出結果、角度検出結果、前記物体の追跡結果のうち少なくとも1つを含む、
上記(2)に記載の情報処理装置。この情報処理装置によれば、ミリ波レーダーのRAWデータや、RAWデータの信号処理の各段階で得られる物体の距離、速度、角度、追跡結果などの情報を、認識器の認識結果とフュージョン処理することで、より多くの物体を認識することが可能になるという効果がある。
(4)第2のセンサの検出信号に基づいて物体を認識処理する第2の認識部をさらに備え、
前記処理部は、前記第2の認識部による認識前の第3のデータと前記第1のデータとのフュージョン処理、前記第2の認識部による認識後の第4のデータと前記第1のデータとのフュージョン処理、前記第1のデータと前記認識部による認識後の第2のデータとのフュージョン処理、又は、前記第4のデータと前記第2のデータとのフュージョン処理のうち少なくとも1つのフュージョン処理を実施する、
上記(1)乃至(3)のいずれかに記載の情報処理装置。この情報処理装置によれば、第1のセンサと第2のセンサの認識器による認識前のデータのフュージョン処理、及び、第1のセンサと第2のセンサの認識器による認識後のデータのフュージョン処理を実施して、より多くの物体を認識することが可能になるという効果がある。
(5)前記第2のセンサは、カメラ又はLiDARのうち少なくとも1つを含む、
上記(4)に記載の情報処理装置。この情報処理装置によれば、ミリ波レーダーとカメラ又はLiDARの認識結果をフュージョン処理するとともに、ミリ波レーダーとカメラ又はLiDARのRAWデータをフュージョン処理することで、より多くの物体を認識することが可能になるという効果がある。
(6)前記処理部は、前記認識部の認識結果及び前記第2の認識部の認識結果に基づいて、前記フュージョン処理における前記第1のデータの利用方法を決定する、
上記(4)又は(5)のいずれかに記載の情報処理装置。この情報処理装置によれば、前記認識部の認識結果及び前記第2の認識部の認識結果に基づいて、適応的に前記第1のデータをフュージョン処理に利用して、より多くの物体を認識することが可能になるという効果がある。
(7)前記処理部は、前記第2の認識部による認識の尤度は高いが、前記認識部による認識の尤度が低い場合に、前記フュージョン処理において前記第1のデータを利用する、
上記(6)に記載の情報処理装置。この情報処理装置によれば、前記フュージョン処理において前記第1のデータを適応的に利用することで、不要なフュージョン処理を回避しつつ、より多くの物体を認識することが可能になるという効果がある。
(8)前記処理部は、前記第2の認識部による認識結果に基づいて、前記フュージョン処理における前記第1のデータの利用方法を決定する、
上記(4)乃至(7)のいずれかに記載の情報処理装置。この情報処理装置によれば、前記フュージョン処理において前記第1のデータを適応的に利用することで、不要なフュージョン処理を回避しつつ、より多くの物体を認識することが可能になるという効果がある。
(9)前記処理部は、前記第2の認識部による認識の尤度が低い場合に、前記フュージョン処理において前記第1のデータを利用する、
上記(8)に記載の情報処理装置。この情報処理装置によれば、前記フュージョン処理において前記第1のデータを適応的に利用することで、不要なフュージョン処理を回避しつつ、より多くの物体を認識することが可能になるという効果がある。
(10)センサの検出信号に基づいて物体を認識処理する認識ステップと、
前記認識ステップによる認識前の第1のデータと他のデータをフュージョン処理する処理ステップと、
を有する情報処理方法。この情報処理方法によれば、前記認識ステップにおいて認識後の第2のデータを、前記認識ステップにおいて判定閾値により切り捨てる前の情報を含む第1のデータとフュージョン処理することで、より多くの物体を認識することが可能になるという効果がある。
(11)前記処理ステップでは、前記第2の認識部による認識前の第3のデータと前記第1のデータとのフュージョン処理、前記第2の認識部による認識後の第4のデータと前記第1のデータとのフュージョン処理、前記第1のデータと前記認識部による認識後の第2のデータとのフュージョン処理、又は、前記第4のデータと前記第2のデータとのフュージョン処理のうち少なくとも1つのフュージョン処理を実施する、
上記(10)に記載の情報処理方法。
(12)センサの検出信号に基づいて物体を認識処理する認識部、
前記認識部による認識前の第1のデータと他のデータをフュージョン処理する処理部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
(13)前記処理部は、前記第2の認識部による認識前の第3のデータと前記第1のデータとのフュージョン処理、前記第2の認識部による認識後の第4のデータと前記第1のデータとのフュージョン処理、前記第1のデータと前記認識部による認識後の第2のデータとのフュージョン処理、又は、前記第4のデータと前記第2のデータとのフュージョン処理のうち少なくとも1つのフュージョン処理を実施する、
上記(12)に記載のコンピュータプログラム。
(14)移動手段と、
センサと、
前記センサの検出信号に基づいて物体を認識処理する認識部と、
前記認識部による認識前の第1のデータと他のデータをフュージョン処理する処理部と、
前記処理部による処理結果に基づいて前記移動手段を制御する制御部と、
を具備する移動体装置。この移動体装置によれば、前記認識部による認識後の第2のデータを、前記認識部で判定閾値により切り捨てる前の情報を含む第1のデータとフュージョン処理することで、より多くの物体を認識することができ、物体との衝突を回避するように前記移動手段を成業することが可能になるという効果がある。
(15)前記処理部は、前記第2の認識部による認識前の第3のデータと前記第1のデータとのフュージョン処理、前記第2の認識部による認識後の第4のデータと前記第1のデータとのフュージョン処理、前記第1のデータと前記認識部による認識後の第2のデータとのフュージョン処理、又は、前記第4のデータと前記第2のデータとのフュージョン処理のうち少なくとも1つのフュージョン処理を実施する、
上記(14)に記載の移動体装置。
101…入力部、102…データ取得部、103…通信部
104…車内機器、105…出力制御部、106…出力部
107…駆動系制御部、108…駆動系システム
109…ボディ系制御部、110…ボディ系システム、111記憶部
112…自動運転制御部、121…通信ネットワーク
131…検出部、132…自己位置推定部、133…状況分析部
134…計画部、135…動作制御部
141…車外情報検出部、142…車内情報検出部
143…車両状態検出部
151…マップ解析部、152…交通ルール認識部
153…状況認識部、154…状況予測部
161…ルート計画部、162…行動計画部、163…動作計画部
171…緊急事態回避部、172…加減速制御部、173…方向制御部
1000…情報処理装置
1010…カメラ認識処理部、1011…RAWデータ処理部
1012…信号処理部、1013…認識器
1020…レーダー認識処理部、1021…RAWデータ処理部
1022…信号処理部、1023…認識器
1030…LiDAR認識処理部、1031…RAWデータ処理部
1032…信号処理部、1033…認識器
1040…フュージョン処理部、1041…Lateフュージョン処理部
1042…Earlyフュージョン処理部
1043…ハイブリッドフュージョン処理部、1050…ECT
1060…ACT(アクチュエータ)、1070…カメラ
1080…ミリ波レーダー、1090…LiDAR
601…距離検出部、602…速度検出部、603…角度検出部
604…追跡部、605…MISC処理部
Claims (10)
- ミリ波レーダーの検出信号に基づいて物体を認識処理する第1の認識部と、
カメラの検出信号に基づいて物体を認識処理する第2の認識部と、
前記第1の認識部及び前記第2の認識部の処理内容をフュージョン処理する処理部と、
を具備し、
前記処理部は、前記第2の認識部による物体の認識率が所定の閾値以上の場合には、前記第1の認識部による認識結果と前記第2の認識部による認識結果を利用してLateフュージョン処理を行うが、前記第2の認識部による物体の認識率が所定の閾値未満の場合には、前記第1の認識部による認識処理を実行する前のデータである前記ミリ波レーダーのRAWデータを利用してEarlyフュージョン処理又はハイブリッドフュージョン処理を行う、
情報処理装置。 - 前記第1の認識部は、認識前に前記ミリ波レーダーの検出信号に基づいて捕捉した物体の距離検出、速度検出、角度検出、前記物体の追跡の各処理を実施し、
前記ミリ波レーダーのRAWデータは、前記検出信号、前記物体の距離検出結果、速度検出結果、角度検出結果、前記物体の追跡結果のうち少なくとも1つを含む、
請求項1に記載の情報処理装置。 - 前記処理部は、前記第2の認識部による認識処理を実行する前のデータである前記カメラのRAWデータと前記ミリ波レーダーのRAWデータとのEarlyフュージョン処理、前記第2の認識部による認識後の第2の認識データと前記ミリ波レーダーのRAWデータとのハイブリッドフュージョン処理、前記ミリ波レーダーのRAWデータと前記第1の認識部による認識後の第1の認識データとのハイブリッドフュージョン処理、又は、前記第2の認識データと前記第1の認識データとのLateフュージョン処理のうち少なくとも1つのフュージョン処理を実施する、
請求項1に記載の情報処理装置。 - 前記処理部は、前記第1の認識部の認識結果及び前記第2の認識部の認識結果に基づいて、前記Earlyフュージョン処理又は前記ハイブリッドフュージョン処理における前記ミリ波レーダーのRAWデータの利用方法を決定する、
請求項1に記載の情報処理装置。 - ミリ波レーダーの検出信号に基づいて物体を認識処理する第1の認識ステップと、
カメラの検出信号に基づいて物体を認識処理する第2の認識ステップと、
前記第1の認識ステップ及び前記第2の認識ステップの処理内容をフュージョン処理する処理ステップと、
を有し、
前記処理ステップでは、前記第2の認識ステップによる物体の認識率が所定の閾値以上の場合には、前記第1の認識ステップによる認識結果と前記第2の認識ステップによる認識結果を利用してLateフュージョン処理を行うが、前記第2の認識ステップによる物体の認識率が所定の閾値未満の場合には、前記第1の認識ステップによる認識処理を実行する前のデータである前記ミリ波レーダーのRAWデータを利用してEarlyフュージョン処理又はハイブリッドフュージョン処理を行う、
情報処理方法。 - 前記処理ステップでは、前記第2の認識ステップによる認識処理を実行する前のデータである前記カメラのRAWデータと前記ミリ波レーダーのRAWデータとのEarlyフュージョン処理、前記第2の認識ステップによる認識後の第2の認識データと前記ミリ波レーダーのRAWデータとのハイブリッドフュージョン処理、前記ミリ波レーダーのRAWデータと前記第1の認識ステップによる認識後の第1の認識データとのハイブリッドフュージョン処理、又は、前記第2の認識データと前記第1の認識データとのLateフュージョン処理のうち少なくとも1つのフュージョン処理を実施する、
請求項5に記載の情報処理方法。 - ミリ波レーダーの検出信号に基づいて物体を認識処理する第1の認識部、
カメラの検出信号に基づいて物体を認識処理する第2の認識部、
前記第1の認識部及び前記第2の認識部の処理内容をフュージョン処理する処理部、
としてコンピュータを機能させ、
前記処理部は、前記第2の認識部による物体の認識率が所定の閾値以上の場合には、前記第1の認識部による認識結果と前記第2の認識部による認識結果を利用してLateフュージョン処理を行うが、前記第2の認識部による物体の認識率が所定の閾値未満の場合には、前記第1の認識部による認識処理を実行する前のデータである前記ミリ波レーダーのRAWデータを利用してEarlyフュージョン処理又はハイブリッドフュージョン処理を行う、
コンピュータ可読形式で記述されたコンピュータプログラム。 - 前記処理部は、前記第2の認識部による認識処理を実行する前のデータである前記カメラのRAWデータと前記ミリ波レーダーのRAWデータとのEarlyフュージョン処理、前記第2の認識部による認識後の第2の認識データと前記ミリ波レーダーのRAWデータとのハイブリッドフュージョン処理、前記ミリ波レーダーのRAWデータと前記第1の認識部による認識後の第1の認識データとのハイブリッドフュージョン処理、又は、前記第2の認識データと前記第1の認識データとのLateフュージョン処理のうち少なくとも1つのフュージョン処理を実施する、
請求項7に記載のコンピュータプログラム。 - 移動手段と、
ミリ波レーダーと、
カメラと、
前記ミリ波レーダーの検出信号に基づいて物体を認識処理する第1の認識部と、
前記カメラの検出信号に基づいて物体を認識処理する第2の認識部と、
前記第1の認識部及び前記第2の認識部の処理内容をフュージョン処理する処理部と、
前記処理部による処理結果に基づいて前記移動手段を制御する制御部と、
を具備し、
前記処理部は、前記第2の認識部による物体の認識率が所定の閾値以上の場合には、前記第1の認識部による認識結果と前記第2の認識部による認識結果を利用してLateフュージョン処理を行うが、前記第2の認識部による物体の認識率が所定の閾値未満の場合には、前記第1の認識部による認識処理を実行する前のデータである前記ミリ波レーダーのRAWデータを利用してEarlyフュージョン処理又はハイブリッドフュージョン処理を行う、
移動体装置。 - 前記処理部は、前記第2の認識部による認識処理を実行する前のデータである前記カメラのRAWデータと前記ミリ波レーダーのRAWデータとのEarlyフュージョン処理、前記第2の認識部による認識後の第2の認識データと前記ミリ波レーダーのRAWデータとのハイブリッドフュージョン処理、前記ミリ波レーダーのRAWデータと前記第1の認識部による認識後の第1の認識データとのハイブリッドフュージョン処理、又は、前記第2の認識データと前記第1の認識データとのLateフュージョン処理のうち少なくとも1つのフュージョン処理を実施する、
請求項9に記載の移動体装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018126397 | 2018-07-02 | ||
JP2018126397 | 2018-07-02 | ||
PCT/JP2019/026097 WO2020009060A1 (ja) | 2018-07-02 | 2019-07-01 | 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020009060A1 JPWO2020009060A1 (ja) | 2021-08-05 |
JP7511471B2 true JP7511471B2 (ja) | 2024-07-05 |
Family
ID=69060339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020528851A Active JP7511471B2 (ja) | 2018-07-02 | 2019-07-01 | 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11959999B2 (ja) |
EP (1) | EP3819668A4 (ja) |
JP (1) | JP7511471B2 (ja) |
KR (1) | KR20210025523A (ja) |
CN (1) | CN112368598A (ja) |
WO (1) | WO2020009060A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6735801B2 (ja) * | 2018-10-16 | 2020-08-05 | 三菱電機株式会社 | 物体認識装置およびこれを用いた車両制御装置並びに物体認識方法およびこれを用いた車両制御方法 |
JP7347343B2 (ja) * | 2020-06-22 | 2023-09-20 | 株式会社デンソー | 外界認識装置、外界認識方法、および外界認識プログラム |
CN116685873A (zh) * | 2021-01-01 | 2023-09-01 | 同济大学 | 一种面向车路协同的感知信息融合表征及目标检测方法 |
GB2619196A (en) * | 2021-03-01 | 2023-11-29 | Du Yuchuan | Multi-target vehicle detection and re-identification method based on radar and video fusion |
CN112849296B (zh) * | 2021-03-11 | 2023-12-22 | 湖南仕博测试技术有限公司 | 智能驾驶专用测试目标及其控制方法 |
KR20230139560A (ko) * | 2022-03-28 | 2023-10-05 | 현대자동차주식회사 | 차량 및 그 제어방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007255977A (ja) | 2006-03-22 | 2007-10-04 | Nissan Motor Co Ltd | 物体検出方法および物体検出装置 |
US20170242117A1 (en) | 2016-02-19 | 2017-08-24 | Delphi Technologies, Inc. | Vision algorithm performance using low level sensor fusion |
JP2021501344A (ja) | 2017-11-06 | 2021-01-14 | ヴィオニア ユーエス インコーポレイティド | 合図を受けて行われる自動車センサ融合 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003162795A (ja) | 2001-11-22 | 2003-06-06 | Nec Corp | 気象データを用いたセンサ選択方法とこれを用いた道路交通監視システム |
EP2347400B1 (en) * | 2008-11-07 | 2014-03-12 | Volvo Lastvagnar AB | Method and system for combining sensor data |
KR20120072131A (ko) * | 2010-12-23 | 2012-07-03 | 한국전자통신연구원 | 이미지 센서와 거리센서의 데이터 융합에 의한 상황인식 방법 및 그 장치 |
EP2999940A4 (en) * | 2013-05-22 | 2017-11-15 | Neurala Inc. | Methods and apparatus for early sensory integration and robust acquisition of real world knowledge |
EP2865575B1 (en) * | 2013-10-22 | 2022-08-24 | Honda Research Institute Europe GmbH | Confidence estimation for predictive driver assistance systems based on plausibility rules |
US10754922B2 (en) * | 2015-04-23 | 2020-08-25 | Lockheed Martin Corporation | Method and apparatus for sensor fusion |
US20160357187A1 (en) * | 2015-06-05 | 2016-12-08 | Arafat M.A. ANSARI | Smart vehicle |
US10762440B1 (en) * | 2015-09-24 | 2020-09-01 | Apple Inc. | Sensor fusion and deep learning |
US10591594B2 (en) | 2015-09-30 | 2020-03-17 | Sony Corporation | Information processing apparatus, information processing method, and program |
JP6690952B2 (ja) | 2016-01-25 | 2020-04-28 | 日立オートモティブシステムズ株式会社 | 車両走行制御システム、及び車両走行制御方法 |
JP6256531B2 (ja) * | 2016-06-10 | 2018-01-10 | 三菱電機株式会社 | 物体認識処理装置、物体認識処理方法および自動運転システム |
DE102017206123A1 (de) * | 2017-04-10 | 2018-10-11 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Fusion von Daten verschiedener Sensoren eines Fahrzeugs im Rahmen einer Objekterkennung |
US20180336191A1 (en) * | 2017-05-17 | 2018-11-22 | Ashwin P. Rao | Method for multi-sense fusion using synchrony |
JP6480504B2 (ja) * | 2017-05-31 | 2019-03-13 | 本田技研工業株式会社 | 物標認識システム、物標認識方法、およびプログラム |
CN107991671A (zh) | 2017-11-23 | 2018-05-04 | 浙江东车智能科技有限公司 | 一种基于雷达数据和视频信号融合识别危险目标的方法 |
US10852420B2 (en) * | 2018-05-18 | 2020-12-01 | Industrial Technology Research Institute | Object detection system, autonomous vehicle using the same, and object detection method thereof |
-
2019
- 2019-07-01 WO PCT/JP2019/026097 patent/WO2020009060A1/ja unknown
- 2019-07-01 US US17/255,253 patent/US11959999B2/en active Active
- 2019-07-01 CN CN201980043386.5A patent/CN112368598A/zh active Pending
- 2019-07-01 JP JP2020528851A patent/JP7511471B2/ja active Active
- 2019-07-01 EP EP19831260.5A patent/EP3819668A4/en active Pending
- 2019-07-01 KR KR1020207036118A patent/KR20210025523A/ko active IP Right Grant
-
2024
- 2024-01-08 US US18/407,375 patent/US20240142607A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007255977A (ja) | 2006-03-22 | 2007-10-04 | Nissan Motor Co Ltd | 物体検出方法および物体検出装置 |
US20170242117A1 (en) | 2016-02-19 | 2017-08-24 | Delphi Technologies, Inc. | Vision algorithm performance using low level sensor fusion |
JP2021501344A (ja) | 2017-11-06 | 2021-01-14 | ヴィオニア ユーエス インコーポレイティド | 合図を受けて行われる自動車センサ融合 |
Also Published As
Publication number | Publication date |
---|---|
US20240142607A1 (en) | 2024-05-02 |
EP3819668A4 (en) | 2021-09-08 |
EP3819668A1 (en) | 2021-05-12 |
US11959999B2 (en) | 2024-04-16 |
CN112368598A (zh) | 2021-02-12 |
JPWO2020009060A1 (ja) | 2021-08-05 |
US20210224617A1 (en) | 2021-07-22 |
WO2020009060A1 (ja) | 2020-01-09 |
KR20210025523A (ko) | 2021-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7511471B2 (ja) | 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置 | |
US11994581B2 (en) | Information processing device and information processing method, imaging device, computer program, information processing system, and moving body device | |
JP7136106B2 (ja) | 車両走行制御装置、および車両走行制御方法、並びにプログラム | |
JP7188394B2 (ja) | 画像処理装置及び画像処理方法 | |
US11501461B2 (en) | Controller, control method, and program | |
EP3835823B1 (en) | Information processing device, information processing method, computer program, information processing system, and moving body device | |
WO2019077999A1 (ja) | 撮像装置、画像処理装置、及び、画像処理方法 | |
JP2023126642A (ja) | 情報処理装置、情報処理方法、及び、情報処理システム | |
US11200795B2 (en) | Information processing apparatus, information processing method, moving object, and vehicle | |
WO2019107143A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び、移動体 | |
US20220017093A1 (en) | Vehicle control device, vehicle control method, program, and vehicle | |
WO2019039281A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び、移動体 | |
US20230230368A1 (en) | Information processing apparatus, information processing method, and program | |
CN114379590A (zh) | 紧急车辆音频和视觉检测后融合 | |
WO2020183892A1 (ja) | 情報処理装置及び情報処理方法、並びに移動体装置 | |
WO2023153083A1 (ja) | 情報処理装置、情報処理方法、情報処理プログラム及び移動装置 | |
WO2019069599A1 (ja) | 画像処理装置及び画像処理方法 | |
US20210295563A1 (en) | Image processing apparatus, image processing method, and program | |
WO2023149089A1 (ja) | 学習装置、学習方法及び学習プログラム | |
WO2024048180A1 (ja) | 情報処理装置、情報処理方法および車両制御システム | |
WO2023063145A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
WO2023079881A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
WO2024009829A1 (ja) | 情報処理装置、情報処理方法および車両制御システム | |
WO2023074419A1 (ja) | 情報処理装置、情報処理方法、及び、情報処理システム | |
WO2020195969A1 (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230419 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231017 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240625 |