JP7369847B2 - 自動運転車両に対するデータ処理方法及び装置、電子機器、記憶媒体、コンピュータプログラム、ならびに自動運転車両 - Google Patents
自動運転車両に対するデータ処理方法及び装置、電子機器、記憶媒体、コンピュータプログラム、ならびに自動運転車両 Download PDFInfo
- Publication number
- JP7369847B2 JP7369847B2 JP2022173997A JP2022173997A JP7369847B2 JP 7369847 B2 JP7369847 B2 JP 7369847B2 JP 2022173997 A JP2022173997 A JP 2022173997A JP 2022173997 A JP2022173997 A JP 2022173997A JP 7369847 B2 JP7369847 B2 JP 7369847B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- inertial measurement
- determining
- relative position
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 36
- 238000004590 computer program Methods 0.000 title claims description 12
- 230000000007 visual effect Effects 0.000 claims description 123
- 238000005259 measurement Methods 0.000 claims description 110
- 238000012545 processing Methods 0.000 claims description 55
- 238000000034 method Methods 0.000 claims description 48
- 239000013598 vector Substances 0.000 claims description 29
- 230000001133 acceleration Effects 0.000 claims description 11
- 238000013480 data collection Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000010354 integration Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
- B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
- B60W2050/0083—Setting, resetting, calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/35—Data fusion
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Multimedia (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
Claims (22)
- 自動運転車両に対するデータ処理方法であって、
慣性測定データ、レーザーライダーデータ及び視覚画像データを含む、前記自動運転車両に対するセンサデータを取得すること、
前記慣性測定データ及び前記視覚画像データに基づいて、前記慣性測定データに対する第一拘束ファクターを決定すること、
前記慣性測定データ及び前記レーザーライダーデータに基づいて、前記レーザーライダーデータに対する第二拘束ファクターを決定すること、
前記慣性測定データ、前記視覚画像データ及び前記レーザーライダーデータに基づいて、前記視覚画像データに対する第三拘束ファクターを決定すること、及び
前記第一拘束ファクター、前記第二拘束ファクター及び前記第三拘束ファクターに基づいて、前記センサデータを処理して、前記自動運転車両を測位するための測位データを取得すること、を含む、
自動運転車両に対するデータ処理方法。 - 請求項1に記載の自動運転車両に対するデータ処理方法であって、
前記レーザーライダーデータは複数フレームのレーザー点群データを含み、
前記慣性測定データ及び前記レーザーライダーデータに基づいて、前記レーザーライダーデータに対する第二拘束ファクターを決定することは、
前記慣性測定データ、前記複数フレームのレーザ点群データにおける第一フレームのレーザ点群データ及び第二フレームのレーザ点群データに基づいて、第一フレームのレーザ点群データと第二フレームのレーザ点群データとの間の初期相対位置姿勢を決定すること、
前記第一フレームのレーザ点群データの第一投影データ及び前記第二フレームのレーザ点群データの第二投影データをそれぞれ決定すること、
前記第一投影データ及び前記第二投影データに基づいて、前記初期相対位置姿勢を調整し、点群フレーム間の相対位置姿勢を取得すること、及び
前記点群フレーム間の相対位置姿勢に基づいて、前記第二拘束ファクターを決定すること、を含む、
自動運転車両に対するデータ処理方法。 - 請求項2に記載の自動運転車両に対するデータ処理方法であって、
前記第一投影データ及び前記第二投影データはいずれもN(Nは1より大きい整数である)個のボクセルを含み、、
前記第一投影データ及び前記第二投影データに基づいて、前記初期相対位置姿勢を調整し、点群フレーム間の相対位置姿勢を取得することは、
N個のボクセルにおける各体画素と前記初期相対位置姿勢に基づいて、N回の反復操作を実行し、第N相対位置姿勢を得て、前記点群フレーム間の相対位置姿勢とすることを含む、
自動運転車両に対するデータ処理方法。 - 請求項3に記載の自動運転車両に対するデータ処理方法であって、
前記第一投影データは第一投影画像及び第一法線ベクトルを含み、
前記第二投影データは第二投影画像及び第二法線ベクトルを含み、
前記第一投影データ及び前記第二投影データに基づいて、前記初期相対位置姿勢を調整し、点群フレーム間の相対位置姿勢を取得することについて、
前記N回の反復におけるi回目の反復は、
i(iが1以上N以下である)に基づいて距離閾値及び角度閾値を決定すること、
第一投影画像における第i第一画素と第二投影画像における第i第二画素との間の距離が前記距離閾値以下であり、かつ第i画素の対応する第一法線ベクトルと対応する第二法線ベクトルとの間の角度が前記角度閾値以下であると決定した場合、第i-1回の反復により得られた第i-1相対位置姿勢、第i第一画素、第i第二画素、第i画素の対応する第一法線ベクトル及び第i画素の対応する第二法線ベクトルを用いて、第i相対姿勢を決定することを含む、
自動運転車両に対するデータ処理方法。 - 請求項1に記載の自動運転車両に対するデータ処理方法であって、
前記慣性測定データ、前記視覚画像データ及び前記レーザーライダーデータに基づいて、前記視覚画像データに対する第三拘束ファクターを決定することは、
前記視覚画像データ及び前記レーザーライダーデータに基づいて、前記視覚画像データの深度情報を決定すること、
前記視覚画像データ及び前記慣性測定データに基づいて、前記視覚画像データと前記慣性測定データとの間のマッピング関係を決定すること、及び
前記深度情報と前記マッピング関係に基づいて、前記第三拘束ファクターを決定すること、を含む、
自動運転車両に対するデータ処理方法。 - 請求項5に記載の自動運転車両に対するデータ処理方法であって、
前記視覚画像データ及び前記レーザーライダーデータに基づいて、前記視覚画像データの深度情報を決定することは、
視覚画像データの視覚画像収集時刻の隣接するレーダデータに対するレーダデータ収集時刻の初期慣性測定相対位置姿勢を決定すること、
視覚画像収集時刻、レーダデータ収集時刻及び初期慣性測定相対位置姿勢に基づいて、前記レーザーライダーデータから視覚画像データ平面までの第一投影位置を決定すること、
前記第一投影位置に基づいて画像投影時刻及び更新された慣性測定相対位置姿勢を決定すること、及び
前記更新された慣性測定相対位置姿勢に基づいて視覚画像データの深度情報を決定すること、を含む、
自動運転車両に対するデータ処理方法。 - 請求項6に記載の自動運転車両に対するデータ処理方法であって、
前記第一投影位置に基づいて画像投影時刻及び更新された慣性測定相対位置を決定することは、
視覚画像収集時刻の画像投影時刻に対する第一慣性測定相対位置姿勢を決定すること、
画像投影時刻のレーザデータ収集時刻に対する第二慣性測定相対位置姿勢を決定すること、及び
前記第一慣性測定相対位置姿勢及び前記第二慣性測定相対位置姿勢を利用して前記初期慣性測定相対位置姿勢を補間し、前記更新された慣性測定相対位置姿勢を取得することを含む、
自動運転車両に対するデータ処理方法。 - 請求項1乃至7のいずれか一項に記載の自動運転車両に対するデータ処理方法であって、
前記慣性測定データは慣性センサーにより収集されるものであり、
前記レーザーライダーデータ及び前記第一拘束ファクターに基づいて、前記慣性センサーの速度及び加速度を初期化することを、さらに含む、
自動運転車両に対するデータ処理方法。 - 自動運転車両に対するデータ処理装置であって、
慣性測定データ、レーザーライダーデータ及び視覚画像データを含む、前記自動運転車両に対するセンサデータを取得するための取得モジュールと、
前記慣性測定データ及び前記視覚画像データに基づいて、前記慣性測定データに対する第一拘束ファクターを決定するための第一決定モジュールと、
前記慣性測定データ及び前記レーザーライダーデータに基づいて、前記レーザーライダーデータに対する第二拘束ファクターを決定するための第二決定モジュールと、
前記慣性測定データ、前記視覚画像データ及び前記レーザーライダーデータに基づいて、前記視覚画像データに対する第三拘束ファクターを決定するための第三決定モジュールと、
前記第一拘束ファクター、前記第二拘束ファクター及び前記第三拘束ファクターに基づいて、前記センサデータを処理し、前記自動運転車両を測位するための測位データを取得するための処理モジュールと、を含む、
自動運転車両に対するデータ処理装置。 - 請求項10に記載の自動運転車両に対するデータ処理装置であって、
前記レーザーライダーデータは複数フレームのレーザ点群データを含み、
前記第二決定モジュールは、
前記慣性測定データ、前記複数フレームのレーザ点群データにおける第一フレームのレーザ点群データ及び第二フレームのレーザ点群データに基づいて、第一フレームのレーザ点群データと第二フレームのレーザ点群データとの間の初期相対位置姿勢を決定するための第一決定サブモジュールと、
前記第一フレームのレーザ点群データの第一投影データと前記第二フレームのレーザ点群データの第二投影データをそれぞれ決定するための第二決定サブモジュールと、
前記第一投影データ及び前記第二投影データに基づいて、前記初期相対位置姿勢を調整し、点群フレーム間の相対位置姿勢を取得するための調整サブモジュールと、
前記点群フレーム間の相対位置姿勢に基づいて、前記第二拘束ファクターを決定するための第三決定サブモジュールと、を含む、
自動運転車両に対するデータ処理装置。 - 請求項11に記載の自動運転車両に対するデータ処理装置であって、
前記第一投影データ及び前記第二投影データはいずれもN(Nは1より大きい整数である)個のボクセルを含み、
前記調整サブモジュールは、
N個のボクセルにおける各体画素と前記初期相対位置姿勢に基づいて、N回の反復操作を実行し、第N相対位置姿勢を得て、前記点群フレーム間の相対位置姿勢とするために用いられる、
自動運転車両に対するデータ処理装置。 - 請求項12に記載の自動運転車両に対するデータ処理装置であって、
前記第一投影データは第一投影画像及び第一法線ベクトルを含み、
前記第二投影データは第二投影画像及び第二法線ベクトルを含み、
前記調整サブモジュールについて、
前記N回の反復におけるi回目の反復は、
i(iが1以上N以下である)に基づいて距離閾値及び角度閾値を決定すること、
第一投影画像における第i第一画素と第二投影画像における第i第二画素との間の距離が前記距離閾値以下であり、かつ第i画素の対応する第一法線ベクトルと対応する第二法線ベクトルとの間の角度が前記角度閾値以下であると決定した場合、第i-1回の反復により得られた第i-1相対位置姿勢、第i第一画素、第i第二画素、第i画素の対応する第一法線ベクトル及び第i画素の対応する第二法線ベクトルを用いて、第i相対姿勢を決定すること、を含む、
自動運転車両に対するデータ処理装置。 - 請求項10に記載の自動運転車両に対するデータ処理装置であって、
前記第三決定モジュールは、
前記視覚画像データ及び前記レーザーライダーデータに基づいて、前記視覚画像データの深度情報を決定するための第四決定サブモジュールと、
前記視覚画像データ及び前記慣性測定データに基づいて、前記視覚画像データと前記慣性測定データとの間のマッピング関係を決定するための第五決定サブモジュールと、
前記深度情報と前記マッピング関係に基づいて、前記第三拘束ファクターを決定するための第六決定サブモジュールと、を含む、
自動運転車両に対するデータ処理装置。 - 請求項14に記載の自動運転車両に対するデータ処理装置であって、
前記第四決定サブモジュールは、
視覚画像データの視覚画像収集時刻の隣接するレーダデータに対するレーダデータ収集時刻の初期慣性測定相対位置姿勢を決定するための第一決定手段と、
視覚画像収集時刻、レーダデータ収集時刻及び初期慣性測定相対位置姿勢に基づいて、前記レーザーライダーデータから視覚画像データ平面までの第一投影位置を決定するための第二決定手段と、
前記第一投影位置に基づいて画像投影時刻及び更新された慣性測定相対位置姿勢を決定するための第三決定手段と、
前記更新された慣性測定相対位置姿勢に基づいて視覚画像データの深度情報を決定するための第四決定手段と、を含む、
自動運転車両に対するデータ処理装置。 - 請求項15に記載の自動運転車両に対するデータ処理装置であって、
前記第三手段は、
視覚画像収集時刻の画像投影時刻に対する第一慣性測定相対位置姿勢を決定するための第一決定サブ手段と、
画像投影時刻のレーザデータ収集時刻に対する第二慣性測定相対位置姿勢を決定するための第二決定サブ手段と、
前記第一慣性測定相対位置姿勢及び前記第二慣性測定相対位置姿勢を利用して前記初期慣性測定相対位置姿勢を補間し、前記更新された慣性測定相対位置姿勢を取得するための補間サブ手段とを、含む、
自動運転車両に対するデータ処理装置。 - 請求項10乃至16のいずれか一項に記載の自動運転車両に対するデータ処理装置であって、
前記慣性測定データは慣性センサーにより収集されるものであり、
前記レーザーライダーデータ及び前記第一拘束ファクターに基づいて、前記慣性センサーの速度及び加速度を初期化するための初期化モジュールをさらに含む、
自動運転車両に対するデータ処理装置。 - 少なくとも1つのプロセッサ、及び
前記少なくとも1つのプロセッサと通信可能に接続されたメモリを含み、
前記メモリは、前記少なくとも1つのプロセッサにより実行可能な指令を格納し、前記指令は、前記少なくとも1つのプロセッサが請求項1乃至7のいずれか一項に記載の自動運転車両に対するデータ処理方法を実施可能となるよう、前記少なくとも1つのプロセッサにより実行される、
電子機器。 - コンピュータ指令を格納する非一時性コンピュータが読み取り可能な記録媒体であって、
前記コンピュータ指令は、前記コンピュータに請求項1乃至7のいずれか一項に記載の自動運転車両に対するデータ処理方法を実行させるためのものである、
記録媒体。 - プロセッサにより実行される場合、請求項1乃至7のいずれか一項に記載の自動運転車両に対するデータ処理方法を実行する、
コンピュータプログラム。 - 自動運転車両であって、
請求項19に記載の電子機器を含む、
自動運転車両。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111291238.0 | 2021-11-02 | ||
CN202111291238.0A CN114013449B (zh) | 2021-11-02 | 2021-11-02 | 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023021994A JP2023021994A (ja) | 2023-02-14 |
JP7369847B2 true JP7369847B2 (ja) | 2023-10-26 |
Family
ID=80059937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022173997A Active JP7369847B2 (ja) | 2021-11-02 | 2022-10-31 | 自動運転車両に対するデータ処理方法及び装置、電子機器、記憶媒体、コンピュータプログラム、ならびに自動運転車両 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230118945A1 (ja) |
EP (1) | EP4160271B1 (ja) |
JP (1) | JP7369847B2 (ja) |
KR (1) | KR20220153535A (ja) |
CN (1) | CN114013449B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114706805B (zh) * | 2022-03-31 | 2024-03-15 | 重庆长安汽车股份有限公司 | 一种根据目标序号对传感融合信息进行排序的方法、电子设备及计算机可读存储介质 |
CN114429432B (zh) * | 2022-04-07 | 2022-06-21 | 科大天工智能装备技术(天津)有限公司 | 一种多源信息分层融合方法、装置及存储介质 |
CN115113627A (zh) * | 2022-07-27 | 2022-09-27 | 深圳市普渡科技有限公司 | 机器人、路径规划方法和计算机可读存储介质 |
CN116989763B (zh) * | 2023-05-10 | 2024-07-19 | 广东工业大学 | 一种面向水陆两用无人***的融合定位与建图方法 |
CN117237902B (zh) * | 2023-11-15 | 2024-01-26 | 山东飞宏工程机械有限公司 | 基于深度学习的机器人物体识别*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015518566A (ja) | 2012-04-17 | 2015-07-02 | コモンウェルス サイエンティフィック アンド インダストリアル リサーチ オーガナイゼーション | 3次元走査ビームおよび撮像システム |
US20210094550A1 (en) | 2019-09-30 | 2021-04-01 | Baidu Usa Llc | Obstacle perception calibration system for autonomous driving vehicles |
CN112598757A (zh) | 2021-03-03 | 2021-04-02 | 之江实验室 | 一种多传感器时间空间标定方法及装置 |
JP2021162366A (ja) | 2020-03-30 | 2021-10-11 | 株式会社豊田中央研究所 | センサ遅延時間推定装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109341706B (zh) * | 2018-10-17 | 2020-07-03 | 张亮 | 一种面向无人驾驶汽车的多特征融合地图的制作方法 |
CN110009739B (zh) * | 2019-01-29 | 2023-03-24 | 浙江省北大信息技术高等研究院 | 移动摄像机的数字视网膜的运动特征的提取与编码方法 |
CN110906923B (zh) * | 2019-11-28 | 2023-03-14 | 重庆长安汽车股份有限公司 | 车载多传感器紧耦合融合定位方法、***、存储介质及车辆 |
CN111595333B (zh) * | 2020-04-26 | 2023-07-28 | 武汉理工大学 | 视觉惯性激光数据融合的模块化无人车定位方法及*** |
CN112304307A (zh) * | 2020-09-15 | 2021-02-02 | 浙江大华技术股份有限公司 | 一种基于多传感器融合的定位方法、装置和存储介质 |
CN112985394B (zh) * | 2021-05-12 | 2021-08-06 | 腾讯科技(深圳)有限公司 | 定位方法和装置、存储介质 |
-
2021
- 2021-11-02 CN CN202111291238.0A patent/CN114013449B/zh active Active
-
2022
- 2022-10-27 EP EP22204106.3A patent/EP4160271B1/en active Active
- 2022-10-28 US US17/975,689 patent/US20230118945A1/en active Pending
- 2022-10-31 JP JP2022173997A patent/JP7369847B2/ja active Active
- 2022-10-31 KR KR1020220142931A patent/KR20220153535A/ko unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015518566A (ja) | 2012-04-17 | 2015-07-02 | コモンウェルス サイエンティフィック アンド インダストリアル リサーチ オーガナイゼーション | 3次元走査ビームおよび撮像システム |
US20210094550A1 (en) | 2019-09-30 | 2021-04-01 | Baidu Usa Llc | Obstacle perception calibration system for autonomous driving vehicles |
JP2021162366A (ja) | 2020-03-30 | 2021-10-11 | 株式会社豊田中央研究所 | センサ遅延時間推定装置 |
CN112598757A (zh) | 2021-03-03 | 2021-04-02 | 之江实验室 | 一种多传感器时间空间标定方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
EP4160271A1 (en) | 2023-04-05 |
CN114013449B (zh) | 2023-11-03 |
JP2023021994A (ja) | 2023-02-14 |
CN114013449A (zh) | 2022-02-08 |
EP4160271B1 (en) | 2024-05-01 |
US20230118945A1 (en) | 2023-04-20 |
KR20220153535A (ko) | 2022-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7369847B2 (ja) | 自動運転車両に対するデータ処理方法及び装置、電子機器、記憶媒体、コンピュータプログラム、ならびに自動運転車両 | |
US11668571B2 (en) | Simultaneous localization and mapping (SLAM) using dual event cameras | |
US9709404B2 (en) | Iterative Kalman Smoother for robust 3D localization for vision-aided inertial navigation | |
JP6198230B2 (ja) | 深度カメラを使用した頭部姿勢トラッキング | |
CN114018274B (zh) | 车辆定位方法、装置及电子设备 | |
US20190301871A1 (en) | Direct Sparse Visual-Inertial Odometry Using Dynamic Marginalization | |
CN114323033B (zh) | 基于车道线和特征点的定位方法、设备及自动驾驶车辆 | |
DuToit et al. | Consistent map-based 3D localization on mobile devices | |
Xu et al. | Direct visual-inertial odometry with semi-dense mapping | |
CN113610702B (zh) | 一种建图方法、装置、电子设备及存储介质 | |
CN112991400B (zh) | 一种无人艇的多传感器辅助定位方法 | |
JP2024012160A (ja) | 目標状態推定方法、装置、電子機器及び媒体 | |
CN115900697B (zh) | 对象运动轨迹信息处理方法、电子设备以及自动驾驶车辆 | |
CN117029802A (zh) | 一种基于深度学习的多模态slam方法 | |
Presnov et al. | Robust range camera pose estimation for mobile online scene reconstruction | |
CN113946151A (zh) | 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆 | |
CN117058430B (zh) | 用于视场匹配的方法、装置、电子设备和存储介质 | |
CN116448105B (zh) | 位姿更新方法、装置、电子设备和存储介质 | |
CN116152301B (zh) | 一种目标的速度估计方法、装置、设备及介质 | |
WO2022172831A1 (ja) | 情報処理装置 | |
US10636205B2 (en) | Systems and methods for outlier edge rejection | |
CN115342829A (zh) | 基于迭代扩展卡尔曼滤波器的里程计算方法及装置 | |
Wang | Sensor Fusion in Autonomous Navigation Using Fast SLAM 3.0–An Improved SLAM Method | |
CN117405105A (zh) | 一种基于视觉惯性融合技术的无人机自主定位方法及*** | |
CN116704022A (zh) | 基于结构线段的vio***的位姿估计方法、装置及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221031 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230925 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231016 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7369847 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |