JP2020507829A - 整合画像及びlidar情報に基づいた車両ナビゲーション - Google Patents
整合画像及びlidar情報に基づいた車両ナビゲーション Download PDFInfo
- Publication number
- JP2020507829A JP2020507829A JP2019527816A JP2019527816A JP2020507829A JP 2020507829 A JP2020507829 A JP 2020507829A JP 2019527816 A JP2019527816 A JP 2019527816A JP 2019527816 A JP2019527816 A JP 2019527816A JP 2020507829 A JP2020507829 A JP 2020507829A
- Authority
- JP
- Japan
- Prior art keywords
- lidar
- image
- vehicle
- camera
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 88
- 230000008859 change Effects 0.000 claims description 35
- 238000013519 translation Methods 0.000 claims description 15
- 238000005096 rolling process Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 215
- 238000010191 image analysis Methods 0.000 description 61
- 238000004458 analytical method Methods 0.000 description 51
- 230000004044 response Effects 0.000 description 46
- 230000008569 process Effects 0.000 description 37
- 230000001133 acceleration Effects 0.000 description 25
- 230000003287 optical effect Effects 0.000 description 19
- 230000000875 corresponding effect Effects 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 14
- 241000237858 Gastropoda Species 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 230000001939 inductive effect Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 6
- 230000004313 glare Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005206 flow analysis Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 239000000725 suspension Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000003667 anti-reflective effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000881 depressing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
- G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
- G05D1/2435—Extracting 3D information
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/646—Following a predefined trajectory, e.g. a line marked on the floor or a flight path
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
[001] この出願は、2017年1月26日出願の米国仮特許出願第62/450,750号、及び2017年7月31日出願の米国仮特許出願第62/538,925号の優先権の利益を主張する。前述の出願は、それらの全体において参照により本明細書で援用される。
[002] 本開示は、一般に自律車両ナビゲーションに関する。加えて、この開示は、車両に搭載されたカメラによって捕捉された1つ又は複数の画像において識別された対象とLIDAR(ライダ)システム出力(例えば特定のレーザ反射)とを相関させるためのシステム及び方法に関する。
[003] 技術が進歩し続けるにつれて、車道でナビゲートできる完全な自律車両の目標が見え始めている。自律車両は、意図した目的地に安全且つ正確に到着するために、様々な要因を考慮し、且つそれらの要因に基づいて適切な決定を行う必要があり得る。例えば、自律車両は、視覚情報(例えばカメラから捕捉された情報)、レーダ又はLIDARからの情報を処理して解釈する必要があり得、且つまた他のソースから(例えばGPS装置、速度センサ、加速度計、サスペンションセンサ等から)取得された情報を用いてもよい。同時に、目的地にナビゲートするために、自律車両はまた、特定の車道内のその位置(例えば多車線道路内の特定の車線)を識別し、他の車両と並んでナビゲートし、障害物及び歩行者を回避し、交通信号及び標識を遵守し、適切な交差点又はインターチェンジで或る道路から別の道に進み、且つ車両の動作中に発生又は展開するどんな他の状況にも反応する必要があり得る。
[004] 本開示と一致する実施形態は、自律車両ナビゲーション用のシステム及び方法を提供する。開示される実施形態は、自律車両ナビゲーション機能を提供するためにカメラを用いてもよい。例えば、開示される実施形態と一致して、開示されるシステムは、車両の環境を監視する1つ、2つ又はそれを超えるカメラを含んでもよい。開示されるシステムは、例えば、カメラの1つ又は複数によって捕捉された画像の解析に基づいて、ナビゲーション応答を提供してもよい。ナビゲーション応答はまた、例えば、全地球測位システム(GPS)データ、センサデータ(例えば加速度計、速度センサ、サスペンションセンサ等からの)及び/又は他の地図データを含む他のデータを考慮してもよい。
[010] 添付の図面は、この開示に援用され、その一部を構成するが、様々な開示される実施形態を示す。
[036] 以下の詳細な説明は、添付の図面を参照する。可能な限り、同じ参考番号が、同じ又は類似の部分を指すために、図面及び以下の説明において用いられる。幾つかの実例となる実施形態が、本明細書で説明されるが、修正、適応及び他の実装形態が可能である。例えば、代用、追加又は修正が、図面に示されているコンポーネントに行われてもよく、本明細書で説明される実例となる方法は、開示される方法に対してステップを代用するか、再整理するか、削除するか、又は追加することによって修正されてもよい。従って、以下の詳細な説明は、開示される実施形態及び例に限定されない。代わりに、適切な範囲は、添付の請求項によって定義される。
[038] この開示の全体を通して用いられるとき、「自律車両」という用語は、運転者の入力なしに、少なくとも1つのナビゲーション変更を実施できる車両を指す。「ナビゲーション変更」は、車両のステアリング、制動又は加速/減速の1つ又は複数における変更を指す。自律的であるために、車両は、完全に自動的である(例えば、運転者又は運転者の入力なしに完全に運転可能である)必要がない。もっと正確に言えば、自律車両は、或る期間中に運転者の制御下で、且つ他の期間中に運転者の制御なしに動作できる車両を含む。自律車両はまた、(例えば車線の制約の間に車両進路を維持するための)ステアリング、又は或る状況下(しかし全ての状況下ではない)の幾つかのステアリング操作など、車両ナビゲーションの幾つかの態様だけを制御する車両を含んでもよく、他の態様(例えば、制動又は或る状況下の制動)は運転者に任せてもよい。場合によっては、自律車両は、車両の制動、速度制御及び/又はステアリングの幾つか又は全ての態様を扱ってもよい。
[041] 図1は、例示的な開示される実施形態と一致するシステム100のブロック図表示である。システム100は、特定の実装形態の要件に依存する様々なコンポーネントを含んでもよい。幾つかの実施形態において、システム100は、処理ユニット110、画像取得ユニット120、位置センサ130、1つ又は複数のメモリユニット140、150、地図データベース160、ユーザインターフェース170、及び無線トランシーバ172を含んでもよい。処理ユニット110は、1つ又は複数の処理装置を含んでもよい。幾つかの実施形態において、処理ユニット110は、アプリケーションプロセッサ180、画像プロセッサ190、又は任意の他の適切な処理装置を含んでもよい。同様に、画像取得ユニット120は、特定のアプリケーションの要件に依存する任意の数の画像取得装置及びコンポーネントを含んでもよい。幾つかの実施形態において、画像取得ユニット120は、画像捕捉装置122、画像捕捉装置124及び画像捕捉装置126などの1つ又は複数の画像捕捉装置(例えばカメラ、CCD、又は任意の他のタイプの画像センサ)を含んでもよい。システム100はまた、処理ユニット110を画像取得ユニット120に通信可能に接続するデータインターフェース128を含んでもよい。例えば、データインターフェース128は、画像取得ユニット120によって取得された画像データを処理ユニット110に伝送するための任意の有線及び/又は無線リンクを含んでもよい。
[097] 上記のように、システム100は、マルチカメラシステムを用いる駆動アシスト機能を提供してもよい。マルチカメラシステムは、車両の前方方向を向いた1つ又は複数のカメラを用いてもよい。他の実施形態において、マルチカメラシステムは、車両の側部又は車両の後部の方を向いた1つ又は複数のカメラを含んでもよい。一実施形態において、例えば、システム100は、2つのカメラ撮像システムを用いてもよく、第1のカメラ及び第2のカメラ(例えば画像捕捉装置122及び124)は、車両(例えば車両200)の前部及び/又は側部に配置されてもよい。他のカメラ構成が、開示される実施形態と一致し、本明細書で開示される構成は、例である。例えば、システム100は、任意の数のカメラ(例えば1つ、2つ、3つ、4つ、5つ、6つ、7つ、8つ等)の構成を含んでもよい。更に、システム100は、カメラ「クラスタ」を含んでもよい。例えば、(任意の適切な数のカメラ、例えば1つ、4つ、8つ等を含む)カメラクラスタは、車両に対して前向きであってよく、又は任意の他の方向(例えば後ろ向き、横向き、斜め等)を向いてもよい。従って、システム100は、多数のカメラクラスタを含んでもよく、各クラスタは、車両の環境の特定の領域から画像を捕捉するために、特定の方向に向けられる。
[0149] 図8は、例示的な開示される実施形態と一致するシステム800のブロック図表示である。システム800は、特定の実装形態の要件に依存する様々なコンポーネントを含んでもよい。幾つかの実施形態において、システム800は、上記のセクションで説明された処理ユニット110、画像取得ユニット120、位置センサ130、1つ又は複数のメモリユニット140、150、地図データベース160、ユーザインターフェース170、及び無線トランシーバ172を含んでもよい。加えて、システム800は、1つ又は複数のLIDARユニット812、814及び816を含むLIDARシステム810を含んでもよい。
が、カメラ座標系における同じ点であるように、較正行列R、Tを見つけることである。ここで、
が、道路から反射されたと仮定するすると、それは、
が、道路平面上にあることを意味する(外観ベースのエゴモーションを備えた走行距離計を使用して、LIDARグラブ時刻と道路平面を整合させた後で)。(n、d)によって道路平面を定義することは、次の式につながる。
は、単一の観察の結果である。回転及び平行移動変換行列R及びTを計算するために、最小二乗法が用いられてもよい。この技術において、この式は、形式
に再配置されてもよい。かかる再配置は、次のように実行されてもよい。
θ=||w||の角度において、
R(t+1)=RR(t)
T(t+1)=RT(t)+T
Claims (25)
- ホスト車両用のナビゲーションシステムであって、
少なくとも1つのプロセッサであって、
前記ホスト車両に搭載されたカメラによって捕捉された画像のストリームを受信することであって、前記捕捉された画像が、前記ホスト車両を取り囲む環境を表すことと、
前記ホスト車両に搭載されたLIDARの出力を受信することであって、前記LIDARの前記出力が、前記ホスト車両を取り囲む前記環境の少なくとも一部からの複数のレーザ反射を表すことと、
前記LIDARの前記出力と、前記カメラによって捕捉された少なくとも1つの画像との間の相対的な整合の少なくとも1つのインジケータを決定することと、
前記LIDARの前記出力と、前記カメラによって捕捉された前記少なくとも1つの画像との間の前記相対的な整合の前記少なくとも1つのインジケータに基づいて、LIDAR反射情報が、前記少なくとも1つの画像において識別された1つ又は複数の対象に起因すると判断することと、
前記ホスト車両に関連する少なくとも1つのナビゲーション特性を決定するために、前記起因すると判断されたLIDAR反射情報、及び前記少なくとも1つの画像において識別された前記1つ又は複数の対象を用いることと
を行うようにプログラムされた少なくとも1つのプロセッサを含むナビゲーションシステム。 - 前記少なくとも1つの画像において識別された前記1つ又は複数の対象が、実世界座標における静止対象の表現を含み、前記静止対象に起因すると判断された前記LIDAR反射情報が、前記ホスト車両と前記静止対象との間の距離を示し、前記少なくとも1つのナビゲーション特性が、前記ホスト車両の速度を含み、前記少なくとも1つのプロセッサが、
前記ホスト車両と、前記少なくとも1つの画像において識別された前記静止対象に起因すると判断された前記LIDAR反射情報によって示された前記静止対象との間の距離の変化を経時的に監視することによって、前記ホスト車両の前記速度を決定するように更にプログラムされる、請求項1に記載のナビゲーションシステム。 - 前記少なくとも1つの画像において識別された前記1つ又は複数の対象が、前記ホスト車両の前記環境における道路上の対象の表現を含み、前記道路上の前記対象に起因すると判断された前記LIDAR反射情報が、前記ホスト車両と、前記対象が前記道路と接触するエリアとの間の距離を示し、前記少なくとも1つのナビゲーション特性が、前記道路の高さを含み、前記少なくとも1つのプロセッサが、
前記道路上の前記対象に起因すると判断された前記LIDAR反射情報、及び前記ホスト車両に搭載された前記カメラの少なくとも1つの特性に基づいて、前記道路の前記高さを決定するように更にプログラムされる、請求項1に記載のナビゲーションシステム。 - 前記カメラの前記少なくとも1つの特性が、前記カメラの焦点距離又は前記道路上の前記カメラの高さの少なくとも1つを含む、請求項3に記載のナビゲーションシステム。
- 前記少なくとも1つのプロセッサが、少なくとも1つの捕捉された画像における前記対象の画像表現の少なくとも一部によって占められた画素の数にも基づいて、前記道路の前記高さを決定するように更にプログラムされる、請求項3に記載のナビゲーションシステム。
- 前記少なくとも1つのプロセッサが、前記道路上の前記対象に対する少なくとも1つのLIDARにより決定された距離にオフセットを追加することによって、前記ホスト車両と、前記対象が前記道路と接触する前記エリアとの間の前記距離を決定するように更にプログラムされる、請求項3に記載のナビゲーションシステム。
- 前記対象が、前記ホスト車両の前記環境における目標車両を含む、請求項3に記載のナビゲーションシステム。
- 前記少なくとも1つの画像において識別された前記1つ又は複数の対象が、前記ホスト車両の前記環境における道路の少なくとも一部の表現を含み、前記道路に起因すると判断された前記LIDAR反射情報が、前記ホスト車両と前記道路上の複数の位置との間の距離を示し、前記少なくとも1つのプロセッサが、
前記道路に起因すると判断された前記LIDAR反射情報に基づいて、且つ前記少なくとも1つの画像において識別された前記道路の前記少なくとも一部に基づいて、前記道路に関連する道路平面の位置を決定するように更にプログラムされる、請求項1に記載のナビゲーションシステム。 - 前記少なくとも1つのプロセッサが、前記少なくとも1つの画像において識別された前記道路の前記少なくとも一部に関連する第1の複数の点を決定し、且つ前記ホスト車両と前記道路上の複数の位置との間の距離を示す前記LIDAR反射情報に由来する第2の複数の点と前記第1の複数の点とを交互に配置するように更にプログラムされる、請求項8に記載のナビゲーションシステム。
- 前記少なくとも1つの画像において識別された前記1つ又は複数の対象が、前記ホスト車両の前記環境における曲線道路の少なくとも一部の表現を含み、前記曲線道路に起因すると判断された前記LIDAR反射情報が、前記ホスト車両と前記曲線道路上の複数の点との間の距離を示し、前記少なくとも1つのプロセッサが、
前記曲線道路に起因すると判断された前記LIDAR反射情報に基づいて、且つ前記少なくとも1つの画像において識別された前記曲線道路の前記少なくとも一部に基づいて、前記曲線道路に関連する道路平面の位置を決定するように更にプログラムされる、請求項1に記載のナビゲーションシステム。 - 前記少なくとも1つの画像において識別された前記曲線道路の前記少なくとも一部が、前記曲線道路に沿った1つ又は複数の車線区分線を含む、請求項10に記載のナビゲーションシステム。
- 前記LIDARの前記出力と、前記カメラによって捕捉された少なくとも1つの画像との間の相対的な整合の前記少なくとも1つのインジケータが、前記LIDARの前記出力と、前記カメラによって捕捉された前記少なくとも1つの画像との間の、画像空間における整合に基づく、請求項1に記載のナビゲーションシステム。
- 前記少なくとも1つのプロセッサが、実世界座標における前記カメラと前記LIDARとの間の整合変動を決定するために、前記LIDARの前記出力と、前記カメラによって捕捉された前記少なくとも1つの画像との間の相対的な整合の前記少なくとも1つのインジケータを用いるように更にプログラムされる、請求項1に記載のナビゲーションシステム。
- 実世界座標における前記カメラと前記LIDARとの間の前記整合変動が、前記カメラと前記LIDARとの間のピッチ、ロール又はヨーの変動の少なくとも1つで決定される、請求項13に記載のナビゲーションシステム。
- 前記LIDARの前記出力と、前記カメラによって捕捉された前記少なくとも1つの画像との間の前記相対的な整合の前記少なくとも1つのインジケータが、画像空間における平行移動変換を含む、請求項12に記載のナビゲーションシステム。
- 前記LIDARの前記出力と、前記カメラによって捕捉された前記少なくとも1つの画像との間の前記相対的な整合の前記少なくとも1つのインジケータが、画像空間における回転変換を含む、請求項12に記載のナビゲーションシステム。
- 前記LIDARの前記出力と、前記カメラによって捕捉された前記少なくとも1つの画像との間の前記相対的な整合の前記少なくとも1つのインジケータが、予想される範囲外の変動と関連付けられる場合に、前記少なくとも1つのプロセッサが、前記カメラ又は前記LIDARの少なくとも1つが動作誤差を経験していると判定するように更にプログラムされる、請求項1に記載のナビゲーションシステム。
- 前記LIDARの前記出力と、前記カメラによって捕捉された少なくとも1つの画像との間の相対的な整合の前記少なくとも1つのインジケータの前記決定が、時間について周期的に実行される、請求項1に記載のナビゲーションシステム。
- 前記LIDARの前記出力と、前記カメラによって捕捉された少なくとも1つの画像との間の相対的な整合の前記少なくとも1つのインジケータの前記決定が、毎秒少なくとも1回実行される、請求項1に記載のナビゲーションシステム。
- 前記カメラが、ローリングシャッタを含み、前記LIDARの前記出力と、前記カメラによって捕捉された少なくとも1つの画像との間の相対的な整合の前記少なくとも1つのインジケータの前記決定が、前記ローリングシャッタに関連する走査タイミングを決める主な要因である、請求項1に記載のナビゲーションシステム。
- 前記LIDARが、走査レートに関連付けられ、前記LIDARの前記出力と、前記カメラによって捕捉された少なくとも1つの画像との間の相対的な整合の前記少なくとも1つのインジケータの前記決定が、前記LIDARの前記走査レートを決める主な要因である、請求項1に記載のナビゲーションシステム。
- 前記少なくとも1つのプロセッサが、
前記ホスト車両に搭載された複数のカメラによって捕捉された画像のストリームを受信するように、且つ
前記ホスト車両に搭載された複数のLIDARの出力を受信するように更にプログラムされる、請求項1に記載のナビゲーションシステム。 - 前記複数のカメラ及び前記複数のLIDARの少なくとも2つが、少なくとも部分的に重複する視野を有する、請求項22に記載のナビゲーションシステム。
- 車両であって、
車体と、
前記車体に結合されたカメラと、
前記車体に結合されたLIDARと、
少なくとも1つのプロセッサであって、
前記カメラによって捕捉された画像のストリームを受信することであって、前記捕捉された画像が、前記車両を取り囲む環境を表すことと、
前記LIDARの出力を受信することであって、前記LIDARの前記出力が、前記車両を取り囲む前記環境の少なくとも一部からの複数のレーザ反射を表すことと、
前記LIDARの前記出力と、前記カメラによって捕捉された少なくとも1つの画像との間の相対的な整合の少なくとも1つのインジケータを決定することと、
前記LIDARの前記出力と、前記カメラによって捕捉された前記少なくとも1つの画像との間の前記相対的な整合の前記少なくとも1つのインジケータに基づいて、LIDAR反射情報が、前記少なくとも1つの画像において識別された1つ又は複数の対象に起因すると判断することと、
前記車両の環境における道路に関連する高さ又は前記車両の速度の少なくとも1つを決定するために、前記起因すると判断されたLIDAR反射情報、及び前記少なくとも1つの画像において識別された前記1つ又は複数の対象を用いることとを行うようにプログラムされた少なくとも1つのプロセッサと、
を含む車両。 - ホスト車両を自律的にナビゲートする方法であって、
前記ホスト車両に搭載されたカメラによって捕捉された画像のストリームを受信することであって、前記捕捉された画像が、前記ホスト車両を取り囲む環境を表すことと、
前記ホスト車両に搭載されたLIDARの出力を受信することであって、前記LIDARの前記出力が、前記ホスト車両を取り囲む前記環境の少なくとも一部からの複数のレーザ反射を表すことと、
前記LIDARの前記出力と、前記カメラによって捕捉された少なくとも1つの画像との間の相対的な整合の少なくとも1つのインジケータを決定することと、
前記LIDARの前記出力と、前記カメラによって捕捉された前記少なくとも1つの画像との間の前記相対的な整合の前記少なくとも1つのインジケータに基づいて、LIDAR反射情報が、前記少なくとも1つの画像において識別された1つ又は複数の対象に起因すると判断することと、
前記ホスト車両に関連する少なくとも1つのナビゲーション特性を決定するために、前記起因すると判断されたLIDAR反射情報、及び前記少なくとも1つの画像において識別された前記1つ又は複数の対象を用いることと、
を含む方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022161508A JP7509501B2 (ja) | 2017-01-26 | 2022-10-06 | 整合画像及びlidar情報に基づいた車両ナビゲーション |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762450750P | 2017-01-26 | 2017-01-26 | |
US62/450,750 | 2017-01-26 | ||
US201762538925P | 2017-07-31 | 2017-07-31 | |
US62/538,925 | 2017-07-31 | ||
PCT/IB2018/000141 WO2018138584A1 (en) | 2017-01-26 | 2018-01-25 | Vehicle navigation based on aligned image and lidar information |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022161508A Division JP7509501B2 (ja) | 2017-01-26 | 2022-10-06 | 整合画像及びlidar情報に基づいた車両ナビゲーション |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020507829A true JP2020507829A (ja) | 2020-03-12 |
JP7157054B2 JP7157054B2 (ja) | 2022-10-19 |
Family
ID=61526836
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019527816A Active JP7157054B2 (ja) | 2017-01-26 | 2018-01-25 | 整合画像及びlidar情報に基づいた車両ナビゲーション |
JP2022161508A Active JP7509501B2 (ja) | 2017-01-26 | 2022-10-06 | 整合画像及びlidar情報に基づいた車両ナビゲーション |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022161508A Active JP7509501B2 (ja) | 2017-01-26 | 2022-10-06 | 整合画像及びlidar情報に基づいた車両ナビゲーション |
Country Status (5)
Country | Link |
---|---|
US (1) | US11953599B2 (ja) |
EP (1) | EP3545337B1 (ja) |
JP (2) | JP7157054B2 (ja) |
CN (1) | CN110235026A (ja) |
WO (1) | WO2018138584A1 (ja) |
Families Citing this family (73)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD858381S1 (en) | 2017-04-28 | 2019-09-03 | Waymo Llc | Fender sensor housing |
EP3615955A4 (en) * | 2017-04-28 | 2020-05-13 | SZ DJI Technology Co., Ltd. | CALIBRATION OF LASER AND VISION SENSORS |
EP3438776B1 (en) * | 2017-08-04 | 2022-09-07 | Bayerische Motoren Werke Aktiengesellschaft | Method, apparatus and computer program for a vehicle |
GB201714978D0 (en) * | 2017-09-18 | 2017-11-01 | Trw Ltd | Detecting misalignment |
US10816666B2 (en) | 2017-11-21 | 2020-10-27 | Magna Electronics Inc. | Vehicle sensing system with calibration/fusion of point cloud partitions |
US11163309B2 (en) * | 2017-11-30 | 2021-11-02 | Direct Current Capital LLC | Method for autonomous navigation |
JPWO2019172118A1 (ja) * | 2018-03-05 | 2021-02-18 | 株式会社小糸製作所 | センサシステム、センサモジュール、およびランプ装置 |
US20190347808A1 (en) * | 2018-05-09 | 2019-11-14 | Ford Global Technologies, Llc | Monocular Visual Odometry: Speed And Yaw Rate Of Vehicle From Rear-View Camera |
JP7141242B2 (ja) * | 2018-05-18 | 2022-09-22 | 株式会社小糸製作所 | センサシステム |
US10719957B2 (en) | 2018-07-30 | 2020-07-21 | Pony Ai Inc. | System and method for calibrating on-board vehicle cameras |
US11204605B1 (en) * | 2018-08-03 | 2021-12-21 | GM Global Technology Operations LLC | Autonomous vehicle controlled based upon a LIDAR data segmentation system |
US10677900B2 (en) | 2018-08-06 | 2020-06-09 | Luminar Technologies, Inc. | Detecting distortion using known shapes |
KR102675522B1 (ko) * | 2018-09-07 | 2024-06-14 | 삼성전자주식회사 | 센서들에 대한 정렬 모델 조정 방법 및 그 방법을 수행하는 전자 장치 |
CN109255181B (zh) | 2018-09-07 | 2019-12-24 | 百度在线网络技术(北京)有限公司 | 一种基于多模型的障碍物分布仿真方法、装置以及终端 |
CN109215135B (zh) | 2018-09-07 | 2019-11-08 | 百度在线网络技术(北京)有限公司 | 一种基于统计的障碍物位置仿真方法、装置以及终端 |
CN109143242B (zh) | 2018-09-07 | 2020-04-14 | 百度在线网络技术(北京)有限公司 | 障碍物绝对速度估计方法、***、计算机设备和存储介质 |
CN111238494B (zh) * | 2018-11-29 | 2022-07-19 | 财团法人工业技术研究院 | 载具、载具定位***及载具定位方法 |
US11537811B2 (en) * | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
DK180555B1 (en) * | 2018-12-10 | 2021-06-17 | Motional Ad Llc | Systems and methods for validating and calibrating sensors |
IL270540A (en) | 2018-12-26 | 2020-06-30 | Yandex Taxi Llc | Method and system for training a machine learning algorithm to recognize objects from a distance |
KR102647929B1 (ko) * | 2019-01-03 | 2024-03-15 | 현대모비스 주식회사 | 차량용 카메라 및 라이다 센서의 캘리브레이션 장치 및 방법 |
US20220206153A1 (en) * | 2019-02-18 | 2022-06-30 | Koito Manufacturing Co., Ltd. | Vehicular sensing system and vehicle |
CN109703568B (zh) | 2019-02-19 | 2020-08-18 | 百度在线网络技术(北京)有限公司 | 自动驾驶车辆行驶策略实时学习的方法、装置和服务器 |
USD950404S1 (en) | 2019-05-01 | 2022-05-03 | Waymo Llc | Roof pod housing |
USD915913S1 (en) | 2019-05-01 | 2021-04-13 | Waymo Llc | Roof pod housing |
USD957968S1 (en) | 2019-02-20 | 2022-07-19 | Waymo Llc | Sensor housing |
USD902756S1 (en) | 2019-02-20 | 2020-11-24 | Waymo Llc | Sensor assembly |
CN109712421B (zh) | 2019-02-22 | 2021-06-04 | 百度在线网络技术(北京)有限公司 | 自动驾驶车辆的速度规划方法、装置和存储介质 |
JP7118911B2 (ja) * | 2019-03-08 | 2022-08-16 | 株式会社東芝 | 画像処理装置 |
CN110082739B (zh) * | 2019-03-20 | 2022-04-12 | 深圳市速腾聚创科技有限公司 | 数据同步方法和设备 |
USD954571S1 (en) | 2019-04-25 | 2022-06-14 | Waymo Llc | Front sensor housing |
USD964908S1 (en) | 2019-04-25 | 2022-09-27 | Waymo Llc | Perimeter sensor housing |
USD964909S1 (en) | 2019-04-25 | 2022-09-27 | Waymo Llc | Perimeter sensor housing |
USD928639S1 (en) | 2019-04-25 | 2021-08-24 | Waymo Llc | Rear sensor housing |
USD965498S1 (en) | 2019-04-25 | 2022-10-04 | Waymo Llc | Perimeter sensor housing |
USD956585S1 (en) | 2019-04-25 | 2022-07-05 | Waymo Llc | Rear sensor housing |
USD964249S1 (en) | 2019-04-25 | 2022-09-20 | Waymo Llc | Perimeter sensor housing |
USD927998S1 (en) | 2019-04-25 | 2021-08-17 | Waymo Llc | Front sensor housing |
EP3757611A1 (en) * | 2019-06-27 | 2020-12-30 | Aptiv Technologies Limited | Vertical road profile estimation |
US10775175B1 (en) * | 2019-06-28 | 2020-09-15 | Rockwell Collins, Inc. | Wearable dead reckoning system for GPS-denied navigation |
US10841483B1 (en) * | 2019-07-11 | 2020-11-17 | Denso International America, Inc. | System and method for calibrating at least one camera and a light detection and ranging sensor |
US20210025738A1 (en) * | 2019-07-24 | 2021-01-28 | EMC IP Holding Company LLC | System and method for device operation monitoring |
EP4031832A4 (en) * | 2019-09-17 | 2023-10-18 | Carbon Autonomous Robotic Systems Inc. | WEED ERADICATION BY AUTONOMOUS LASER |
DE112020003897T5 (de) * | 2019-09-17 | 2022-05-25 | Mobileye Vision Technologies Ltd. | Systeme und verfahren zur überwachung von fahrspurüberlastung |
CN112840232B (zh) * | 2019-09-23 | 2024-03-22 | 北京航迹科技有限公司 | 用于标定相机和激光雷达的***和方法 |
US11977167B2 (en) * | 2019-12-04 | 2024-05-07 | Waymo Llc | Efficient algorithm for projecting world points to a rolling shutter image |
GB202305331D0 (en) * | 2019-12-18 | 2023-05-24 | Motional Ad Llc | Camera-to-lidar calibration and validation |
US11557127B2 (en) | 2019-12-30 | 2023-01-17 | Waymo Llc | Close-in sensing camera system |
US11493922B1 (en) | 2019-12-30 | 2022-11-08 | Waymo Llc | Perimeter sensor housings |
US20210215798A1 (en) * | 2020-01-10 | 2021-07-15 | Continental Automotive Systems, Inc. | Lidar system |
US20220003855A1 (en) * | 2020-07-01 | 2022-01-06 | Baidu Usa Llc | Point clouds based lidar recalibration system for autonomous vehicles |
WO2022016276A1 (en) | 2020-07-21 | 2022-01-27 | Leddartech Inc. | Beam-steering device particularly for lidar systems |
WO2022016275A1 (en) | 2020-07-21 | 2022-01-27 | Leddartech Inc. | Beam-steering device particularly for lidar systems |
WO2022016277A1 (en) | 2020-07-21 | 2022-01-27 | Leddartech Inc. | Systems and methods for wide-angle lidar using non-uniform magnification optics |
US11250240B1 (en) * | 2020-07-27 | 2022-02-15 | Pony Ai Inc. | Instance segmentation using sensor data having different dimensionalities |
US11940568B2 (en) | 2020-08-17 | 2024-03-26 | Argo AI, LLC | Enhanced multispectral sensor calibration |
CN112184768B (zh) * | 2020-09-24 | 2023-10-31 | 杭州易现先进科技有限公司 | 基于激光雷达的sfm重建方法、装置和计算机设备 |
GB2599380A (en) * | 2020-09-30 | 2022-04-06 | Roadmetric Ltd | Measuring vehicle speeds with an uncalibrated camera |
US20220180541A1 (en) * | 2020-12-07 | 2022-06-09 | Faro Technologies, Inc. | Three-dimensional coordinate scanner |
US12032060B2 (en) * | 2021-01-25 | 2024-07-09 | GM Global Technology Operations LLC | Ambiguity mitigation based on common field of view of radar systems |
US20220269281A1 (en) * | 2021-02-23 | 2022-08-25 | Ran Cheng | Method and system for generating a topological graph map |
CN113096395B (zh) * | 2021-03-31 | 2022-03-25 | 武汉理工大学 | 一种基于定位与人工智能识别的道路交通安全评价*** |
CN113281617B (zh) * | 2021-06-08 | 2022-09-27 | 中国民航大学 | 一种飞机线缆微弱故障诊断方法 |
WO2022271752A1 (en) * | 2021-06-21 | 2022-12-29 | Cyngn, Inc. | Self-adaptive lidar-camera synchronization system |
US11651583B2 (en) | 2021-07-08 | 2023-05-16 | Cyngn, Inc. | Multi-channel object matching |
US11592565B2 (en) | 2021-07-08 | 2023-02-28 | Cyngn, Inc. | Flexible multi-channel fusion perception |
US11908164B2 (en) * | 2021-07-23 | 2024-02-20 | Embark Trucks Inc. | Automatic extrinsic calibration using sensed data as a target |
US11845439B2 (en) * | 2021-09-29 | 2023-12-19 | Canoo Technologies Inc. | Prediction of target object's behavior based on world and image frames |
CN118265957A (zh) * | 2021-10-18 | 2024-06-28 | 移动眼视觉科技有限公司 | 用于车辆导航的雷达-摄像头融合 |
US20240045041A1 (en) * | 2021-10-25 | 2024-02-08 | Commonwealth Scientific And Industrial Research Organisation | Multi-sensor navigation |
US20230202473A1 (en) * | 2021-12-29 | 2023-06-29 | Mobileye Vision Technologies Ltd. | Calculating vehicle speed for a road curve |
KR20230139560A (ko) * | 2022-03-28 | 2023-10-05 | 현대자동차주식회사 | 차량 및 그 제어방법 |
CN114782447B (zh) * | 2022-06-22 | 2022-09-09 | 小米汽车科技有限公司 | 路面检测方法、装置、车辆、存储介质及芯片 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005258941A (ja) * | 2004-03-12 | 2005-09-22 | Toyota Central Res & Dev Lab Inc | 障害物検出装置 |
JP2007218738A (ja) * | 2006-02-16 | 2007-08-30 | Kumamoto Univ | 校正装置、物標検知装置および校正方法 |
US20100235129A1 (en) * | 2009-03-10 | 2010-09-16 | Honeywell International Inc. | Calibration of multi-sensor system |
JP2012080517A (ja) * | 2010-10-01 | 2012-04-19 | Young Wee Jay | イメージ獲得ユニット、方法及び連関付けられた制御ユニット{imageacquisitionunit、acquisitionmethodandassociatedcontrolunit} |
WO2013084317A1 (ja) * | 2011-12-07 | 2013-06-13 | トヨタ自動車株式会社 | 表示制御装置 |
JP2013196401A (ja) * | 2012-03-21 | 2013-09-30 | Hitachi Automotive Systems Ltd | 道路環境認識装置 |
WO2013145015A1 (ja) * | 2012-03-29 | 2013-10-03 | トヨタ自動車株式会社 | 路面状態推定装置 |
JP2016034810A (ja) * | 2014-08-04 | 2016-03-17 | 株式会社デンソーアイティーラボラトリ | 車両制御装置 |
JP2016212630A (ja) * | 2015-05-08 | 2016-12-15 | トヨタ自動車株式会社 | 走行制御装置 |
JP2018535402A (ja) * | 2016-01-12 | 2018-11-29 | 三菱電機株式会社 | 異なる分解能を有するセンサーの出力を融合するシステム及び方法 |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7202776B2 (en) | 1997-10-22 | 2007-04-10 | Intelligent Technologies International, Inc. | Method and system for detecting objects external to a vehicle |
JP3969984B2 (ja) | 2001-09-25 | 2007-09-05 | ダイハツ工業株式会社 | 移動物体の認識方法 |
JP2007303842A (ja) | 2006-05-08 | 2007-11-22 | Toyota Central Res & Dev Lab Inc | 車両位置推定装置及び地図情報作成装置 |
DE102007001103A1 (de) * | 2007-01-04 | 2008-07-10 | Siemens Ag | Vertikale Ausrichtung eines Lidar-Sensors |
US8855848B2 (en) * | 2007-06-05 | 2014-10-07 | GM Global Technology Operations LLC | Radar, lidar and camera enhanced methods for vehicle dynamics estimation |
US8244469B2 (en) | 2008-03-16 | 2012-08-14 | Irobot Corporation | Collaborative engagement for target identification and tracking |
JP4775391B2 (ja) * | 2008-03-18 | 2011-09-21 | 株式会社デンソー | 障害物検出装置 |
JP2010060299A (ja) | 2008-09-01 | 2010-03-18 | Omron Corp | 物体検出装置 |
US8284250B2 (en) * | 2009-01-16 | 2012-10-09 | Microsoft Corporation | Determining trigger rate for a digital camera |
CN101698303B (zh) * | 2009-09-11 | 2011-02-02 | 大连理工大学 | 一种三维激光和单目视觉间的自动标定方法 |
CN104251993B (zh) * | 2010-03-17 | 2017-04-12 | 本田技研工业株式会社 | 车辆周围监测装置 |
CN101975951B (zh) | 2010-06-09 | 2013-03-20 | 北京理工大学 | 一种融合距离和图像信息的野外环境障碍检测方法 |
US9124873B2 (en) * | 2010-12-08 | 2015-09-01 | Cognex Corporation | System and method for finding correspondence between cameras in a three-dimensional vision system |
US9128185B2 (en) | 2012-03-15 | 2015-09-08 | GM Global Technology Operations LLC | Methods and apparatus of fusing radar/camera object data and LiDAR scan points |
US9221396B1 (en) * | 2012-09-27 | 2015-12-29 | Google Inc. | Cross-validating sensors of an autonomous vehicle |
EP2728376A1 (en) * | 2012-11-05 | 2014-05-07 | The Chancellor, Masters and Scholars of the University of Oxford | Extrinsic calibration of imaging sensing devices and 2D LIDARs mounted on transportable apparatus |
EP2914975B1 (en) * | 2012-11-05 | 2019-03-06 | The Chancellor, Masters and Scholars of The University of Oxford | Extrinsic calibration of imaging sensing devices and 2d lidars mounted on transportable apparatus |
CN103198302B (zh) * | 2013-04-10 | 2015-12-02 | 浙江大学 | 一种基于双模态数据融合的道路检测方法 |
US9207323B2 (en) * | 2013-04-11 | 2015-12-08 | Google Inc. | Methods and systems for detecting weather conditions including wet surfaces using vehicle onboard sensors |
US9110163B2 (en) * | 2013-06-14 | 2015-08-18 | Microsoft Technology Licensing, Llc | Lidar-based classification of object movement |
CN103559791B (zh) | 2013-10-31 | 2015-11-18 | 北京联合大学 | 一种融合雷达和ccd摄像机信号的车辆检测方法 |
US9378554B2 (en) * | 2014-10-09 | 2016-06-28 | Caterpillar Inc. | Real-time range map generation |
US20160209211A1 (en) * | 2015-01-16 | 2016-07-21 | GM Global Technology Operations LLC | Method for determining misalignment of an object sensor |
CN111380545A (zh) | 2015-02-10 | 2020-07-07 | 御眼视觉技术有限公司 | 用于自主车辆导航的方法、服务器、自主车辆以及介质 |
US9710714B2 (en) * | 2015-08-03 | 2017-07-18 | Nokia Technologies Oy | Fusion of RGB images and LiDAR data for lane classification |
US10282591B2 (en) * | 2015-08-24 | 2019-05-07 | Qualcomm Incorporated | Systems and methods for depth map sampling |
US10137904B2 (en) * | 2015-10-14 | 2018-11-27 | Magna Electronics Inc. | Driver assistance system with sensor offset correction |
US9916703B2 (en) * | 2015-11-04 | 2018-03-13 | Zoox, Inc. | Calibration for autonomous vehicle operation |
CN105758426B (zh) * | 2016-02-19 | 2019-07-26 | 深圳市杉川机器人有限公司 | 移动机器人的多传感器的联合标定方法 |
CN105818763B (zh) * | 2016-03-09 | 2018-06-22 | 睿驰智能汽车(广州)有限公司 | 一种确定车辆周围物体距离的方法、装置及*** |
US10884127B2 (en) * | 2016-08-02 | 2021-01-05 | Samsung Electronics Co., Ltd. | System and method for stereo triangulation |
US20180067494A1 (en) * | 2016-09-02 | 2018-03-08 | Delphi Technologies, Inc. | Automated-vehicle 3d road-model and lane-marking definition system |
US10652333B2 (en) * | 2016-12-27 | 2020-05-12 | Intel Corporation | Normalization of sensors |
US10838067B2 (en) * | 2017-01-17 | 2020-11-17 | Aptiv Technologies Limited | Object detection system |
US10754035B2 (en) * | 2017-01-17 | 2020-08-25 | Aptiv Technologies Limited | Ground classifier system for automated vehicles |
JP2020522002A (ja) * | 2017-06-02 | 2020-07-27 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 移動ターゲットを認識、追跡、および合焦するための方法及びシステム |
US10678260B2 (en) * | 2017-07-06 | 2020-06-09 | GM Global Technology Operations LLC | Calibration methods for autonomous vehicle operations |
US11062461B2 (en) * | 2017-11-16 | 2021-07-13 | Zoox, Inc. | Pose determination from contact points |
-
2018
- 2018-01-25 CN CN201880008067.6A patent/CN110235026A/zh active Pending
- 2018-01-25 JP JP2019527816A patent/JP7157054B2/ja active Active
- 2018-01-25 US US16/478,994 patent/US11953599B2/en active Active
- 2018-01-25 EP EP18708196.3A patent/EP3545337B1/en active Active
- 2018-01-25 WO PCT/IB2018/000141 patent/WO2018138584A1/en unknown
-
2022
- 2022-10-06 JP JP2022161508A patent/JP7509501B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005258941A (ja) * | 2004-03-12 | 2005-09-22 | Toyota Central Res & Dev Lab Inc | 障害物検出装置 |
JP2007218738A (ja) * | 2006-02-16 | 2007-08-30 | Kumamoto Univ | 校正装置、物標検知装置および校正方法 |
US20100235129A1 (en) * | 2009-03-10 | 2010-09-16 | Honeywell International Inc. | Calibration of multi-sensor system |
JP2012080517A (ja) * | 2010-10-01 | 2012-04-19 | Young Wee Jay | イメージ獲得ユニット、方法及び連関付けられた制御ユニット{imageacquisitionunit、acquisitionmethodandassociatedcontrolunit} |
WO2013084317A1 (ja) * | 2011-12-07 | 2013-06-13 | トヨタ自動車株式会社 | 表示制御装置 |
JP2013196401A (ja) * | 2012-03-21 | 2013-09-30 | Hitachi Automotive Systems Ltd | 道路環境認識装置 |
WO2013145015A1 (ja) * | 2012-03-29 | 2013-10-03 | トヨタ自動車株式会社 | 路面状態推定装置 |
JP2016034810A (ja) * | 2014-08-04 | 2016-03-17 | 株式会社デンソーアイティーラボラトリ | 車両制御装置 |
JP2016212630A (ja) * | 2015-05-08 | 2016-12-15 | トヨタ自動車株式会社 | 走行制御装置 |
JP2018535402A (ja) * | 2016-01-12 | 2018-11-29 | 三菱電機株式会社 | 異なる分解能を有するセンサーの出力を融合するシステム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
US20190353784A1 (en) | 2019-11-21 |
CN110235026A (zh) | 2019-09-13 |
EP3545337B1 (en) | 2024-07-03 |
JP7509501B2 (ja) | 2024-07-02 |
JP7157054B2 (ja) | 2022-10-19 |
JP2022185089A (ja) | 2022-12-13 |
EP3545337A1 (en) | 2019-10-02 |
WO2018138584A1 (en) | 2018-08-02 |
US11953599B2 (en) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7509501B2 (ja) | 整合画像及びlidar情報に基づいた車両ナビゲーション | |
US11669102B2 (en) | Navigating a vehicle based on a detected barrier | |
EP3854646B1 (en) | Systems and methods for navigating with safe distances | |
CN110612431B (zh) | 自主车辆***的交叉视场 | |
EP3548845B1 (en) | Navigation based on vehicle activity | |
US10572744B2 (en) | Systems and methods for detecting an object | |
KR20190080885A (ko) | 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법 | |
US20230117253A1 (en) | Ego motion-based online calibration between coordinate systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20191008 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20191125 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220407 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221006 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7157054 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |