JP7060707B2 - 車両とトレーラとの間の距離を検出する装置および方法 - Google Patents
車両とトレーラとの間の距離を検出する装置および方法 Download PDFInfo
- Publication number
- JP7060707B2 JP7060707B2 JP2020554072A JP2020554072A JP7060707B2 JP 7060707 B2 JP7060707 B2 JP 7060707B2 JP 2020554072 A JP2020554072 A JP 2020554072A JP 2020554072 A JP2020554072 A JP 2020554072A JP 7060707 B2 JP7060707 B2 JP 7060707B2
- Authority
- JP
- Japan
- Prior art keywords
- data processing
- trailer
- processing hardware
- distance
- coupler
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 73
- 238000012545 processing Methods 0.000 claims description 80
- 230000000007 visual effect Effects 0.000 claims description 31
- 238000005259 measurement Methods 0.000 claims description 17
- 230000001133 acceleration Effects 0.000 claims description 13
- 238000013459 approach Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 description 12
- 239000013256 coordination polymer Substances 0.000 description 10
- 238000004590 computer program Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 239000000725 suspension Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 241001236644 Lavinia Species 0.000 description 1
- 244000261422 Lysimachia clethroides Species 0.000 description 1
- 102000000591 Tight Junction Proteins Human genes 0.000 description 1
- 108010002321 Tight Junction Proteins Proteins 0.000 description 1
- 239000006096 absorbing agent Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000004224 protection Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000001578 tight junction Anatomy 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60D—VEHICLE CONNECTIONS
- B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
- B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
- B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60D—VEHICLE CONNECTIONS
- B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
- B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
- B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
- B60D1/363—Hitch guiding or catching elements, e.g. V-shaped plates partially surrounding a coupling member for guiding the other coupling member
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60D—VEHICLE CONNECTIONS
- B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
- B60D1/58—Auxiliary devices
- B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/143—Touch sensitive instrument input devices
- B60K2360/1438—Touch screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
- B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
- B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
- B60W2050/0052—Filtering, filters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
- B60W2520/105—Longitudinal acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/12—Lateral speed
- B60W2520/125—Lateral acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/801—Lateral distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/802—Longitudinal distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/805—Azimuth angle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2200/00—Type of vehicle
- B60Y2200/10—Road Vehicles
- B60Y2200/14—Trucks; Load vehicles, Busses
- B60Y2200/147—Trailers, e.g. full trailers or caravans
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/28—Purposes or special features of road vehicle drive control systems related to towing or towed situations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2400/00—Special features of vehicle units
- B60Y2400/30—Sensors
- B60Y2400/301—Sensors for position or displacement
- B60Y2400/3015—Optical cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Description
トレーラは通常、動力を備えた牽引車両によって引っ張られる無動力の車両である。トレーラを、他にもある中で特に、ユーティリティトレーラ、ポップアップ式キャンピングカー、旅行用トレーラ、家畜用トレーラ、平床式トレーラ、有蓋車両輸送トレーラおよびボートトレーラとすることができる。牽引車両を、乗用車、クロスオーバー車、トラック、バン、スポーツ・ユーティリティ・ビークル(SUV)、レクレーショナル・ビークル(RV)、またはトレーラに取り付けてトレーラを引っ張るように構成されている他の任意の車両とすることができる。トレーラヒッチを用いて、トレーラを動力車両に取り付けることができる。受け側ヒッチが牽引車両に装備されており、これがトレーラヒッチと接続されて接続が形成される。トレーラヒッチを、ボールおよびソケット、予備車輪およびグースネックまたはトレーラジャッキとすることができる。他の取り付け機構を使用することもできる。トレーラと動力車両との間の機械的接続に加えて、一部の例によれば、トレーラは牽引車両と電気的に接続される。このようにすれば電気的接続によって、トレーラは動力車両のリアライト回路から給電を受けることができ、これによってトレーラは、動力車両のライトと同期したテールライト、ウィンカおよびブレーキライトを有することができる。
本開示の一態様は、牽引車両がトレーラに接近するときに、牽引車両の後部に配置されているカメラと、牽引車両の後方に配置されているトレーラによって支持されているトレーラカプラとの間の距離を決定する方法を提供する。この方法は、データ処理ハードウェアによって、牽引車両の後方環境の1つまたは複数の画像内のトレーラのトレーラカプラを識別することを含んでいる。この方法は、データ処理ハードウェアで、データ処理ハードウェアと通信し、かつ牽引車両によって支持されている慣性測定ユニット(inertial measurement unit)からセンサーデータを受け取ることも含んでいる。この方法は、データ処理ハードウェアによって、1つまたは複数の画像のうちの、最も新たに受け取った画像と、1つまたは複数の画像のうちの、その前に受け取った画像との間のピクセルごとの強度差(pixel-wise intensity difference)を決定することも含んでいる。付加的に、この方法は、データ処理ハードウェアによって、識別されたトレーラカプラと、センサーデータと、ピクセルごとの強度差とに基づいて、カメラとトレーラカプラとの間の長手方向距離と、横方向距離と、垂直方向距離とを含んでいる距離を決定することを含んでいる。
乗用車、クロスオーバー車、トラック、バン、スポーツ・ユーティリティ・ビークル(SUV)およびレクレーショナル・ビークル(RV)等であるがこれらに限定されない牽引車両は、トレーラを牽引するように構成されていてよい。牽引車両は、トレーラヒッチを介してトレーラに接続する。牽引車両の後方に配置されているトレーラに対する長手方向距離と、横方向距離と、垂直方向距離とを含んでいる距離を決定することができる牽引車両を有することが望ましい。より具体的には、牽引車両は、車両の後方カメラとトレーラカプラとの間の長手方向距離と、横方向距離と、垂直方向距離とを決定することが望ましい。このように、距離推定機能を備えた牽引車両は、トレーラに向かう牽引車両の(運転者による、または自律的な)駆動を助ける情報を運転者および/または車両に提供する。
Claims (20)
- 牽引車両がトレーラに接近するときに、前記牽引車両の後部に配置されているカメラと、前記牽引車両の後方に配置されているトレーラによって支持されているトレーラカプラとの間の距離を求める方法であって、
データ処理ハードウェアによって、前記牽引車両の後方環境の1つまたは複数の画像内の前記トレーラの前記トレーラカプラを識別するステップと、
前記データ処理ハードウェアで、前記データ処理ハードウェアと通信し、かつ前記牽引車両によって支持されている慣性測定ユニットからセンサーデータを受け取るステップと、
前記データ処理ハードウェアによって、前記1つまたは複数の画像のうちの、最も新たに受け取った画像と、前記1つまたは複数の画像のうちの、従前に受け取った画像との間のピクセルごとの強度差を求めるステップと、
前記データ処理ハードウェアによって、識別された前記トレーラカプラと、前記センサーデータと、前記ピクセルごとの強度差とに基づいて、前記カメラと前記トレーラカプラとの間の長手方向距離と、横方向距離と、垂直方向距離とを含む前記距離を求めるステップと、
を含む、方法。 - さらに、前記データ処理ハードウェアから、前記データ処理ハードウェアと通信するディスプレイに、前記距離を表示するための指示を送るステップを含む、請求項1記載の方法。
- さらに、前記データ処理ハードウェアから、前記データ処理ハードウェアと通信する駆動支援システムに、前記距離に基づいて前記牽引車両を前記トレーラに向けて自律的に駆動するための指示を送るステップを含む、請求項1または2記載の方法。
- さらに、前記データ処理ハードウェアで、前記カメラと前記トレーラカプラとの間の前記垂直方向距離に基づいて、地面からの前記トレーラカプラの高さを求めるステップを含む、請求項1から3までのいずれか1項記載の方法。
- 前記1つまたは複数の画像は単眼カメラによって捕捉される、請求項1から4までのいずれか1項記載の方法。
- 前記慣性測定ユニットからの前記センサーデータは、前記牽引車両の加速度および角速度を含む、請求項1から5までのいずれか1項記載の方法。
- 前記距離を求めるステップはさらに、
前記センサーデータと前記識別されたトレーラカプラとに基づいて、1つまたは複数の現在のフィルター状態を決定するステップと、
前記現在のフィルター状態と前記ピクセルごとの強度差とに基づいて、1つまたは複数の更新されたフィルター状態を決定するステップと
を含む、請求項1から6までのいずれか1項記載の方法。 - さらに、前記更新されたフィルター状態に基づいて前記距離を求めるステップを含む、請求項7記載の方法。
- さらに、前記更新されたフィルター状態に基づいて、ワールド座標系におけるカメラ位置を求めるステップを含む、請求項8記載の方法。
- 牽引車両がトレーラに接近するときに、前記牽引車両と、前記牽引車両の後方に配置されている前記トレーラとの間の距離を求める方法であって、
データ処理ハードウェアで、データ処理ハードウェアと通信し、かつ前記牽引車両の後部に配置されているカメラから1つまたは複数の画像を受け取るステップと、
前記データ処理ハードウェアによって、前記1つまたは複数の画像内の前記トレーラのトレーラカプラを識別するステップと、
前記データ処理ハードウェアによって、1つまたは複数のカプラ特徴点を、前記1つまたは複数の画像内で識別された前記トレーラカプラに関連付けるステップと、
前記データ処理ハードウェアによって、前記1つまたは複数の画像内の1つまたは複数の視覚的特徴を識別するステップと、
前記データ処理ハードウェアによって、1つまたは複数の視覚的特徴点を、前記1つまたは複数の画像内で識別された前記1つまたは複数の視覚的特徴に関連付けるステップと、
前記データ処理ハードウェアによって、前記1つまたは複数のカプラ特徴点および前記1つまたは複数の視覚的特徴点を追跡するステップと、
前記データ処理ハードウェアで、前記データ処理ハードウェアと通信し、かつ前記牽引車両によって支持されている慣性測定ユニットからセンサーデータを受け取るステップと、
前記データ処理ハードウェアによって、前記1つまたは複数のカプラ特徴点と、前記1つまたは複数の視覚的特徴点と、前記センサーデータとに基づいて、前記カメラと前記トレーラカプラとの間の長手方向距離と、横方向距離と、垂直方向距離とを含む前記距離を求めるステップと
を含む、方法。 - さらに、前記データ処理ハードウェアから、前記データ処理ハードウェアと通信するディスプレイに、前記距離を表示するための指示を送るステップを含む、請求項10記載の方法。
- さらに、前記データ処理ハードウェアから、前記データ処理ハードウェアと通信する駆動支援システムに、前記距離に基づいて前記牽引車両を前記トレーラに向けて自律的に駆動するための指示を送るステップを含む、請求項10または11記載の方法。
- さらに、前記データ処理ハードウェアで、前記カメラと前記トレーラカプラとの間の前記垂直方向距離に基づいて、地面からの前記トレーラカプラの高さを求めるステップを含む、請求項10から12までのいずれか1項記載の方法。
- 前記カメラは単眼カメラを含む、請求項10から13までのいずれか1項記載の方法。
- 前記慣性測定ユニットからの前記センサーデータは、前記牽引車両の加速度および角速度を含む、請求項10から14までのいずれか1項記載の方法。
- 前記距離を求めるステップはさらに、繰り返し拡張カルマンフィルターを実行するステップを含む、請求項10から15までのいずれか1項記載の方法。
- 前記繰り返し拡張カルマンフィルターを実行するステップは、前記センサーデータと、前記1つまたは複数の視覚的特徴点と、前記1つまたは複数のカプラ特徴点とに基づいて1つまたは複数の現在のフィルター状態を決定するステップを含む、請求項16記載の方法。
- 前記繰り返し拡張カルマンフィルターを実行するステップは、
前記1つまたは複数の画像のうちの、現在の画像と、従前に受け取った画像との間のピクセルごとの強度差を求めるステップと、
前記現在のフィルター状態と、前記ピクセルごとの強度差とに基づいて、1つまたは複数の更新されたフィルター状態を決定するステップと
を含む、請求項17記載の方法。 - さらに、前記更新されたフィルター状態に基づいて、前記カメラと前記トレーラカプラとの間の前記距離を求めるステップを含む、請求項18記載の方法。
- さらに、前記更新されたフィルター状態に基づいて、ワールド座標系におけるカメラ位置を求めるステップを含む、請求項19記載の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862652707P | 2018-04-04 | 2018-04-04 | |
US62/652,707 | 2018-04-04 | ||
US16/364,151 | 2019-03-25 | ||
US16/364,151 US11633994B2 (en) | 2018-04-04 | 2019-03-25 | Vehicle-trailer distance detection device and method |
PCT/US2019/024479 WO2019195067A1 (en) | 2018-04-04 | 2019-03-28 | Vehicle trailer distance detection device and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021519242A JP2021519242A (ja) | 2021-08-10 |
JP7060707B2 true JP7060707B2 (ja) | 2022-04-26 |
Family
ID=68096412
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020554072A Active JP7060707B2 (ja) | 2018-04-04 | 2019-03-28 | 車両とトレーラとの間の距離を検出する装置および方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11633994B2 (ja) |
EP (1) | EP3774408A1 (ja) |
JP (1) | JP7060707B2 (ja) |
CN (1) | CN112424001A (ja) |
WO (1) | WO2019195067A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9446713B2 (en) * | 2012-09-26 | 2016-09-20 | Magna Electronics Inc. | Trailer angle detection system |
US10955540B2 (en) | 2017-12-01 | 2021-03-23 | Aptiv Technologies Limited | Detection system |
US10984553B2 (en) * | 2018-05-01 | 2021-04-20 | Continental Automotive Systems, Inc. | Real-time trailer coupler localization and tracking |
US11518204B2 (en) * | 2018-05-01 | 2022-12-06 | Continental Autonomous Mobility US, LLC | Trailer detection and autonomous hitching |
US10845478B2 (en) * | 2018-09-07 | 2020-11-24 | GM Global Technology Operations LLC | Micro-doppler apparatus and method for trailer detection and tracking |
US10838054B2 (en) | 2018-10-08 | 2020-11-17 | Aptiv Technologies Limited | Detection system and method |
US11030476B2 (en) * | 2018-11-29 | 2021-06-08 | Element Ai Inc. | System and method for detecting and tracking objects |
US11092668B2 (en) | 2019-02-07 | 2021-08-17 | Aptiv Technologies Limited | Trailer detection system and method |
US10744943B1 (en) * | 2019-04-08 | 2020-08-18 | Ford Global Technologies, Llc | System and method for trailer alignment |
US11904778B2 (en) * | 2019-05-14 | 2024-02-20 | Magna Electronics Inc. | Vehicular rear vision system with trailer connection verification |
US11124201B2 (en) * | 2019-07-09 | 2021-09-21 | Ford Global Technologies, Llc | Assisted hitching system with handoff process for interrupted operation |
US11408995B2 (en) | 2020-02-24 | 2022-08-09 | Aptiv Technologies Limited | Lateral-bin monitoring for radar target detection |
WO2022061109A1 (en) * | 2020-09-17 | 2022-03-24 | Rivian Ip Holdings, Llc | Systems and methods for controlling towing of a vehicle |
US12036977B2 (en) | 2022-01-04 | 2024-07-16 | Robert Bosch Gmbh | Determining a distance between a camera and a hitch ball |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005112004A (ja) | 2003-10-02 | 2005-04-28 | Nissan Motor Co Ltd | 車両後退支援装置および方法 |
US20140151979A1 (en) | 2012-12-03 | 2014-06-05 | Fontaine Fifth Wheel | Fifth Wheel Backup Camera System and Method |
US20150077557A1 (en) | 2013-09-16 | 2015-03-19 | Deere & Company | Vehicle auto-motion control system |
US20150321666A1 (en) | 2014-05-07 | 2015-11-12 | GM Global Technology Operations LLC | Systems and methods to assist in coupling a vehicle to a trailer |
JP2016148512A (ja) | 2013-06-11 | 2016-08-18 | ヤマハ発動機株式会社 | 単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置 |
JP2017078692A (ja) | 2015-10-22 | 2017-04-27 | アルパイン株式会社 | 運転支援情報出力装置および運転支援情報出力方法 |
US20180081370A1 (en) | 2016-09-22 | 2018-03-22 | Robert Bosch Gmbh | Trailer hitch ball detection and location measurement using a rear view camera |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7005974B2 (en) * | 2002-04-19 | 2006-02-28 | Donnelly Corporation | Vehicle imaging system |
WO2009036176A1 (en) * | 2007-09-11 | 2009-03-19 | Magna Electronics | Imaging system for vehicle |
US8038166B1 (en) * | 2008-08-11 | 2011-10-18 | Gregory Hubert Piesinger | Trailer hitching and backing precision guidance system method and apparatus |
WO2013081984A1 (en) | 2011-11-28 | 2013-06-06 | Magna Electronics, Inc. | Vision system for vehicle |
US8605949B2 (en) | 2011-11-30 | 2013-12-10 | GM Global Technology Operations LLC | Vehicle-based imaging system function diagnosis and validation |
US9914333B2 (en) * | 2012-07-05 | 2018-03-13 | Uusi, Llc | Vehicle trailer connect system |
DE102012018914A1 (de) | 2012-09-25 | 2014-03-27 | Volkswagen Aktiengesellschaft | Vorrichtung, Verfahren und Computerprogramm zur Schätzung einer Winkelabweichung |
GB2545073A (en) * | 2015-10-26 | 2017-06-07 | Active Knowledge Ltd | Combining video see-through that imitates an automobile window with other video |
US9796228B2 (en) * | 2015-12-17 | 2017-10-24 | Ford Global Technologies, Llc | Hitch angle detection for trailer backup assist system |
US10259390B2 (en) * | 2016-05-27 | 2019-04-16 | GM Global Technology Operations LLC | Systems and methods for towing vehicle and trailer with surround view imaging devices |
US11198340B2 (en) * | 2018-05-01 | 2021-12-14 | Continental Automotive Systems, Inc. | Coupler and tow-bar detection for automated trailer hitching via cloud points |
-
2019
- 2019-03-25 US US16/364,151 patent/US11633994B2/en active Active
- 2019-03-28 CN CN201980037321.XA patent/CN112424001A/zh active Pending
- 2019-03-28 JP JP2020554072A patent/JP7060707B2/ja active Active
- 2019-03-28 WO PCT/US2019/024479 patent/WO2019195067A1/en unknown
- 2019-03-28 EP EP19722238.3A patent/EP3774408A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005112004A (ja) | 2003-10-02 | 2005-04-28 | Nissan Motor Co Ltd | 車両後退支援装置および方法 |
US20140151979A1 (en) | 2012-12-03 | 2014-06-05 | Fontaine Fifth Wheel | Fifth Wheel Backup Camera System and Method |
JP2016148512A (ja) | 2013-06-11 | 2016-08-18 | ヤマハ発動機株式会社 | 単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置 |
US20150077557A1 (en) | 2013-09-16 | 2015-03-19 | Deere & Company | Vehicle auto-motion control system |
US20150321666A1 (en) | 2014-05-07 | 2015-11-12 | GM Global Technology Operations LLC | Systems and methods to assist in coupling a vehicle to a trailer |
JP2017078692A (ja) | 2015-10-22 | 2017-04-27 | アルパイン株式会社 | 運転支援情報出力装置および運転支援情報出力方法 |
US20180081370A1 (en) | 2016-09-22 | 2018-03-22 | Robert Bosch Gmbh | Trailer hitch ball detection and location measurement using a rear view camera |
Also Published As
Publication number | Publication date |
---|---|
WO2019195067A1 (en) | 2019-10-10 |
JP2021519242A (ja) | 2021-08-10 |
US11633994B2 (en) | 2023-04-25 |
EP3774408A1 (en) | 2021-02-17 |
US20190308473A1 (en) | 2019-10-10 |
CN112424001A (zh) | 2021-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7060707B2 (ja) | 車両とトレーラとの間の距離を検出する装置および方法 | |
US11198340B2 (en) | Coupler and tow-bar detection for automated trailer hitching via cloud points | |
US11198341B2 (en) | Trailer detection and autonomous hitching | |
US10984553B2 (en) | Real-time trailer coupler localization and tracking | |
US11287827B2 (en) | Visual object tracker | |
JP2021522592A (ja) | トレーラ牽引カプラの中心を求める装置および方法 | |
CN112004696B (zh) | 牵引车辆和拖车的对准 | |
CN115210764A (zh) | 自动拖车摄像机校准 | |
US20220343535A1 (en) | System and method for estimating relative trailer angle | |
WO2021108802A1 (en) | 3d position estimation system for trailer coupler | |
EP4188775B1 (en) | Long-term visual trailer tracker for vehicle-trailer angle estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220316 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220414 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7060707 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |