JP7206938B2 - 移動量算出装置 - Google Patents

移動量算出装置 Download PDF

Info

Publication number
JP7206938B2
JP7206938B2 JP2019007017A JP2019007017A JP7206938B2 JP 7206938 B2 JP7206938 B2 JP 7206938B2 JP 2019007017 A JP2019007017 A JP 2019007017A JP 2019007017 A JP2019007017 A JP 2019007017A JP 7206938 B2 JP7206938 B2 JP 7206938B2
Authority
JP
Japan
Prior art keywords
movement amount
reliability
determination unit
movement
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019007017A
Other languages
English (en)
Other versions
JP2020118451A (ja
Inventor
宏 海老原
徹夫 山本
寛紀 森永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2019007017A priority Critical patent/JP7206938B2/ja
Priority to US16/693,838 priority patent/US11385254B2/en
Publication of JP2020118451A publication Critical patent/JP2020118451A/ja
Application granted granted Critical
Publication of JP7206938B2 publication Critical patent/JP7206938B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18063Creeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18145Cornering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P7/00Measuring speed by integrating acceleration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/0028Mathematical models, e.g. for simulation
    • B60W2050/0031Mathematical model of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/28Wheel speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/18Steering angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/20Data confidence level
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Navigation (AREA)

Description

本発明は、移動体の移動量を算出する移動量算出装置に関する。
自動車等の車両は、現在位置を特定する際に、GPS(Global Positioning System)情報を使用することが一般的である。しかし、車両は、トンネル等の走行時に、GPS情報を取得できない。この場合、GPS情報に基づく位置精度は低下する。
特許文献1は、GPS情報の誤差が大きい場合に、車両に搭載されたカメラにより生成された撮影画像を使用して車両の位置を特定する走行支援装置を開示している。
特許文献1において、走行支援装置は、車両に搭載されたカメラにより生成された撮影画像から車両の第1移動量を算出する。GPS情報の誤差が大きい場合、走行支援装置は、第1移動量の信頼度を決定する。
決定した信頼度が所定の閾値以上である場合、走行支援装置は、GPS情報が示す位置と算出された第1移動量とに基づいて、現在位置を特定する。決定した信頼度が所定の閾値よりも小さい場合、走行支援装置は、算出された第1移動量を車速及びヨーレートセンサの計測値に基づいて補正し、GPS情報が示す位置と補正された第1移動量とに基づいて、現在位置を特定する。
なお、車両の移動量を車速及びヨーレートセンサを用いて算出することが可能である。車速及びヨーレートセンサを用いて算出された移動量を、第2移動量と定義する。第2移動量が、撮影画像から算出される第1移動量よりも精度が高い場合がある。しかし、特許文献1に係る発明は、第2移動量の精度を考慮していないため、現在位置の特定に用いられる車両の移動量の精度向上に限界があるという問題があった。
特開2018-9833号公報
上記問題点に鑑み、本発明の目的は、移動体の移動量の精度を向上させることができる移動量算出装置を提供することである。
第1の発明は、移動量算出装置であって、第1移動量算出部と、ベクトル検出部と、第2移動量算出部と、第1信頼度決定部と、第2信頼度決定部と、移動量決定部とを備える。第1移動量算出部は、移動体が備える複数の車輪の複数の回転速度及び移動体の舵角に基づいて、移動体の第1移動量を算出する。ベクトル検出部は、移動体に搭載されたカメラによって生成された撮影画像を任意の時間間隔で取得し、取得した画像に含まれる物体の移動ベクトルを検出する。第2移動量算出部は、ベクトル検出部によって検出された移動ベクトルに基づいて、移動体の第2移動量を算出する。第1信頼度決定部は、複数の回転速度のばらつきと、第1移動量算出部により算出された第1移動量を第2移動量算出部により算出された第2移動量と比較した結果との少なくとも一方に基づいて、算出された第1移動量の信頼度を決定する。第2信頼度決定部は、取得した画像に含まれる物体の情報に基づいて、算出された第2移動量の信頼度を決定する。移動量決定部は、第1信頼度決定部により決定された第1移動量の信頼度と、第2信頼度決定部により決定された第2移動量の信頼度とに基づいて、算出された第1移動量及び算出された第2移動量の少なくとも一方に基づく移動量を決定する。
第1の発明によれば、決定部は、車輪の回転速度及び移動体の舵角に基づく第1移動量の信頼度と、撮影画像に基づく第2移動量の信頼度とに基づいて、移動体の移動量を決定する。第1の発明は、第1移動量及び第2移動量の各々の信頼度を用いることにより、移動体の移動量の精度を向上させることができる。
第2の発明は、第1の発明であって、第1信頼度決定部により決定された第1移動量の信頼度が所定の第1閾値よりも高い場合、移動量決定部は、第2信頼度決定部により決定された第2移動量の信頼度に関係なく、決定された第1移動量を選択する。
第2の発明によれば、第1移動量の誤差が第2の移動量の誤差よりも小さい。第1移動量の信頼度が第1閾値よりも高い場合に、移動量決定部が、第2移動量の信頼度に関係なく第1移動量を選択することにより、移動量の精度をさらに向上させることができる。
第3の発明は、第1又は第2の発明であって、移動体がクロールコントロールを実行している場合、第1信頼度決定部は、移動体がクロールコントロールを実行していない時よりも第1移動量の信頼度を低下させる。
第3の発明によれば、移動体がクロールコントロールによって走行している場合、移動体の各車輪の回転速度が個別に制御される。この結果、第1移動量の精度が低下すると予測されるため、第1信頼度決定部は、第1移動量の信頼度を低下させる。第1移動量が移動体の移動量に反映される度合いが低下するため、移動量の精度の低下を抑制できる。
第4の発明は、第1~第3の発明のいずれかであって、複数の車輪は、移動体の後方に配置される第1車輪及び第2車輪を含む。移動体が移動体の旋回時に旋回補助制御を実行している場合、第1信頼度決定部は、移動体が旋回補助制御を実行していない時よりも第1移動量の信頼度を低下させる。
第4の発明によれば、移動体が旋回制御を実行している場合、移動体の後方に配置された車輪の回転速度が個別に制御される。この結果、第1移動量の精度が低下すると予測されるため、第1信頼度決定部は、第1移動量の信頼度を低下させる。第1移動量が移動体の移動量に反映される度合いが低下するため、移動量の精度の低下を抑制できる。
第5の発明は、第1~第4の発明のいずれかであって、移動体がスリップしている場合、第1信頼度決定部は、移動体がスリップしていない時における第1移動量の信頼度よりも第1移動量の信頼度を低下させる。
第5の発明によれば、移動体がスリップしている場合、回転速度に基づいて決定される第1移動量の精度は大幅に低下する。このため、第1信頼度決定部が、移動体がスリップしている場合に第1移動量の信頼度を低下させる。この結果、移動量の精度の低下を抑制できる。
第6の発明は、第1~第5の発明のいずれかであって、空転が移動体で発生している場合、第1信頼度決定部は、空転が発生していない時における第1移動量の信頼度よりも第1移動量の信頼度を低下させる。
第6の発明によれば、空転が発生している場合、回転速度に基づいて決定される第1移動量の精度は大幅に低下する。このため、第1信頼度決定部が、空転が発生している場合に第1移動量の信頼度を低下させる。この結果、移動量の精度の低下を抑制できる。
第7の発明は、第1~第4の発明のいずれかであって、第2信頼度決定部は、前記取得した画像から抽出された特徴点の数及び特徴点の分布のばらつきの少なくとも一方に基づいて、算出された第2移動量の信頼度を決定する。
第7の発明によれば、移動ベクトルの大きさ又は移動ベクトルの分布に基づいて第2移動量の信頼度を決定することにより、移動量の精度をさらに向上させることができる。
第8の発明は、移動量算出方法であって、a)ステップと、b)ステップと、c)ステップと、d)ステップと、e)ステップと、f)ステップと、g)ステップとを備える。
a)ステップは、移動体が備える複数の車輪の複数の回転速度及び移動体の舵角に基づいて、移動体の第1移動量を算出する。b)ステップは、移動体に搭載されたカメラによって生成された撮影画像を任意の時間間隔で取得し、取得した画像に含まれる物体の移動ベクトルを検出する。c)ステップは、取得した画像に含まれる物体の情報に基づいて、移動体の第2移動量を算出する。d)ステップは、複数の回転速度のばらつきと、算出された第1移動量を算出された第2移動量と比較した結果との少なくとも一方に基づいて、算出された第1移動量の信頼度を決定する。e)ステップは、前記取得した画像に含まれる物体の情報に基づいて、算出された第2移動量の信頼度を決定する。f)ステップは、決定された第1移動量の信頼度と、決定された第2移動量の信頼度とに基づいて、算出された第1移動量及び算出された第2移動量の少なくとも一方に基づく移動量を決定する。
第8の発明は、第1の発明に用いられる。
本発明によれば、移動体の移動量の精度を向上させることができる移動量算出装置を提供できる。
本発明の実施の形態に係る移動量算出装置を搭載する車両の構成を示す機能ブロック図である。 図1に示す車両において定義される座標系の一例を示す図である。 図1に示す移動量算出装置の構成を示す機能ブロック図である。 図1に示す移動量算出装置の動作を示すフローチャートである。 図3に示す第1移動量算出部により算出される第1移動量の算出手順を説明する図である。 図1に示すフロントカメラにより生成された前方撮影画像の一例を示す図である。 図4に示す第1信頼度決定処理のフローチャートである。 図4に示す第2信頼度決定処理のフローチャートである。 図3に示す移動量決定部により用いられる決定テーブルの一例を示す図である。 CPUバス構成を示す図である。
以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。
[1.構成]
[1.1.車両1の構成]
図1は、本発明の実施の形態に係る移動量算出装置20を搭載した車両1の構成を示す機能ブロック図である。図1を参照して、移動量算出装置20は、画像生成装置30とともに、表示制御装置10を構成する。表示制御装置10は、例えば、カーナビゲーション装置である。移動量算出装置20及び画像生成装置30以外の構成を含んでいてもよい。
表示制御装置10は、車両1の床下の路面が撮影された床下画像11を生成し、その生成した床下画像11を表示装置40に出力する。車両1の運転者は、表示装置40に表示された床下画像11を参照することにより、車両1の床下の路面の状況を車両1から降りることなく確認できる。図1において、床下画像11に関する構成以外の車両1の構成が省略されている。
移動量算出装置20は、第1移動量及び第2移動量を算出する。第1移動量は、車両1が備える車輪の回転速度と車両1の舵角とに基づいて算出される。第2移動量は、車両1に搭載されたカメラにより生成された撮影画像から算出される。移動量算出装置20は、第1移動量及び第2移動量の各々の信頼度に基づいて、第1移動量及び第2移動量の少なくとも一方に基づく出力移動量29を決定する。出力移動量29は、床下画像11の生成に用いられる。第1移動量及び第2移動量の詳細については、後述する。
車両1は、車体1Dと、左前輪1FLと、右前輪1FRと、左後輪1RLと、右後輪1RRと、フロントシャフト1SFと、リアシャフト1SRと、パワーステアリング装置6とを備える。
左前輪1FLは、車体1Dの左前方に配置される。右前輪1FRは、車体1Dの右前方に配置される。左前輪1FL及び右前輪1FRは、車体1Dの前方に配置されたフロントシャフト1SFを回転軸として回転する。左前輪1FL及び右前輪1FRは、車両1の操舵輪である。パワーステアリング装置6は、ステアリングシャフト6Sの回転トルクに基づいて、ステアリングシャフト6Sの回転を補助する。
左後輪1RLは、車体1Dの左後方に配置される。右後輪1RRは、車体1Dの右後方に配置される。左後輪1RL及び右後輪1RRは、車体1Dの後方に配置されたリアシャフト1SRを回転軸として回転する。
フロントシャフト1SFは、図示しないエンジンの出力を左前輪1FL及び右前輪1FRに伝える。リアシャフト1SRは、図示しないエンジンの出力を左後輪1RL及び右後輪1RRに伝える。
車両1は、さらに、フロントカメラ2Fと、左サイドカメラ2Lと、右サイドカメラ2Rと、リアカメラ2Bとを備える。フロントカメラ2Fは、車両1の前方を撮影して前方撮影画像7Fを生成する。左サイドカメラ2Lは、車両1の左方を撮影して左方撮影画像7Lを生成する。右サイドカメラ2Rは、車両1の右方を撮影して右方撮影画像7Rを生成する。リアカメラ2Bは、車両1の後方を撮影して後方撮影画像7Bを生成する。生成された撮影画像7F、7L、7R及び7Bの各々は、表示制御装置10に出力される。
本実施の形態において、撮影画像7F、7L、7R及び7Bの各々は、動画像を構成するフレームである。例えば、フロントカメラ2Fは、フレームである前方撮影画像7Fを生成するたびに、その生成した前方撮影画像7Fを表示制御装置10に出力する。
車両1は、さらに、車速センサ3FL、3FR、3RL及び3RRを備える。車速センサ3FLは、左前輪1FLの回転角の変化を検出し、検出した回転角の変化に応じたパルス信号を左前輪1FLの回転速度8FLとして出力する。
車速センサ3FRは、右前輪1FRの回転速度8FRを出力する。車速センサ3RLは、左後輪1RLの回転速度8RLを出力する。車速センサ3RRは、右後輪1RRの回転速度8RRを検出する。
車両1は、さらに、クロールコントロール選択スイッチ4と、ターンアシスト選択スイッチ5とを備える。クロールコントロール選択スイッチ4及びターンアシスト選択スイッチ5の両者は、車両1の運転者によって操作される。
クロールコントロール選択スイッチ4は、車両1のクロールコントロール機能のオンオフを運転者が指示するために用いられる。クロールコントロール選択スイッチ4は、クロールコントロール機能のオンオフを示すクロールコントロール指示信号41を出力する。クロールコントロール機能の詳細については、後述する。
ターンアシスト選択スイッチ5は、車両1のターンアシスト機能のオンオフを運転者が指示するために用いられる。ターンアシスト選択スイッチ5は、ターンアシスト機能のオンオフを示すターンアシスト指示信号51を出力する。ターンアシスト機能の詳細については、後述する。
車両1は、さらに、ステアリングホイール6Wと、ステアリングシャフト6Sと、回転角センサ6Aとを備える。ステアリングホイール6Wは、車両1の運転者により操作される。ステアリングシャフト6Sは、ステアリングホイール6Wの回転をパワーステアリング装置6に伝える。回転角センサ6Aは、ステアリングシャフト6Sの回転量6Dを検出し、その検出した回転量6Dを表示制御装置10に出力する。
車両1は、さらに、表示制御装置10と、表示装置40とを備える。表示制御装置10は、カメラから受けた撮影画像を用いて床下画像11を生成し、その生成した床下画像11を表示装置40に出力する。表示装置40は、表示制御装置10から受けた床下画像11を表示する。
[1.2.ワールド座標系の定義]
図2は、移動量算出装置20によって設定されるワールド座標系を示す図である。図2は、図1に示す車両1を上から見た平面図である。図2を参照して、ワールド座標系の原点Owは、車両1の重心である。
X軸は、車両1の左右方向に延びる直線である。車両1の左右方向とは、車両1の前後方向及び鉛直方向の両者に垂直な直線が伸びる方向である。Y軸は、車両1の前後方向に延びる直線である。第1移動量21a及び第2移動量23aは、ワールド座標系におけるベクトルとして記述される。
X軸及びY軸の正方向は、車両1の進行方向を基準にして決定される。Y軸の正方向は、車両1の前方である。X軸の正方向は、Y軸の正方向を基準にして右方である。旋回方向は、原点Owが中心である円の周方向であり、旋回角度は、移動量とY軸の単位ベクトルとがなす角によって表される。旋回方向の正方向は、Y軸の正方向を基準にして時計周りの方向である。
次に、図2を参照しながら、車両1に搭載される各カメラの配置を説明する。フロントカメラ2Fは、車両1の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸2Faは車両1の前方に向けられている。リアカメラ2Bは、車両1の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸2Baは、車両1の後方に向けられている。
左サイドカメラ2Lは左のドアミラー93に設けられ、その光軸2Laは車両1の左方に向けられている。右サイドカメラ2Rは右のドアミラー93に設けられ、その光軸2Raは車両1の右方に向けられている。
車両1に搭載される各カメラのレンズは、180°以上の画角を有する広角レンズである。フロントカメラ2F、左サイドカメラ2L、右サイドカメラ2R及びリアカメラ2Bを用いることにより、車両1の全周囲を撮影できる。フロントカメラ2F及びリアカメラ2Bの取付位置は、車両1の左右中央であることが望ましいが、左右中央から多少ずれた位置であってもよい。
[1.3.表示制御装置10の構成]
図1を参照して、表示制御装置10は、移動量算出装置20と、表示制御装置10とを備える。
移動量算出装置20は、回転速度8及び回転量6Dに基づく第1移動量と、車両1に搭載されたカメラによって生成された撮影画像に基づく第2移動量とを算出する。移動量算出装置20は、第1移動量及び第2移動量の各々の信頼度に基づいて、第1移動量及び第2移動量の少なくとも一方に基づく出力移動量29を決定する。
画像生成装置30は、出力移動量29を移動量算出装置20から受け、その受けた出力移動量29に基づいて、床下画像11を生成する。床下画像11は、各カメラから受けた撮影画像から生成される。
[1.4.移動量算出装置20の構成]
図3は、図1に示す移動量算出装置20の構成を示す機能ブロック図である。図3を参照して、移動量算出装置20は、第1移動量算出部21と、ベクトル検出部22と、第2移動量算出部23と、第1信頼度決定部24と、第2信頼度決定部25と、移動量決定部26とを含む。
第1移動量算出部21は、回転速度8を車速センサ3から受け、回転量6Dを回転角センサ6Aから受ける。車速センサ3は、車速センサ3FL、3FR、3BL及び3RRの総称である。回転速度8は、回転速度8FL、8FR、8RL及び8RRの総称である。
第1移動量算出部21は、受けた回転速度8及び受けた回転量6Dに基づいて、車両1の移動量を示す第1移動量21aを算出する。第1移動量21aは、図2に示すワールド座標系におけるベクトル量として記述される。第1移動量算出部21は、算出した第1移動量21aを第1信頼度決定部24及び移動量決定部26に出力する。
ベクトル検出部22は、車両1に搭載されたカメラの各々から撮影画像7を受ける。撮影画像7は、前方撮影画像7F、左方撮影画像7L、右方撮影画像7R及び後方撮影画像7Bの総称である。ベクトル検出部22は、撮影画像7のうち少なくとも1つから特徴点22cを抽出し、抽出した特徴点22cを用いて移動ベクトル22vを検出する。ベクトル検出部22は、検出した移動ベクトル22vを第2移動量算出部23に出力し、抽出した特徴点22cを第2信頼度決定部25に出力する。
第2移動量算出部23は、移動ベクトル22vをベクトル検出部22から受け、その受けた移動ベクトル22vに基づいて第2移動量23aを算出する。第2移動量23aは、図2に示すワールド座標系におけるベクトル量として記述される。第2移動量算出部23は、算出した第2移動量23aを第1信頼度決定部24及び移動量決定部26に出力する。
第1信頼度決定部24は、第1信頼度21bを決定する。第1信頼度21bは、第1移動量算出部21により算出された第1移動量21aの確からしさを示し、0以上100以下の数値である。算出された第1移動量21aの精度が高くなるにつれて、第1信頼度21bは100に近づく。算出された第1移動量21aを車両1の移動量として使用できない可能性が高くなるにつれて、第1信頼度21bは0に近づく。
具体的には、第1信頼度決定部24は、第1移動量21aを第1移動量算出部21から受け、第2移動量23aを第2移動量算出部23から受ける。第1信頼度決定部24は、受けた第1移動量21aを受けた第2移動量23aと比較する。
第1信頼度決定部24は、回転速度8を車速センサ3から受ける。第1信頼度決定部24は、クロールコントロール指示信号41をクロールコントロール選択スイッチ4から受け、ターンアシスト指示信号51をターンアシスト選択スイッチ5から受ける。
第1信頼度決定部24は、受けた回転速度8と、受けたクロールコントロール指示信号41と、受けたターンアシスト指示信号51とに基づいて、車両1が備える車輪の回転速度のばらつきを特定する。第1信頼度決定部24は、特定したばらつきと、第1移動量21aを第2移動量23aと比較した結果とに基づいて、第1信頼度21bを決定する。第1信頼度決定部24は、決定した第1信頼度21bを移動量決定部26に出力する。
第2信頼度決定部25は、第2信頼度23bを決定する。第2信頼度23bは、第2移動量算出部23により算出された第2移動量23aの確からしさを示し、0以上100以下の数値である。第2移動量23aの精度が高くなるにつれて、第2信頼度23bは100に近づく。第2移動量23aを車両1の移動量として使用できない可能性が高くなるにつれて、第2信頼度23bは0に近づく。
具体的には、第2信頼度決定部25は、特徴点22cをベクトル検出部22から受け、その受けた特徴点22cに基づいて、第2移動量算出部23により算出された第2移動量23aの第2信頼度23bを決定する。第2信頼度決定部25は、決定した第2信頼度23bを移動量決定部26に出力する。
移動量決定部26は、第1移動量21aを第1移動量算出部21から受け、第1信頼度21bを第1信頼度決定部24から受ける。移動量決定部26は、第2移動量23aを第2移動量算出部23から受け、第2信頼度23bを第2信頼度決定部25から受ける。移動量決定部26は、受けた第1信頼度21b及び23bに基づいて、受けた第1移動量21a及び第2移動量23aの少なくとも一方を用いた出力移動量29を決定する。移動量決定部26は、決定した出力移動量29を画像生成装置30に出力する。
移動量算出装置20において、移動量決定部26が、回転速度8及び回転量6Dに基づく第1移動量21aの第1信頼度21bと、撮影画像7に基づく第2移動量23aの第2信頼度23bとに基づいて、車両1の移動量を決定する。移動量算出装置20は、第1移動量21a及び第2移動量23aの各々の信頼度を用いることにより、車両1の移動量の精度を向上させることができる。
[2.動作]
[2.1.移動量算出装置20の動作]
移動量算出装置20の動作を説明するにあたり、時刻t及び時刻t-1を定義する。時刻t1及び時刻t-1は、前方撮影画像7Fがフロントカメラ2Fによって生成された時刻である。時刻t-1は、時刻tよりも前の時刻であり、時刻t-1から時刻tまでの長さは、フレーム間隔である。つまり、時刻t-1に生成された前方撮影画像7Fは、時刻tに生成された前方撮影画像7Fの直前フレームである。
図4は、図1に示す移動量算出装置20の動作を示すフローチャートである。移動量算出装置20は、フロントカメラ2Fによって生成された前方撮影画像7Fを取得するたびに、図4に示す処理を実行する。
以下、移動量算出装置20が時刻tに生成された前方撮影画像7Fをフロントカメラ2Fから取得した場合を例にして、図4に示す処理を開始する。
(第1移動量21aの算出)
第1移動量算出部21は、時刻tにおける回転速度8を車速センサ3から取得し、時刻tにおける回転量6Dを回転角センサ6Aから取得する。第1移動量算出部21は、取得した回転速度8及び回転量6Dに基づいて、第1移動量21aを算出する(ステップS1)。
図5は、車両1が左旋回する場合における第1移動量21aの算出を説明する図である。図5を参照しながら、第1移動量21aの算出手順の一例を説明する。第1移動量算出部21は、車速センサ3から取得した回転速度8の平均を平均回転速度として算出する。このとき、第1移動量算出部21は、単位時間あたりにおけるパルス信号の積算値を、回転速度8として使用する。第1移動量算出部21は、算出された平均回転速度と、予め設定された車輪の半径とに基づいて、車両1の移動距離Dを算出する。
第1移動量算出部21は、回転量6Dの積算値に基づいて、実舵角θを算出する。実舵角は、ワールド座標系のY軸の正方向と操舵輪とがなす角である。操舵輪は、具体的には、左前輪1FL及び右前輪1FRである。第1移動量算出部21は、算出した実舵角θと、予め設定された車両1のホイールベースとに基づいて、車両1の旋回半径Rを算出する。なお、車両1の旋回半径を算出するアルゴリズムは、実舵角を使用するのであれば、上記に限定されない。
第1移動量算出部21は、算出した移動距離Dと算出した旋回半径Rとに基づいて、車両1の回転角度φを決定する。回転角度をφ、移動距離をD、旋回半径をRとした場合、回転角度は、以下の式から算出される。
φ=D/R
第1移動量算出部21は、算出した旋回半径Rと、算出した回転角度φとに基づいて、第1移動量21aを算出する。第1移動量21aのX軸成分mX及びY軸成分mYは、下記の式から算出される。下記の式において、mXは、第1移動量21aのX軸成分であり、mYは、第1移動量21aのY軸成分である。
mX=-(R-R・cosφ)
mY=R・sinφ
このようにして、時刻tにおける第1移動量21aが算出される。第1移動量算出部21は、算出した第1移動量21aを第1信頼度決定部24及び移動量決定部26に出力する。
(移動ベクトル22vの検出)
ベクトル検出部22は、時刻tに生成された前方撮影画像7Fを時刻t-1に生成された前方撮影画像7Fと比較することにより、時刻tにおける移動ベクトル22vを検出する(ステップS2)。
移動ベクトル22vは、具体的には、オプティカルフローであり、前方撮影画像7Fの画素位置を定義する画素座標に従って記述される。オプティカルフローを検出するアルゴリズムは周知であるため、その詳細な説明を省略する。なお、ベクトル検出部22は、パーティクルフィルタを用いて移動ベクトル22vを検出してもよい。つまり、移動ベクトル22vを検出するアルゴリズムは特に限定されない。
(第2移動量23aの決定)
第2移動量算出部23は、時刻tに検出された移動ベクトル22vをベクトル検出部22から受ける。第2移動量算出部23は、その受けた移動ベクトル22vに基づいて、第2移動量23aを決定する(ステップS3)。
図6は、時刻tに生成された前方撮影画像7Fの一例を示す図である。具体的には、図5に示す前方撮影画像7Fは、車両1が岩場を走行している時にフロントカメラ2Fによって生成される。
図6を参照して、前方撮影画像7Fは、複数の岩Rを含む。説明の便宜上、図6において、一部の岩の符号を省略している。図6において、移動ベクトル22vを物体(岩)ごとにまとめて表示している。実際には、移動ベクトル22vは、前方撮影画像7Fから検出される特徴点ごとに検出される。特徴点は、例えば、前方撮影画像7Fから抽出されるエッジである。
第2移動量算出部23は、前方撮影画像7Fから検出された移動ベクトル22vのうち、予め設定された領域に含まれる移動ベクトルを選択する。予め設定された領域は、例えば、図4において1点鎖線で囲まれた領域PSである。領域PSは、前方撮影画像7Fの垂直方向に細長い領域であって、路面が撮影される領域である。また、領域PSは、前方撮影画像7Fを左右に2等分する線の一部を含むことが望ましい。車両1が前進している場合、領域PSに含まれる移動ベクトルは、前方撮影画像7Fの垂直方向に向くため、第2移動量23aを精度よく算出できるためである。
第2移動量算出部23は、選択された移動ベクトル22vごとに移動量を算出する。具体的には、第2移動量算出部23は、移動ベクトル22vの始点及び終点を、図2に示すワールド座標系の座標値に変換する。車両1に固定されたフロントカメラ2Fが水平な地面を撮影する場合、水平な地面における任意の位置は、前方撮影画像7Fの画素と1対1で対応する。従って、第2移動量算出部23は、前方撮影画像7Fにおける画素の位置を、ワールド座標系の座標に変換できる。
上記の考えに従って、第2移動量算出部23が、選択された一の移動ベクトル22vを、ワールド座標系におけるベクトルに変換する。第2移動量算出部23は、ワールド座標系に変換されたベクトルの始点及び終点に基づいて、選択された一の移動ベクトル22vに対応する移動量を算出する。第2移動量算出部23は、選択された移動ベクトル22vごとに算出された移動量の平均を、第2移動量23aとして算出する。
(第1信頼度21bの決定)
再び、図4を参照して、第1信頼度決定部24は、ステップS1で算出された第1移動量21aの確からしさを示す第1信頼度21bを決定する(ステップS4)。
図7は、図4に示す第1信頼度決定処理(ステップS4)のフローチャートである。図7を参照して、第1信頼度決定部24は、第1信頼度21bの初期値を設定する(ステップS401)。第1信頼度21bの初期値は、具体的には、100である。
第1信頼度決定部24は、ステップS402~S412を実行して、第1信頼度21bを決定するための減数を決定する。減数は、第1信頼度21bから差し引かれる所定値である。
第1信頼度決定部24は、クロールコントロール指示信号41をクロールコントロール選択スイッチ4から取得する。第1信頼度決定部24は、取得したクロールコントロール指示信号41に基づいて、時刻tの時点でクロールコントロール機能がオフされているか否かを判断する(ステップS402)。
クロールコントロール機能がオンである場合(ステップS402においてNo)、第1信頼度決定部24は、クロールコントロール用の減数の使用を決定する(ステップS403)。クロールコントロール機能がオフである場合(ステップS402においてYes)、第1信頼度決定部24は、ステップS404に進む。この場合、クロールコントロール用の減数は、第1信頼度21bの決定に使用されない。
クロールコントロールは、微低速定速制御とも呼ばれており、車両1の速さを極低速に維持しつつ、ブレーキ圧を車輪ごとに制御する。これにより、各車輪のスリップやロック、空転を抑制できる。クロールコントロール機能をオンにした場合、車両1の運転者は、アクセル及びブレーキを操作せずに、ステアリングホイールの操作に集中できる。
上述のように、クロールコントロール機能がオンである場合、ブレーキ圧が車輪ごとに制御される。この結果、車輪の回転速度の分布は、一定の範囲に収まることなく、大きくばらつくと予想される。クロールコントロール機能がオンである場合、第1信頼度決定部24は、回転速度8が大きくばらついていると判断する。回転速度8が大きくばらついている場合、移動量21aの精度が低下する。この結果、第1信頼度決定部24は、第1信頼度21aを0に近づけるためにクロールコントロール用減数の使用を決定する。これにより、出力移動量29の精度の低下を抑制できる。
第1信頼度決定部24は、ターンアシスト指示信号51をターンアシスト選択スイッチ5から取得する。第1信頼度決定部24は、取得したターンアシスト指示信号51に基づいて、時刻tの時点でターンアシスト機能がオフされているか否かを判断する(ステップS404)。
ターンアシスト機能は、車両1が旋回する時に、旋回中心に近い内側後輪の移動量が外側後輪の移動量よりも小さくなるように、2つの後輪の回転を制御する。これにより、車両1の旋回半径を小さくすることができる。具体的には、内側後輪のブレーキ圧が、外側後輪のブレーキ圧よりも大きくなるように制御される。
ターンアシスト機能がオンである場合(ステップS404においてNo)、第1信頼度決定部24は、ターンアシスト用の減数の使用を決定する(ステップS405)。ターンアシスト機能がオフである場合(ステップS404においてYes)、第1信頼度決定部24は、ステップS406に進む。この場合、ターンアシスト用の減数は、第1信頼度21bの決定に使用されない。
ターンアシスト機能がオンである場合、内側後輪の移動量は外側後輪の移動量よりも大幅に小さくなると考えられる。車両1が備える4つの車輪の各々の回転速度が大きくばらつくため、第1移動量21aの精度が低下する。このため、第1信頼度決定部24は、第1信頼度21aを0に近づけるためにターンアシスト用減数の使用を決定する。これにより、出力移動量29の精度の低下を抑制できる。
第1信頼度決定部24は、第1移動量21aを第1移動量算出部21から取得し、第2移動量23aを第2移動量算出部23から取得する。第1信頼度決定部24は、取得した第1移動量21aを取得した第2移動量と比較し、その比較結果に基づいて車両1が時刻tの時点でスリップしているか否かを判断する(ステップS406)。
例えば、前方撮影画像7Fに基づく第2移動量23aの大きさが、車速及び舵角に基づく第1移動量21aの大きさを超えている場合、第1信頼度決定部24は、車両1が前後方向にスリップしていると判断する。第1移動量21aの向きが第2移動量23aの向きと逆である場合、第1信頼度決定部24は、車両1が前後方向にスリップしていると判断する。第1移動量21aと第2移動量23aとのなす角の大きさが所定の角度よりも大きい場合、第1信頼度決定部24は、車両1が旋回方向にスリップしていると判断する。
車両1がスリップしている場合(ステップS406においてYes)、第1信頼度決定部24は、スリップ用減数の使用を決定する(ステップS407)。車両1がスリップしている場合、車両1は、車輪の回転と関係なく移動する。第1信頼度決定部24は、第1移動量21aの精度が低いと判断し、第1信頼度21bを0に近づけるために、スリップ用減数の使用を決定する。これにより、出力移動量29の精度の低下を抑制できる。
車両1がスリップしていない場合(ステップS406においてNo)、第1信頼度決定部24は、ステップS408に進む。この場合、スリップ用減数は、第1信頼度21bの決定に使用されない。
第1信頼度決定部24は、ステップS406において第1移動量21aを第2移動量と比較した結果に基づいて、空転が時刻tにおいて車両1で発生しているか否かを判断する(ステップS408)。例えば、第1移動量21aの大きさが第2移動量23aの大きさを超えている場合、第1信頼度決定部24は、空転が車両1で発生していると判断する。
空転が発生している場合(ステップS408においてYes)、第1信頼度決定部24は、空転用の減数の使用を決定する(ステップS409)。空転が発生している場合、車両1の実際の移動量は、第1移動量21aよりも小さくなる。第1信頼度決定部24は、第1移動量21aの精度が低いと判断し、第1信頼度21bを0に近づけるために、スリップ用減数の使用を決定する。これにより、出力移動量29の精度の低下を抑制できる。
空転が発生していない場合(ステップS408においてNo)、第1信頼度決定部24は、ステップS410に進む。この場合、空転用の減数は、第1信頼度21bの決定に使用されない。
第1信頼度決定部24は、時刻tにおける各車輪の回転速度の偏差を算出する(ステップS410)。具体的には、第1信頼度決定部24は、回転速度8の平均と一の車輪の回転速度との差分絶対値を、一の車輪の回転速度の偏差として算出する。
第1信頼度決定部24は、ステップS410で算出した偏差の中に、予め設定された閾値を超える偏差があるか否かを判断する(ステップS411)。閾値を超える偏差がある場合(ステップS411においてNo)、第1信頼度決定部24は、偏差用減数の使用を決定する(ステップS412)。第1信頼度決定部24は、回転速度8のばらつきが大きいため、第1移動量21aの精度が低下していると判断し、第1信頼度21bを0に近づけるために偏差用減数の使用を決定する。これにより、出力移動量29の精度の低下を抑制できる。
閾値を超える偏差がない場合(ステップS411においてYes)、第1信頼度決定部24は、ステップS413に進む。この場合、偏差用の減数は、第1信頼度21bの決定に使用されない。
第1信頼度決定部24は、ステップS412までの処理において使用を決定した減数の合計値を、ステップS401で決定した初期値から減算する(ステップS413)。例えば、第1信頼度決定部24は、ターンアシスト用減数及びスリップ用減数を使用することを決定した場合、ターンアシスト用減数とスリップ用減数との合計値を、初期値から減算する。
なお、ステップS403、S405、S407、S409及びS412の減数は、同じ値であってもよく、互いに異なる値であってもよい。
第1信頼度決定部24は、ステップS413において減算された初期値を、第1信頼度21bとして移動量決定部26に出力する(ステップS414)。
(第2信頼度23bの決定)
図3を参照して、第2信頼度決定部25は、移動ベクトル22vの検出に用いられる特徴点22cをベクトル検出部22から受ける。図4を参照して、第2信頼度決定部25は、その受けた特徴点22cの数又は特徴点22cの分布のばらつきを用いて、時刻tに算出された第2移動量23aの確からしさを示す第2信頼度23bを決定する(ステップS5)。これにより、出力移動量29の精度を向上できる。
図8は、図4に示す第2信頼度決定処理(ステップS5)のフローチャートである。図8を参照しながら、時刻tに算出された第2移動量23aについての第2信頼度23bを決定する場合を例にして、第2信頼度決定処理(ステップS5)を詳しく説明する。
第2信頼度決定部25は、第2信頼度23bの初期値を設定する(ステップS501)。具体的には、第2信頼度23bの初期値は、具体的には、100である。
第2信頼度決定部25は、ベクトル検出部22から受けた特徴点22cの数を予め設定された基準閾値と比較する(ステップS502)。受けた特徴点22cの数が基準閾値よりも少ない場合(ステップS502においてNo)、第2信頼度決定部25は、第2移動量23aの算出に用いられた移動ベクトル22vの数が十分でないため、第2移動量23aの誤差が大きいと判断する。第2信頼度決定部25は、第2信頼度23bを0に近づけるために特徴点数用の減数の使用を決定する(ステップS503)。
特徴点の数が基準閾値以上である場合(ステップS502においてYes)、第1信頼度決定部24は、ステップS504に進む。この場合、特徴点数用の減数は、第2信頼度23bの決定に使用されない。
第2信頼度決定部25は、受けた特徴点22cの分布に偏りがあるか否かを判断する(ステップS504)。例えば、第2信頼度決定部25は、前方撮影画像7Fにおいて路面が撮影される領域を複数の領域に分割し、分割された複数の領域の各々に位置する特徴点22cの数をカウントする。フロントカメラ2Fは、車両1に固定されているため、前方撮影画像7Fにおいて路面が撮影される領域を特定しておくことが可能である。各領域における特徴点22cの数の分散が所定の分散閾値を超える場合、第2信頼度決定部25は、特徴点22cの分布に偏りがあると判断する(ステップS504においてNo)。
特徴点の分布に偏りがある場合(ステップS504においてNo)、第2信頼度決定部25は、分布用の減数の使用を決定する(ステップS505)。特徴点の分布に偏りがない場合(ステップS504においてYes)、第2信頼度決定部25は、ステップS505に進む。この場合、分布用の減数は、第2信頼度23bの決定に使用されない。
第2信頼度決定部25は、ステップS504までの処理において使用を決定した減数の合計値を、ステップS501で決定した初期値から減算する(ステップS506)。ステップS506は、図6に示すステップS413と同じであるため、その説明を省略する。
第2信頼度決定部25は、ステップS506において減算された初期値を、第2信頼度23bとして移動量決定部26に出力する(ステップS507)。
(出力移動量の決定)
移動量決定部26は、第1信頼度21bを第1信頼度決定部24から受け、第2信頼度23bを第2信頼度決定部25から受ける。図4を参照して、移動量決定部26は、受けた第1信頼度21bと受けた第2信頼度23bとに基づいて、出力移動量29を決定する(ステップS6)。
図9は、移動量決定部26が出力移動量29の決定に用いる決定テーブル28の一例を示す図である。図9を参照して、移動量決定部26は、決定テーブル28に基づいて、第1移動量21a及び第2移動量23aのうち出力移動量29として使用する移動量を選択する。
閾値TH1は、第1信頼度21bの精度が高いか低いかを判断する基準である。第1信頼度21bが閾値TH1以上である場合、第1移動量21aの精度が高いと判断される。第1信頼度21bが閾値TH1未満である場合、第1移動量21aの精度が低いと判断される。
閾値TH2は、第2信頼度23bの精度が高いか低いかを判断する基準である。第2信頼度23bが閾値TH2以上である場合、第2移動量23aの精度が高いと判断される。第2信頼度23bが閾値TH2未満である場合、第2移動量23aの精度が低いと判断される。閾値TH2は、閾値TH1と異なる値でもよい。
第1信頼度21bが閾値TH1以上であり、かつ、第2信頼度23bが閾値TH1以上である場合、移動量決定部26は、第1移動量21aを出力移動量29として出力することを決定する。
第1信頼度21bが閾値TH1以上であり、かつ、第2信頼度23bが閾値TH2未満である場合、移動量決定部26は、第1移動量21aを出力移動量29として選択する。第1移動量21aの精度が第2移動量23aの精度よりも高いと考えられるためである。
つまり、第1信頼度21bが閾値TH1以上である場合、移動量決定部26は、第2信頼度23bに関係なく、第1移動量21aを出力移動量29として選択する。この理由については後述する。
第1信頼度21bが閾値TH1未満であり、かつ、第2信頼度23bが閾値TH2以上である場合、移動量決定部26は、第2移動量23aを出力移動量として選択する。第2移動量23aの精度が第1移動量21aの精度よりも高いと考えられるためである。
第1信頼度21bが閾値TH1未満であり、かつ、第2信頼度23bが閾値TH2未満である場合、移動量決定部26は、第1移動量21aを出力移動量29として出力することを決定する。つまり、移動量決定部26は、第1信頼度21b及び第2信頼度23bの両者の精度が同程度であると判断した場合、第1移動量21aを第2移動量23aよりも優先的に使用する。
以下、第1信頼度21bが閾値TH1以上である場合に、第1移動量21aが選択される理由を説明する。上述のように、フロントカメラ2Fが水平な地面を撮影する場合、前方撮影画像7Fの画素とワールド座標系の座標とは一対一に対応付けられる。しかし、車両1の走行中において、フロントカメラ2Fが水平な地面を撮影できないことが一般的である。例えば、車両1が、ダートや岩場等のオフロードを走行する場合である。この場合、前方撮影画像7Fの画素の位置をワールド座標系の座標に変換する際に、誤差が定常的に発生する。
これに対して、第1信頼度21aが閾値TH1以上である場合、回転速度のばらつきは小さい。この結果、第1信頼度21bが閾値TH1以上であり、かつ、第2信頼度23bがTH2以上である場合であっても、第1移動量21aの誤差は、第2移動量22aの誤差よりも小さいと考えられる。以上のことから、第1信頼度21bが閾値TH1以上である場合、移動量決定部26は、第2信頼度23bに関係なく、第1移動量22aを選択する。これにより、車両1の移動量の決定精度をさらに向上させることができる。
また、第1移動量21a及び第2移動量23aの両者の精度が同程度であると判断された場合であっても、第1移動量21aの誤差が第2移動量23aの誤差よりも小さいと考えられる。第1移動量21a及び第2移動量23aの両者の精度が同程度である場合においても、移動量決定部26は、第1移動量21aを優先的に使用する。これにより、車両1の移動量の決定精度をさらに向上させることができる。
なお、図9は、第1移動量21a及び第2移動量23aの両者の精度が同程度である場合に、移動量決定部26が第2移動量23aを選択することを妨げない。
なお、第1移動量21a及び第2移動量23aの両者の精度が同程度であると判断された場合、移動量決定部26は、第1移動量21a及び第2移動量23aの両者を用いて出力移動量を算出してもよい。例えば、第1移動量21aが閾値TH1以上であり、かつ、第2移動量23aが閾値TH2以上である場合、出力移動量29は、第1移動量21a及び第2移動量23aの平均であってもよい。あるいは、出力移動量29は、第1移動量21a及び第2移動量23aの重み付け平均であってもよい。第1移動量21aが閾値TH1未満であり、かつ、第2移動量23aが閾値TH2未満である場合も同様である。
[2.2.画像生成装置30の動作]
画像生成装置30は、出力移動量29を移動量決定部26から受け、その受けた出力移動量29に基づいて床下画像11を生成する。具体的には、画像生成装置30は、その受けた出力移動量29に基づいて、過去に撮影された撮影画像7の中から、現在の床下の路面が撮影された領域を特定する。画像生成装置30は、特定された領域の画像を撮影画像7から抽出し、抽出した画像を床下画像11として表示装置40に出力する。
なお、画像生成装置30は、撮影画像imから車両Vの周辺画像を生成し、生成された周辺画像から現在の床下の路面が撮影された領域を特定してもよい。
以上説明したように、移動量算出装置20は、車輪の回転速度及び舵角に基づく第1移動量21aの確からしさを示す第1信頼度21bと、前方撮影画像7Fに基づく第2移動量23aの確からしさを示す第2信頼度23bとを用いて、出力移動量29を決定する。これにより、移動量算出装置20は、車両1の移動量の算出精度を向上させることができる。
[変形例]
上記実施の形態において、第1信頼度決定部24が、クロールコントロール用減数、ターンアシスト用減数、スリップ用減数、空転用減数及び偏差用減数の各々を使用するか否かを判断する例を説明したが、これに限られない。第1信頼度決定部24は、スリップ用減数及び空転用減数を使用しなくてもよい。つまり、第1信頼度決定部24は、車輪の回転速度がばらついているか否かを判断し、その判断結果に応じて第1信頼度21aを決定すればよい。
あるいは、第1信頼度決定部24は、クロールコントロール用減数、ターンアシスト用減数及び偏差用減数を用いなくてもよい。つまり、第1信頼度決定部24は、第1移動量21aを第2移動量23aと比較した結果に基づいて、第1信頼度21aを決定すればよい。
上記実施の形態において、第2信頼度決定部25がベクトル検出部22から受けた特徴点22cに基づいて第2信頼度23bを決定する例を説明したが、これに限られない。第2信頼度決定部25は、移動ベクトル22vの大きさ又は方向のばらつきに基づいて第2信頼度23bを決定してもよい。あるいは、第2信頼度決定部25は、撮影画像7における平均輝度を算出し、算出した平均輝度に基づいて第2信頼度23bを決定してもよい。この場合、第2信頼度決定部25は、算出された平均輝度が予め設定された輝度閾値よりも低い場合、減数を設定すればよい。つまり、第2信頼度決定部25は、撮影画像7に含まれる物体の情報に基づいて第2信頼度23bを決定すればよい。
上記実施の形態において、第1信頼度決定部24が、車両1がスリップしているか否かと、空転が発生しているか否かとを判断する例を説明したが、これに限られない。第1信頼度決定部24は、車両1がスリップしているか否かを示すスリップ信号を、移動量算出装置20の外部から取得してもよい。第1信頼度決定部24は、空転が発生しているか否かを示すスリップ信号を、移動量算出装置20の外部から取得してもよい。
上記実施の形態では、第2移動量算出部23が、前方撮影画像7Fを用いて第2移動量23aを算出する例を説明したが、これに限られない。第2移動量算出部23は、左方撮影画像7L、右方撮影画像7R及び後方撮影画像7Bのいずれかを用いて、第2移動量23aを算出してもよい。
あるいは、第2移動量算出部23は、複数の撮影画像から複数の第2移動量23aを算出してもよい。この場合、第2信頼度決定部25は、複数の第2移動量23aの各々に対応する第2信頼度23bを決定する。移動量決定部26は、出力移動量29を決定する際に、複数の第2移動量23aのうち、最も信頼度の高い第2移動量23aを使用すればよい。
移動量決定部26は、出力移動量29を決定する際に、複数の第2移動量23aのうち、上位2つの第2信頼度23bに対応する2つの第2移動量23aを使用してもよい。この場合、移動量決定部26は、2つの第2移動量23aに対応する2つの信頼度の平均を使用する。また、移動量決定部26は、第1移動量21aと2つの第2移動量23aの平均との少なくとも一方を用いて、出力移動量29を決定する。
第2移動量算出部23が複数の第2移動量23aを算出する場合、移動量決定部26は、出力移動量29を決定する際に、全ての第2移動量23aの全てを使用してもよい。全ての第2移動量23aを使用する場合における移動量決定部26の動作は、上述した2つの第2移動量23aを用いる場合の動作と同じである。
上記実施の形態では、出力移動量29が床下画像11の生成に用いられる例を説明したが、これに限られない。出力移動量29の用途は、特に限定されない。例えば、出力移動量29は、車両1の現在位置の特定に用いられてもよい。
また、上記実施の形態において、移動量算出装置20の各機能ブロックは、LSIなどの半導体装置により個別に1チップ化されてもよいし、一部又は全部を含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、移動量算出装置20により実行される処理の一部または全部は、プログラムにより実現されてもよい。そして、上記各実施の形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
例えば、移動量算出装置20の各機能ブロックを、ソフトウェアにより実現する場合、図10に示したハードウェア構成(例えば、CPU、ROM、RAM、入力部、出力部等をバスBusにより接続したハードウェア構成)を用いて、各機能部をソフトウェア処理により実現するようにしてもよい。
また、上記実施の形態における処理方法の実行順序は、上記実施の形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で実行順序を入れ替えてもよい。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、大容量DVD、次世代DVD、半導体メモリを挙げることができる。
以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。
1 車両
10 表示制御装置
20 移動量算出装置
40 表示装置
21 第1移動量算出部
22 ベクトル検出部
23 第2移動量算出部
24 第1信頼度決定部
25 第2信頼度決定部
26 移動量決定部

Claims (8)

  1. 移動体が備える複数の車輪の複数の回転速度及び前記移動体の舵角に基づいて、前記移動体の第1移動量を算出する第1移動量算出部と、
    前記移動体に搭載されたカメラによって生成された撮影画像を任意の時間間隔で取得し、取得した画像に含まれる物体の移動ベクトルを検出するベクトル検出部と、
    前記ベクトル検出部によって検出された移動ベクトルに基づいて、前記移動体の第2移動量を算出する第2移動量算出部と、
    前記複数の回転速度のばらつきと、前記第1移動量算出部により算出された第1移動量を前記第2移動量算出部により算出された第2移動量と比較した結果との少なくとも一方に基づいて、前記算出された第1移動量の信頼度を決定する第1信頼度決定部と、
    前記取得した画像に含まれる物体の情報に基づいて、前記算出された第2移動量の信頼度を決定する第2信頼度決定部と、
    前記第1信頼度決定部により決定された第1移動量の信頼度と、前記第2信頼度決定部により決定された第2移動量の信頼度とに基づいて、前記算出された第1移動量及び前記算出された第2移動量の少なくとも一方に基づく移動量を決定する移動量決定部と、を備える移動量算出装置。
  2. 請求項1に記載の移動量算出装置であって、
    前記第1信頼度決定部により決定された第1移動量の信頼度が所定の第1閾値よりも高い場合、前記移動量決定部は、前記第2信頼度決定部により決定された第2移動量の信頼度に関係なく、前記決定された第1移動量を選択する、移動量算出装置。
  3. 請求項1又は2に記載の移動量算出装置であって、
    前記移動体がクロールコントロールを実行している場合、前記第1信頼度決定部は、前記移動体がクロールコントロールを実行していない時よりも前記第1移動量の信頼度を低下させる、移動量算出装置。
  4. 請求項1~3のいずれか1項に記載の移動量算出装置であって、
    前記複数の車輪は、前記移動体の後方に配置される第1車輪及び第2車輪を含み、
    前記移動体が前記移動体の旋回時に旋回補助制御を実行している場合、前記第1信頼度決定部は、前記移動体が旋回補助制御を実行していない時よりも前記第1移動量の信頼度を低下させる、移動量算出装置。
  5. 請求項1~4のいずれか1項に記載の移動量算出装置であって、
    前記移動体がスリップしている場合、前記第1信頼度決定部は、前記移動体がスリップしていない時における第1移動量の信頼度よりも前記第1移動量の信頼度を低下させる、移動量算出装置。
  6. 請求項1~5のいずれか1項に記載の移動体算出装置であって、
    空転が前記移動体で発生している場合、前記第1信頼度決定部は、空転が発生していない時における第1移動量の信頼度よりも前記第1移動量の信頼度を低下させる、移動量算出装置。
  7. 請求項1~4のいずれか1項に記載の移動量算出装置であって、
    前記第2信頼度決定部は、前記取得した画像から抽出された特徴点の数及び前記特徴点の分布のばらつきの少なくとも一方に基づいて、前記算出された第2移動量の信頼度を決定する、移動量算出装置。
  8. 移動体が備える複数の車輪の複数の回転速度及び前記移動体の舵角に基づいて、前記移動体の第1移動量を算出するステップと、
    前記移動体に搭載されたカメラによって生成された撮影画像を任意の時間間隔で取得し、取得した画像に含まれる物体の移動ベクトルを検出するステップと、
    前記取得した画像に含まれる物体の情報に基づいて、前記移動体の第2移動量を算出するステップと、
    前記複数の回転速度のばらつきと、前記算出された第1移動量を前記算出された第2移動量と比較した結果との少なくとも一方に基づいて、前記算出された第1移動量の信頼度を決定するステップと、
    前記取得した画像に含まれる物体の情報に基づいて、前記算出された第2移動量の信頼度を決定するステップと、
    前記決定された第1移動量の信頼度と、前記決定された第2移動量の信頼度とに基づいて、前記算出された第1移動量及び前記算出された第2移動量の少なくとも一方に基づく移動量を決定するステップと、を備える移動量算出方法。
JP2019007017A 2019-01-18 2019-01-18 移動量算出装置 Active JP7206938B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019007017A JP7206938B2 (ja) 2019-01-18 2019-01-18 移動量算出装置
US16/693,838 US11385254B2 (en) 2019-01-18 2019-11-25 Movement distance calculation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019007017A JP7206938B2 (ja) 2019-01-18 2019-01-18 移動量算出装置

Publications (2)

Publication Number Publication Date
JP2020118451A JP2020118451A (ja) 2020-08-06
JP7206938B2 true JP7206938B2 (ja) 2023-01-18

Family

ID=71609845

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019007017A Active JP7206938B2 (ja) 2019-01-18 2019-01-18 移動量算出装置

Country Status (2)

Country Link
US (1) US11385254B2 (ja)
JP (1) JP7206938B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862623A (zh) * 2020-07-27 2020-10-30 上海福赛特智能科技有限公司 一种车辆侧面图拼接装置和方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004338637A (ja) 2003-05-16 2004-12-02 Toyota Motor Corp 車両用走行支援装置
JP2009257892A (ja) 2008-04-15 2009-11-05 Sumitomo Electric Ind Ltd 位置特定装置、位置特定システム、位置特定方法及びコンピュータプログラム
JP2011008385A (ja) 2009-06-24 2011-01-13 Nissan Motor Co Ltd 車両走行支援装置
WO2013027803A1 (ja) 2011-08-25 2013-02-28 日産自動車株式会社 車両用自律走行制御システム
JP2016060219A (ja) 2014-09-12 2016-04-25 アイシン精機株式会社 車両位置検出装置
JP2017151148A (ja) 2016-02-22 2017-08-31 Necプラットフォームズ株式会社 位置推定装置、位置検出方法及びプログラム
JP2018009833A (ja) 2016-07-12 2018-01-18 株式会社Soken 自車位置特定装置、及び自車位置特定方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
WO2013051645A1 (ja) 2011-10-05 2013-04-11 株式会社ニコン 電子機器及び移動速度算出システム
JP5944781B2 (ja) * 2012-07-31 2016-07-05 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法
JP6139706B2 (ja) * 2013-02-04 2017-05-31 ハーマン インターナショナル インダストリーズ インコーポレイテッド 移動物体を検出するための方法及びシステム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004338637A (ja) 2003-05-16 2004-12-02 Toyota Motor Corp 車両用走行支援装置
JP2009257892A (ja) 2008-04-15 2009-11-05 Sumitomo Electric Ind Ltd 位置特定装置、位置特定システム、位置特定方法及びコンピュータプログラム
JP2011008385A (ja) 2009-06-24 2011-01-13 Nissan Motor Co Ltd 車両走行支援装置
WO2013027803A1 (ja) 2011-08-25 2013-02-28 日産自動車株式会社 車両用自律走行制御システム
JP2016060219A (ja) 2014-09-12 2016-04-25 アイシン精機株式会社 車両位置検出装置
JP2017151148A (ja) 2016-02-22 2017-08-31 Necプラットフォームズ株式会社 位置推定装置、位置検出方法及びプログラム
JP2018009833A (ja) 2016-07-12 2018-01-18 株式会社Soken 自車位置特定装置、及び自車位置特定方法

Also Published As

Publication number Publication date
US11385254B2 (en) 2022-07-12
JP2020118451A (ja) 2020-08-06
US20200233005A1 (en) 2020-07-23

Similar Documents

Publication Publication Date Title
KR102313026B1 (ko) 차량 및 차량 후진 시 충돌방지 보조 방법
JP4052650B2 (ja) 障害物検出装置、方法及びプログラム
JP6266565B2 (ja) サスペンション制御装置
US9538144B2 (en) Full speed lane sensing using multiple cameras
US7580548B2 (en) Abnormality detecting apparatus for imaging apparatus
JP6350374B2 (ja) 路面検出装置
JP4854778B2 (ja) 車両用推定航法装置、車両用推定航法及び車両用推定航法のプログラム
JP4670528B2 (ja) 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置
JP2019003613A (ja) 車両の車両カメラを較正するための方法および装置
JP5516561B2 (ja) 車両用運転支援装置
JP2019511780A (ja) 自動車両の道路付近の物体を検出するための方法、コンピュータデバイス、運転者支援システム、及び、自動車両
JP7206938B2 (ja) 移動量算出装置
JP6841331B2 (ja) 車両駐車支援装置、車両駐車支援プログラム
WO2020110435A1 (ja) 外界認識装置
WO2022202915A1 (ja) 自律走行車及び自律走行車の自己位置推定方法
JP2015520057A (ja) 慣性センサの改良
JP5193148B2 (ja) 車両用撮像装置
JP7188228B2 (ja) 画像生成装置
JP7408236B2 (ja) 位置推定方法及び位置推定装置
WO2021106510A1 (ja) 障害物認識装置
CN113753041B (zh) 一种移动摄像测距预警方法及预警装置
US11718307B2 (en) Vehicle control apparatus
JP2019059274A (ja) 車両の制御装置及び車両の制御方法
US11951923B2 (en) Vehicle turn-over determination apparatus and vehicle
JP6717171B2 (ja) ヨーレートセンサの補正装置

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221219

R150 Certificate of patent or registration of utility model

Ref document number: 7206938

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150