JPWO2017169752A1 - 車両の姿勢検出装置、画像処理システム、車両、および車両の姿勢検出方法 - Google Patents
車両の姿勢検出装置、画像処理システム、車両、および車両の姿勢検出方法 Download PDFInfo
- Publication number
- JPWO2017169752A1 JPWO2017169752A1 JP2018508978A JP2018508978A JPWO2017169752A1 JP WO2017169752 A1 JPWO2017169752 A1 JP WO2017169752A1 JP 2018508978 A JP2018508978 A JP 2018508978A JP 2018508978 A JP2018508978 A JP 2018508978A JP WO2017169752 A1 JPWO2017169752 A1 JP WO2017169752A1
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- attitude
- captured image
- wheel
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 79
- 238000012545 processing Methods 0.000 title claims description 109
- 238000003384 imaging method Methods 0.000 claims description 59
- 239000000284 extract Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 16
- 238000000034 method Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/11—Pitch movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/112—Roll movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
姿勢検出装置(13)は、入出力インターフェース(21)と、プロセッサ(23)と、を備える。入出力インターフェース(21)は、車両(11)の車輪を撮像した撮像画像を取得する。プロセッサ(23)は、撮像画像における車輪の位置に基づいて、車両(11)の姿勢を検出する。
Description
本出願は、2016年3月29日に日本国に特許出願された特願2016−065962の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
本開示の実施形態は、車両の姿勢検出装置、画像処理システム、車両、および車両の姿勢検出方法に関する。
従来、自動車などの車両に設けられた撮像装置を用いて、運転者の運転支援が行われている。例えば、特許文献1には、車両の傾斜の変化に応じて、周辺画像から抽出する領域を決定し、または、運転支援のために周辺画像に重畳する指標の位置を変更する構成が開示されている。
本開示の実施形態に係る車両の姿勢検出装置は、入出力インターフェースと、プロセッサと、を備える。入出力インターフェースは、車両の車輪を撮像した撮像画像を取得する。プロセッサは、前記撮像画像における前記車輪の位置に基づいて、前記車両の姿勢を検出する。
本開示の実施形態に係る画像処理システムは、撮像装置と、姿勢検出装置と、画像処理装置と、を備える。撮像装置は、車両の車輪を撮像した撮像画像を生成する。姿勢検出装置は前記撮像画像における前記車輪の位置に基づいて、前記車両の姿勢を検出する。画像処理装置は、検出された前記姿勢に基づいて、前記撮像画像に画像を重畳させる位置、および、前記撮像画像における画像処理範囲のうち、少なくとも一方を決定する。
本開示の実施形態に係る車両は、車輪と、撮像装置と、姿勢検出装置と、画像処理装置と、を備える。撮像装置は、前記車輪を撮像した撮像画像を生成する。姿勢検出装置は、前記撮像画像における前記車輪の位置に基づいて、車両の姿勢を検出する。画像処理装置は、検出された前記姿勢に基づいて、前記撮像画像に画像を重畳させる位置、および、前記撮像画像における画像処理範囲のうち、少なくとも一方を決定する。
本開示の実施形態に係る車両の姿勢検出方法は、姿勢検出装置が実行する車両の姿勢検出方法であって、車両の車輪を撮像した撮像画像を取得し、前記撮像画像における前記車輪の位置に基づいて、前記車両の姿勢を検出する。
以下、本開示の実施形態について、図面を参照して説明する。
図1を参照して、本開示の一実施形態に係る画像処理システム10を備える車両11について説明する。画像処理システム10は、1個以上の撮像装置12と、姿勢検出装置13と、画像処理装置14と、を備える。撮像装置12、姿勢検出装置13、および画像処理装置14は、互いに通信可能に接続される。本実施形態において、車両11は、例えば4個の車輪を備える自動車であるが、1個以上の車輪を備えていればよい。
撮像装置12は、例えば広角撮影可能な車載カメラである。撮像装置12は、例えば車両11に設置される。本実施形態では、3個の撮像装置12が車両11に設置される。3個の撮像装置12は、例えば左サイドカメラ12a、右サイドカメラ12b、およびリアカメラ12cを含む。以下、当該3つの撮像装置12を特に区別する場合には、左サイドカメラ12a、右サイドカメラ12b、およびリアカメラ12cという。
左サイドカメラ12aは、車両11の左側において、鉛直下向きに設置される。左サイドカメラ12aは、例えば左サイドミラーに設置されてもよい。左サイドカメラ12aは、車両11の左側方の外部空間、車両11の左側前輪、左側後輪、および車両11の一部を同時に撮像可能となるように設置される。車両11の当該一部は、例えば車体の左側面の少なくとも一部を含んでもよい。2個の左サイドカメラ12aが、車両11の左側前輪および左側後輪をそれぞれ撮像可能となるように設置されてもよい。
右サイドカメラ12bは、車両11の右側において、鉛直下向きに設置される。右サイドカメラ12bは、例えば右サイドミラーに設置されてもよい。右サイドカメラ12bは、車両11の右側方の外部空間、車両11の右側前輪、右側後輪、および車両11の一部を同時に撮像可能となるように設置される。車両11の当該一部は、例えば車体の右側面の少なくとも一部を含んでもよい。2個の右サイドカメラ12bが、車両11の右側前輪および右側後輪をそれぞれ撮像可能となるように設置されてもよい。左サイドミラーおよび右サイドミラーは、光学ミラーを含む構成であってもよい。左サイドミラーおよび右サイドミラーは、例えばディスプレイなどを用いた電子ミラーを含む構成であってもよい。
リアカメラ12cは、車両11の後方において、車両11の後方を向くように設置される。リアカメラ12cは、例えば車両11の後方のバンパーの下部に設置されてもよい。リアカメラ12cは、車両11の後方の外部空間を撮像可能となるように設置される。
車両11に設置される撮像装置12の数および配置は、上述した構成に限られない。例えば、追加の撮像装置12が車両11に設置されてもよい。例えば、フロントカメラが、車両11の前方の外部空間を撮像可能となるように設置されてもよい。
姿勢検出装置13は、車両11の任意の位置に設置される。姿勢検出装置13は、左サイドカメラ12aおよび右サイドカメラ12bがそれぞれ生成した撮像画像に基づいて、車両11の姿勢を検出する。車両11の姿勢は、車両11の前後方向の傾きαと、車両11の左右方向の傾きβと、車両11の高さhと、のうち少なくとも1つを含む。以下、車両11の前後方向を、第1方向ともいう。車両11の左右方向を、第2方向ともいう。第1方向および第2方向は、車両11の前後方向および左右方向に限られず、互いに異なる向きであればよい。姿勢検出装置13が車両11の姿勢を検出する具体的な動作については後述する。
姿勢検出装置13は、検出された車両11の姿勢を示す情報を画像処理装置14へ出力する。以下、車両11の姿勢を示す情報を、姿勢情報ともいう。検出された車両11の姿勢は、後述するように画像処理装置14が実行する画像処理において用いられる。
画像処理装置14は、車両11の任意の位置に設置される。画像処理装置14は、撮像装置12が生成した撮像画像に対して所定の画像処理を施す。所定の画像処理は、撮像画像を用いた所望の機能に応じて異なる。
例えば、車両11の後進時の運転支援機能について説明する。画像処理装置14は、リアカメラ12cの撮像画像に対して所定の画像処理を施す。画像処理装置14は、画像処理が施された撮像画像を車両11側へ出力して、例えば車両11に備えられた表示装置に表示させる。所定の画像処理には、撮像画像における画像処理範囲を決定する処理、画像処理範囲を切り出すトリミング処理、および、切り出された画像に、運転者を支援するための支援画像を重畳する処理などが含まれる。支援画像は、例えば車両11の進路を仮想的に示すガイド線を含んでもよい。
例えば、高速道路への合流時の運転支援機能について説明する。画像処理装置14は、例えば右サイドカメラ12bの撮像画像に対して所定の画像処理を施す。画像処理装置14は、車両11の右側方から右後方の周辺領域における他の車両を検出する。他の車両が検出された場合、画像処理装置14は、他の車両の存在を車両11へ通知して、例えば車両11に備えられたスピーカに警告音を出力させる。所定の画像処理には、撮像画像における画像処理範囲を決定する処理、および画像処理範囲内において他の車両を検出する物体認識処理などが含まれる。
上述した各機能において、画像処理装置14は、姿勢検出装置13から取得した姿勢情報に基づいて、撮像画像上に支援画像を重畳する位置、および、撮像画像における画像処理範囲のうち、少なくとも一方を決定する。以下、支援画像が重畳される撮像画像上の位置を、重畳位置ともいう。かかる構成によって、画像処理装置14は、以下に説明するように、車両11の姿勢に応じて重畳位置および画像処理範囲を決定可能である。
車両11の姿勢に応じて、撮像装置12の撮像範囲が変化し、撮像される被写体が変化する。例えば、車両11の傾きおよび高さに応じて、撮像装置12の撮像範囲および撮像される被写体が変化する。したがって、例えば撮像画像における重畳位置または画像処理範囲を固定的に定める構成では、車両11の姿勢が変化すると、リアカメラ12cの撮像画像上でトリミング処理を行う画像処理範囲の、被写体に対する位置ずれが発生する。このため、被写体に対して重畳される支援画像の位置ずれが発生し、運転支援機能の利便性が低下し得る。例えば、車両11の姿勢が変化すると、右サイドカメラ12bの撮像画像上で物体認識処理を行う画像処理範囲の、被写体に対する位置ずれが発生する。このため、物体認識処理の認識精度が低下し、運転支援機能の利便性が低下し得る。
これに対して、本開示の一実施形態に係る画像処理装置14は、例えば車両11の姿勢に応じて撮像画像上の画像処理範囲を移動、変形、または回転させる。このため、画像処理装置14は、車両11の姿勢の変化による画像処理範囲の被写体に対する位置ずれを低減可能である。
画像処理装置14は、上述した機能に限られず、撮像画像を用いた多様な機能を有してもよい。例えば、画像処理装置14は、車両11の姿勢に基づいて決定した画像処理範囲を複数の撮像画像からそれぞれ切り出す。画像処理装置14は、切り出された複数の撮像画像に対して視点変換処理を施す。画像処理装置14は、当該複数の撮像画像を結合して、例えば車両11の全周に亘る外部空間の俯瞰画像を生成する機能などを有してもよい。
図2を参照して、画像処理システム10の各構成要素について具体的に説明する。
(撮像装置の構成)
撮像装置12について説明する。撮像装置12は、撮像光学系15と、撮像素子16と、入出力インターフェース17と、メモリ18と、プロセッサ19と、を備える。
撮像装置12について説明する。撮像装置12は、撮像光学系15と、撮像素子16と、入出力インターフェース17と、メモリ18と、プロセッサ19と、を備える。
撮像光学系15は、光学部材を含む。光学部材は、例えば1個以上のレンズおよび絞りなどを含んでもよい。撮像光学系15は、被写体像を撮像素子16の受光面に結像させる。撮像光学系15は、例えば魚眼レンズとして機能し、比較的広い画角を有する。
撮像素子16は、例えばCCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサなどを含む。撮像素子16の受光面上には、複数の画素が配列されている。撮像素子16は、受光面上に結像された被写体像を撮像して撮像画像を生成する。
入出力インターフェース17は、ネットワーク20を介して、外部装置との間で情報の入出力を行うインターフェースである。ネットワーク20は、例えば有線、無線、または車両11に搭載されたCAN(Controller Area Network)などを含んでもよい。外部装置には、姿勢検出装置13および画像処理装置14が含まれる。外部装置には、例えば車両11に備えられたECU(Electronic Control Unit)、ディスプレイ、およびナビゲーション装置などが含まれてもよい。
メモリ18は、例えば一次記憶装置および二次記憶装置などを含む。メモリ18は、撮像装置12の動作に必要な種々の情報およびプログラムを記憶する。
プロセッサ19は、例えばDSP(Digital Signal Processor)などの専用プロセッサおよびCPU(Central Processing Unit)などの汎用プロセッサを含む。プロセッサ19は、撮像装置12全体の動作を制御する。
例えば、プロセッサ19は、撮像素子16の動作を制御して、周期的に、例えば30fpsで撮像画像を生成する。プロセッサ19は、撮像素子16によって生成された撮像画像に対して、所定の画像処理を施す。所定の画像処理は、ホワイトバランス調整処理、露出調整処理、およびガンマ補正処理などを含んでもよい。所定の画像処理は、現在のフレームの撮像画像に対して行われてもよく、次回以降のフレームの撮像画像に対して行われてもよい。プロセッサ19は、所定の画像処理が施された撮像画像を、入出力インターフェース17を介して姿勢検出装置13および画像処理装置14へ出力する。
プロセッサ19は、入出力インターフェース17を介して他の撮像装置12との間で同期信号を送受信可能であってもよい。同期信号によって、1個の撮像装置12と1個以上の他の撮像装置12との間で撮像タイミングを同期可能である。本実施形態において、左サイドカメラ12a、右サイドカメラ12b、およびリアカメラ12cの撮像タイミングが同期される。
(姿勢検出装置の構成)
姿勢検出装置13について説明する。姿勢検出装置13は、入出力インターフェース21と、メモリ22と、プロセッサ23と、を含む。
姿勢検出装置13について説明する。姿勢検出装置13は、入出力インターフェース21と、メモリ22と、プロセッサ23と、を含む。
入出力インターフェース21は、ネットワーク20を介して、外部装置との間で情報の入出力を行うインターフェースである。外部装置には、撮像装置12および画像処理装置14が含まれる。外部装置には、例えば車両11に備えられたECU、ディスプレイ、およびナビゲーション装置などが含まれてもよい。
メモリ22は、例えば一次記憶装置および二次記憶装置などを含む。メモリ22は、姿勢検出装置13の動作に必要な種々の情報およびプログラムを記憶する。例えば、メモリ22は、後述する第1対応情報を記憶する。メモリ22に記憶される情報の詳細については後述する。
プロセッサ23は、例えばDSPなどの専用プロセッサおよびCPUなどの汎用プロセッサを含む。プロセッサ23は、姿勢検出装置13全体の動作を制御する。
例えば、プロセッサ23は、入出力インターフェース21を介して、左サイドカメラ12aおよび右サイドカメラ12bの少なくとも一方から、撮像画像を取得する。本実施形態において、プロセッサ23は、左サイドカメラ12aおよび右サイドカメラ12bから1組の撮像画像を取得する。1組の撮像画像は、撮像タイミングが同期された左サイドカメラ12aおよび右サイドカメラ12bが、それぞれ略同一のタイミングで撮像した撮像画像である。
プロセッサ23は、取得された撮像画像に基づいて、車両11の姿勢を検出する。以下、具体的に説明する。
(傾きαの検出処理)
図3を参照して、車両11の前後方向の傾きα=0における、左サイドカメラ12aと、左側前輪24と、左側後輪25と、の位置関係について説明する。車両11の前後方向に平行であって路面に垂直な平面上に投影された左サイドカメラ12a、左側前輪24、および左側後輪25の位置関係について説明する。
図3を参照して、車両11の前後方向の傾きα=0における、左サイドカメラ12aと、左側前輪24と、左側後輪25と、の位置関係について説明する。車両11の前後方向に平行であって路面に垂直な平面上に投影された左サイドカメラ12a、左側前輪24、および左側後輪25の位置関係について説明する。
以下の説明において、距離L1は、左サイドカメラ12aと左側前輪24との間の距離を示す。距離H1は、距離L1の、左サイドカメラ12aの光軸方向の成分を示す。距離W1は、距離L1の、左サイドカメラ12aの光軸に垂直な方向の成分を示す。したがって、距離L1、H1、およびW1は、次の式(1)を満たす。
L1^2=H1^2+W1^2 (1)
L1^2=H1^2+W1^2 (1)
距離L2は、左サイドカメラ12aと左側後輪25との間の距離を示す。距離H2は、距離L2の、左サイドカメラ12aの光軸方向の成分を示す。距離W2は、距離L2の、左サイドカメラ12aの光軸に垂直な方向の成分を示す。したがって、距離L2、H2、およびW1は、次の式(2)を満たす。
L2^2=H2^2+W2^2 (2)
ここで、傾きα=0においては、H1=H2である。
L2^2=H2^2+W2^2 (2)
ここで、傾きα=0においては、H1=H2である。
図4を参照して、車両11の前後方向の傾きα≠0となった場合について説明する。図4は、例えば車両11が前方向に走行しているときに減速または停止した状態を示す。かかる場合、車体の前方が沈み込み、車体の後方が浮き上がる。このとき、各車輪は、路面に接触しているものとする。各車輪は路面に接触した状態のまま、各車輪と車体との間のサスペンションが変形することによって、車体が路面および各車輪に対して相対的に傾く。
上述したように、撮像装置12は、車両11の車体に固定的に設置されている。このため、傾きα=0の状態と比較して、傾きα≠0となると、左サイドカメラ12aおよび各車輪の相対的な位置関係が変化する。具体的には、傾きαと、距離L1、L2、H1、H2、W1、およびW2との間には、次の式(3)が成り立つ。
tanα=(H2−H1)/(W1+W2) (3)
tanα=(H2−H1)/(W1+W2) (3)
左サイドカメラ12aの撮像画像について具体的に説明する。傾きα=0において、撮像画像には、例えば図5に示すように、車両11の一部26と、左側前輪24と、左側後輪25と、が撮像されている。車両11の一部26は、例えば車体の左側面の少なくとも一部を含んでもよい。傾きα≠0になると、例えば図6に示すように、撮像画像における車両11の一部26の位置は変化しない一方で、車体と相対的に移動する左側前輪24および左側後輪25は、撮像画像における位置が変化する。傾きαに応じて、撮像画像における左側前輪24および左側後輪25の位置が変化する。
傾きαが比較的小さい範囲で変化する場合には、距離W1および距離W2は、傾きαによる変化が微小であるため、定数とみなすことができる。本実施形態において、姿勢検出装置13のメモリ22は、傾きα=0における距離W1および距離W2を予め記憶する。
メモリ22は、撮像画像における各車輪の位置と、車両11の姿勢を検出するために用いられるパラメータと、の対応関係を示す第1対応情報を記憶する。撮像画像における各車輪の位置は、撮像画像における車輪の絶対位置であってもよく、撮像画像における車両11の一部26に対する車輪の相対位置であってもよい。第1対応情報は、例えば左サイドカメラ12a用の第1対応情報と、右サイドカメラ12b用の第1対応情報と、を含む。例えば、左サイドカメラ12a用の第1対応情報は、図7に示すように、撮像画像における左側前輪24および左側後輪25それぞれの画像上の位置と、距離L1および距離L2と、の対応関係を示す。右サイドカメラ12b用の第1対応情報については、左サイドカメラ12a用の第1対応情報と類似しているため、説明は省略する。第1対応情報は、例えば実験またはシミュレーションによって予め決定可能である。
姿勢検出装置13のプロセッサ23は、左サイドカメラ12aから取得された撮像画像における各車輪の位置を検出する。例えば、プロセッサ23は、当該撮像画像における左側前輪24および左側後輪25の位置を検出する。車輪の検出には、例えば、撮像画像に対してエッジ検出を施し、撮像画像上の楕円形状を車輪として検出するアルゴリズムが採用されるが、任意のアルゴリズムが採用可能である。
プロセッサ23は、検出された左側前輪24および左側後輪25の位置に対応する距離L1および距離L2を抽出する。プロセッサ23は、抽出された距離L1および距離L2と、メモリ22に記憶された距離W1およびW2を用いて、上述した式(1)−式(3)によって算出したtanαから傾きαを算出する。
傾きαを算出するためのアルゴリズムは、上述したものに限られない。例えば、第1対応情報は、撮像画像における左側前輪24および左側後輪25それぞれの画像上の位置と、距離W1、W2、H1、およびH2と、の対応関係を示す情報であってもよい。かかる場合、プロセッサ23は、車両11の各車輪の位置に対応するパラメータを抽出し、抽出されたパラメータを用いて上述のアルゴリズムの演算結果である傾きαを算出する。第1対応情報は、撮像画像における左側前輪24および左側後輪25それぞれの画像上の位置と、傾きαと、の対応関係を示す情報であってもよい。かかる場合、プロセッサ23は、車両11の各車輪の位置に対応する傾きαを抽出する。
上述のようにして、プロセッサ23は、左サイドカメラ12aの撮像画像に基づいて、車両11の前後方向の傾きαを検出する。
プロセッサ23は、後述する傾きβを検出するために、右サイドカメラ12bの撮像画像に基づいて、上述した左サイドカメラ12aの撮像画像を用いる場合と同じく、距離L10、L20、H10、H20、W10、およびW20を算出する。距離L10は、右サイドカメラ12bと右側前輪との間の距離を示す。距離H10は、距離L10の、右サイドカメラ12bの光軸方向の成分を示す。距離W10は、距離L10の、右サイドカメラ12bの光軸に垂直な方向の成分を示す。距離L20は、右サイドカメラ12bと右側後輪との間の距離を示す。距離H20は、距離L20の、右サイドカメラ12bの光軸方向の成分を示す。距離W20は、距離L20の、右サイドカメラ12bの光軸に垂直な方向の成分を示す。
(傾きβの検出処理)
図8を参照して、車両11の左右方向の傾きβ≠0における、左サイドカメラ12aと、右サイドカメラ12bと、左側前輪24と、右側前輪27と、の位置関係について説明する。車両11の左右方向に平行であって路面に垂直な平面上に投影された左サイドカメラ12a、右サイドカメラ12b、左側前輪24、および右側前輪27の位置関係について説明する。
図8を参照して、車両11の左右方向の傾きβ≠0における、左サイドカメラ12aと、右サイドカメラ12bと、左側前輪24と、右側前輪27と、の位置関係について説明する。車両11の左右方向に平行であって路面に垂直な平面上に投影された左サイドカメラ12a、右サイドカメラ12b、左側前輪24、および右側前輪27の位置関係について説明する。
以下の説明において、距離Qは、車両11の左右方向における、左サイドカメラ12aと右サイドカメラ12bとの間の距離を示す。本実施形態において、姿勢検出装置13のメモリ22は、距離Qを予め記憶する。
左サイドカメラ12aの撮像画像に基づいて算出された距離H1と、右サイドカメラ12bの撮像画像に基づいて算出された距離H10と、上述した距離Qと、の間には、次の式(4)が成り立つ。
sinβ=(H10−H1)/Q (4)
sinβ=(H10−H1)/Q (4)
姿勢検出装置13のプロセッサ23は、上述のように算出された距離H1、距離H10、およびメモリ22に記憶された距離Qを用いて、上述した式(4)によって算出したsinβから傾きβを算出する。
(高さhの検出処理)
プロセッサ23は、上述のようにして算出された複数のパラメータに基づいて、車両11の高さhを算出してもよい。本実施形態において、複数のパラメータは、傾きα、傾きβ、距離L1、L2、H1、H2、W1、W2、L10、L20、H10、H20、W10、およびW20を含む。高さhは、例えば路面から車両11の任意の位置までの高さであってもよい。また、高さhは、任意の車両定数にさらに基づいて算出されてもよい。車両定数は、例えば車両11の寸法などを含んでもよい。
プロセッサ23は、上述のようにして算出された複数のパラメータに基づいて、車両11の高さhを算出してもよい。本実施形態において、複数のパラメータは、傾きα、傾きβ、距離L1、L2、H1、H2、W1、W2、L10、L20、H10、H20、W10、およびW20を含む。高さhは、例えば路面から車両11の任意の位置までの高さであってもよい。また、高さhは、任意の車両定数にさらに基づいて算出されてもよい。車両定数は、例えば車両11の寸法などを含んでもよい。
プロセッサ23は、上述のようにして算出された傾きα、傾きβ、および高さhを、車両11の姿勢として検出する。プロセッサ23は、現在のフレームおよび所定数の過去のフレームにおいてそれぞれ算出した傾きα、傾きβ、および高さhそれぞれの平均値を、車両11の姿勢として検出してもよい。プロセッサ23は、車両11の姿勢を示す姿勢情報を、画像処理装置14へ出力する。姿勢情報は、傾きα、傾きβ、および高さhを示す情報を含んでもよい。
(画像処理装置の構成)
図2を参照して、画像処理装置14について説明する。画像処理装置14は、入出力インターフェース28と、メモリ29と、プロセッサ30と、を含む。
図2を参照して、画像処理装置14について説明する。画像処理装置14は、入出力インターフェース28と、メモリ29と、プロセッサ30と、を含む。
入出力インターフェース28は、ネットワーク20を介して、外部装置との間で情報の入出力を行うインターフェースである。外部装置には、撮像装置12および姿勢検出装置13が含まれる。外部装置には、例えば車両11に備えられたECU、ディスプレイ、およびナビゲーション装置などが含まれてもよい。
メモリ29は、例えば一次記憶装置および二次記憶装置などを含む。メモリ29は、画像処理装置14の動作に必要な種々の情報およびプログラムを記憶する。
プロセッサ30は、例えばDSPなどの専用プロセッサおよびCPUなどの汎用プロセッサを含む。プロセッサ30は、画像処理装置14全体の動作を制御する。
プロセッサ30は、入出力インターフェース28を介して、1個以上の撮像装置12からそれぞれ撮像画像を取得し、姿勢検出装置13から姿勢情報を取得する。プロセッサ30は、車両11の姿勢に応じて、撮像画像に支援画像を重畳させる重畳位置、および、撮像画像における画像処理範囲のうち、少なくとも一方を決定する。プロセッサ30は、車両11の姿勢が変化すると、重畳位置を移動させる。プロセッサ30は、車両11の姿勢が変化すると、画像処理範囲を移動させ、変形させ、および回転させる。
具体的には、プロセッサ30は、基準状態における画像処理範囲の、被写体に対する相対位置関係を維持するように、車両11の姿勢に応じて重畳位置および画像処理範囲を決定する。基準状態は、例えば傾きα=0、傾きβ=0、および高さhが所定の基準値である状態を含んでもよい。車両11の後方が浮き上がった場合、傾きαが増加する。傾きαが増加した場合、リアカメラ12cの撮像画像における被写体は、撮像画像において下方に移動する。かかる場合、プロセッサ30は、撮像画像において重畳位置および画像処理範囲を下方に移動させる。このように、プロセッサ30は、車両11の姿勢の変化による、撮像画像における被写体の位置ずれを低減するように、撮像画像における重畳位置および画像処理範囲を決定する。かかる構成によって、重畳位置および画像処理範囲の、被写体に対する位置ずれが低減可能である。
プロセッサ30は、例えば車両11の後進時の運転支援機能を実行する場合に、リアカメラ12cの撮像画像から画像処理範囲を切り出して、重畳位置に支援画像を重畳する。プロセッサ30は、支援画像が重畳された撮像画像を車両11側へ出力する。出力された撮像画像は、例えば車両11に備えられた表示装置に表示される。
プロセッサ30は、例えば高速道路への合流時の運転支援機能を実行する場合に、右サイドカメラ12bの撮像画像の画像処理範囲内において他の車両を検出する物体認識処理を行ってもよい。プロセッサ30は、他の車両が検出された場合、他の車両の存在を車両11側へ通知する。他の車両の存在の通知に応じて、例えば車両11に備えられたスピーカから警告音が出力される。
図9を参照して、姿勢検出装置13の上述した動作について説明する。本動作は、例えば撮像画像が生成される各フレームについて行われてもよく、所定間隔を開けて周期的に行われてもよい。
ステップS100:姿勢検出装置13のプロセッサ23は、左サイドカメラ12aおよび右サイドカメラ12bから1組の撮像画像を取得する。
ステップS101:プロセッサ23は、ステップS100で取得された1組の撮像画像と、メモリ22に記憶された第1情報と、に基づいて、車両11の姿勢を検出する。例えば、プロセッサ23は、傾きα、傾きβ、および高さhのうち少なくとも1つを、車両11の姿勢として検出する。プロセッサ23は、現在のフレームおよび所定数の過去のフレームにおいてそれぞれ算出した傾きα、傾きβ、および高さhそれぞれの平均値を、車両11の姿勢として検出してもよい。
ステップS102:プロセッサ23は、ステップS101で検出された車両11の姿勢を示す姿勢情報を、画像処理装置14へ出力する。
図10を参照して、画像処理装置14の上述した動作について説明する。ここでは、車両11の後進時の運転支援機能に関する動作を例示する。本動作は、例えば撮像画像が生成される各フレームについて行われてもよく、所定間隔を開けて周期的に行われてもよい。
ステップS200:画像処理装置14のプロセッサ30は、リアカメラ12cから撮像画像を取得する。
ステップS201:プロセッサ30は、姿勢検出装置13から車両11の姿勢を示す姿勢情報を取得する。
ステップS202:プロセッサ30は、ステップS201で取得された姿勢情報が示す車両11の姿勢に応じて、重畳位置および画像処理範囲のうち少なくとも一方を決定する。プロセッサ30は、各撮像画像について決定された重畳位置または画像処理範囲を、当該撮像画像を生成した撮像装置12に対応付けてメモリ29に記憶してもよい。ここでは、重畳位置および画像処理範囲の双方が決定されるものとして説明する。
ステップS203:プロセッサ30は、撮像画像から画像処理範囲を切り出す。
ステップS204:プロセッサ30は、切り出された撮像画像の重畳位置に、支援画像を重畳する。
ステップS205:プロセッサ30は、ステップS204で支援画像が重畳された撮像画像を車両11側へ出力する。
従来技術において、車両の傾斜を検出するために、撮像装置にチルトセンサが設けられる。しかしながら、撮像装置にチルトセンサなどの追加の構成要素を設けることは、撮像装置の大型化および高コスト化を招き得る。したがって、車両の傾斜など、車両の姿勢を検出するための構成について改善の余地があった。
これに対して、本開示の一実施形態に係る姿勢検出装置13は、車両11に設けられた車輪を撮像した撮像画像を取得し、当該撮像画像における車輪の位置に基づいて、車両11の姿勢を検出する。例えば、姿勢検出装置13は、左サイドカメラ12aの撮像画像を取得し、当該撮像画像における車輪の位置に基づいて、車両11の姿勢として傾きαを検出する。したがって、例えばチルトセンサなどの構成要素を撮像装置12に追加することなく、車両11の姿勢が検出可能である。
姿勢検出装置13は、複数の撮像画像を取得し、複数の撮像画像における複数の車輪の位置に基づいて、車両11の姿勢を算出してもよい。かかる構成によって、例えば、左サイドカメラ12aの撮像画像および右サイドカメラ12bの撮像画像における4個の車輪の位置に基づいて、例えば傾きα、傾きβ、および高さhを車両11の姿勢として検出可能である。したがって、車両11の姿勢の検出精度が向上する。
姿勢検出装置13は、撮像画像における車輪の位置と、車両11の姿勢を検出するために用いられるパラメータと、の対応関係を示す第1対応情報を記憶してもよい。当該パラメータは、例えば距離L1および距離L2を含んでもよい。かかる構成によって、撮像画像における車輪の位置が検出されれば、第1対応情報から対応するパラメータが抽出可能である。このため、例えば撮像画像を用いて距離L1および距離L2を算出する構成と比較して、処理負担の軽減および処理速度の向上が可能である。
本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを1つに組み合わせたり、あるいは分割したりすることが可能である。
例えば、姿勢検出装置13のプロセッサ23の機能の一部または全部を、姿勢検出装置13と通信可能な他の装置、例えば撮像装置12に具備させてもよい。例えば、姿勢検出装置13自体が、1つの撮像装置12に包含されてもよい。類似して、画像処理装置14のプロセッサ30の機能の一部または全部を、画像処理装置14と通信可能な他の装置、例えば撮像装置12に具備させてもよい。例えば、画像処理装置自体が、1つの撮像装置12に包含されてもよい。
上述した実施形態において、姿勢検出装置13が第1対応情報に基づいて車両11の姿勢を検出する構成について説明したが、車両11の姿勢を検出する構成はこれに限られない。例えば、姿勢検出装置13のメモリ22が、第1対応情報に替えて、第2対応情報を記憶してもよい。
第2対応情報は、複数の撮像画像における複数の車輪の位置と、車両11の姿勢と、の対応関係を示す情報である。例えば、第2対応情報は、図11に示すように、左サイドカメラ12aの撮像画像および右サイドカメラ12bの撮像画像における、左側前輪、左側後輪、右側前輪、および右側後輪それぞれの位置と、傾きα、傾きβ、および高さhと、の対応関係を示す情報であってもよい。
第2対応情報は、左サイドカメラ12aまたは右サイドカメラ12bの撮像画像における、左側または右側の前輪および後輪それぞれの位置と、傾きαと、の対応関係を示す情報であってもよい。第2対応情報は、左サイドカメラ12aの撮像画像および右サイドカメラ12bの撮像画像における、3つの車輪それぞれの位置と、傾きα、傾きβ、および高さhと、の対応関係を示す情報であってもよい。3つの車輪は、例えば左側前輪24、左側後輪25、および右側前輪27などを含んでもよい。
第2対応情報が記憶される上述の構成によれば、姿勢検出装置13は、1以上の撮像画像における複数の車輪の位置が検出されれば、第2対応情報から車両11の姿勢を直接的に抽出可能である。このため、処理負担の軽減および処理速度が向上可能である。
上述の実施形態において、姿勢検出装置13は、車両11が特定の状態である場合に、車両11の姿勢の検出を停止してもよい。例えば、姿勢検出装置13は、車両11の姿勢の検出精度が低下し得る状態である場合に、車両11の姿勢の検出を停止する。例えば、車両11がオフロードなど平坦ではない路面を走行している状態である場合、1以上の車輪が路面に接地していない瞬間が存在し得る。かかる場合、車両11の姿勢の検出精度が低下し得る。具体的には、姿勢検出装置13は、車両11の状態を示す多様な車両情報を、ネットワーク20を介して車両11側から取得する。車両情報は、例えば車両11の振動を示す情報を含んでもよい。かかる場合、姿勢検出装置13は、車両11の振動の振幅が所定の閾値以上であると判定した場合、車両11の姿勢の検出を停止する。車両情報は、車両11が走行中の路面の状態を示す情報を含んでもよい。かかる場合、姿勢検出装置13は、路面が平坦ではないと判定した場合、または路面がオフロードであると判定した場合、車両11の姿勢の検出を停止する。
上述の実施形態において、画像処理システム10が左サイドカメラ12aを用いて行う動作は、左サイドカメラ12aに替えて右サイドカメラ12bを用いて行ってもよい。例えば、上述の実施形態の説明において、「左サイドカメラ12a」および「左側」などの文言を、それぞれ「右サイドカメラ12b」および「右側」と読み替えてもよい。
上述した実施形態において、左サイドカメラ12aの撮像画像における左側前輪24および左側後輪25の位置に基づいて、車両11の前後方向の傾きαを、車両11の姿勢として検出する構成について説明したが、車両11の姿勢の検出方法はこれに限られない。車両11が備える4個の車輪のうち、1以上の撮像画像における任意の2つの車輪の位置に基づいて、第1方向の傾きが算出可能である。類似して、車両11が備える4個の車輪のうち、1以上の撮像画像における任意の3つの車輪の位置に基づいて、第1方向の傾き、第2方向の傾き、および車両11の高さが算出可能である。
上述の実施形態に係る画像処理システム10の各構成要素は、例えば携帯電話またはスマートフォンなどの情報処理装置として実現され、車両11と有線または無線によって接続されてもよい。
10 画像処理システム
11 車両
12 撮像装置
12a 左サイドカメラ
12b 右サイドカメラ
12c リアカメラ
13 姿勢検出装置
14 画像処理装置
15 撮像光学系
16 撮像素子
17 入出力インターフェース
18 メモリ
19 プロセッサ
20 ネットワーク
21 入出力インターフェース
22 メモリ
23 プロセッサ
24 左側前輪
25 左側後輪
26 車両の一部
27 右側前輪
28 入出力インターフェース
29 メモリ
30 プロセッサ
11 車両
12 撮像装置
12a 左サイドカメラ
12b 右サイドカメラ
12c リアカメラ
13 姿勢検出装置
14 画像処理装置
15 撮像光学系
16 撮像素子
17 入出力インターフェース
18 メモリ
19 プロセッサ
20 ネットワーク
21 入出力インターフェース
22 メモリ
23 プロセッサ
24 左側前輪
25 左側後輪
26 車両の一部
27 右側前輪
28 入出力インターフェース
29 メモリ
30 プロセッサ
Claims (10)
- 車両の車輪を撮像した撮像画像を取得する入出力インターフェースと、
前記撮像画像における前記車輪の位置に基づいて、前記車両の姿勢を検出するプロセッサと、
を備える、車両の姿勢検出装置。 - 請求項1に記載の姿勢検出装置であって、
前記プロセッサは、前記撮像画像における前記車輪の絶対位置に基づいて、前記車両の姿勢を検出する、姿勢検出装置。 - 請求項1に記載の姿勢検出装置であって、
前記撮像画像は、前記車輪および前記車両の一部を撮像した画像であり、
前記プロセッサは、前記撮像画像における、前記車両の前記一部に対する前記車輪の相対位置に基づいて、前記車両の姿勢を検出する、姿勢検出装置。 - 請求項1乃至3の何れか一項に記載の姿勢検出装置であって
前記入出力インターフェースは、複数の前記車輪を撮像した複数の前記撮像画像を取得し、
前記プロセッサは、前記複数の撮像画像における前記複数の車輪の位置に基づいて、前記車両の姿勢を検出する、姿勢検出装置。 - 請求項1乃至4の何れか一項に記載の姿勢検出装置であって、
前記プロセッサは、前記車両の第1方向の傾き、前記車両の第2方向の傾き、および、前記車両の高さのうち、少なくとも1つを前記車両の姿勢として検出する、姿勢検出装置。 - 請求項1乃至5の何れか一項に記載の姿勢検出装置であって、
前記撮像画像における前記車輪の位置と、前記車両の姿勢を検出するために用いられるパラメータと、の対応関係を示す第1対応情報を記憶するメモリをさらに備え、
前記プロセッサは、前記第1対応情報に基づいて、前記撮像画像における前記車輪の位置に対応するパラメータを抽出し、該パラメータを用いる演算の結果を、前記車両の姿勢として検出する、姿勢検出装置。 - 請求項1乃至5の何れか一項に記載の姿勢検出装置であって、
前記撮像画像における前記車輪の位置と、前記車両の姿勢を示す姿勢情報と、の対応関係を示す第2対応情報を記憶するメモリをさらに備え、
前記プロセッサは、前記第2対応情報に基づいて、前記撮像画像における前記車輪の位置に対応する姿勢情報を取得し、該姿勢情報に示される姿勢を前記車両の姿勢として検出する、姿勢検出装置。 - 車両の車輪を撮像した撮像画像を生成する撮像装置と、
前記撮像画像における前記車輪の位置に基づいて、前記車両の姿勢を検出する姿勢検出装置と、
検出された前記姿勢に基づいて、前記撮像画像に画像を重畳させる位置、および、前記撮像画像における画像処理範囲のうち、少なくとも一方を決定する画像処理装置と、
を備える、画像処理システム。 - 車輪と、
前記車輪を撮像した撮像画像を生成する撮像装置と、
前記撮像画像における前記車輪の位置に基づいて、車両の姿勢を検出する姿勢検出装置と、
検出された前記姿勢に基づいて、前記撮像画像に画像を重畳させる位置、および、前記撮像画像における画像処理範囲のうち、少なくとも一方を決定する画像処理装置と、
を備える、車両。 - 姿勢検出装置が実行する車両の姿勢検出方法であって、
車両の車輪を撮像した撮像画像を取得し、
前記撮像画像における前記車輪の位置に基づいて、前記車両の姿勢を検出する、姿勢検出方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016065962 | 2016-03-29 | ||
JP2016065962 | 2016-03-29 | ||
PCT/JP2017/010266 WO2017169752A1 (ja) | 2016-03-29 | 2017-03-14 | 車両の姿勢検出装置、画像処理システム、車両、および車両の姿勢検出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2017169752A1 true JPWO2017169752A1 (ja) | 2019-01-10 |
Family
ID=59965227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018508978A Pending JPWO2017169752A1 (ja) | 2016-03-29 | 2017-03-14 | 車両の姿勢検出装置、画像処理システム、車両、および車両の姿勢検出方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20200111227A1 (ja) |
EP (1) | EP3437948A4 (ja) |
JP (1) | JPWO2017169752A1 (ja) |
WO (1) | WO2017169752A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102601353B1 (ko) * | 2018-11-21 | 2023-11-14 | 현대모비스 주식회사 | 초음파 센서의 높이 보상장치 및 그 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003309844A (ja) * | 2002-04-18 | 2003-10-31 | Nissan Motor Co Ltd | 車両用表示装置 |
WO2013145015A1 (ja) * | 2012-03-29 | 2013-10-03 | トヨタ自動車株式会社 | 路面状態推定装置 |
JP2013203186A (ja) * | 2012-03-28 | 2013-10-07 | Honda Motor Co Ltd | 先行車姿勢検出装置 |
JP2016021653A (ja) * | 2014-07-14 | 2016-02-04 | アイシン精機株式会社 | 周辺監視装置、及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BE1014606A3 (nl) * | 2002-02-05 | 2004-01-13 | Krypton Electronic Eng Nv | Werkwijze voor het dynamisch meten van de positie en orientatie van een wiel. |
CA2589303C (en) * | 2004-11-26 | 2010-05-04 | Honda Motor Co., Ltd. | Vehicle lamp inspection equipment and inspection method |
JP6361382B2 (ja) * | 2014-08-29 | 2018-07-25 | アイシン精機株式会社 | 車両の制御装置 |
-
2017
- 2017-03-14 JP JP2018508978A patent/JPWO2017169752A1/ja active Pending
- 2017-03-14 EP EP17774296.2A patent/EP3437948A4/en not_active Withdrawn
- 2017-03-14 US US16/088,493 patent/US20200111227A1/en not_active Abandoned
- 2017-03-14 WO PCT/JP2017/010266 patent/WO2017169752A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003309844A (ja) * | 2002-04-18 | 2003-10-31 | Nissan Motor Co Ltd | 車両用表示装置 |
JP2013203186A (ja) * | 2012-03-28 | 2013-10-07 | Honda Motor Co Ltd | 先行車姿勢検出装置 |
WO2013145015A1 (ja) * | 2012-03-29 | 2013-10-03 | トヨタ自動車株式会社 | 路面状態推定装置 |
JP2016021653A (ja) * | 2014-07-14 | 2016-02-04 | アイシン精機株式会社 | 周辺監視装置、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3437948A4 (en) | 2019-11-27 |
US20200111227A1 (en) | 2020-04-09 |
WO2017169752A1 (ja) | 2017-10-05 |
EP3437948A1 (en) | 2019-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101787304B1 (ko) | 교정 방법, 교정 장치 및 컴퓨터 프로그램 제품 | |
US20150042800A1 (en) | Apparatus and method for providing avm image | |
WO2019123840A1 (ja) | 撮像装置、撮像システム、および表示システム | |
JP6565188B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
WO2015145543A1 (ja) | 物体検出装置、物体検出方法、および移動ロボット | |
US10704957B2 (en) | Imaging device and imaging method | |
EP3002727B1 (en) | Periphery monitoring apparatus and periphery monitoring system | |
JP6306735B2 (ja) | ステレオカメラ装置及びステレオカメラ装置を備える車両 | |
JP6816769B2 (ja) | 画像処理装置と画像処理方法 | |
JP6589313B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
US20230209221A1 (en) | Solid-state image pickup apparatus, correction method, and electronic apparatus | |
JP2018169517A (ja) | 撮像装置、撮像モジュールおよび撮像装置の制御方法 | |
WO2018016150A1 (ja) | 画像処理装置と画像処理方法 | |
JPWO2015129280A1 (ja) | 画像処理装置および画像処理方法 | |
JP6337504B2 (ja) | 画像処理装置、移動体、ロボット、機器制御方法およびプログラム | |
JP6407596B2 (ja) | 画像処理装置、及び、運転支援システム | |
JP2018170656A (ja) | 撮像装置、撮像モジュール、撮像システムおよび撮像装置の制御方法 | |
WO2017169752A1 (ja) | 車両の姿勢検出装置、画像処理システム、車両、および車両の姿勢検出方法 | |
US11368620B2 (en) | Image processing apparatus, image processing method, and electronic device | |
EP4235574A1 (en) | Measuring device, moving device, measuring method, and storage medium | |
WO2016121406A1 (ja) | 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法 | |
JP7170167B2 (ja) | 撮像装置、表示システム、および撮像システム | |
KR20150009763A (ko) | 카메라 시스템 및 카메라 시스템의 제어 방법 | |
WO2015115103A1 (ja) | 画像処理装置、カメラシステム、および画像処理方法 | |
JP2018006889A (ja) | 画像処理装置、車載カメラ装置、および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190514 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191203 |