JP2019201301A - 撮像システム - Google Patents

撮像システム Download PDF

Info

Publication number
JP2019201301A
JP2019201301A JP2018094238A JP2018094238A JP2019201301A JP 2019201301 A JP2019201301 A JP 2019201301A JP 2018094238 A JP2018094238 A JP 2018094238A JP 2018094238 A JP2018094238 A JP 2018094238A JP 2019201301 A JP2019201301 A JP 2019201301A
Authority
JP
Japan
Prior art keywords
imaging device
vehicle
imaging
information
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018094238A
Other languages
English (en)
Inventor
康平 門下
Kohei Kadoshita
康平 門下
大祐 片岡
Daisuke Kataoka
大祐 片岡
俊樹 小野
Toshiki Ono
俊樹 小野
雅章 座間
Masafumi ZAMA
雅章 座間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2018094238A priority Critical patent/JP2019201301A/ja
Priority to PCT/JP2019/019194 priority patent/WO2019221151A1/ja
Publication of JP2019201301A publication Critical patent/JP2019201301A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】車両の進行方向に対する測距の精度低下を良好に回避する。【解決手段】車両に搭載された第1の撮像装置と第2の撮像装置を備える。第1の撮像装置は第1の画角を有し、第2の撮像装置は第1の画角よりも小さな第2の画角を有する。駆動部により、第2の撮像装置の撮像範囲を移動させるように、第2の撮像装置が駆動される。制御部により、車両の進行に係る情報に基づいて、駆動部が制御される。【選択図】図4

Description

本技術は、撮像システムに関して、詳しくは、車両に搭載される撮像装置を備える撮像システムに関する。
従来の車載ステレオカメラにおける測距は、車両のフロントガラス中心上部付近の同種2眼カメラの視差画像より実現されている。この車載ステレオカメラは、カメラが車両に固定されているため、カメラの撮像範囲は車両に対して常に固定された状態にある。運転状況によっては、車両のフロント方向と車両の進行方向にズレが生じるため、車両の進行方向に対する測距の精度が低下する懸念があった。
例えば、特許文献1には、車両の進行方向の変化に応じてステレオカメラの視線方向を制御する移動体システムが提案されている。この移動体システムにおいては、ステレオカメラの全体を回転制御するものであり、可動域が大きくなるという機構上の問題があった。
特開2016−131367号公報
本技術の目的は、車両の進行方向に対する測距の精度低下を良好に回避することにある。
本技術の概念は、
車両に搭載され、第1の画角を有する第1の撮像装置と、
前記車両に搭載され、前記第1の画角よりも小さな第2の画角を有する第2の撮像装置と、
前記第2の撮像装置の撮像範囲を移動させるように前記第2の撮像装置を駆動する駆動部と、
前記車両の進行に係る情報に基づいて前記駆動部を制御する制御部を備える
撮像システムにある。
本技術においては、車両に搭載される第1の撮像装置と第2の撮像装置を備えている。第1の撮像装置は、第1の画角を有している。第2の撮像装置は、第1の画角よりも小さな第2に画角を有している。駆動部により、第2の撮像装置の撮像範囲を移動させるように第2の撮像装置が駆動される。例えば、駆動部は、第2の撮像装置の撮像範囲を移動させるように第2の撮像装置を回転駆動する、ようにされてもよい。また、例えば、駆動部は、第2の撮像装置の撮像範囲が第1の撮像装置の撮像範囲を越えない範囲で第2の撮像装置を駆動する、ようにされてもよい。また、例えば、駆動部は、第2の撮像装置を横方向および縦方向に駆動可能に構成される、ようにされてもよい。
制御部により、車両の進行に係る情報に基づいて駆動部が制御される。例えば、情報は、カーブ情報である、ようにされてもよい。また、例えば、情報は、地図情報である、ようにされてもよい。また、例えば、情報は、車両に搭載されている車両制御部から与えられる、ようにされてもよい。また、例えば、情報は、車両に搭載されているセンサから与えられる、ようにされてもよい。また、例えば、情報は、車両のフロント方向に対する車両の進行方向の角度を示す情報である、ようにされてもよい。
例えば、第1の撮像装置からの画像データと第2の撮像装置からの画像データに基づいて、第2の撮像装置の撮像範囲における視差情報を得る視差判定部をさらに備える、ようにされてもよい。この場合、例えば、視差情報に基づいて、第2の撮像装置の撮像範囲における距離情報を得る距離演算部をさらに備える、ようにされてもよい。また、この場合、例えば、視差情報に基づいて第1の撮像装置からの画像データと第2の撮像装置からの画像データの対応部分が重なるように合成して高解像度画像データを得る画像処理部をさらに備える、ようにされてもよい。
このように本技術においては、第1の画角よりも小さな第2の画角を有する第2の撮像装置を車両の進行に係る情報に基づいて回転駆動するものである。そのため、可動域が大きくなるという機構上の問題を発生させることなく、車両の進行方向に対する測距の精度低下を良好に回避可能となる。
本技術によれば、車両の進行方向に対する測距の精度低下を良好に回避できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
第1の実施の形態としての撮像システムの構成例を示すブロック図である。 第1の撮像装置の撮像範囲ALと第2の撮像装置の撮像範囲ARとの対応関係の一例を示す図である。 従来の車載ステレオカメラについて示す図である。 実施の形態の車載ステレオカメラについて示す図である。 画像処理部の構成例を示すブロック図である。 一般的なカメラモデルを示す図である。 従来の車載ステレオカメラのカメラモデルを示す図である。 実施の形態の車載ステレオカメラのカメラモデルを示す図である。 画像変形の処理を説明するための図である。 高解像度画像データを得るための補間処理を概略的に示す図である。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[撮像システム]
図1は、実施の形態としての撮像システム100の構成例を示している。この撮像システム100は、第1の撮像装置101と、第2の撮像装置102と、駆動部103と、画像処理部104と、車両制御部(ECU:Electronic Control Unit)105と、ステアリング106と、ブレーキ107と、表示部108を有している。
第1の撮像装置101は第1の画角を有する広角カメラであり、第1の撮像装置は第1の画角より小さな第2の画角を有する狭角カメラである。第1の撮像装置(広角カメラ)101と第2の撮像装置(狭角カメラ)102は、画角のみが異なり、同一のイメージセンサ(画素ピッチが共通)が使用されている。これら第1の撮像装置101および第2の撮像装置102は、車両に搭載された車載ステレオカメラ111を構成している。第1の撮像装置101は、車両のフロント方向を撮像するように当該車両に固定されている。一方、第2の撮像装置102は、車両のフロント方向だけでなく、このフロント方向からずれた方向の撮像も可能となるように、例えば、横方向および縦方向に、この実施の形態では横方向に回動可能に車両に取り付けられている。
駆動部103は、モータ等で構成され、車両制御部105の制御のもと、第2の撮像装置102の撮像範囲を左右方向に移動させるように、当該第2の撮像装置102を回転駆動する。この場合、第1の撮像装置101の光軸(視線方向)が車両のフロント方向にあるのに対して、第2の撮像装置102の光軸(視線方向)が車両の進行方向に追従するようにされる。この場合、駆動部103は、第2の撮像装置102の撮像範囲が、第1の撮像装置101の撮像範囲を越えない範囲で第2の撮像装置102を回転駆動する。
図2は、第1の撮像装置(広角カメラ)101の撮像範囲ALと第2の撮像装置(狭角カメラ)102の撮像範囲ARとの対応関係の一例を示している。図示のように、撮像範囲ARは撮像範囲ALに包含される。撮像範囲ALが固定であるのに対して、撮像範囲ARは第2の撮像装置102が回転駆動されることで、矢印で示す横方向(左右方向)に、移動する。なお、図示の撮像範囲ARの位置は、車両の進行方向が車両のフロント方向と一致している場合を示している。
この場合、車両制御部105は、例えば、車両の進行に係る情報に基づいて、駆動部103を制御する。例えば、この情報は、撮像画像データから道路の白線が認識されることで得られるカーブ情報、図示しないナビゲーションシステムからの地図情報、あるいは車両、例えばステアリング106から、あるいは車両に搭載されているセンサ(レーダ、ライダなど)から与えられる車両のフロント方向に対する車両の進行方向の角度を示す情報などである。
図3(a),(b)は、従来の車載ステレオカメラ10について示している。この車載ステレオカメラ10は、同一画角を有する左眼カメラ11および右眼カメラ12からなっている。この車載ステレオカメラ10は、カメラの光軸(視線方向)が車両40のフロント方向と一致するように車両40に固定されているため、カメラの撮像範囲は車両40に対して常に固定された状態にある。図3(a)は、直進状態を示している。この状態では、車両40のフロント方向と車両40の進行方向は一致している。これに対して、図3(b)は、右カーブ状態を示している。この状態では、車両40の進行方向は車両40のフロント方向からずれる。
図4(a),(b)は、この実施の形態の車載ステレオカメラ111について示している。第1の撮像装置(広角カメラ)101に関してはカメラの光軸(視線方向)が車両40のフロント方向と一致するように車両40に固定されているが、第2の撮像装置(狭角カメラ)102に介しては、横方向(左右方向)に回動可能に車両40に取り付けられ、その光軸が車両40の進行方向に追従するようにされている。
図4(a)は、直進状態を示している。この状態では、車両のフロント方向と車両の進行方向は一致している。そのため、第2の撮像装置(狭角カメラ)102の光軸は、第1の撮像装置(広角カメラ)101の光軸と同じように、車両のフロント方向と一致している。これに対して、図4(b)は、右カーブ状態を示している。この状態では、車両の進行方向は車両のフロント方向からずれ、第2の撮像装置(狭角カメラ)102の光軸(視線方向)は車両40の進行方向と一致したものとなる。
図1に戻って、画像処理部104は、第1の撮像装置101からの画像データVLと第2の撮像装置102からの画像データVRに基づいて、第2の撮像装置102の撮像範囲における視差情報を得る。この場合、画像マッチング処理により、第2の撮像装置102の撮像範囲において、対応する第1の撮像装置101の画素が例えばサブピクセル単位で求められることで、視差情報が得られる。そして、画像処理部104は、第2の撮像装置102の撮像範囲の画素毎に、視差情報に基づいて距離(奥行き)を計算してデプスマップを得、車両制御部105に供給する。
また、画像処理部104は、視差情報に基づいて第1の撮像装置101からの画像データVLと第2の撮像装置102からの画像データVRの対応する部分が重なるように合成して、第2の撮像装置102の撮像範囲における高解像度画像データVHを得る。そして、画像処理部104は、この高解像度画像データVHに対して物体認識処理を施して、その認識結果を車両制御部105に供給する。この物体認識処理には、車両、人、道路標識、信号機等の他に、上述した道路の白線認識も含めることができる。このように高解像度画像データを用いた物体認識処理では、進行方向の遠方に存在する物体の認識を精度よく行うことができる。
また、画像処理部104は、第1の撮像装置101からの画像データVLと対して物体認識処理を施して、その認識結果を車両制御部105に供給する。このように第1の撮像装置101からの画像データVLを用いた物体認識処理では、広視野の撮像画像データから物体認識を行うものであり、横から急に出てくる車両や人を認識することが可能となる。
車両制御部105は、画像処理部104から供給されるデプスマップや物体認識結果に基づいて、ステアリング106やブレーキ107を制御し、また、表示部108における警告表示なども制御する。
図5は、画像処理部104の構成例を示している。この画像処理部104は、視差判定部141と、距離計算部142と、画像変形部143と、画像補間部144と、物体認識部145,146を有している。
視差判定部141には、第1の撮像装置(広角カメラ)101で得られた画像データVLが供給されると共に、第2の撮像装置(狭角カメラ)102で得られた画像データVRが供給される。視差判定部141は、例えば、画像データVRを処理して画像データVLと解像度が合った画像データVR´を得る。
視差判定部141は、画像データVR´による画像が画像データVLによる画像の対応位置に配置された状態で、画像マッチング処理を行って、画像データVR´の各画素の視差情報を得る。例えば、画像データVR´の対象画素の位置が(u2,v2)であって、対応した画像データVLの画素位置が(u1,v1)であるとき、これら(u2,v2)、(u1,v1)の位置は画像データVR´の当該対象画素の視差情報を構成する。
距離計算部142は、第2の撮像装置102の撮像範囲の画素毎に、上述した視差情報に基づいて距離(奥行き)を計算してデプスマップを得、そのデプスマップを車両制御部105に供給する。
図6は、一般的なカメラモデルを示している。3次元座標(X,Y,Z)の点Pが画像上の点p(u,v)に写ったとすると、以下の数式(1)が成り立つ。ここで、Kは、カメラ行列、またはカメラの内部パラメータ行列と呼ばれ、(cx,cy)は主点(通常は画像中心)、fはピクセル単位で表される焦点距離である。また、並進-回転の同次変換行列である[R|T]は,外部パラメータ行列と呼ばれる。また、λは、スケールファクタである。
Figure 2019201301
図7は、従来の車載ステレオカメラ10(図3参照)のカメラモデルを示している。3次元座標(X,Y,Z)の点Pが左眼カメラ11による画像上の点p1(u1,v1)に写ったとすると、以下の数式(2)が成り立つ。また、3次元座標(X,Y,Z)の点Pが右眼カメラ12による画像上の点p2(u2,v2)に写ったとすると、以下の数式(3)が成り立つ。ここで、Bは、基線長である。
Figure 2019201301
この場合、視差dは、以下の数式(4)で表され、距離Zは、以下の数式(5)で計算される。
d=u2−u1 ・・・(4)
Z=Bf/d ・・・(5)
図8は、実施の形態の車載ステレオカメラ111(図4参照)のカメラモデルを示している。3次元座標(X,Y,Z)の点Pが第1の撮像装置101による画像上の点p1(u1,v1)に写ったとすると、以下の数式(6)が成り立つ。また、3次元座標(X,Y,Z)の点Pが第2の撮像装置102による画像上の点p2(u2,v2)に写ったとすると、以下の数式(7)が成り立つ。この場合、(u2,v2)は、以下の数式(8)で示されるY軸周りの回転θを表す回転行列で変換されたものとなっている。
Figure 2019201301
この場合、距離Zは、以下の数式(9)で計算される。つまり、距離計算部142では、第2の撮像装置102の撮像範囲の画素毎に、上述した視差情報(u2,v2 )、(u1,v1)に基づいて、この数式(9)の計算が行われることになる。
Figure 2019201301
図5に戻って、画像変形部143は、第1の撮像装置(広角カメラ)101で得られた画像データVLと第2の撮像装置(狭角カメラ)102で得られた画像データVRの対応部分が重なるように、画像データVLに対して変形処理をする。この場合、画像変形部143は、視差判定部141で得られた視差情報に基づいて画像データVR´の各画素に対応した画像データVLの画素を把握し、当該画像データVLの画素を画像データVRの対応する画素に重なるように、視差情報に基づいて移動させる。これにより、画像変形部143は、第2の撮像装置(狭角カメラ)102の撮像範囲に対応した変形画像データVLaを得る。
例えば、図9に示すように、第2の撮像装置(狭角カメラ)102の撮像範囲AR内の点(画素)P21に第1の撮像装置(広角カメラ)101の撮像範囲AL内の点(画素)P11が対応していることが把握された場合、撮像範囲AL内の点(画素)P11が撮像範囲AR内の点(画素)P21と重なるように視差情報に基づいて移動される。また、同様に、図9に示すように、第2の撮像装置(狭角カメラ)の撮像範囲AR内の点(画素)P22に第1の撮像装置(広角カメラ)の撮像範囲AL内の点(画素)P12が対応していることが把握された場合、撮像範囲AL内の点(画素)P12が撮像範囲AR内の点(画素)P22と重なるように視差情報に基づいて移動される。
図5に戻って、画像補間部144は、画像データVRと変形画像データVLaとを用いた補間処理を行って高解像度画像データVHを得る。図10は、補間処理を概略的に示している。図10(a)は、画像変形部143で変形処理される前の画像データVLと画像データVRのそれぞれの画素の対応関係の一例を示している。上述したように、第1の撮像装置(広角カメラ)101と第2の撮像装置(狭角カメラ)102は、画角のみが異なり、同一のイメージセンサ(画素ピッチが共通)からなっている。従って、この場合、画像データVLが広角撮像に係るものであるのに対して画像データVRは狭角撮像に係るものであることから、画素データVRの画素間隔dRは画像データVLの画素間隔dLより短くなっている。
図10(b)は、画像変形部143で変形処理された後の画像データVLaと画像データVRのそれぞれの画素と、補間処理によって得られる高解像度画像データVHの画素との対応関係の一例を示している。図示の例においては、画像データVLの画素P1が対応する画像データVRの画素P2と重なるように変形された状態を示している。高解像度画像データVHの各画素は、画像データVLaと画像データVRの画素を用いて、画素間隔dRよりも短い画素間隔dHで生成されている。
図5に戻って、物体認識部145は、画像補間部144で得られた第2の撮像装置(狭角カメラ)102の撮像範囲に対応した高解像度画像データVHに基づいて物体認識を行い、その認識結果を車両制御部105に供給する。この場合、物体認識部145は、周知の物体認識技術を用いて、車両、歩行者、道路標識、信号機等の物体を認識する。このように高解像度画像データVHを用いた物体認識処理では、遠方に存在する物体の認識を精度よく行うことができる。
また、物体認識部146は、第1の撮像装置(広角カメラ)101で得られた画像データVLに基づいて物体認識を行い、その認識結果を車両制御部105に供給する。この場合、物体認識部146は、周知の物体認識技術を用いて、車両、歩行者、道路標識、信号機等の物体を認識する。このように画像データVLを用いた物体認識処理では、広視野の画像データから物体認識を行うものであり、横から急に出てくる車両や人の認識も可能となる。
以上説明したように、図1に示す撮像システム100においては、車載ステレオカメラ11を構成する第2の撮像装置(狭角カメラ)102を車両の進行に係る情報に基づいて回転駆動するものである。そのため、可動域が大きくなるという機構上の問題を発生させることなく、車両の進行方向に対する測距の精度低下を良好に回避できる。
また、図1に示す撮像システム100においては、車載ステレオカメラ111を構成する第2の撮像装置(狭角カメラ)102のみを車両の進行に係る情報に基づいて回転駆動し、車載ステレオカメラ111を構成する第1の撮像装置(広角カメラ)101については、車両のフロント方向を撮像するように当該車両に固定しておくものである。そのため、進行方向追従による視野はずれの発生を回避できる。
また、図1に示す撮像システム100においては、視差情報に基づいて第1の撮像装置(広角カメラ)101からの画像データVLと第2の撮像装置(狭角カメラ)102からの画像データVRの対応する部分が重なるように合成して、第2の撮像装置102の撮像範囲における高解像度画像データVHを得るものである。そのため、進行方向の遠方に存在する物体の認識を精度よく行うことができる。
<2.変形例>
なお、上述実施の形態においては、本技術が車に適用され、第2の撮像装置(狭角カメラ)102が横方向に回転駆動される例、つまりY軸を中心に回転駆動される例を示した。そのために、第2の撮像装置102による画像上の点p2(u2,v2)をY軸周りの回転θを表す回転行列(数式(8)参照)で座標変換をするものとしている。
しかし、本技術の撮像システムは、車の他にドローン等の移動体に搭載し得るものである。この場合、Y軸周りの回転θの他に、X軸周りの回転θやZ軸周りの回転θも考慮することが必要となる。その際には、第2の撮像装置102による画像上の点p2(u2,v2)を、以下の数式(10)、(11)、(12)で示されるX軸周り、Y軸周り、Z軸周りの回転を示す回転行列で座標変換をするものとして、同様に適用できる。
Figure 2019201301
また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本技術は、以下のような構成を取ることもできる。
(1)車両に搭載され、第1の画角を有する第1の撮像装置と、
前記車両に搭載され、前記第1の画角よりも小さな第2の画角を有する第2の撮像装置と、
前記第2の撮像装置の撮像範囲を移動させるように前記第2の撮像装置を回転駆動する駆動部と、
前記車両の進行に係る情報に基づいて前記駆動部を制御する制御部を備える
撮像システム。
(2)前記駆動部は、前記第2の撮像装置の撮像範囲を移動させるように前記第2の撮像装置を回転駆動する
前記(1)に記載の撮像システム。
(3)前記駆動部は、前記第2の撮像装置の撮像範囲が前記第1の撮像装置の撮像範囲を越えない範囲で前記第2の撮像装置を駆動する
前記(1)または(2)に記載の撮像システム。
(4)前記駆動部は、前記第2の撮像装置を横方向および縦方向に駆動可能に構成される
前記(1)から(3)のいずれかに記載の撮像システム。
(5)前記情報は、カーブ情報である
前記(1)から(4)のいずれかに記載の撮像システム。
(6)前記情報は、地図情報である
前記(1)から(4)のいずれかに記載の撮像システム。
(7)
前記情報は、前記車両のフロント方向に対する前記車両の進行方向の角度を示す情報である
前記(1)から(4)のいずれかに記載の撮像システム。
(8)前記情報は、前記車両に搭載されている車両制御部から与えられる
前記(1)から(7)のいずれかに記載の撮像システム。
(9)前記情報は、前記車両に搭載されているセンサから与えられる
前記(1)から(7)のいずれかに記載の撮像システム。
(10)前記第1の撮像装置からの画像データと前記第2の撮像装置からの画像データに基づいて、前記第2の撮像装置の撮像範囲における視差情報を得る視差判定部をさらに備える
前記(1)から(9)のいずれかに記載の撮像システム。
(11)上記視差情報に基づいて、前記第2の撮像装置の撮像範囲における距離情報を得る距離演算部をさらに備える
前記(10)に記載の撮像システム。
(12)前記視差情報に基づいて前記第1の撮像装置からの画像データと前記第2の撮像装置からの画像データの対応部分が重なるように合成して高解像度画像データを得る画像処理部をさらに備える
前記(10)または(11)に記載の撮像システム。
100・・・カメラシステム
101・・・第1の撮像装置(広角カメラ)
102・・・第2の撮像装置(狭角カメラ)
103・・・駆動部
104・・・画像処理部
105・・・車両制御部
106・・・ステアリング
107・・・ブレーキ
108・・・表示部
111・・・車載ステレオカメラ

Claims (12)

  1. 車両に搭載され、第1の画角を有する第1の撮像装置と、
    前記車両に搭載され、前記第1の画角よりも小さな第2の画角を有する第2の撮像装置と、
    前記第2の撮像装置の撮像範囲を移動させるように前記第2の撮像装置を駆動する駆動部と、
    前記車両の進行に係る情報に基づいて前記駆動部を制御する制御部を備える
    撮像システム。
  2. 前記駆動部は、前記第2の撮像装置の撮像範囲を移動させるように前記第2の撮像装置を回転駆動する
    請求項1に記載の撮像システム。
  3. 前記駆動部は、前記第2の撮像装置の撮像範囲が前記第1の撮像装置の撮像範囲を越えない範囲で前記第2の撮像装置を駆動する
    請求項1に記載の撮像システム。
  4. 前記駆動部は、前記第2の撮像装置を横方向および縦方向に駆動可能に構成される
    請求項1に記載の撮像システム。
  5. 前記情報は、カーブ情報である
    請求項1に記載の撮像システム。
  6. 前記情報は、地図情報である
    請求項1に記載の撮像システム。
  7. 前記情報は、前記車両のフロント方向に対する前記車両の進行方向の角度を示す情報である
    請求項1に記載の撮像システム。
  8. 前記情報は、前記車両に搭載されている車両制御部から与えられる
    請求項1に記載の撮像システム。
  9. 前記情報は、前記車両に搭載されているセンサから与えられる
    請求項1に記載の撮像システム。
  10. 前記第1の撮像装置からの画像データと前記第2の撮像装置からの画像データに基づいて、前記第2の撮像装置の撮像範囲における視差情報を得る視差判定部をさらに備える
    請求項1に記載の撮像システム。
  11. 上記視差情報に基づいて、前記第2の撮像装置の撮像範囲における距離情報を得る距離演算部をさらに備える
    前記10に記載の撮像システム。
  12. 前記視差情報に基づいて前記第1の撮像装置からの画像データと前記第2の撮像装置からの画像データの対応部分が重なるように合成して高解像度画像データを得る画像処理部をさらに備える
    前記10に記載の撮像システム。
JP2018094238A 2018-05-16 2018-05-16 撮像システム Pending JP2019201301A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018094238A JP2019201301A (ja) 2018-05-16 2018-05-16 撮像システム
PCT/JP2019/019194 WO2019221151A1 (ja) 2018-05-16 2019-05-14 撮像システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018094238A JP2019201301A (ja) 2018-05-16 2018-05-16 撮像システム

Publications (1)

Publication Number Publication Date
JP2019201301A true JP2019201301A (ja) 2019-11-21

Family

ID=68540083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018094238A Pending JP2019201301A (ja) 2018-05-16 2018-05-16 撮像システム

Country Status (2)

Country Link
JP (1) JP2019201301A (ja)
WO (1) WO2019221151A1 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3416921B2 (ja) * 1995-09-29 2003-06-16 アイシン精機株式会社 ステア型撮影装置
JP4622928B2 (ja) * 2006-04-14 2011-02-02 トヨタ自動車株式会社 車載カメラ制御装置および車載カメラ制御方法。
CN102132557B (zh) * 2008-09-03 2013-07-24 三菱电机株式会社 车用拍摄***
JP5233583B2 (ja) * 2008-10-24 2013-07-10 株式会社リコー 車載用監視装置
JP2010154304A (ja) * 2008-12-25 2010-07-08 Zhencheng Hu 移動体カメラシステム及び駆動方法
JP2017069926A (ja) * 2015-10-02 2017-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2017220051A (ja) * 2016-06-08 2017-12-14 ソニー株式会社 画像処理装置、画像処理方法、および車両

Also Published As

Publication number Publication date
WO2019221151A1 (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
US10857942B2 (en) Image generating device, image generating method, and program
KR100414708B1 (ko) 화상합성장치 및 방법
US10366512B2 (en) Around view provision apparatus and vehicle including the same
CN103946066B (zh) 车辆周边监视装置和车辆周边监视方法
JP4475308B2 (ja) 表示装置
US8559674B2 (en) Moving state estimating device
US11703326B2 (en) Stereo camera apparatus, vehicle, and parallax calculation method
CN110786004B (zh) 显示控制装置、显示控制方法及存储介质
JP5669791B2 (ja) 移動体の周辺画像表示装置
CN103140377A (zh) 用于在显示装置上显示图像的方法和驾驶员辅助***
JPWO2011007484A1 (ja) 運転支援装置、運転支援方法及びプログラム
US11145112B2 (en) Method and vehicle control system for producing images of a surroundings model, and corresponding vehicle
JP2017220760A (ja) 車両用画像処理装置
JP2004240480A (ja) 運転支援装置
WO2016129552A1 (ja) カメラパラメータ調整装置
US9849835B2 (en) Operating a head-up display of a vehicle and image determining system for the head-up display
CN105793909B (zh) 用于借助车辆周围环境的通过摄像机采集的两个图像产生警告的方法和设备
CN112298040A (zh) 一种基于透明a柱的辅助驾驶方法
JPH0717328A (ja) 車両用周辺認識補助装置
JP2010154304A (ja) 移動体カメラシステム及び駆動方法
WO2019123795A1 (ja) 画像処理装置と画像処理方法およびプログラム
JPWO2019142660A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
CN109345591A (zh) 一种车辆自身姿态检测方法和装置
WO2019021591A1 (ja) 画像処理装置と画像処理方法とプログラムおよび画像処理システム
JP2016213708A (ja) 車両用表示装置