JP4104631B2 - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
JP4104631B2
JP4104631B2 JP2006086476A JP2006086476A JP4104631B2 JP 4104631 B2 JP4104631 B2 JP 4104631B2 JP 2006086476 A JP2006086476 A JP 2006086476A JP 2006086476 A JP2006086476 A JP 2006086476A JP 4104631 B2 JP4104631 B2 JP 4104631B2
Authority
JP
Japan
Prior art keywords
distortion correction
vehicle body
image
intensity
lens distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006086476A
Other languages
English (en)
Other versions
JP2007264831A (ja
Inventor
日出人 藤田
洋平 石井
仁志 本郷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2006086476A priority Critical patent/JP4104631B2/ja
Priority to CN2007800114284A priority patent/CN101410868B/zh
Priority to EP07740457.2A priority patent/EP2009590B1/en
Priority to PCT/JP2007/057019 priority patent/WO2007111377A1/ja
Priority to US12/294,829 priority patent/US9308862B2/en
Publication of JP2007264831A publication Critical patent/JP2007264831A/ja
Application granted granted Critical
Publication of JP4104631B2 publication Critical patent/JP4104631B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Lenses (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)

Description

この発明は、運転支援装置に関する。
１．車載カメラ
自動車においては、運転者からの死角を無くし視認性を向上させるカメラの装備が一般的になりつつある。２００６年度には視認用カメラの出荷台数は２００万台を越えると言われている。トラックを含めた国内の新車売上台数が年間６００万台弱であることから、およそ３台に１台は視認用カメラを取り付けている計算になる。
視認用のカメラには、（１）後退時に車両後方映像を表示するリアカメラ、（２）運転者と反対側の前輪部分の映像を表示するフロントサイドカメラ、（３）車両直前の死角を視認するフロントカメラ、（４）狭い路地などからの発進時に発生する側方の死角の映像を表示するサイドブラインドカメラなどがある。現在は、リアカメラが視認用カメラの７７％を占め主流となっている。
視認用の車載カメラでは、少しでも死角を小さくするため、広角の光学系を用いることが一般的である。リアカメラでは、水平面が１００度を越える。このような光学系を備えた車載カメラで撮像された画像には大きな”たる状”の歪曲収差が発生する。この歪みにより、運転者にとって、画像に写る障害物の位置や距離感が直感的に分かりにくくなる問題がある。
２．歪み補正
２．１ 光学処理によるレンズ歪み補正手法
たる型の歪みを補正する方法として大きく２つの方法がある。１つは、光学系の構成を工夫することにより歪みを抑える方法であり、２つめは、画像撮影後にデジタル的な方法で画像を補正する方法である。
光学歪み補正は、非特許文献１、２に示されるように、非球面レンズを用いるなど光学系の構成を工夫することにより補正が実現される。しかし、歪曲収差は画角のほぼ３乗に比例して増大し、車載カメラに用いるような広角の光学系になってくると、光学系の工夫だけで、完全に歪みを補正することは困難である。また、補正の程度は光学系の設計段階で決まってしまい、ユーザが使用する段階で、歪みの程度を調整することは難しい。さらに、非球面レンズは金型を用いて生産するため、初期投資が大きくなる問題もある。
２．２ 画像処理によるレンズ歪み補正手法
画像処理によってカメラのレンズ歪みを補正する手法としては、Tsaiの手法（非特許文献３、４参照) やZhengyou Zhangが提案したアルゴリズム（非特許文献５、６参照) がよく用いられている。本手法は、コンピュータプログラムとして実装したライブラリとしても提案されており（非特許文献７参照) 、本発明の歪み補正にも利用できる。
提供されているライブラリでは、図１に示すような平面上にある規則的な既知パターンを、カメラと平面の相対関係を変更しながら撮影した複数の画像を用いて、カメラの歪み補正を行うための４個のパラメータ（ｋ1 ，ｋ2 ，ｐ1 ，ｐ2 ）を算出する。これらのパラメータは、歪み補正強度を制御するパラメータである。これらのパラメータの値が大きいほど歪み補正強度が大きくなる。これらのパラメータを用いて、次式（１）を用いて取得画像の座標位置（ｘ’，ｙ’）と歪み補正後の座標値（ｘ，ｙ）の対応関係を求めることができる。ただし、座標位置は、画像の中心を原点として、水平方向にｘ座標を、垂直方向にｙ座標をとった座標系で表されている。式（１）中において、ｒ2 ＝ｘ2 ＋ｙ2 である。
ｘ’＝ｘ＋ｘ（ｋ1 ｒ2 ＋ｋ2 ｒ4 ）＋２ｐ1 ｘｙ＋ｐ2 （ｒ2 ＋２ｘ2 ）
ｙ’＝ｙ＋ｙ（ｋ1 ｒ2 ＋ｋ2 ｒ4 ）＋２ｐ1 ｘｙ＋ｐ2 （ｒ2 ＋２ｙ2 ）…（１）
本手法を用いて、歪み補正を行った画像の例の模式図を図２に示す。図２（ａ）は図１の既知パターンを撮影した原画像を、図２（ｂ）は歪み補正全体画像を、図２（ｃ）は歪み補正切出し画像を示している。広角カメラを用いた場合には、原画像のようにたる型の歪みが発生することが多く、歪みを補正すると、矩形の角の４箇所が広がった「歪み補正全体画像」のような画像となる。また、基本的には歪み部分を広げる変換を行うため、画像サイズは原画像よりも大きくなる。
一般には、これらの画像は視認性が低下するとの判断により、「歪み補正全体画像」内から矩形領域（図２（ｂ）において破線の矩形枠で囲まれた領域) を切出した「歪み補正切出画像」を表示に用いることが多い。「歪み補正全体画像」から内部の矩形領域を切出す際には、歪み補正の際広がった画像の角の４箇所部分は破棄されるため、原画像で取得していた情報の一部を表示しないことになる。そのため、閲覧者の視認性は向上するかもしれないが、画像全体の情報量は低下している。なお、歪み補正や切出しの際には、表示系の画像解像度に応じて、拡大や縮小の処理を伴う場合がある。
歪み補正をハードウェアにより行う手段として、予め補正前後のアドレスを対応づけた補正テーブル（ルックアップテーブル）を準備し、このルックアップテーブルにしたがって、画素のアドレスを変換する方法が考えられる。歪みは２次元の形状を持つことと、補正後の画素アドレスが必ずしも補正前の整数アドレスに対応しないことにより、１画面分の入力画像を記憶するフレームメモリと、画素を補間する補間演算回路が必要となり回路規模が大きくなる問題がある。
特許文献１では、歪み補正を水平方向に対して行うことにより、ラインメモリと２画素の補間回路で歪み補正を行うことが提案されている。また、特許文献２では、補間回路の構成を簡略化することと歪み補正により発生する画像４隅の欠けを回避する目的で、画像のＸ軸、Ｙ軸を２段階に分けて順次処理する手法を提案している。これらの特許文献１、２では、回路の簡素化が主目的であり、ユーザの可観測性を向上させるために、歪み補正の強度を制御する考えはない。
デジタルカメラの歪みを補正する目的でも、デジタル歪み補正が提案されている（非特許文献８参照）。デジタル歪み補正では、歪み補正のパラメータを変換することで、歪みの強度を変更すること、歪み補正の精度を向上させることなどが可能である。しかし、ここでは、光軸を中心に点対称に分布する歪みを一様に減少させることが目的となっている。
３．車載カメラの歪み補正・画像変換
車載用カメラでも、運転者の視認を行いやすくするために、様々な提案が行われている。
特許文献３では、歪みを完全に補正することが必ずしも運転者の認知性（特に距離感）向上に有利でないとして、縦および横方向に緩やかな歪みを与えることで距離感を保存するような歪み補正を提案している。この提案では、認知性の向上に主眼がおかれ、画角を保存するとの考えはない。また、歪みをゆるやかに変換させることのみ記述され、画像を領域に分けて歪み補正の強度を変更する概念はない。
特許文献４では、トレーラを牽引するためのヒッチを持つ車両において、ヒッチ部分を抽出して拡大表示する手法が提案されている。この提案では、ヒッチ部分と広範囲画像を同時に別々の画像として表示することが提案されており、歪み補正の強度を制御する概念はない。
特許文献５では、９０度以上の広角を撮影するカメラにおいて、注目領域の画像を部分的に抜き出すと同時に、歪みを補正する手法が提案されている。この提案では、一律に歪み補正をかけた上で、画像を抜き出すのと等価であり、歪み補正の強度を制御する概念はない。
特許文献６では、プリズム様の光学部材を用いることで光学的にゆるやかな歪み補正を与えることを提案している。この提案でも、歪みをゆるやかに変化させることのみ記述され、画像を領域に分けて歪み補正の強度を変更する概念はない。また、光学式の歪み補正であるため光学系を設計後に歪み補正の強度を変更することはできず、補正強度を車両への搭載状態に応じて調整する概念はない。
車両の姿勢や周囲の状況を把握しやすくする目的で、カメラの位置や角度を仮想的に変換する方法が提案されている。特許文献７では、車両後方カメラの取り付け高さを仮想的に変換することで、車両に近い領域と遠い領域の見えの違いを小さくすることや、カメラの前後方向の取り付け位置を仮想的に変換することで、視界の不要領域となるバンパーの写りを小さくする手法が提案されている。
国内自動車メーカのオプションに採用されるバックカメラ（非特許文献９参照）や特許文献８では、カメラを仮想的に鉛直下方に向けることで、道路の駐車線と自車の位置関係をわかりやすく表示している。これらの提案では、認知性の向上に主眼がおかれ、画角については犠牲になっている。
車幅延長線や進路予想線を正確に表示するには車体に対するカメラ取り付けの精度が求められる。また、上記に記載したような画像の座標変換を行うような高機能なカメラにおいてもカメラ取り付けの精度は重要である。カメラの取り付けを調整し検査する手法も重要となってくる。
特許文献９では、取り付けたカメラの角度が画像変換による微調整可能範囲であるかどうか、あるいは、角度の調整方法を作業者に示すために、車両前方の所定位置に設置する基準テストパターンと、撮影画像の所定位置に表示する判定パターンを比較する手法を提案している。この特許では、カメラの角度調整にのみ注目しており、歪み係数を調整する概念はない。
特許文献１０では、カメラの取り付け位置、角度、レンズ光軸のずれを補正する目的で、カメラ前の所定位置に設置するテストパターンと、車両に対する設計値として決まる基準位置から算出されるテストパターンの理想撮像位置を比較する手法を提案している。この特許では歪み係数を含めたカメラパラメータを、テストパターンの実撮像位置と理想撮像位置のずれから算出することを提案しているが、歪み係数を調整するための提案はない。
特許第３０４７５８１号公報 「画像歪み補正方法及び装置」 ラインメモリを用いた歪み補正 特許第３４５１０１７号公報 「画像処理方法及び装置」 水平、垂直の２段階補歪み補正 特開２００３−１２３０６４号公報 「画像変換装置並びにそれを組み込んだ撮像及び／又は表示装置」 特許第３４８３１４３号公報 「運転支援装置」トレーラヒッチカメラ 特許第３４４６２７７号公報 「車両用周囲状況表示装置」歪み有り画像からの抜き出し 特許第３４４６９９１号公報 「監視装置」光学系による配分型歪み補正 特許第３６２４７６９号公報 「車両後方監視装置用画像変換装置」カメラ高さを仮想的に変更 特許第３２８６３０６号公報 「画像生成装置、画像生成方法」 路面パノラマ等 特許第３５６５７４９号公報 「車載カメラの撮像方向の検査方法およびその検査装置」 カメラの取り付け画角を検査する方法 特許第３６３２５６３号公報 「映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法」 カメラの車体への取り付け調整方法 フリー百科事典「ウィキペディア(Wikipedia) 」 写真レンズの項 デジタルカメラの最先端技術 第４章 レンズ・光学系設計 （株）技術情報研究会 R.Y.Tsai:A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV camera and lenses;IEEE Journal of Robotics and Automation, RA-3, 4, pp.323-344(1987)． コンピュータビジョン：技術評論と将来展望 1998年 6月 浅田尚紀 Z. Zhang."Flexible Camera Calibration By Viewing a Plane From Unknown Orientations", Proc. of ICCV'99, pp666-673, 1999. Z. Zhang."A Flexible New Technique for Camera Calibration" IEEE,PAMI 22(11), pp 1130-1134, 2000. OpenCV Reference Manual, 6 3D Reconstruction [Camera Calibration],pp6 ＿1-6 ＿3. 「デジタルカメラにおける画像補正技術」Ricoh Technical Report No,31(Dec.,2005) http://www.ricoh.co.jp/about/business overview/report/31/pdf/A3114.pdf スズキ エブリィワゴン用アクセサリー セレクトビューバックアイカメラ http://www.suzuki-accessory.jp/every/navi/99020 ＿b14.html
上述したように、通常車載カメラは広角の光学系が用いられているため、大きなレンズ歪みを持つ。車体真近の障害物と自車を同時に把握できるように、図３に示すように、画像内の一部に車体が写るようにカメラ位置を設定するのが普通である。図３の例は、駐車場が撮影されているが、車体の一部としてリアバンパー（図３に１００で示す）が写っている。車体は、一部が写っている必要があるが、レンズ歪みが大きいと、画像の多くの領域を車体が占めることになる。レンズ歪みに加え、カメラの取付位置が車の中央からオフセットされることが多く、最適なカメラポジションを探すことはさらに難しくなる。
デジタル方式の歪み補正では、ほぼ完全にレンズ歪みを補正することが可能である。図４に歪み補正後の画像を示す。この場合、車体端の歪みがほとんどなく、車体が大きく写りすぎる難点は解消される。しかし、一方で、歪みを解決することにより、対角の情報が欠落することになる。対角の情報とはカメラの上側視野の両側の領域の情報をいい、図３の右上および左上の部分の情報に相当する。例えば、図４に破線で示すように、図３の右上の車両の情報が欠落する。
対角画角が重要であるかどうかは、車体に対するカメラのセッティングにより変わる。カメラの俯角が大きい場合はカメラの上側視野が道路面を撮影する。この場合、道路面には人や車など、自車に干渉する障害物がある可能性があり、重要な領域である。歪み補正により、対角情報が欠落することは好ましくない。カメラの俯角が小さい場合は、カメラの上側視野が道路面より上になってくる。この場合、自車に干渉する障害物がある可能性は低く、また、通常、運転者から直接視認が可能になる。このようなカメラセッティングとなった場合は、対角情報よりも歪みを重視して歪み補正をかけることが可能になる。
この発明は、入力画像に対してレンズ歪み補正を行なう場合に、入力画像を複数の領域に分け、各領域別に歪み補正強度を変えることができる運転支援装置を提供することを目的とする。
請求項１に記載の発明は、車体に搭載されかつ該車体の一部及び該車体の周辺領域を撮像する撮像装置、該撮像装置によって撮像された入力画像に対してレンズ歪み補正を行なうレンズ歪み補正手段、および該レンズ歪み補正手段によって得られた画像を表示するための表示器を備えており、前記レンズ歪み補正手段は、入力画像を前記車体からの距離および前記撮像装置の俯角に応じて前記車体の一部を含む領域と前記車体の一部を含まない１以上の領域に分け、前記車体の一部を含まない各領域に対しては、前記車体から離れるに連れて歪み補正強度が弱くなるようにレンズ歪み補正を行ない、前記車体の一部を含む領域に対しては、一定の強さの歪み補正強度であって、前記車体の一部を含まない各領域に対する歪み補正強度のうち最も強い歪み補正強度以上の歪み補正強度でレンズ歪み補正を行なうものであることを特徴とする。
請求項２に記載の発明は、車体に搭載されかつ該車体の一部及び該車体の周辺領域を撮像する撮像装置、該撮像装置によって撮像された入力画像に対してレンズ歪み補正を行なうレンズ歪み補正手段、および該レンズ歪み補正手段によって得られた画像を表示するための表示器を備えており、前記レンズ歪み補正手段は、入力画像を前記車体からの距離および前記撮像装置の俯角に応じて前記車体の一部を含む領域と前記車体の一部を含まない１以上の領域に分け、前記車体の一部を含まない領域であって、前記車体から最も離れた領域以外の各領域に対しては、前記車体から離れるに連れて歪み補正強度が弱くなるようにレンズ歪み補正を行ない、前記車体の一部を含む領域に対しては、一定の強さの歪み補正強度であって、前記車体の一部を含まない各領域に対する歪み補正強度のうち最も強い歪み補正強度以上の歪み補正強度でレンズ歪み補正を行ない、前記車体から最も離れた領域に対しては、一定の強さの歪み補正強度であって、前記車体から最も離れた領域以外の各領域に対する歪み補正強度のうち最も弱い歪み補正強度以下の歪み補正強度でレンズ歪み補正を行なうものであることを特徴とする。
請求項３に記載の発明は、車体に搭載されかつ該車体の一部及び該車体の周辺領域を撮像する撮像装置、該撮像装置によって撮像された入力画像に対してレンズ歪み補正を行なうレンズ歪み補正手段、および該レンズ歪み補正手段によって得られた画像を表示するための表示器を備えており、前記レンズ歪み補正手段は、入力画像を前記車体からの距離および前記撮像装置の俯角に応じて前記車体の一部を含む領域と前記車体の一部を含まない１以上の領域に分け、領域毎に異なる歪み補正強度でレンズ歪み補正を行なう場合に、前記車体の一部を含む領域に対しては、一定の強さの歪み補正強度であって、前記車体の一部を含まない各領域に対する歪み補正強度のうち最も強い歪み補正強度以上の歪み補正強度でレンズ歪み補正を行なうものであることを特徴とする。
請求項４に記載の発明は、請求項１乃至３のいずれかに記載の発明において、複数の領域を設定するための領域設定手段および領域設定手段によって設定された領域毎に歪み補正強度を決定する歪み補正強度決定手段を備えており、レンズ歪み補正手段は、歪み補正強度決定手段によって決定された領域毎の歪み補正強度に応じたレンズ歪み補正を、入力画像に対して行なうものであることを特徴とする。
請求項５に記載の発明は、請求項１乃至３のいずれかに記載の発明において、複数の領域を仮設定するための領域仮設定手段、領域仮設定手段によって仮設定された領域毎に歪み補正強度を仮決定する歪み補正強度仮決定手段、歪み補正強度仮決定手段によって仮決定された領域毎の歪み補正強度に応じた歪み補正の効果をグリッド線で表示器に表示させる手段、および歪み補正強度仮決定手段によって仮決定された領域毎の歪み補正強度を、本来の領域毎の歪み補正強度として本設定させる本設定手段を備えており、レンズ歪み補正手段は、本設定手段によって本設定された領域毎の歪み補正強度に応じたレンズ歪み補正を、入力画像に対して行なうものであることを特徴とする。
この発明によれば、入力画像に対してレンズ歪み補正を行なう場合に、入力画像を複数の領域に分け、各領域別に歪み補正強度を変えることができるようになる。
〔１〕本願発明の基本的な考え方についての説明
本願発明では、画像領域を車体部、車体近傍部および遠方部の領域に分け、領域毎に予め設定された歪み補正強度パラメータを用いて、レンズ歪み補正が行なわれる。
図５は、車体部および車体近傍部には強いレンズ歪み補正をかけ、遠方部では車体から離れるほど補正の強度が弱くなるようにレンズ歪み補正をかけた例を示している。車体部および車体近傍部には強いレンズ歪み補正をかけてるため、車体端が正しく直線に表示されている。遠方部では、レンズ歪み補正が弱くなっているので、レンズ歪みが残るものの、対角の情報量は保存されている。図５のようなレンズ歪み補正は、カメラの俯角が小さいなど、対角情報がさほど重要でない場合に用いられる。
なお、図６に示すように、車体部においては強いレンズ歪み補正をかけ、車体近傍部においては、車体から離れるほど補正の強度が弱くなるようにレンズ歪み補正をかけ、遠方部においてはレンズ歪み補正を行なわないようにしてもよい。図６のようなレンズ歪み補正は、カメラの俯角が大きいなど、対角情報が重要な場合に用いられる。
以下においては、図６に示すような、歪み補正強度の分配で、入力画像に対してレンズ歪み補正を行なう場合の実施例について説明する。
〔２〕運転支援装置の構成ついての説明
図７は、運転支援装置の構成を示している。
運転支援装置は、画像を入力するカメラ１、レンズ歪み補正部２および画像を表示するモニタ３を備えている。この例では、レンズ歪み補正部２はカメラ１またはモニタ３から独立した構成となっているが、カメラ１と一体をなす構成としても、モニタ３と一体となす構成としてもよい。この例では、カメラ１としては、車両の後方映像を撮像するリアカメラが用いられている。本実施例では、レンズ歪み補正の強度を調整するツールとして、キャリブレーション用ＰＣ５０を用いている。
レンズ歪み補正部２は、入力画像と出力画像の座標の対応関係を記憶するＬＵＴ（ルックアップテーブル）２１およびＬＵＴ２１に基づいてレンズ歪み補正画像を計算するＣＰＵ２２を備えている。また、後述する実施例２で説明するように、歪み補正強度の配分（レンズ歪み補正の効果）を画像上で分かりやすく表示するためのＯＳＤ（オンスクリーンディスプレイ）回路２３を備えている。ＣＰＵ２２は、ＯＳＤ回路２３への表示指示、ＰＣ５０とのインターフェースも受け持つ。
図８は、ＬＵＴ２１による歪み補正手法の概要を示している。
図８の左側は入力画像（歪み画像）１０１を示し、図８の右側は出力画像（歪補正画像）１０２を示している。入力画像に対しては、原点（０，０）を入力画像の左下にとり、横軸にｘ座標、縦軸にｙ座標を設定している。出力画像に対しては、原点（０，０）を出力画像の左下にとり、横軸にｉ座標、縦軸にｊ座標を設定している。出力画像１０２のある画素位置Ｐ（ｉ，ｊ）における画素値を取得するために参照する原画像の画素位置Ｐ’（Ｘij，Ｙij）を、ルックアップテーブルの形式で保持している。
図９は、ＬＵＴ２１の構造例を示している。
図９では、出力画像における各画素位置に対して、ｘ座標とｙ座標のそれぞれに対してＬＵＴを保持している。図９（ａ）は、出力画像における各画素位置（ｉ，ｊ）に対応する入力画像のｘ座標を記憶したＬＵＴを示し、図９（ｂ）は、出力画像における各画素位置（ｉ，ｊ）に対応する入力画像のｙ座標を記憶したＬＵＴを示している。
例えば、出力画像で（０，０）の位置にある画素の画素値は、入力画像の（２２．５，４３．７）の位置の画素値となる。また、出力画像で（２，１）の位置にある画素の画素値は、入力画像の（２３．５，４４．２）の位置の画素値となる。
出力画像における各画素位置に対応する入力画像の画素位置は、後述する歪み補正変換式より求める。しかし、入力画像の画素位置は整数値であるため実際にはｘ座標が２２．５となるような画素は存在しない。そこで、この小数部分を用いて加重平均を行うことで変換後の画素値を算出する（Bi-Linear 補間演算）。図１０を用いて補間演算について説明する。
ここでは、出力画像で（２，１）の位置にある画素の画素値を求める場合について説明する。詳述したように、出力画像で（２，１）の位置にある画素の画素値は、入力画像の（２３．５，４４．２）の位置の画素値となる。
図１０において、Ｘは入力画像内における位置（２３．５，４４．２）に対応する仮想の画素を示している。図１０のＡ，Ｂ，Ｃ，Ｄは、仮想の画素位置（２３．５，４４．２）に隣接する４つの画素を示している。Ａ，Ｂ，Ｃ，Ｄの画素の位置は、それぞれ（２３，４５），（２４，４５），（２３，４４），（２３，４４）である。
図１０において、ｐは画素Ｄと仮想画素Ｘとのｘ座標の差分の絶対値を示し、ｑは画素Ｄと仮想画素Ｘのｙ座標の差分の絶対値を示している。この例では、ｐ＝０．５，ｑ＝０．２となる。仮想画素Ｘの画素値は、画素Ａ，Ｂ，Ｃ，Ｄの画素値をＡ，Ｂ，Ｃ，Ｄで表すと、次式（２）によって算出される。
Ｘ＝ｐｑＡ＋（１−ｐ）ｑＢ＋ｐ（１−ｑ）Ｃ＋（１−ｐ）（１−ｑ）Ｄ …（２）
ところで、歪み補正強度の配分は、カメラ１の車体へのセッティングに応じて変更する必要がある。この実施例では、歪み補正強度の配分の設定は、キャリブレーション用ＰＣ５０を用いて行なわれる。
キャリブレーション用ＰＣ５０には、歪み補正強度の配分の設定を行なうための歪み補正強度調整ソフトがインストールされている。キャリブレーション用ＰＣ５０と運転支援装置のＣＰＵ２２とは通信ケーブルを介して接続されているものとする。
図１１は、歪み補正強度調整ソフトが起動された場合にＰＣ５０に表示される歪み補正強度調整画面の例を示している。
図１１において、２０１は画像表示領域を示し、２０２は画像取込ボタンを示し、２０３はＬＵＴデータ転送ボタンを示し、２０４は終了ボタンを示し、２０５、２０６はスライドキーを示している。スライドキー２０５は車体部と車体近傍部との境界位置ｕを設定するためのキーである。スライドキー２０６は車体近傍部と遠方部との境界位置ｓを設定するためのキーである。
図１２は、境界位置ｕ，ｓと、歪み補正強度パラメータを制御する係数α（０≦α≦１）との関係を示している。
この実施例では、画面下側から境界位置ｕまでの領域（車体部）においては歪み補正強度を強くする。つまり、α＝１とする。
ｕとｓの間の領域（車体近傍部の領域）においては、ｕからの距離が離れるにしたがって、歪み補正強度を弱くさせていく。つまり、ｕからの距離をｔとすると、α＝｜ｓ−ｔ｜／｜ｓ−ｕ｜とする。
ｓから画面上側までの領域（遠方部）においては、歪み補正を行なわない。つまり、α＝０とする。
画像取込ボタン２０２を押すと、カメラ１で撮影された画像がキャリブレーション用ＰＣ５０に転送され、画像表示領域２０１に表示される。ＰＣ５０は、スライドキー２０５、２０６によって設定された境界位置ｕ，ｓと後述する歪み補正変換式とに基づいて、入力画像を歪み補正後の画像に変換するためのＬＵＴデータを作成し、作成したＬＵＴデータに基づいて、入力画像に対して歪み補正を行ない、歪み補正後の画像を画像表示領域２０１に表示する。
操作者は、画像変換の効果を確認しながら境界位置ｕ，ｓを設定する。最適な境界位置ｕ，ｓを設定した場合には、操作者は、ＬＵＴデータ転送ボタン２０３を押す。これにより、ＰＣ５０によって作成されたＬＵＴデータが、運転支援装置のＣＰＵ２２に送られる。ＣＰＵ２２は、ＰＣ５０から送られてきたＬＵＴデータをレンズ歪み補正部２のＬＵＴ２１にセットする。レンズ歪み補正部２は、ＬＵＴ２１にセットされた座標対応関係を使って入力画像を歪み補正画像に変換し、得られた画像をモニタ３に表示させる。
ＬＵＴデータを作成する場合に用いられるレンズ歪み補正変換式について説明する。「背景技術」の欄で説明したように、入力画像の座標位置（ｘ’，ｙ’）とレンズ歪み補正後の座標値（ｘ，ｙ）とは、次式（３）で表される。式（３）中において、ｒ2 ＝ｘ2 ＋ｙ2 である。ただし、ｘｙ座標系は、画像の中心を原点とした座標系である。
ｘ’＝ｘ＋ｘ（ｋ1 ｒ2 ＋ｋ2 ｒ4 ）＋２ｐ1 ｘｙ＋ｐ2 （ｒ2 ＋２ｘ2 ）
ｙ’＝ｙ＋ｙ（ｋ1 ｒ2 ＋ｋ2 ｒ4 ）＋２ｐ1 ｘｙ＋ｐ2 （ｒ2 ＋２ｙ2 ）…（３）
歪み補正強度を調整するために、４個のパラメータｋ1 ，ｋ2 ，ｐ1 ，ｐ2 に係数α を乗算することによって、上記式（３）を、式（４）、（５）のように修正する。
ｋ'1＝αｋ1
ｋ'2＝αｋ2
ｐ'1＝αｐ1
ｐ'2＝αｐ2 …（４）
ｘ’＝ｘ＋ｘ（ｋ'1ｒ2 ＋ｋ'2ｒ4 ）＋２ｐ'1ｘｙ＋ｐ'2（ｒ2 ＋２ｘ2 ）
ｙ’＝ｙ＋ｙ（ｋ'1ｒ2 ＋ｋ'2ｒ4 ）＋２ｐ'1ｘｙ＋ｐ'2（ｒ2 ＋２ｙ2 ）
…（５）
ｋ'1，ｋ'2，ｐ'1およびｐ'2は、修正後の歪み補正パラメータであり、αの値によってその大きさが変化する。
本実施例で用いる座標系は、図８および図９で説明したように、画像の左下を原点としたｘｙ座標系であるので、入力画像の水平画素数をＭ、垂直画像数をＮとすると、Ｘij＝ｘ’＋Ｍ／２、Ｙij＝ｙ’＋Ｎ／２、ｉ＝ｘ＋Ｍ／２，ｊ＝ｙ＋Ｎ／２となる。
したがって、上記式（５）は、次式（６）のように表現できる。式（６）では、ｒ2 ＝（ｉ−Ｍ／２）2 ＋（ｊ−Ｎ／２）2 となる。
Ｘij＝（ｉ−Ｍ／２）＋（ｉ−Ｍ／２）（ｋ'1ｒ2 ＋ｋ'2ｒ4 ）
＋２ｐ'1（ｉ−Ｍ／２）（ｊ−Ｎ／２）＋ｐ'2｛ｒ2 ＋２（ｉ−Ｍ／２）2 ｝ ＋Ｍ／２
Ｙij＝（ｊ−Ｎ／２）＋（ｊ−Ｎ／２）（ｋ'1ｒ2 ＋ｋ'2ｒ4 ）
＋２ｐ'1（ｉ−Ｍ／２）（ｊ−Ｎ／２）＋ｐ'2｛ｒ2 ＋２（ｊ−Ｎ／２）2 ｝ ＋Ｎ／２ …（６）
運転者の視覚をアシストする場合、画像下部がバンパー部となり画像上部が車両後方（フロントカメラの場合には前方）となることが多い。運転者の視認性を考慮すると、バンパー部は歪みが無い直線として表示されることが望ましい。一方、画像上部となる車両後方（フロントカメラの場合には前方）は、安全確認という目的からできるだけ取得された画像の情報量を損なうことなく表示することが望ましい。
そのため、バンパー部に当たる画像下部（実施例において、歪み補正画像の縦軸であるｊの値がｕより小さい部分）においては、歪み補正強度を大きく設定（α＝１）し、上記式（４）および式（６）を用いてＬＵＴに保持する参照画素位置を算出する。
また、画像上部（実施例において、歪み補正画像の縦軸であるｊの値がｓより大きい部分）においては、情報量を保存するため歪み補正強度を小さく設定（α＝０）し、上記式（４）および式（６）を用いてＬＵＴに保持する参照画素位置を算出する。
中間部（実施例において、歪み補正画像の縦軸であるｊの値がｕとｓの間のｔの部分）においては、歪み補正強度を段階的に設定（α＝｜ｓ−ｔ｜／｜ｓ−ｕ｜）し、上記式（４）および式（６）を用いてＬＵＴに保持する参照画素位置を算出する。これはαの値を極端に変動させた場合、上部と下部で滑らかに画像をつなげることができず、視認性が低下するためである。本実施例では、画像の中間部ではαの値を段階的に変動させることで、視認性を維持した歪み補正画像を生成している。このようにαを設定することによって画像下部に対してはレンズ歪み補正を強く行い、画像上部に対してはレンズ歪み補正を行わない画像を生成する。
図１３（ａ）は入力画像を、図１３（ｂ）は本実施例による歪み補正を行った結果の全体の画像を、図１３（ｃ）は表示用に切出した画像をそれぞれ示している。
画像の下部ではレンズ歪み補正を強く行うため、画像の下部は入力画像の表示領域よりも広がった状態となる。一方、画像の上部では、レンズ歪み補正を行わないため、入力画像と同じ画像サイズとなる。歪み補正切出し画像を生成する際には、変換後の画像領域の内接領域を切出しているため、横方向の画像サイズは入力画像と同じであるが、縦方向は入力画像よりもやや大きくなる。そのため、縦方向に縮小する必要があり、やや画像の縦横比が変わるが、視認性には大きく影響しない。ＬＵＴに記録する参照画素の値は、切出した画像を表示画像サイズに調整（縮小）した後に対応する参照位置を記録すればよい。また、切出し前の画像の参照位置をＬＵＴに記録し、表示の際に拡大や縮小の処理を行うように構成してもよい。
利用者は、ＰＣ５０上の調整画面で効果を確認しながら、車体部と車両近傍との境界線ｕ、車両近傍と車両遠方との境界線ｓを設定する。ｕ，ｓを設定する度に、ＬＵＴデータが計算され、ＬＵＴデータを用いて入力画像に対する歪み補正画像が生成されて、表示される。
利用者がＬＵＴデータ転送ボタン２０３を押すと、ＰＣ５０で生成されたＬＵＴデータが運転支援装置のレンズ歪み補正部２内のＣＰＵ２２に送られ、レンズ歪み補正部２内のＬＵＴ２１にセットされる。ＬＵＴ２１にＬＵＴデータがセットされた後においては、レンズ歪み補正部２はＬＵＴ２１にセットされた座標対応関係を使って、カメラ１からの入力画像に対して歪み補正を行ない、得られた歪み補正画像をモニタ３に表示させる。なお、ＬＵＴデータがＬＵＴ２１にセットされた後においては、キャブレーションＰＣ５０は取り外される。
なお、上記キャブレーションＰＣ５０による歪み補正強度調整機能と同じ機能を、運転支援装置側に持たせるようにしてもよい。
実施例１のように、歪み補正のパラメータ調整にＰＣを使う場合は、ＰＣの計算能力により、短時間（Ｐｅｎ４マシンで約１００msec) で入力画像と出力画像の座標対応関係を計算可能で、ほぼリアルタイムにレンズ歪み補正の効果を確認することが可能である。この計算を、運転支援装置のレンズ歪み補正部２に内蔵するような比較的低い計算パワーのＣＰＵで行おうとすると、長い計算時間が必要となる。
実施例２では、歪み補正のパラメータ調整を、運転支援装置側で行なう場合に、簡単な演算で効果を確認できるようにするものである。実施例２では、運転支援装置側にｕ，ｓを設定するとともに、設定されたｕ，ｓに応じた歪み補正強度の配分を簡易的にオンスクリーン表示させるための歪み補正強度調整ソフトがインストールされている。
運転支援装置側にｕ，ｓが設定されると、運転支援装置のＣＰＵ２２は、全画面の入出力座標を計算することなく、つまりＬＵＴデータを計算することなく、設定されたｕ，ｓに応じた歪み強度の配分をグリッド線で表すようにする。そして、操作者が効果を確認した上で、ＬＵＴ作成指令を入力すると、設定されたｕ，ｓに応じたＬＵＴデータを作成して、ＬＵＴ２１にセットする。ＬＵＴデータの作成方法は、実施例１と同様である。
図１４は、歪み補正強度の配分を簡易的に示すためのグリッドの例を示している。
図１４の実線は、画像全体に対してα＝１を設定した場合のグリッド線を示している。図１４の破線は、画像全体に対してα＝０（歪み補正なし）に設定した場合のグリッド線を示している。グリッド線には、通常の直線状のグリッド線を湾曲させた形状も含まれる。
画像全体に対してα＝１を設定した場合のグリッド（格子パターン）を予め保存しておく。そして、画像全体に対してα＝１を設定した場合のグリッド上の座標値からαの設定値に応じて、各々の対応点に相当する座標値を計算して表示する。対応点の計算方法について、図１５を用いて説明する。図１５は、図１４のＳで示す部分の拡大図である。
図１５において、α＝１の場合におけるグリッド上の点の座標を（Ｘ１，Ｙ１）、原画像（入力画像）上の参照点（（Ｘ１，Ｙ１）の座標値として参照する原画像上の点）の座標を（Ｘ０，Ｙ０）とする。原画像上での参照点の座標値（Ｘ０，Ｙ０）は、歪み補正を行なわない場合のグリッド（α＝０の場合におけるグリッド）上の対応点と一致する。
０＜α＜１の座標（Ｘｇ，Ｙｇ）は、次式（７）で表される。
Ｘｇ＝Ｘ０＋α（Ｘ１−Ｘ０）
Ｙｇ＝Ｙ０＋α（Ｙ１−Ｙ０） …（７）
α＝１の場合におけるグリッド上の点を（ｉ，ｊ）で表すと、座標値（Ｘ０，Ｙ０）は、上記式（４）および式（６）にα＝１を代入することにより、次式（８）で表される。
Ｘ０＝（ｉ−Ｍ／２）＋（ｉ−Ｍ／２）（ｋ1 ｒ2 ＋ｋ2 ｒ4 ）
＋２ｐ1 （ｉ−Ｍ／２）（ｊ−Ｎ／２）＋ｐ2 ｛ｒ2 ＋２（ｉ−Ｍ／２）2 ｝ ＋Ｍ／２
Ｙ０＝（ｊ−Ｎ／２）＋（ｊ−Ｎ／２）（ｋ1 ｒ2 ＋ｋ2 ｒ4 ）
＋２ｐ1 （ｉ−Ｍ／２）（ｊ−Ｎ／２）＋ｐ2 ｛ｒ2 ＋２（ｊ−Ｎ／２）2 ｝ ＋Ｎ／２ …（８）
また、座標値（Ｘ１，Ｙ１）は、α＝１の場合におけるグリッド上の点であるため、次式（９）が成り立つ。
Ｘ１＝ｉ
Ｙ１＝ｊ …（９）
上記式（８）および式（９）を上記式（７）に代入することにより、次式（１０）が得られる。
Ｘｇ＝ｉ＋（１−α）〔（ｉ−Ｍ／２）（ｋ1 ｒ2 ＋ｋ2 ｒ4 ）
＋２ｐ1 （ｉ−Ｍ／２）（ｊ−Ｎ／２）＋ｐ2 ｛ｒ2 ＋２（ｉ−Ｍ／２）2 ｝〕
Ｙｇ＝ｊ＋（１−α）〔（ｊ−Ｍ／２）（ｋ1 ｒ2 ＋ｋ2 ｒ4 ）
＋２ｐ1 （ｉ−Ｍ／２）（ｊ−Ｎ／２）＋ｐ2 ｛ｒ2 ＋２（ｊ−Ｍ／２）2 ｝〕 …（１０）
予め保存しているα＝１の場合のグリッド線上の座標値を、上記式（１０）を用いることにより、設定されたα値に応じた座標値に変換することにより、設定されたαに応じた形状のグリッドを生成して、オンスクリーン表示することができる。
図１６（ａ）は、歪み補正なしの場合（α＝０）の場合のグリッドの一例示し、図１６（ｂ）は、設定されたｕ，ｓに基づいて作成された、歪み強度の配分を示すグリッドの一例を示している。なお、グリッド線の線種や色を変えることで、歪み補正の強度を表現することが可能である。
歪み補正の効果を事前計算する領域をグリッド上に限ることで、計算量の削減が可能となる。グリッドの形状をＯＳＤ機能を使って、モニタ上に表示することで、ＬＵＴを計算する前に、事前に効果を予測することが可能となる。また、この機能を使って、生産時の光学系のばらつき、歪み補正部の回路の動作を目視確認することも可能になる。
上記実施例によれば、カメラの車体へのセッティングに合わせて、画像の歪み感と対角情報のバランスのとれた画像を得ることが可能となる。また、様々な車種に対して、初期投資の必要な光学系の再設計を行わず、データの変更のみで、個別対応が可能となる。
画像処理によってカメラのレンズ歪みを補正する手法を説明するための説明図である。 レンズ歪み補正を行った画像の例を示す模式図である。 車載カメラによって撮像された画像の一例を示す模式図である。 図３の画像に対するレンズ歪み補正後の画像を示す模式図である。 車体部および車体近傍部には強い歪み補正をかけ、遠方部では車体から離れるほど補正の強度が弱くなるようにレンズ歪み補正をかけた例を示す模式図である。 車体部においては強いレンズ歪み補正をかけ、車体近傍部においては、車体から離れるほど補正の強度が弱くなるようにレンズ歪み補正をかけ、遠方部においてはレンズ歪み補正を行なわないようにした例を示す模式図である。 運転支援装置の構成を示すブロック図である。 ＬＵＴ２１によるレンズ歪み補正手法の概要を説明するための模式図である。 ＬＵＴ２１の構造例を示す模式図である。 補間演算方法を説明するための模式図である。 歪み補正強度調整ソフトが起動された場合にＰＣ５０に表示される歪み補正強度調整画面の例を示す模式図である。 境界位置ｕ，ｓと、歪み補正強度パラメータを制御する係数α（０≦α≦１）との関係を示す模式図である。 入力画像、本実施例による歪み補正を行った結果の全体の画像、および表示用に切出した画像をそれぞれ示す模式図である。 歪み補正強度の配分を簡易的に示すためのグリッドの例を示す模式図である。 画像全体に対してα＝１を設定した場合のグリッド上の座標値からαの設定値に応じて、各々の対応点に相当する座標値を計算する方法を説明するための模式図である。 歪み補正なしの場合（α＝０）の場合のグリッドの一例と、設定されたｕ，ｓに基づいて作成された、歪み強度の配分を示すグリッドの一例を示す模式図である。
符号の説明
１ カメラ
２ レンズ歪み補正部
３ モニタ
５０ キャリブレーション用ＰＣ
２１ ＬＵＴ
２２ ＣＰＵ
２３ ＯＳＤ回路

Claims (5)

  1. 車体に搭載されかつ該車体の一部及び該車体の周辺領域を撮像する撮像装置、
    該撮像装置によって撮像された入力画像に対してレンズ歪み補正を行なうレンズ歪み補正手段、および
    該レンズ歪み補正手段によって得られた画像を表示するための表示器を備えており、
    前記レンズ歪み補正手段は、入力画像を前記車体からの距離および前記撮像装置の俯角に応じて前記車体の一部を含む領域と前記車体の一部を含まない１以上の領域に分け、前記車体の一部を含まない各領域に対しては、前記車体から離れるに連れて歪み補正強度が弱くなるようにレンズ歪み補正を行ない、前記車体の一部を含む領域に対しては、一定の強さの歪み補正強度であって、前記車体の一部を含まない各領域に対する歪み補正強度のうち最も強い歪み補正強度以上の歪み補正強度でレンズ歪み補正を行なうものであることを特徴とする運転支援装置。
  2. 車体に搭載されかつ該車体の一部及び該車体の周辺領域を撮像する撮像装置、
    該撮像装置によって撮像された入力画像に対してレンズ歪み補正を行なうレンズ歪み補正手段、および
    該レンズ歪み補正手段によって得られた画像を表示するための表示器を備えており、
    前記レンズ歪み補正手段は、入力画像を前記車体からの距離および前記撮像装置の俯角に応じて前記車体の一部を含む領域と前記車体の一部を含まない１以上の領域に分け、前記車体の一部を含まない領域であって、前記車体から最も離れた領域以外の各領域に対しては、前記車体から離れるに連れて歪み補正強度が弱くなるようにレンズ歪み補正を行ない、前記車体の一部を含む領域に対しては、一定の強さの歪み補正強度であって、前記車体の一部を含まない各領域に対する歪み補正強度のうち最も強い歪み補正強度以上の歪み補正強度でレンズ歪み補正を行ない、前記車体から最も離れた領域に対しては、一定の強さの歪み補正強度であって、前記車体から最も離れた領域以外の各領域に対する歪み補正強度のうち最も弱い歪み補正強度以下の歪み補正強度でレンズ歪み補正を行なうものであることを特徴とする運転支援装置。
  3. 車体に搭載されかつ該車体の一部及び該車体の周辺領域を撮像する撮像装置、
    該撮像装置によって撮像された入力画像に対してレンズ歪み補正を行なうレンズ歪み補正手段、および
    該レンズ歪み補正手段によって得られた画像を表示するための表示器を備えており、
    前記レンズ歪み補正手段は、入力画像を前記車体からの距離および前記撮像装置の俯角に応じて前記車体の一部を含む領域と前記車体の一部を含まない１以上の領域に分け、領域毎に異なる歪み補正強度でレンズ歪み補正を行なう場合に、前記車体の一部を含む領域に対しては、一定の強さの歪み補正強度であって、前記車体の一部を含まない各領域に対する歪み補正強度のうち最も強い歪み補正強度以上の歪み補正強度でレンズ歪み補正を行なうものであることを特徴とする運転支援装置。
  4. 複数の領域を設定するための領域設定手段および領域設定手段によって設定された領域毎に歪み補正強度を決定する歪み補正強度決定手段を備えており、レンズ歪み補正手段は、歪み補正強度決定手段によって決定された領域毎の歪み補正強度に応じたレンズ歪み補正を、入力画像に対して行なうものであることを特徴とする請求項１乃至３のいずれかに記載の運転支援装置。
  5. 複数の領域を仮設定するための領域仮設定手段、領域仮設定手段によって仮設定された領域毎に歪み補正強度を仮決定する歪み補正強度仮決定手段、歪み補正強度仮決定手段によって仮決定された領域毎の歪み補正強度に応じた歪み補正の効果をグリッド線で表示器に表示させる手段、および歪み補正強度仮決定手段によって仮決定された領域毎の歪み補正強度を、本来の領域毎の歪み補正強度として本設定させる本設定手段を備えており、レンズ歪み補正手段は、本設定手段によって本設定された領域毎の歪み補正強度に応じたレンズ歪み補正を、入力画像に対して行なうものであることを特徴とする請求項１乃至３のいずれかに記載の運転支援装置。
JP2006086476A 2006-03-27 2006-03-27 運転支援装置 Expired - Fee Related JP4104631B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006086476A JP4104631B2 (ja) 2006-03-27 2006-03-27 運転支援装置
CN2007800114284A CN101410868B (zh) 2006-03-27 2007-03-23 驾驶辅助装置
EP07740457.2A EP2009590B1 (en) 2006-03-27 2007-03-23 Drive assistance device
PCT/JP2007/057019 WO2007111377A1 (ja) 2006-03-27 2007-03-23 運転支援装置
US12/294,829 US9308862B2 (en) 2006-03-27 2007-03-23 Drive assistance device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006086476A JP4104631B2 (ja) 2006-03-27 2006-03-27 運転支援装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007323735A Division JP4934579B2 (ja) 2007-12-14 2007-12-14 運転支援装置

Publications (2)

Publication Number Publication Date
JP2007264831A JP2007264831A (ja) 2007-10-11
JP4104631B2 true JP4104631B2 (ja) 2008-06-18

Family

ID=38541290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006086476A Expired - Fee Related JP4104631B2 (ja) 2006-03-27 2006-03-27 運転支援装置

Country Status (5)

Country Link
US (1) US9308862B2 (ja)
EP (1) EP2009590B1 (ja)
JP (1) JP4104631B2 (ja)
CN (1) CN101410868B (ja)
WO (1) WO2007111377A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009143722A (ja) * 2007-12-18 2009-07-02 Mitsubishi Electric Corp 人物追跡装置、人物追跡方法及び人物追跡プログラム
JP5124835B2 (ja) * 2008-02-05 2013-01-23 富士フイルム株式会社 画像処理装置、画像処理方法、およびプログラム
JP5141960B2 (ja) * 2008-03-25 2013-02-13 株式会社メガチップス 画像処理装置
JP4840452B2 (ja) * 2009-01-22 2011-12-21 株式会社デンソー 車両周辺表示装置
JP4760923B2 (ja) 2009-02-03 2011-08-31 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
JP5487722B2 (ja) * 2009-05-25 2014-05-07 ソニー株式会社 撮像装置と振れ補正方法
JP5735227B2 (ja) * 2010-07-16 2015-06-17 ルネサスエレクトロニクス株式会社 画像変換装置及び画像変換システム
JP5793975B2 (ja) * 2010-08-03 2015-10-14 株式会社リコー 画像処理装置、画像処理方法、プログラム、記録媒体
DE102010042248A1 (de) * 2010-10-11 2012-04-12 Robert Bosch Gmbh Verfahren und Vorrichtung zur optischen Darstellung einer Umgebung eines Fahrzeugs
TWI516119B (zh) * 2011-01-25 2016-01-01 華晶科技股份有限公司 電子裝置、影像擷取裝置及其方法
US9105090B2 (en) * 2011-07-13 2015-08-11 Analog Devices, Inc. Wide-angle lens image correction
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
KR101428169B1 (ko) * 2012-07-09 2014-08-07 현대자동차주식회사 후방 카메라의 영상 왜곡 보정 장치 및 방법
JP6089767B2 (ja) * 2013-02-25 2017-03-08 株式会社リコー 画像処理装置、撮像装置、移動体制御システム及びプログラム
US9013286B2 (en) * 2013-09-23 2015-04-21 Volkswagen Ag Driver assistance system for displaying surroundings of a vehicle
JP6354425B2 (ja) * 2014-07-30 2018-07-11 株式会社デンソー 車載カメラの取り付け姿勢検出方法およびその装置
JP6316330B2 (ja) * 2015-04-03 2018-04-25 コグネックス・コーポレーション ホモグラフィの修正
JP5959684B2 (ja) * 2015-04-16 2016-08-02 ルネサスエレクトロニクス株式会社 画像変換システム
US10368067B2 (en) 2016-06-15 2019-07-30 Mediatek Inc. Method and apparatus for selective filtering of cubic-face frames
US10148939B2 (en) * 2016-07-19 2018-12-04 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks
JP2018037855A (ja) * 2016-08-31 2018-03-08 アイシン精機株式会社 表示制御装置
KR101859045B1 (ko) * 2016-11-02 2018-05-17 엘지전자 주식회사 차량용 운전 보조 장치 및 차량
JP6819514B2 (ja) * 2017-08-28 2021-01-27 トヨタ自動車株式会社 画像処理装置及び撮像装置
JP2019186597A (ja) * 2018-04-02 2019-10-24 株式会社ザクティ 移動体の周辺確認システム
KR20210037607A (ko) 2018-07-31 2021-04-06 스미토모 겐키 가부시키가이샤 쇼벨
EP3885701A4 (en) * 2018-11-20 2022-01-26 Sony Semiconductor Solutions Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM
DE102019108056A1 (de) * 2019-03-28 2020-10-01 Connaught Electronics Ltd. Bilderfassungssystem
JP7279526B2 (ja) * 2019-05-31 2023-05-23 富士通株式会社 解析プログラム、解析装置及び解析方法
CN112819725B (zh) * 2021-02-05 2023-10-03 广东电网有限责任公司广州供电局 一种径向畸变的快速图像校正方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3047581B2 (ja) 1991-11-20 2000-05-29 日立プラント建設株式会社 電子消音システム
US5369450A (en) * 1993-06-01 1994-11-29 The Walt Disney Company Electronic and computational correction of chromatic aberration associated with an optical system used to view a color video display
JP3446277B2 (ja) 1993-12-24 2003-09-16 日産自動車株式会社 車両用周囲状況表示装置
JP3381351B2 (ja) 1993-12-24 2003-02-24 日産自動車株式会社 車両用周囲状況表示装置
JP3156817B2 (ja) * 1994-03-14 2001-04-16 矢崎総業株式会社 車両周辺監視装置
JPH08116490A (ja) * 1994-10-14 1996-05-07 Olympus Optical Co Ltd 画像処理装置
JP3446991B2 (ja) 1997-07-15 2003-09-16 矢崎総業株式会社 監視装置
US6801334B1 (en) * 1998-05-28 2004-10-05 Fuji Photo Film Co., Ltd. Index print producing method, image processing system, image processing method and image processing device
JP3451017B2 (ja) 1998-07-28 2003-09-29 富士写真フイルム株式会社 画像処理方法及び装置
JP3286306B2 (ja) 1998-07-31 2002-05-27 松下電器産業株式会社 画像生成装置、画像生成方法
US6704434B1 (en) * 1999-01-27 2004-03-09 Suzuki Motor Corporation Vehicle driving information storage apparatus and vehicle driving information storage method
US7161616B1 (en) * 1999-04-16 2007-01-09 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP3565749B2 (ja) 1999-09-22 2004-09-15 富士重工業株式会社 車載カメラの撮像方向の検査方法およびその検査装置
JP3624769B2 (ja) * 1999-09-30 2005-03-02 株式会社豊田自動織機 車両後方監視装置用画像変換装置
JP3632563B2 (ja) * 1999-10-19 2005-03-23 株式会社豊田自動織機 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
US7002589B2 (en) * 2000-03-17 2006-02-21 Sun Microsystems, Inc. Blending the edges of multiple overlapping screen images
EP1465135A1 (en) * 2000-04-05 2004-10-06 Matsushita Electric Industrial Co., Ltd. Driving operation assisting method and system
US6584287B2 (en) * 2000-10-18 2003-06-24 Fuji Photo Film Co., Ltd. Camera and image forming system using the camera
JP2002140703A (ja) 2000-10-31 2002-05-17 Toyota Central Res & Dev Lab Inc 周辺状況表示装置
JP3804916B2 (ja) * 2001-02-09 2006-08-02 シャープ株式会社 撮像システムとその画像データ制御に用いられるプログラムおよびその撮像システムにおける撮像画像の歪み補正方法とその手順を記憶させた記憶媒体
JP3483143B2 (ja) 2001-04-09 2004-01-06 松下電器産業株式会社 運転支援装置
CN100465995C (zh) * 2001-06-12 2009-03-04 奥普提克斯晶硅有限公司 一种将图像投射到屏幕表面的方法及***
JP4613465B2 (ja) 2001-08-07 2011-01-19 株式会社豊田中央研究所 画像変換装置並びにそれを組み込んだ撮像及び／又は表示装置
US7256799B2 (en) * 2001-09-12 2007-08-14 Sanyo Electric Co., Ltd. Image synthesizer, image synthesis method and computer readable recording medium having image synthesis processing program recorded thereon
US6717735B2 (en) * 2001-10-12 2004-04-06 Agilent Technologies, Inc. Lens structures for flux redistribution and for optical low pass filtering
US7596286B2 (en) * 2003-08-06 2009-09-29 Sony Corporation Image processing apparatus, image processing system, imaging apparatus and image processing method
JP4104571B2 (ja) * 2004-03-29 2008-06-18 三洋電機株式会社 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置
JP2005311666A (ja) 2004-04-21 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
WO2005109859A2 (en) * 2004-05-01 2005-11-17 Eliezer Jacob Digital camera with non-uniform image resolution
JP4720214B2 (ja) * 2005-03-01 2011-07-13 コニカミノルタオプト株式会社 撮像レンズ
US7576639B2 (en) * 2006-03-14 2009-08-18 Mobileye Technologies, Ltd. Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle
JP2009010730A (ja) * 2007-06-28 2009-01-15 Kyocera Corp 画像処理方法と該画像処理方法を用いた撮像装置

Also Published As

Publication number Publication date
EP2009590A8 (en) 2009-03-18
JP2007264831A (ja) 2007-10-11
EP2009590B1 (en) 2018-12-19
EP2009590A1 (en) 2008-12-31
US20100165104A1 (en) 2010-07-01
CN101410868A (zh) 2009-04-15
WO2007111377A1 (ja) 2007-10-04
US9308862B2 (en) 2016-04-12
CN101410868B (zh) 2011-09-28
EP2009590A4 (en) 2011-11-23

Similar Documents

Publication Publication Date Title
JP4104631B2 (ja) 運転支援装置
JP4874280B2 (ja) 画像処理装置及び方法、運転支援システム、車両
JP5944687B2 (ja) 外因パラメータのみのサラウンドビューカメラ自動較正
US20180141496A1 (en) Method and device for displaying an image of the surroundings of a vehicle combination
WO2009116327A1 (ja) 画像処理装置及び方法、運転支援システム、車両
US20070058273A1 (en) Driving assist system
KR101783069B1 (ko) 차량 내의 디스플레이 장치 상에 이미지를 디스플레이하는 방법, 운전자 보조 시스템 및 차량
EP1513101A1 (en) Drive assisting system
JP5874920B2 (ja) 車両周囲確認用モニター装置
US10315570B2 (en) Image processing apparatus and image processing method
US11263758B2 (en) Image processing method and apparatus
JP4934579B2 (ja) 運転支援装置
JPWO2008087707A1 (ja) 車両用画像処理装置及び車両用画像処理プログラム
KR20180020274A (ko) 패널 변환
CN110651295A (zh) 图像处理设备、图像处理方法和程序
EP3326146B1 (en) Rear cross traffic - quick looks
WO2020177970A1 (en) Imaging system and method
JP5861871B2 (ja) 俯瞰画像提示装置
JP5305750B2 (ja) 車両周辺表示装置およびその表示方法
JP2012116400A (ja) コーナーポール投影装置
JP2009083744A (ja) 合成画像調整装置
JP5049304B2 (ja) 車両の周辺を画像表示するための装置
JP4696825B2 (ja) 車両用死角映像表示装置
CN113844365A (zh) 一种汽车前视双侧盲区可视化方法
JP2021512536A (ja) 自動車用のカメラ・モニターシステムを運転する方法および装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071213

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080325

R151 Written notification of patent or utility model registration

Ref document number: 4104631

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110404

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120404

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130404

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140404

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees