JP2019040521A - 画像処理装置及び撮像装置 - Google Patents

Abstract

【課題】撮像画像に施される歪み補正に要する時間を抑制する。【解決手段】画像処理装置（２０）は、画像中心から離れるほど歪みが大きくなる第１領域と、画像中心を通り水平方向に延びる直線に対して所定角度範囲内の領域であって、第１領域よりも歪みが小さい第２領域とを含む画像を取得する取得手段（２１）と、第１領域に対して歪み補正処理を施し、第２領域に対して歪み補正処理を施さない補正手段（２２）と、を備える。【選択図】図１

Description

本発明は、画像処理装置及び撮像装置の技術分野に関する。

この種の装置として、例えば魚眼レンズを介して撮像された画像データを歪みのない画像データに補正して出力する装置が提案されている（特許文献１参照）。

特開２００６−２７９７３９号公報

車両の安全技術の分野では、例えば車両に搭載された撮像装置により撮像された画像から、該車両の周囲に存在する障害物が認識されることがある。そして、例えば認識された障害物との衝突が回避されるように制動制御や操舵制御が自動で行われることがある。

ところで、撮像装置により撮像された画像には、該撮像装置のレンズ特性に起因する歪みが大なり小なり存在する。このため、画像から障害物が認識される前に、上記特許文献１に記載されているように、撮像された画像に対して歪み補正が施されることが多い。

この結果、画像が撮像された時点から、該画像に基づく障害物の認識時点まで、少なくとも歪み補正に係る処理時間分のずれ（即ち、タイムラグ）が生じる。車両の安全技術の観点からは、このタイムラグの短縮が望まれる。

本発明は、上記事情に鑑みてなされたものであり、撮像画像に施される歪み補正に要する時間を抑制することができる画像処理装置及び撮像装置を提供することを課題とする。

本発明の一態様に係る画像処理装置は、画像中心から離れるほど歪みが大きくなる第１領域と、前記画像中心を通り水平方向に延びる直線に対して所定角度範囲内の領域であって、前記第１領域よりも歪みが小さい第２領域とを含む画像を取得する取得手段と、前記第１領域に対して歪み補正処理を施し、前記第２領域に対して前記歪み補正処理を施さない補正手段と、を備えるというものである。

本発明の一態様に係る撮像装置は、撮像素子と、中心から離れるほど歪みが大きくなる第１領域と、前記中心を通り水平方向に延びる直線に対して所定角度範囲内の領域であって、前記第１領域よりも歪みが小さい第２領域とを含む像を前記撮像素子上に結像可能なように形成された自由曲面レンズと、を備えるというものである。

実施形態に係るカメラ及び画像処理装置の構成を示すブロック図である。 実施形態に係る画像処理装置が対象とする画像の歪みを示す図である。 実施形態に係るカメラのレンズ特性の一例を示す特性図である。 実施形態に係る画像処理を示すフローチャートである。 実施形態に係る画像処理の概念を説明する図である。

本発明の撮像装置の一例としてのカメラ、及び画像処理装置に係る実施形態について図１乃至図５を参照して説明する。

（構成）
実施形態に係るカメラ及び画像処理装置の構成について図１を参照して説明する。図１は、実施形態に係るカメラ及び画像処理装置の構成を示すブロック図である。ここで、実施形態に係るカメラ及び画像処理装置は、車両に搭載されることを前提としている。

図１において、カメラ１０は、自由曲面レンズ１１及び撮像素子１２を備えて構成されている。カメラ１０は、例えば車両の前方の所定範囲を撮像可能なように該車両に取り付けられる。画像処理装置２０は、その内部に論理的に実現される処理ブロックとして又は物理的に実現される処理回路として、補正部２２及び認識部２３を備えて構成されている。補正部２２は、カメラ１０により撮像された画像に対し歪み補正処理を施す。認識部２３は、カメラ１０により撮像された画像から車両の周囲に存在する物体（例えば歩行者、自転車、他車両、構造物等）を認識する認識処理を行う。尚、歪み補正処理及び認識処理には、既存の各種態様を適用可能であるので、その詳細についての説明は省略する。

（撮像画像）
次に、カメラ１０により撮像された画像について図２を参照して説明する。図２は、実施形態に係る画像処理装置が対象とする画像の歪みを示す図である。

図２において、画像中心を通り水平方向に延びる直線Ｌに対して所定角度範囲（ここでは、±θ）の領域は、実践上歪みがないとみなせる程度に歪みが小さい領域である。この領域を、適宜「水平広画角領域」と称する。画像のうち水平広画角領域以外の領域は、画像中心から離れるほど歪みが大きくなる領域である。

（レンズ特性）
カメラ１０の自由曲面レンズ１１は、上述のような特徴を有する画像を撮像可能なように形成されている。具体的には、自由曲面レンズ１１は、例えば図３（ａ）に示す水平方向のレンズ特性と、図３（ｂ）に示す垂直方向のレンズ特性とが、光軸に垂直な面上における方位角に依存した比（図３（ｃ）参照）で合成されたレンズ特性を有している。このようなレンズ特性を有する自由曲面レンズ１１により、中心を通り水平方向に延びる直線に対して所定角度範囲の領域であって、実践上歪みがないとみなせる程度に歪みが小さい領域と、中心から離れるほど歪みが大きくなる領域とを含む像が撮像素子１２上に結像する。

尚、図３（ｃ）において、合成比“１”とは、「水平方向のレンズ特性：垂直方向のレンズ特性＝１：０」を意味する。従って、合成比“０”とは、「水平方向のレンズ特性：垂直方向のレンズ特性＝０：１」を意味する。図３に示す「水平方向のレンズ特性」、「垂直方向のレンズ特性」及び「合成比」は一例である。図３に示す「水平方向のレンズ特性」、「垂直方向のレンズ特性」及び「合成比」とは異なるレンズ特性や合成比であっても、図２を用いて説明した特徴を有する画像を撮像可能な自由曲面レンズ１１を形成することができる。

（画像処理）
次に、画像処理装置２０が実施する画像処理について図４のフローチャートを参照して説明する。

図４において、画像処理装置２０の取得部２１は、カメラ１０の撮像素子１２の出力としての画像を取得する（ステップＳ１０１）。補正部２２は、取得された画像（図５（ａ）参照）のうち水平広画角領域を切り抜く（所謂トリミング）（ステップＳ１０２）。

この結果、図５（ｂ）に示す水平広画角領域のみを含む画像が生成されるとともに、取得された画像から水平広画角領域が切り抜かれた画像（図５（ｃ）参照）が生成される。尚、切り抜くべき水平広画角領域は、自由曲面レンズ１１のレンズ特性から予め特定することが可能である。

補正部２２は、水平広画角領域のみを含む画像に歪み補正処理を施すことなく、水平広画角領域のみを含む画像を認識部２３に送信する。認識部２３は、水平広画角領域のみを含む画像に対し認識処理を施す（ステップＳ１０３）。

他方、補正部２２は、水平広画角領域が切り抜かれた画像に対し歪み補正処理を施す（ステップＳ１０４）。補正部２２は、歪み補正処理が施された画像を認識部２３に送信する。認識部２３は、歪み補正処理が施された画像に対し認識処理を施す（ステップＳ１０５）。

尚、認識部２３による認識処理の結果は、例えば衝突被害軽減ブレーキに係る処理等に利用されてよい。

（技術的効果）
車両の安全性向上を目的として、車両前方を撮像するカメラが車両に搭載されることが多い。車両に搭載されるカメラとして、広画角なレンズを有し、中心視野を高解像度に撮像可能なカメラが採用されることが多い。このようなカメラで撮像された画像では、広画角なレンズの特性に起因して、広画角領域において像が著しく歪んでいる。このため、撮像された画像から、例えば歩行者等の物体を認識する認識処理に先立ち、画像に歪み補正処理を施す必要がある。カメラの撮像素子の高解像度化に起因して、画像を構成するピクセル数が増加し、歪み補正処理に要する時間が長時間化している。

ところで、画像の端（ここでは特に、左右端）に比較的近い領域には、車両に比較的近い物体が写る。仮に、画像の端に比較的近い領域に、物陰から飛び出した自転車が写っている場合、該自転車が画像に写ってから車両に衝突するまでの時間は比較的短い。従って、車両の安全技術の観点からは、画像が撮像されてから該画像に写った物体が認識されるまでの時間（更には、認識結果に基づく制御が行われるまでの時間）の短縮が望まれる。

本実施形態に係る水平広画角領域（図５参照）は、車両の斜め前方に存在する物体が写ると予想される領域である。本実施形態では、上述の如く、水平広画角領域には歪み補正処理が施されることなく、認識処理が施される（図４のフローチャート参照）。本実施形態では特に、水平広画角領域が切り抜かれた画像（図５（ｃ）参照）に施される歪み補正処理の終了を待たずに、水平広画角領域に認識処理が施される。この結果、歪み補正処理に要する時間が省略され、車両の斜め前方に存在する物体を比較的早期に認識することができる。

また、水平広画角領域が切り抜かれた画像は、歪み補正処理を施すべきピクセル数が比較的少ないので、歪み補正処理に要する時間を抑制することができる。

水平広画角領域が切り抜かれた画像に含まれる「その他領域」（図５（ｃ）参照）は、図２に示すように、レンズ特性に起因する歪みが生じる領域である。水平広画角領域が切り抜かれた画像に歪み補正処理が施されると、画像の中心付近に写っている物体は比較的高解像度で（即ち、比較的多いピクセル数で）表される。この比較的高解像度で表される物体は、認識処理によって比較的認識されやすい。ここで、画像の中心付近には、車両から比較的離れた位置に存在する物体が写る。従って、水平広画角領域が切り抜かれた画像に歪み補正処理が施されることにより、車両から比較的離れた位置に存在する物体を適切に認識することができる。

このように、本実施形態に係る画像処理装置２０は、車両の斜め前方に存在する物体を比較的早期に認識可能であるとともに、車両から比較的離れた位置に存在する物体を適切に認識可能である。

以上に説明した実施形態から導き出される発明の各種態様を以下に説明する。

発明の一態様に係る画像処理装置は、画像中心から離れるほど歪みが大きくなる第１領域と、前記画像中心を通り水平方向に延びる直線に対して所定角度範囲内の領域であって、前記第１領域よりも歪みが小さい第２領域とを含む画像を取得する取得手段と、前記第１領域に対して歪み補正処理を施し、前記第２領域に対して前記歪み補正処理を施さない補正手段と、を備えるというものである。

上記態様の画像処理装置においては、画像の第２領域に対して歪み補正処理が施されない。このため、画像の第１領域に対して歪み補正処理が施されたとしても、画像全体に対して歪み補正処理が施される場合に比べて、歪み補正処理に要する時間を短くすることができる。従って、当該画像処理装置は、画像に施される歪み補正処理に要する時間を抑制することができる。

上記実施形態に係る「水平広画角領域」及び「その他の領域」は、夫々、「第２領域」及び「第１領域」の一例である。上記実施形態に係る「取得部２１」及び「補正部２２」は、夫々、「取得手段」及び「補正手段」の一例である。

上記態様に係る画像処理装置は、前記歪み補正処理が施された第１領域に施される物体認識処理と、前記第２領域に施される前記物体認識処理とを別々に行う認識手段を備えてよい。

物体認識処理は、適切な認識結果を得るために、歪みが比較的小さい又は歪みのない画像（例えば歪み補正処理が施された画像）に施される。当該画像処理装置では、上述の如く、歪みが比較的小さい第２領域については歪み補正処理が施されない。このため、第２領域に施される物体認識処理が、第１領域に対する歪み補正処理の終了を待たずに行われれば、第２領域に写っている物体を比較的早期に認識することができる。尚、上記実施形態に係る「認識部２３」は、「認識手段」の一例である。

当該画像処理装置が対象とする上記第１領域及び第２領域を含む画像が、車両に搭載された撮像装置により撮像されたものである場合、第２領域には、主に車両の斜め前方に存在する物体が写る。画像処理装置を上述の如く構成すれば、例えば車両の側方から該車両の前方に飛び出してくる歩行者や自転車等を比較的早期に認識することができる。車両の安全技術の観点からは、非常に有用である。

発明の一態様に係る撮像装置は、撮像素子と、中心から離れるほど歪みが大きくなる第１領域と、前記中心を通り水平方向に延びる直線に対して所定角度範囲内の領域であって、前記第１領域よりも歪みが小さい第２領域とを含む像を前記撮像素子上に結像可能なように形成された自由曲面レンズと、を備えるというものである。

上記態様の撮像装置においては、第１領域よりも歪みが小さい第２領域を含む画像を撮像することができる。このような画像が撮像されれば、該画像に施される歪み補正処理に要する時間を抑制することができる。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像処理装置及び撮像装置もまた本発明の技術的範囲に含まれるものである。

１０…カメラ、１１…自由曲面レンズ、１２…撮像素子、２０…画像処理装置、２１…補正部、２２…認識部

Claims (3)

1. 画像中心から離れるほど歪みが大きくなる第１領域と、前記画像中心を通り水平方向に延びる直線に対して所定角度範囲内の領域であって、前記第１領域よりも歪みが小さい第２領域とを含む画像を取得する取得手段と、
   前記第１領域に対して歪み補正処理を施し、前記第２領域に対して前記歪み補正処理を施さない補正手段と、
   を備えることを特徴とする画像処理装置。
2. 前記歪み補正処理が施された第１領域に施される物体認識処理と、前記第２領域に施される前記物体認識処理とを別々に行う認識手段を備えることを特徴とする請求項１に記載の画像処理装置。
3. 撮像素子と、
   中心から離れるほど歪みが大きくなる第１領域と、前記中心を通り水平方向に延びる直線に対して所定角度範囲内の領域であって、前記第１領域よりも歪みが小さい第２領域とを含む像を前記撮像素子上に結像可能なように形成された自由曲面レンズと、
   を備えることを特徴とする撮像装置。