JP2013206356A - 画像処理装置及び画像処理カメラ装置 - Google Patents

Abstract

【課題】１フレームの画像を用いて、低解像度の画像を用いたアプリケーションと、高解像度の画像を用いたアプリケーションを同時に動作させることができる。
【解決手段】カメラ部１００で撮像した撮像画像１２１を処理する画像処理装置は、解像度処理部として超解像処理部１０２と、アプリケーション画像処理部として画像認識エンジン１１１と、を備え、超解像処理部１０２は、撮像画像１２１を高解像度画像として回復画像１２２に変換し、アプリケーション画像処理部１１１は、回復画像１２２を用いたアプリケーション処理部として光点検知処理部１１３と、回復画像１２２を用いたアプリケーション処理部として車線・車両検知処理部１１２とを備える。画像認識エンジン１１で複数のアプリケーションを同時に実行する。
【選択図】図１

Description

本発明は、車載カメラ等で撮像した画像を処理する装置に係り、例えば、車線認識等の高解像度の画像情報を用いたアプリケーションと低解像度の画像情報を用いたアプリケーションとを同時に行うことができる画像処理装置と、これを用いたカメラ装置に関する。

本技術分野の背景技術として、画質劣化機能を備えたカメラ装置は、カメラ内に復元可能な画質劣化手段を持たせ、普段の監視業務での状態判断に必要最低限な画質まで劣化させた映像を配信できるようにし、鮮明な画像が必要な場合は、劣化させた画質を復元して利用するカメラ装置がある。このカメラ装置では、復元可能な画像劣化手段には劣化情報の分布を用いた画質向上のための劣化情報復元技術を使用し、画質を劣化させる処理時に画質復元時に必要な特別なファイルを生成したり、暗号鍵などを管理する必要のない構成としている。また、画像劣化手段には利用目的に合わせた画質劣化レベルにするための画質劣化レベル切替え手段を持たせる構成としている（例えば、特許文献１参照）。

特開２０１０−１０３８６７号公報

前記構造のカメラ装置には、復元可能な画質劣化画像に対して、劣化情報復元技術を用いて、鮮明な画像に復元する仕組みが記載されている。しかし、特許文献１の画像取り込み手段では、劣化画像と鮮明な画像を同時に出力することができない。たとえば、通常は、劣化画像を出力するように固定して使用し、鮮明な画像が必要なときに別途、復元する必要がある。たとえば、劣化画像を必要とする画像処理（ヘッドライト制御アプリケーション）と、鮮明な画像を必要とする画像処理（車間自動制御アプリケーション）を同時に動作させることはできない。

本発明は、このような問題に鑑みてなされたものであって、その目的とするところは、１フレームの画像を用いて、ヘッドライト制御アプリケーション等の低解像度の画像を用いたアプリケーションと、車間自動制御アプリケーション等の高解像度の画像を用いたアプリケーションを同時に動作させることができる画像処理装置を提供することにある。また、この画像処理装置を用いた画像処理カメラ装置を提供することにある。なお、本明細書では、以降の説明において、劣化画像を鮮明な画像に復元する当該技術を、超解像処理と呼ぶ。

前記目的を達成すべく、本発明に係る画像処理装置は、カメラ部で撮像した撮像画像を処理する画像処理装置であって、該画像処理装置は、解像度処理部とアプリケーション画像処理部と、を備え、前記解像度処理部は、前記撮像画像を高解像度画像に変換し、前記アプリケーション画像処理部は、前記撮像画像を用いたアプリケーション処理部と、前記高解像度画像を用いたアプリケーション処理部と、を備えることを特徴としている。前記撮像画像は、低解像度画像であり、前記画像処理部は該低解像度画像を用いて光点検知処理する。

前記のごとく構成された本発明の画像処理装置は、カメラ部で撮像された低解像度の撮像画像を用いてアプリケーション処理を行うと共に、低解像度の撮像画像を高解像度画像に変換し、この高解像度画像を用いて他のアプリケーション処理を同時に行うことができる。例えば、撮像画像を低い解像度のまま用いて光点検知処理を行うと共に、高解像度画像を用いて車線検知や、先行車検知等の処理を同時に行うことができる。

本発明によれば、車載カメラ等で撮像した１フレームの画像を用いて、低解像度画像情報を用いたヘッドライト制御アプリケーションと、高解像度画像情報を用いた車間自動制御アプリケーションを同時に動作させることができる画像処理装置と、画像処理カメラ装置を提供することができる。

本発明に係る画像処理装置を用いた画像処理カメラ装置の実施例１の構成を示すブロック図。 図１の画像処理カメラ装置の画角と角度分解能を説明する図。 先行車テールライト等の光点検知に必要な角度分解能を説明する図。 角度分解能と必要分解能を説明する図であり、（ａ）は光源と撮像素子の関係を示す模式図、（ｂ）は光源をぼかして写り込ませた模式図、（ｃ）は撮像素子のカラーパターンの模式図。 ピントとフランジバックを説明する図であり、（ａ）はＭＴＦの特性図、（ｂ）はフランジバックの説明図、（ｃ）はＭＴＦを低める他の例の説明図。 ピント調整範囲と超解像によるピント回復を説明する図。 本発明に係る画像処理カメラ装置の実施例２を示す車載画像処理ステレオカメラ装置のブロック図。

［実施例１］
以下、本発明に係る画像処理装置を用いた画像処理カメラ装置の一実施形態を図面に基づき詳細に説明する。本実施例１では、１フレームの画像を用いて、低解像度画像を用いたヘッドライト制御アプリケーションと、高解像度画像を用いた車間自動制御アプリケーションを同時に動作させることができる車載画像処理カメラ装置の例を説明する。

図１は、本実施例の車載カメラを用いた画像処理カメラ装置１０の構成を示すブロック図である。図１において、車載画像処理カメラ装置１０は、カメラ部１００、画像処理部１０１、超解像処理部１０２、たとえば画像処理ＣＰＵに搭載される画像認識エンジン１１１を備え、画像認識エンジン１１１のなかに車間自動制御アプリケーションとして車線・車両検知処理部１１２、ヘッドライト制御アプリケーションとして光点検知処理部１１３を有する。

カメラ部１００は、例えば車両の前方の情報を後述するレンズ系と撮像素子で撮像して画像情報を出力するものであり、本実施例１ではピントの合った高解像度の画像情報でない、ピントのずれた、ぼやけたアンフォーカスの画像情報（低解像度画像）を出力し、画像処理部１０１に出力する。画像処理部１０１は、アンフォーカスの画像情報を２つに分離し、一方の画像情報をそのまま後述のアプリケーション処理部としての画像認識エンジン１１１に出力する。また、画像処理部１０１は、もう一方の画像情報を高解像度の画像情報に変換する超解像処理部１０２を備えている。超解像処理部１０２の詳細については後述する。

超解像処理部１０２から出力された高解像度の画像情報は、画像エンジン１１１の車間自動制御アプリケーションとしての車線・車両検知処理部１１２に供給される。また、画像処理部１０１で分離された低解像度の画像情報（撮像画像である低解像画像）は、画像認識エンジン１１１のヘッドライト制御アプリケーションとしての光点検知処理部１１３に供給される。光点検知処理部１１３は、例えば先行車両のテールライト検知や対向車両のヘッドライト検知等の画像処理を実行する。そして、画像認識エンジン１１１で各種のアプリケーションが実行される。なお、低解像度画像とは、撮像画像そのものであり、高解像度画像とは、撮像画像が超解像処理された回復画像をいう。

ここで、前記した超解像処理部１０２について説明する。超解像処理部１０２はカメラ部１００で撮像したアンフォーカスのぼやけた画像情報１２１が超解像処理されて、ぼけが回復された回復画像１２２を出力する。この超解像処理とは公知の種々の手法が用いられる。１つの手法としては、撮像素子やレンズなどの撮像系のぼけ特性をモデル化・数値化し、その数値化した特性を用いて、ぼけがなければ本来得られるであろう元の画像に復元する技術がある。

つぎに、図２を参照して、カメラ部１００における撮像素子２００と画角２０１の関係で決定される角度分解能について説明する。図２において、たとえば、レンズ２０２に入射される撮像する画角２０１が６０度のときに、言い換えれば、画像処理対象の領域が６０度のときに、撮像素子の画素数が１２００画素であった場合には、角度分解能は、６０度÷１２００画素＝０．０５度／画素となる。０．１度分の情報は２画素あれば得られることになり、逆に、０．０５度よりも狭い、たとえば、はるか遠方の情報は１画素で得られる分解能よりも小さいために画像処理に必要な撮像はできない。すなわち、当該例においては、撮像素子２００の１画素あたりが得られる情報量は０．０５度分と言える。

また、図３を参照して、ヘッドライト制御アプリケーションでおもに扱う先行車のテールライトを検知するために必要な角度分解能について説明する。図３において、車載画像処理装置に代表されるカメラ装置３００と、当該カメラ装置３００に備えられた撮像素子２００及びレンズ２０２において、先行車３０１の先行車テールライト３０２を撮像する。たとえば、５００ｍ前方の先行車のテールライトが直径（φ）０．１ｍであったときに、当該先行車のテールライトを検知する場合に必要な角度分解能は、ＡｒｃＴａｎ（０．１ｍ／５００ｍ）≒０．０１１度となる。

さらに、図４を参照して、図２、図３で説明した角度分解能と、テールライトを検知するために必要な角度分解能について、具体的に説明する。図４（ａ）において、たとえば、上述した５００ｍ前方の先行車のテールライトを光源４００とし、同じく上述した１２００画素の撮像素子と、６０度の画角２０１を有する撮像系で撮像した場合、テールライト検知に必要な分解能４０１は０．０１１度である。また角度分解能は０．０５度である。このとき、０．０５度分の情報が１画素サイズ４０４分内に撮像されるので、０．０１１度分しか情報がないテールライトの写り込み領域４０３は１画素サイズ４０４よりも小さくなる。

一方で、テールライト検知では、その特徴である赤色を検知することが多い。そのため、撮像素子２００にはカラー撮像することがよく用いられる。一般的なベイヤパターン４０６では、図４（ｃ）に示すように、２×２画素の４画素に対して、赤色フィルタ（Ｒ）、緑色フィルタ（Ｇ１、Ｇ２）、青色フィルタ（Ｂ）を備える。このとき、上述したように、１画素よりも小さい領域にテールライトの写り込み領域４０３があるとすると、カラーデモザイキング処理を行うと、いわゆる偽色が発生して、赤色を正しく再生できないことになる。そこで赤色を得るためには、図４（ｂ）に示すように、少なくとも、２×２画素サイズ４０５の領域に対して、テールライトの写り込み領域４０７をぼかして撮像する必要がある。ここでのカラーデモザイキング処理には、様々な手法があるが、赤色を正しく再生できる領域に、ぼやけた撮像をすればよい。

また、図５を参照して、たとえば、レンズを含む光学系において撮像するぼやけた画像について、説明する。図５（ａ）、（ｂ）において、一般的には、ＭＴＦ（Modulation Transfer Function）特性５００は、レンズ５１０と撮像素子２００の距離、すなわち、フランジバックに対して、焦点距離が合う一定の距離のときに、ＭＴＦ最大（ジャストピント）となる。ジャストピントのフランジバックに対して、レンズ５１０と撮像素子２００の距離が近くなっても、逆に、レンズ５１０と撮像素子２００の距離が遠くなっても、ＭＴＦ（ピント）は小さくなる。すなわち、ぼやけた画像が得られる。

上述したように、先行車テールライトに代表される光点処理（ヘッドライト制御アプリケーション）に必要なピント５０１はＭＴＦ（ピント）が高すぎると検知できないため、ある程度、ＭＴＦ（ピント）が小さい必要がある。一方で、走行前方の、より遠くの情報を必要とする、たとえば車線検知や車両検知（車間自動制御アプリケーション）に必要なピントＭＴＦ（５０２）は高ければ高いほうがよい。

このように、カメラ部１００で撮像した１フレームの画像を用いて、ヘッドライト制御アプリケーションと車間自動制御アプリケーションを同時に動作させることは、相反するＭＴＦ（ピント）、すなわち低解像度の画像と高解像度の画像とを必要とすることになり、本実施例１ではカメラ部１００で撮像した低解像度の撮像画像から高解像度の回復画像を得ることで、複数のアプリケーションを同時に実行することができる。なお、フランジバックを可変とするために、撮像素子２００を移動させる例を示したが、撮像素子を固定してレンズ５１０を移動するように構成してもよい。

また、低解像度の撮像画像を得るために、フランジバックを可変にする方法の代替として、図５（ｃ）に示すように、フランジバックは固定して、位相板５１１などを挿入することにより、物理的に焦点位置を変化させることでもＭＴＦ（ピント）を操作できる。

さらに、図６を参照して、超解像処理によって、１フレームの画像を用いて、ヘッドライト制御アプリケーションと車間自動制御アプリケーションを同時に動作させることを説明する。図６では、フランジバックを可変させることで、低解像度の撮像画像から高解像度の回復画像を得ることを説明する。

図６において、超解像処理によるピント回復可能領域６０１よりもＭＴＦ（ピント）を高く、かつ、光点検知処理に必要なピント５０１よりもＭＴＦ（ピント）が小さくなる領域が、フランジバック調整範囲６０２となる。レンズ５１０と撮像素子２００のフランジバックを当該調整範囲６０２に合わせておいて、配光アプリケーションに適するＭＴＦ（ピント）が小さい画像はそのまま、ぼやけた画像として用いて画像処理を行い、一方で車間自動制御アプリケーションに適する画像は、超解像処理６０３によってＭＴＦ（ピント）を回復させて、ＭＴＦ（ピント）を高くしてから画像処理を行うことができる。

前記の如く構成された本実施形態の画像処理カメラ装置１０の動作について以下に説明する。カメラ部１００で撮像したアンフォーカスのぼやけた画像１２１を作り、それを画像処理部１０１に入力する。画像処理部１０１で、ぼやけた画像１２１は２つに分離され、一方の画像情報はぼやけたままの状態で画像認識エンジン１１１の光点検知処理部１１３に入力される。また、もう一方のぼやけた画像情報１２１は、画像処理部１０１のなかの超解像処理部１０２で高解像度の画像情報に変換され、ぼやけた画像１２１に超解像処理を行い、ぼけが回復された回復画像１２２を出力する。

画像認識エンジン１１１では、ぼやけた画像１２１を用いて光点検知処理部１１３で光点検知処理を行い、ヘッドライト制御アプリケーションを動作させる。それと同時に、高解像度の回復画像１２２を用いて車線・車両検知処理部１１２では車線検知処理と車両検知処理を行い、車間自動制御アプリケーションを動作させる。このように、画像認識エンジン１１１では、ヘッドライト制御アプリケーションと車間自動制御アプリケーションを同時に動作させることができる。

［実施例２］
本実施例２では、画像処理装置の車載画像処理ステレオカメラへの適用例を図７に基づいて説明する。すなわち、実施例２の画像処理カメラ装置２０は、右カメラ部と左カメラ部とを備えるステレオカメラを用いている。図７は、本実施例２の車載画像処理ステレオカメラ装置のブロック図を示している。なお、この実施例では、前記した実施例１と実質的に同等の構成については同じ符号を付して詳細な説明は省略する。

図７において、実施例２の画像処理カメラ装置２０は、右カメラ部７００、左カメラ部７０１の複数のカメラを備えており、ステレオカメラ装置を構成している。また、複数のカメラから入力した画像に対して画像処理を行う画像処理部１０１は、右カメラ部７００から出力された画像情報を３つに分離し、１つの画像情報をそのままで後段のアプリケーション処理部へ供給する。画像処理部１０１は、もう１つの画像情報を高解像度の画像情報に処理する超解像処理部１０２と、他の１つの画像情報を処理する光点検知処理部７０３を備えている。

画像処理部１０１は、さらにステレオ画像処理を行う視差計算部７０４を備えている。視差計算部７０４は、右カメラ部７００と左カメラ部７０１の撮像画像を高解像度化した画像情報を基に、ステレオ画像処理のための視差計算を行うために視差画像７１０を出力する。

光点検知処理部７０３は、ヘッドライト制御に代表される画像処理のための光点画像７１１を出力する。なお、光点検知処理部７０３は必ずしも必要でない。図１で説明したように、画像認識エンジン１１１に光点検知処理部を搭載することでヘッドライト制御アプリケーションを動作させてもよい。

アプリケーション処理部としての画像認識エンジン１１１は、車間自動制御アプリケーション７２１、ヘッドライト制御アプリケーション７２２を備えている。車間自動制御アプリケーション７２１は、前記実施例１と同様に、車線・車両検知処理等を実行し、ヘッドライト制御アプリケーション７２２は、前記実施例１と同様に、先行車のテールライト検知、あるいは、対向車のヘッドライト検知等の光点検知処理を実行する。あるいは、光点検知処理部７０３から得られる光点画像７１１を用いた画像処理を実行する。なお、画像認識エンジン１１１は、他の画像処理を実行するものでもよい。

このように構成された実施例２の画像処理カメラ装置２０では、右カメラ部７００で撮像された低解像度のぼやけた撮像画像１２１は３つの画像情報に分離され、１つの画像情報は画像処理部１０１の超解像度処理部１０２で高解像度の画像情報に変換され、ぼけが回復された回復画像１２２として出力され、もう１つの画像情報は低解像度のまま後段のアプリケーション処理部としての画像認識エンジン１１１に出力される。そして、さらに１つの画像情報は、光点検知処理として光点検知処理部７０３に入力され、光点を検知する光点処理が実行される。

また、左カメラ部７０１で撮像された低解像度のぼやけた撮像画像１２１は、超解像度処理部１０２に入力され、高解像度の画像情報に変換され、ぼけが回復された回復画像として出力される。そして、超解像度処理部１０２で高解像度の画像情報に変換された左右の高解像度画像は視差計算部７０４に入力され、視差計算部７０４で左右画像を元にした視差計算を行う。前記の光点検知処理部７０３による光点検知処理と、視差計算部７０４による視差計算は、同じ１フレームで撮像した画像に対して実行される。

視差計算部７０４による画像処理において得られる視差画像７１０と、超解像処理部１０２でぼけを回復した回復画像１２２は、画像認識エンジン１１１において、車間自動制御アプリケーション７２１に使われる。また、光点検知処理部７０３による画像処理において得られた光点画像７１１と、ぼやけた画像１２１は、画像認識エンジン１１１において、ヘッドライト制御アプリケーション７２２に使われる。このように、車載ステレオカメラを用いた画像処理ステレオカメラ装置２０においても、ヘッドライト制御アプリケーションと車間自動制御アプリケーションを同時に動作させることができる。

視差計算部７０４の視差計算で、算出された視差画像７１０は例えば先行車との車間距離を検出するのに用いられ、検出された車間距離を一定に保つための制御や、車間距離が小さい場合に減速する制御等、上述している車間自動制御アプリケーションに用いられる。また、車間自動制御アプリケーションの一例として、車線・車両検知をあげているが、たとえば、歩行者などの障害物を検知することにも用いられる。車間自動制御アプリケーションの他にも、プリクラッシュ制御（障害物への衝突回避・軽減制御）などにも用いられる。

前記した実施例１、実施例２では、ヘッドライト制御アプリケーションの一例として、テールライト検知をあげているが、信号検知や標識検知などの色情報を必要とするアプリケーションも含まれる。

以上、本発明の実施形態について詳述したが、本発明は上記した実施例に限定されるものではなく、さまざまな変形例が含まれる。例えば、上記した実施例は本発明をわかりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成にほかの実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、たとえば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際にはほとんどすべての構成が相互に接続されていると考えてもよい。カメラ装置として車載カメラの例を示し、複数のカメラ装置として２つのステレオカメラ装置の例を示したが、定点カメラ等の固定カメラで撮像した撮像画像や、３つ以上のカメラ装置で撮像した撮像画像を用いて複数のアプリケーション処理を行うように構成してもよい。

本発明の活用例として、この画像処理装置を用いて各種のカメラ装置で撮像した画像信号で複数のアプリケーション処理を同時に行うことができ、車載カメラを取り付けることによって車両の各種の用途にも適用できると共に、定点カメラを取り付けることによって地域の安全等の各種の用途にも適用できる。

１０：画像処理カメラ装置
２０：画像処理ステレオカメラ装置
１００：カメラ部
１０１：画像処理部
１０２：超解像処理部（解像度処理部）
１１１：画像認識エンジン（アプリケーション画像処理部）
１１２：車線・車両検知処理部
１１３：光点検知処理部
１２１：ぼやけた画像（低解像度画像）
１２２：回復画像（高解像度画像）
２００：撮像素子
２０１：画角
２０２：レンズ
３００：カメラ装置
３０１：先行車
３０２：先行車テールライト
４００：光源
４０１：テールライト検知必要分解能
４０２：角度分解能
４０３：テールライト写り込み領域
４０４：１画素サイズ
４０５：２×２画素サイズ
４０６：ベイヤパターン
４０７：ぼやけたテールライト写り込み領域
５００：ＭＴＦ特性
５０１：光点検知処理に必要なピント
５０２：車線・車両検知に必要なピント
５１０：レンズ
５１１：位相板
６０１：超解像による回復可能領域
６０２：フランジバック調整範囲
６０３：超解像処理
７００：右カメラ部
７０１：左カメラ部
７０３：光点検知処理部
７０４：視差計算部
７１０：視差画像
７１１：光点画像
７２１：車間自動制御アプリケーション
７２２：ヘッドライト制御アプリケーション

Claims (7)

1. カメラ部で撮像した撮像画像を処理する画像処理装置であって、
   該画像処理装置は、解像度処理部とアプリケーション画像処理部と、を備え、
   前記解像度処理部は、前記撮像画像を高解像度画像に変換し、
   前記アプリケーション画像処理部は、前記撮像画像を用いたアプリケーション処理部と、前記高解像度画像を用いたアプリケーション処理部と、を備えることを特徴とする画像処理装置。
2. 前記撮像画像は、低解像度画像であり、前記アプリケーション処理部は該低解像度画像を用いて光点検知処理することを特徴とする請求項１に記載の画像処理装置。
3. 前記カメラ部は、レンズと撮像素子とを備えており、
   前記低解像度画像は、前記レンズと前記撮像素子のフランジバックを調整して撮像されることを特徴とする請求項２に記載の画像処理装置。
4. 前記フランジバックは、前記低解像度画像を取得でき、前記超解像処理部により高解像度画像を取得できるように、前記フランジバックが一定の調整範囲を持つことを特徴とする請求項３に記載の画像処理装置。
5. 前記画像処理部は、光点検出処理部を備えることを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
6. 前記カメラ部は、右カメラ部と左カメラ部とを備え、前記画像処理部は、左右のカメラ部で撮像した画像から視差を求める視差計算部を備えることを特徴とする請求項１〜５のいずれかに記載の画像処理装置。
7. 請求項１〜６のいずれかに記載の画像処理装置と、前記撮像画像を撮像する前記カメラ部とを備えることを特徴とする画像処理カメラ装置。

Images