JP7148384B2 - 半導体装置、画像処理方法およびプログラム - Google Patents

Description

本発明は半導体装置、画像処理方法およびプログラムに関する。

複数のカメラで一の風景を同時に撮像し、撮像した画像に合成および幾何変換を施して表示させる画像処理技術が普及している。自動車においては、このような技術を利用して自動車の周囲を運転者に容易に認識させるシステムが普及しつつある。このような画像処理技術の一例としてサラウンドビューが挙げられる。サラウンドビューは、例えば、運転者が操作する自動車の周囲３６０度の風景を真上から見た二次元画像として運転者に表示する。サラウンドビューを目視することにより、運転者は自動車の周囲に存在する物体を直観的に認識することができる。そのためサラウンドビューは、自動車の安全性を向上させることに寄与する技術として急速に普及している。

ところで、複数のカメラにより一の風景を同時に撮像する場合、カメラが撮像した撮像領域ごとに照らされている光の色が異なる場合がある。また、カメラはそれぞれに色バランス処理を施す機能を有している。そのため、複数のカメラがそれぞれ撮像した画像を合成する場合、互いの色バランスが異なる場合がある。そこで、異なる色バランス処理が施された複数の画像を違和感なく合成するための技術が求められている。

例えば、特許文献１に記載の合成映像表示装置は、合成映像において重複して対応する撮影画素の画素値を統計した第１の統計値と第２の統計値とを算出し、第１の統計値と第２の統計値の平均値を第１の統計値で除算した目標ゲインを算出する。そして、合成映像表示装置は、映像調整の対象とする撮影映像を撮影した撮影装置の光軸にあたる撮影画素から、重複して対応する撮影画素にかけて施す映像調整の調整ゲインを１から目標ゲインに変化させる。

特開２００８－０７９２４８号公報

しかし、特許文献１に記載の技術は、撮影装置の光軸にあたる撮影画素を基準として色バランスが施されている。そのため、特許文献１に記載の技術は、撮影装置の光軸から離れるに連れて、適切な色バランスから離れる虞がある。したがって、例えば、運転者が注意すべき対象物が自動車の周囲で相対的に移動している場合、特許文献１に記載の技術は、対象物に対して動的に好適な色バランス処理を施すことができない。

その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

一実施の形態によれば、半導体装置は、画像データ取得回路と、調整領域決定回路と、色調整回路と、画像合成回路と、出力回路とを有する。画像データ取得回路は、撮像領域に互いに重複する重複部を含む画像を撮像し、撮像した画像の画像データをそれぞれ生成する複数の画像信号処理装置から予め設定された期間ごとに連続して前記画像データを取得する。調整領域決定回路は、第１時刻において取得した第１画像データから予め認識するように設定された物体である対象物体を特定し、第１時刻より前の時刻から第１時刻にかけての対象物体の位置変化に基づいて、第１時刻より後の第２時刻における対象物体の位置を推定することにより調整領域を決定する。色調整回路は、第１画像データの調整領域に基づいて色バランスの調整である色調整ゲインを決定し、色調整ゲインに基づいて第２時刻における第２画像データに色調整を施す。画像合成回路は、画像データをそれぞれの前記重複部が互いに重なるように合成して合成画像を生成する。出力回路は、色調整が施された合成画像を出力する。

また、一実施の形態によれば、半導体装置は、画像データ取得インタフェースと、プロセッサと、メモリとを有する。画像データ取得インタフェースは、撮像領域に互いに重複する重複部を含む画像を撮像し、撮像した画像の画像データをそれぞれ生成する複数の画像信号処理装置から予め設定された期間ごとに連続して画像データを取得する。プロセッサは、第１時刻において取得した第１画像データから予め認識するように設定された物体である対象物体を特定する。また、プロセッサは、第１時刻より前の時刻から第１時刻にかけての対象物体の位置変化に基づいて、第１時刻より後の第２時刻における対象物体の位置を推定することにより調整領域を決定する。また、プロセッサは、第１画像データにおける調整領域に基づいて色バランスの調整である色調整ゲインを決定し、色調整ゲインに基づいて第２時刻における第２画像データに色調整を施す。さらに、プロセッサは、画像データをそれぞれの重複部が互いに重なるように合成して合成画像を生成し、色調整が施された合成画像を出力する。また、メモリは、対象物体を特性するための対象物体情報を記憶する。

また、一実施の形態によれば、画像処理方法は、画像データ取得ステップと、調整領域決定ステップと、色調整ステップと、画像合成ステップと、出力ステップとを有する。画像データ取得ステップは、撮像領域に互いに重複する重複部を含む画像を撮像し、撮像した画像の画像データをそれぞれ生成する複数の画像信号処理装置から予め設定された期間ごとに連続して画像データを取得する。調整領域決定ステップは、第１時刻において取得した第１画像データから予め認識するように設定された物体である対象物体を特定し、第１時刻より前の時刻から第１時刻にかけての対象物体の位置変化に基づいて、第１時刻より後の第２時刻における対象物体の位置を推定することにより調整領域を決定する。色調整ステップは、第１画像データにおける調整領域に基づいて色バランスの調整である色調整ゲインを決定し、色調整ゲインに基づいて第２時刻における第２画像データに色調整を施す。画像合成ステップは、画像データをそれぞれの重複部が互いに重なるように合成して合成画像を生成する。出力ステップは、色調整が施された合成画像を出力する。

前記一実施の形態によれば、物体の視認性の悪化を抑制する半導体装置等を提供することができる。

実施の形態１にかかる画像処理システムが搭載された自動車の概観図である。 実施の形態１にかかる画像処理システムの概略構成図である。 実施の形態１にかかる半導体装置の機能ブロック図である。 実施の形態１にかかる半導体装置の処理を示すフローチャートである。 画像処理システムが有するカメラが撮像する撮像領域の例を示す図である。 前カメラが生成する画像データの例を示す図である。 左カメラが生成する画像データの例を示す図である。 半導体装置が行う一致化ゲイン算出時の一連の処理を示すフローチャートである。 重複領域における処理領域が完全には重ならない場合を例示した図である。 半導体装置の処理時間の例を示した図である。 画像処理システムを搭載した自動車の近くを他の自動車が走行する図である。 画像処理システムを搭載した自動車の近くを他の自動車が走行する図である。 画像処理システムを搭載した自動車の近くを他の自動車が走行する図である。 調整領域を決定するための処理を示すフローチャートである。 対象物体の優先順位の例を示した図である。 実施の形態１にかかる画像の幾何変換を示した図である。 実施の形態１にかかる画像の合成を模式的に示した図である。 対象物体の優先順位が入れ替わる状態の例を示した図である。 再調整部が処理する再調整ゲインの例を説明するためのグラフである。 実施の形態１の変形例１における自動車の概観図である。 実施の形態１の変形例２にかかる画像処理システムの概略構成図である。 実施の形態２にかかる画像処理システムの概略構成図である。 実施の形態２にかかる半導体装置の機能ブロック図である。 実施の形態２にかかる半導体装置における物体選択処理のフローチャートである。

説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。したがって、以下の説明において、回路として例示した構成は、ハードウェアまたはソフトウェアのいずれかまたはその両方によって実現することが可能であり、ある機能を実現する回路として示され構成は、同様の機能を実現するソフトウェアの一部としても示され得る。例えば、制御回路と記載された構成は、制御部として記載され得る。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

＜実施の形態１＞
図１および図２を参照しながら、実施の形態１の構成概略について説明する。図１は、実施の形態１にかかる画像処理システムが搭載された自動車の概観図である。画像処理システム１０は、図に示す自動車１に搭載されている。図は自動車１の上面図であり、図の上側が自動車１の前側であり、図の左側が自動車１の左側であり、図の下側が自動車１の後ろ側であり、図の右側が自動車１の右側である。

図２は、実施の形態１にかかる画像処理システムの概略構成図である。図２は、自動車１に搭載されている画像処理システム１０の主なハードウェア構成を模式的に示したものである。以下に、図１および図２を参照しながら画像処理システム１０の各構成について説明する。

画像処理システム１０は、自動車１の周囲を撮像し、撮像した画像の画像データに所定の処理を施して運転者等に表示するためのシステムである。画像処理システム１０は、主な構成として、カメラ１１Ｆ、カメラ１１Ｌ、カメラ１１Ｂ、カメラ１１Ｒ、表示装置１２、および半導体装置１００を有している。

カメラ１１Ｆ、カメラ１１Ｌ、カメラ１１Ｂおよびカメラ１１Ｒは、自動車１の周囲の風景をそれぞれ撮像するための撮像装置である。これら４台のカメラは、それぞれレンズ、画像を電気信号に変換する撮像素子および撮像素子が生成した電気信号から画像データを生成するＩＳＰ（Image Signal Processor）等により構成されている。ＩＳＰは、撮像素子が生成した電気信号に対して画素ごとに適宜画質の調整を行う画像信号処理装置である。このような構成により、それぞれのカメラは、予め設定されたアルゴリズムに従い、色バランスなどを自動的に調整し、調整した画像データを出力する。すなわち、屋内の特別な照明環境下や夕焼け下で撮影されたオブジェクトは識別がし難くなる。それに対して、ＩＳＰが実行するアルゴリズムは、自然光（白色光）下で撮影されたオブジェクトのように識別がし易くなるように各画素のＲ,Ｇ,Ｂ毎の信号レベルを変更する機能を有している。

また、これら４台のカメラは、画像データを所定のファイル形式に適合するように処理する。所定のファイル形式とは、例えばＥｘｉｆ（Exchangeable image file format）である。Ｅｘｉｆに適合するように処理が施された画像データは、撮像された画像データと併せて、撮像された日時、カメラの機種、絞り値、画素数、または色調整ゲインといった情報を含んでいる。なお、ＩＳＰが施す色調整は、初期色調整、ＡＷＢ（Automatic White Balance）またはカラーバランスとも称される。Ｅｘｉｆに適合した画像データは、これらの情報によって、データの管理や、機器同士のデータ交換、最適な設定での出力などが行われるように構成されている。また、これら４台のカメラはそれぞれ半導体装置１００に接続されており、生成した画像データを半導体装置１００に供給する。

上記４台のカメラの内、カメラ１１Ｆは自動車の前方を撮像するように、自動車１の前部に設置されている。同様に、カメラ１１Ｌは自動車の左方を撮像するように自動車１の左側に設置されている。同じく、カメラ１１Ｂは自動車１の後方を撮像するように自動車１の後部に設置され、カメラ１１Ｒは自動車の右方を撮像するように自動車１の右側に設置されている。

なお、上記４台のカメラは、互いに重複する撮像領域をそれぞれ含んでいる。例えば、自動車１の前方を撮像するカメラ１１Ｆの撮像領域および自動車１の左方を撮像するカメラ１１Ｌの撮像領域は、それぞれが自動車１の左前方を撮像するため、この部分は互いに重複する。同様に、カメラ１１Ｌの撮像領域およびカメラ１１Ｂの撮像領域は、自動車１の左後方部分が互いに重複する。同じく、カメラ１１Ｂの撮像領域およびカメラ１１Ｒの撮像領域は、自動車１の右後方部分が互いに重複し、カメラ１１Ｒの撮像領域およびカメラ１１Ｆの撮像領域は、自動車１の右前方部分が互いに重複する。このように、上記４台のカメラがそれぞれ互いに重複領域を含むことにより、画像処理システム１０は、自動車１の前後左右を切れ目なく撮像する。

半導体装置１００は、上記４台のカメラから画像データを取得し、取得した画像データに所定の処理を施して、処理済みの画像データを表示装置１２に出力する。半導体装置１００はＣＰＵおよびメモリ等を含む電気部品により構成されており、自動車１の任意の位置に設置される。半導体装置１００は、主な構成として、画像データ取得ＩＦ（Interface）、プロセッサ１２０、内部メモリ１３０、画像データ出力ＩＦ１４０を有している。半導体装置１００の各構成は、内部バスにより接続されている。

画像データ取得ＩＦ１１０は上述した４台のカメラから画像データを取得するインタフェースである。画像データ取得ＩＦ１１０は、カメラから画像データを取得すると、取得した画像データをプロセッサ１２０または内部メモリ１３０に供給する。

プロセッサ１２０はカメラから取得した画像データに対して内部メモリ１３０と協働しながら所定の処理を施すための演算装置である。プロセッサ１２０は、主な機能として、所定の時刻において取得した画像データから予め認識するように設定された物体である対象物体を特定し、対象物体の位置変化に基づいて、対象物体の位置を推定することにより調整領域を決定する。また、プロセッサ１２０は、画像データにおける調整領域に基づいて色バランスの調整である色調整ゲインを決定し、色調整ゲインに基づいて画像データに色調整を施す。さらに、プロセッサ１２０は、上記４台のカメラがそれぞれ撮像した画像の画像データをそれぞれの重複部が互いに重なるように合成して合成画像を生成する。

内部メモリ１３０は、プロセッサ１２０と協働して画像データを一時的に記憶したり、対象物体を特定するための対象物体情報を予め記憶しておいたりするための記憶装置である。内部メモリ１３０は、例えばＤＲＡＭ（Dynamic Random Access Memory）やＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の揮発性メモリ若しくはフラッシュメモリ等の不揮発メモリまたはこれらの組合せにより構成される。画像データ出力ＩＦ１４０は、プロセッサにより生成された処理後の画像データを表示装置に出力するためのインタフェースである。

表示装置１２は、半導体装置１００から受け取った画像データを表示するための装置であって、画像データ入力回路、表示デバイス、表示ドライバ等により構成されている。表示デバイスは、例えば、液晶パネル、有機ＥＬ（Electro Luminescence）、ＨＵＤ（Head-up Display）等である。表示装置１２は、例えば運転者が目視し易いダッシュボードやセンタークラスタ等に設置される。

次に、半導体装置１００の機能および半導体装置１００が行う処理について説明する。図３は、実施の形態１にかかる半導体装置の機能ブロック図である。半導体装置１００は主な機能として、画像データ取得部１０１、推定元画像生成部１０２、調整領域決定部１０３、再調整部１０４、幾何変換部１０５、画像合成部１０６、出力部１０７および記憶部１０８を有している。

図４は、実施の形態１にかかる半導体装置の処理を示すフローチャートである。半導体装置１００は、図３に示す機能により、図４の処理を実現する。以下に、図４の処理について図３の機能とともに説明する。

まず、画像データ取得部１０１は、上述した４台のカメラからそれぞれの画像データを取得する（ステップＳ１０）。画像データ取得部１０１が取得する画像データは、Ｅｘｉｆに適合するファイル形式となっている。画像データは、例えばＪＰＥＧ形式の複数の画素から構成される画像を有する。複数の画素のそれぞれは、Ｒ,Ｇ,Ｂという３つの信号レベルを有している。更に、画像データは、ＡＷＢゲイン等の情報が含まれている。画像データ取得部１０１は、取得した画像データを推定元画像生成部１０２に供給する。

なお、画像データ取得部１０１は、上述した４台のカメラから予め設定された期間ごとに連続して前記画像データを取得する。予め設定された期間とは、例えば３０分の１秒（換言すると３０ヘルツの周波数である）や６０分の１秒（換言すると６０ヘルツの周波数である）である。このようにカメラから画像データを取得する場合において、１回分の画像データの取得を１フレームとも称する。例えば、３０分の１秒ごとに画像データを取得する場合、画像データ取得部１０１は３０ヘルツのフレームレートにより画像データを取得するという。画像データ取得部１０１は、１フレームに４台のカメラの全てからそれぞれ１回の撮像分ずつの画像データを取得する。

ここで、画像データに含まれるＡＷＢゲインの導出例について説明する。カメラのＩＳＰは、撮像素子から複数の画素で構成される画像を受け取る。画像の含まれる複数の画素のそれぞれの画素は、Ｒ,Ｇ,Ｂという３つの信号レベルを有している。各信号レベルは、８ビット階調（０～２５６）で示される。ここで、画像のＲの信号レベルの集合をＲ０とする。同様に、画像のＧの信号レベルの集合をＧ０、画像のＢの信号レベルの集合をＢ０とする。カメラのＩＳＰは、撮像素子から画像を受け取ると、画像の中央部から無彩色の領域を抽出する。なお、本開示において、「無彩色」というのは、ＲＧＢの各信号レベルの最大値と最小値の差が予め設定された値より小さい色を言う。例えば、本開示における無彩色は、ＲＧＢの各信号レベルの最大値と最小値の差が１０より小さい色であってもよい。ここで、ＩＳＰが抽出した無彩色の領域のＲの信号レベルの集合をＣ＿Ｒ０とする。同様に、無彩色の領域のＧの信号レベルの集合をＣ＿Ｇ０, 無彩色の領域のＢの信号レベルの集合をＣ＿Ｂ０とする。なお、当然ながら、抽出された無彩色の領域の複数の画素は、画像を構成する複数の画素に含まれる。カメラのＩＳＰは、この無彩色の領域が白色に近付くように色バランスを調整するＡＷＢゲインを決定する。なお、本開示において「白色」とは、ＲＧＢの各信号レベルの差が略０になる色を意味している。具体的には、ＩＳＰは、以下の式においてそれぞれの積分値が等しくなるように、Ｃ_Ｒ０、Ｃ_Ｇ０、Ｃ_Ｂ０の積分値に乗算するＡＷＢゲイン（パラメータ）α、γおよびβを決定する。

ＩＳＰは、このようにして決定したＡＷＢゲインα、γおよびβのそれぞれを、画像全体の画素のＲ,Ｇ,Ｂの信号レベルそれぞれに乗算する。これにより、画像のＲの信号レベルの集合がＲ１に変わる。同様に、画像のＧの信号レベルの集合がＧ１、画像のＢの信号レベルの集合がＢ１に変化した画像が生成される。なお、この画像が先述した画像データに含まれる画像である。

なお、最終的に、白をどのような色で表示するかはディスプレイやプリンターなどのような出力デバイス側の色設定で決まるのが一般的である。このようにして、ＩＳＰは撮像素子から受け取った画素信号の色バランスを調整した画素信号を生成する。そして、ＩＳＰは、生成した画素信号にＥｘｉｆに対応した種々の情報を付加した画像データを出力する。

上述の処理は一般的なカメラにおけるＡＷＢの処理例である。本開示における上記４台のカメラにおいても、これと同様の処理がそれぞれ行われている。つまり、上記４台のカメラは、それぞれがＡＷＢ処理を施している。そのため、上記４台のカメラがそれぞれ決定するＡＷＢゲインの値が同じになるとは限らない。

次に、図５を参照しながら画像の撮像領域について説明する。図５は、画像処理システムが有するカメラが撮像する撮像領域の例を示す図である。自動車１の前部に設置されたカメラ１１Ｆは、撮像領域３００Ｆを撮像するように設定されている。同様に、自動車１の左側部に設置されたカメラ１１Ｌは、撮像領域３００Ｌを撮像するように設定され、後部に設置されたカメラ１１Ｂは、撮像領域３００Ｂを撮像するように設定され、右側部に設置されたカメラ１１Ｒは、撮像領域３００Ｒを撮像するように設定されている。

また、重複領域３００ＦＬは、カメラ１１Ｆが撮像する撮像領域３００Ｆとカメラ１１Ｌが撮像する撮像領域３００Ｌとが重複する領域である。同様に、重複領域３００ＬＢは、カメラ１１Ｌが撮像する撮像領域３００Ｌとカメラ１１Ｂが撮像する撮像領域３００Ｂとが重複する領域である。同じく、重複領域３００ＢＲはカメラ１１Ｂが撮像する撮像領域３００Ｂとカメラ１１Ｒが撮像する撮像領域３００Ｒとが重複する領域であり、重複領域３００ＲＦはカメラ１１Ｒが撮像する撮像領域３００Ｒとカメラ１１Ｆが撮像する撮像領域３００Ｆとが重複する領域である。

以上に説明したとおり、上記４台のカメラがそれぞれ撮像した画像には重複領域が含まれる一方、上記４台のカメラはそれぞれ異なるＡＷＢゲインを決定している可能性がある。そのため、例えば、前方を撮像するカメラ１１Ｆと左方を撮像するカメラ１１Ｌがそれぞれ決定したＡＷＢゲインが異なる場合、画像データの左前方の重複領域３００ＦＬにおける色バランスが互いに異なる。

次に半導体装置１００は、各画像データの領域情報を取得する（ステップＳ１１）。領域情報は、各カメラから取得する画像データに含まれる画素信号を予め設定された複数画素を有する領域に画定するための情報である。領域情報には、例えば、取得する画像データの画角や重複領域に関する情報が含まれており、例えば内部メモリ１３０に予め記憶されている。したがって、半導体装置１００は、例えば予め記憶されている領域情報と、カメラ１１Ｆから取得した画像データとを照合することにより、画像データに含まれる画素信号を予め設定された領域に画定する。

図６および図７を参照しながら領域情報について説明する。図６は、前カメラ（カメラ１１Ｆ）が生成する画像データの例を示す図である。図に示す画像データ３０１Ｆは、カメラ１１Ｆが撮像領域３００Ｆを撮像することにより生成したものである。画像データ３０１Ｆはカメラが撮像することにより、カメラ１１Ｆが有する広角レンズの収差の影響を受けて樽型の歪みが発生している。なお、本実施の形態において、画像データは樽型の歪んだ形状により示されているが、カメラから供給される画像データは一般的には矩形である。ここでは理解を容易にするため、矩形の画像データの内、後述する表示領域に採用する部分の画像データを抽出して説明している。

画像データ３０１Ｆは、樽型の歪みに沿って格子状の領域に分割されている。本実施の形態の場合、画像データ３０１Ｆは画像の左上を起点として、横方向に３２分割され、縦方向に１２分割されている。このように分割された各領域を、以降処理領域と称する。すなわち画像データ３０１Ｆは、３２×１２＝３８４の処理領域に分割されている。ここで、画像データ３０１Ｆは、説明の便宜上、横方向にＦＣ１～ＦＣ３２までの番号が付与され、縦方向にＦＲ１～ＦＲ１２までの番号が付与されている。例えば画像データ３０１Ｆの左上は、処理領域（ＦＣ１、ＦＲ１）と示される。

図に太枠で示す重複領域３０１ＦＬは、図５で示した重複領域３００ＦＬに対応する領域である。重複領域３０１ＦＬは、処理領域（ＦＣ１、ＦＲ１）から処理領域（ＦＣ１２、ＦＲ１２）までの範囲を占めている。同様に、図に太枠で示す重複領域３０１ＲＦは、図５で示した重複領域３００ＲＦに対応する領域である。重複領域３０１ＲＦは、処理領域（ＦＣ２１、ＦＲ１）から処理領域（ＦＣ３２、ＦＲ１２）までの範囲を占めている。

図７は、左カメラ（カメラ１１Ｌ）が生成する画像データの例を示す図である。図に示す画像データ３０１Ｌは、カメラ１１Ｌが撮像領域３００Ｌを撮像することにより生成したものである。なお、図７に示す画像データの例も、図６の説明と同様に複数の画素を有する処理領域に分割され、それぞれの領域を示すことができるように横方向および縦方向にそれぞれ番号が付与されている。すなわち、画像データ３０１Ｌは、横方向に１２分割、縦方向に４８分割されており、１２×４８＝５７６の処理領域に分割されている。また、画像データ３０１Ｌの左上が処理領域（ＬＣ１、ＬＲ１）と示され、画像データ３０１Ｌの右下が処理領域（ＬＣ１２、ＬＲ４８）と示される。

図に太枠で示す重複領域３０１ＬＦは、図５で示した重複領域３００ＦＬに対応する領域である。重複領域３０１ＬＦは、処理領域（ＬＣ１、ＬＲ１）から処理領域（ＬＣ１２、ＬＲ１２）までの範囲を占めている。同様に、図に太枠で示す重複領域３０１ＬＢは、図５で示した重複領域３００ＬＢに対応する領域である。重複領域３０１ＬＢは、処理領域（ＬＣ１、ＬＲ３７）から処理領域（ＬＣ１２、ＬＲ４８）までの範囲を占めている。

次に、重複領域の対応関係について説明する。図６に示した画像データ３０１Ｆの重複領域３０１ＦＬは、図７に示した画像データ３０１Ｌの重複領域３０１ＬＦと対応関係にある。より具体的には、画像データ３０１Ｆの処理領域（ＦＣ１、ＦＲ１）は、画像データ３０１Ｌの処理領域（ＬＣ１、ＬＲ１）と対応関係にあり、共通の領域を撮像した画像のデータである。同様に、画像データ３０１Ｆの処理領域（ＦＣ１２、ＦＲ１）は、画像データ３０１Ｌの処理領域（ＬＣ１２、ＬＲ１）と対応関係にある。同じく、画像データ３０１Ｆの処理領域（ＦＣ１、ＦＲ１２）は、画像データ３０１Ｌの処理領域（ＬＣ１、ＬＲ１２）と対応関係にある。そして画像データ３０１Ｆの処理領域（ＦＣ１２、ＦＲ１２）は、画像データ３０１Ｌの処理領域（ＬＣ１２、ＬＲ１２）と対応関係にある。

領域情報には、上述したそれぞれの画像データの、処理領域および重複領域を画定することができる情報が含まれている。したがって、半導体装置１００は、領域情報を取得して、各画像データの処理領域および重複領域を画定するとともに、重複領域の対応関係を決定する。

次に、推定元画像生成部１０２は、受け取った画像データのそれぞれについて、以下のステップに従い、推定元画像データを生成する処理を行う。推定元画像生成部１０２は、受け取った画像データに含まれる情報にＡＷＢゲイン値が含まれているか否かを判定する（ステップＳ１２）。なお、ここで「ＡＷＢゲイン値」とは、ＡＷＢゲインの具体的な値のことを指しており、「オート」等の情報は含まない。

画像データに含まれる情報にＡＷＢゲインに関する情報が含まれていない場合（ステップＳ１２：Ｎｏ）、推定元画像生成部１０２は、一致化ゲインの算出を行う（ステップＳ１３）。一致化ゲインを算出し、算出した一致化ゲインを利用することにより、半導体装置１００は、ＩＳＰが画像データに施した初期色調整の効果をキャンセルすることができる。

図８を参照しながら、ステップＳ１３の処理の詳細を説明する。図８は、半導体装置が行う一致化ゲイン算出時の一連の処理を示すフローチャートである。一致化ゲイン算出時の一連の処理を、任意の画像の画像データを例として以下に説明する。ここで説明する例では、画像データにおける横方向の処理領域の座標を０からＨｍａｘまで、縦方向の処理領域の座標を０からＶｍａｘまでそれぞれ順次インクリメントしながら処理を進める。

まず、推定元画像生成部１０２は、任意の処理領域の横方向の座標がＨｍａｘ＋１未満か否かを判定する（ステップＳ１３０）。この処理領域の横方向の座標がＨｍａｘ＋１未満と判定する場合（ステップＳ１３０：Ｙｅｓ）、推定元画像生成部１０２は、縦方向の座標がＶｍａｘ＋１未満か否かを判定する（ステップＳ１３１）。縦方向の座標がＶｍａｘ＋１未満の場合（ステップＳ１３１：Ｙｅｓ）、この処理領域が重複領域に含まれるか否かを判定する（ステップＳ１３２）。そして、この処理領域が重複領域に含まれると判定した場合（ステップＳ１３２：Ｙｅｓ）、推定元画像生成部１０２は、この処理領域（ｍ、ｎ）と対応関係にある別の画像データにおける処理領域（ｓ、ｔ）のＲ,Ｇ,Ｂ毎の信号レベルに関するデータを取得する（ステップＳ１３３）。なお、ここで扱う処理領域（ｍ、ｎ）のＲ,Ｇ,Ｂ毎の信号レベルおよび処理領域（ｓ、ｔ）のＲ,Ｇ,Ｂ毎の信号レベルに関するデータは、例えば、複数画素を有する処理領域（ｓ、ｔ）内の無彩色かつ輝度値が予め設定された値よりも高い画素の信号レベルをＲＧＢの色ごとに平均化した値である。ここで言う特定の画素とは、無彩色かつ輝度値が予め設定された値よりも高い画素である。更に、予め設定された値とは、例えば２５６階調の内の２００以上の値である。また、特定の画素がそれぞれの処理領域内に十分に存在しない場合（例えば、５パーセント以上存在しない場合）は、元の光源を推定する情報が十分に得られないと考え、この処理領域では後述する一致化ゲインを算出しない。

次に、推定元画像生成部１０２は、上記に記載した処理領域（ｍ、ｎ）のＲ,Ｇ,Ｂ毎の信号レベルに関するデータと処理領域（ｓ、ｔ）のＲ,Ｇ,Ｂ毎の信号レベルに関するデータとから一致化ゲインを算出する（ステップＳ１３４）。ここで、例えば、画像データ３０１Ｆに含まれる処理領域（ｍ、ｎ）における各色の輝度値と画像データ３０１Ｌに含まれる処理領域（ｓ、ｔ）における各色の輝度値とは、以下の式により定義することができる。

ここで、αは画像データ３０１ＦのＲ信号にかかるＡＷＢゲイン、γは画像データ３０１ＦのＧ信号にかかるＡＷＢゲイン、βは画像データ３０１ＦのＢ信号にかかるＡＷＢゲインである。Ｆ_{（ｍ、ｎ）}＿ＲはＩＳＰが生成した領域（ｍ、ｎ）における無彩色かつ輝度値が予め設定された値よりも高い画素のＲの信号レベルを平均化した値、Ｆ_{（ｍ、ｎ）}＿ＧはＩＳＰが生成した領域（ｍ、ｎ）における無彩色かつ輝度値が予め設定された値よりも高い画素のＧの信号レベルを平均化した値、Ｆ_{（ｍ、ｎ）}＿ＢはＩＳＰが生成した領域（ｍ、ｎ）における無彩色かつ輝度値が予め設定された値よりも高い画素のＢの信号レベルを平均化した値である。α´は画像データ３０１ＬのＲ信号にかかるＡＷＢゲイン、γ´は画像データ３０１ＬのＧ信号にかかるＡＷＢゲイン、β´は画像データ３０１ＬのＢ信号にかかるＡＷＢゲインである。Ｌ_{（ｓ、ｔ）}＿ＲはＩＳＰが生成した領域（ｓ、ｔ）における無彩色かつ輝度値が予め設定された値よりも高い画素のＲの信号レベルを平均化した値、Ｌ_{（ｓ、ｔ）}＿ＧはＩＳＰが生成した領域（ｓ、ｔ）における無彩色かつ輝度値が予め設定された値よりも高い画素のＧの信号レベルを平均化した値、Ｌ_{（ｓ、ｔ）}＿ＢはＩＳＰが生成した領域（ｓ、ｔ）における無彩色かつ輝度値が予め設定された値よりも高い画素のＢの信号レベルを平均化した値である。式（３）に示すように、重複領域の対応関係にある領域は、カメラのＩＳＰが施したＡＷＢゲインの逆数をそれぞれ乗ずることにより、色バランスを調整する前の画素信号となるため、対応する領域の色ごとの信号レベルは等しくなる。

上記原則を利用し、ＡＷＢゲインに関する情報が含まれていない画像データに対して、重複領域の対応関係にある領域の色ごとの信号レベルを一致させるためのゲインを以下の式に従い算出する。

ここで、α_Ｆｅは、画像データ３０１Ｆにおける処理領域（ｍ、ｎ）のＲ信号の一致化ゲインである。同様に、γ_Ｆｅは、画像データ３０１Ｆにおける処理領域（ｍ、ｎ）のＧ信号の一致化ゲインであり、β_Ｆｅは、画像データ３０１Ｆにおける処理領域（ｍ、ｎ）のＢ信号の一致化ゲインである。また、α_Ｌｅは、画像データ３０１Ｌにおける処理領域（ｓ、ｔ）のＲ信号の一致化ゲインである。同様に、γ_Ｌｅは、画像データ３０１Ｌにおける処理領域（ｓ、ｔ）のＧ信号の一致化ゲインであり、β_Ｌｅは、画像データ３０１Ｌにおける処理領域（ｓ、ｔ）のＢ信号の一致化ゲインである。

上述のように、推定元画像生成部１０２は受け取った画像データのそれぞれについて一致化ゲインを算出する。ただし上述の例は、重複領域において対応関係にある処理領域が完全に重なっていることが前提となっている。対応関係にある処理領域が完全には重ならず、隣接する領域に跨るような関係にある場合は、以下に説明するように重み付けをつけて一致化ゲインを算出する。

図９は、重複領域における処理領域が完全には重ならない場合を例示した図である。画像データ３０１Ｆの処理領域（ｍ、ｎ）は、図に示すように、画像データ３０１Ｌの対応する処理領域（ｓ、ｔ）とは完全に重なっているわけではなく、右下にずれている。このような場合には、以下に示す式のように、重み付けを行って一致化ゲインを算出する。

ここで、ｗ_１、ｗ_２、ｗ_３、ｗ_４はそれぞれ重み係数であり、ｗ_１＋ｗ_２＋ｗ_３＋ｗ_４＝４である。

図８に戻る。ステップＳ１３４において一致化ゲインを算出した後、推定元画像生成部１０２は、一致化ゲインを算出する領域を移動させるため、ｎをインクリメントする（ステップＳ１３５）。そして、ｎをインクリメントした後に、推定元画像生成部１０２は、再びステップＳ１３１に戻り処理を継続する。

ステップＳ１３２において、この処理領域が重複領域に含まれると判定しない場合（ステップＳ１３２：Ｎｏ）、推定元画像生成部１０２は、ステップＳ１３５に進み、ｎをインクリメントする処理を行う（ステップＳ１３５）。

ステップＳ１３１において、ｎが縦方向の座標の最大値であるＶｍａｘを越える場合、推定元画像生成部１０２は、ｎ＜Ｖｍａｘ＋１と判定しない（ステップＳ１３１：Ｎｏ）。この場合、推定元画像生成部１０２は、ｎをゼロに設定し、ｍをインクリメントする（ステップＳ１３６）。そして、推定元画像生成部１０２は、再びステップＳ１３０に戻り処理を続ける。ステップＳ１３０において、横方向の座標の最大値であるＨｍａｘを越える場合、推定元画像生成部１０２は、ｍ＜Ｈｍａｘ＋１と判定しない（ステップＳ１３０：Ｎｏ）。この場合、推定元画像生成部１０２は、一連の処理を終了する。

なお、本実施の形態において説明した一致化ゲイン算出の例では、処理領域ごとに一致化ゲインを算出する。半導体装置１００は、このようにして算出した複数の一致化ゲインの平均値をさらに算出してもよい。また、平均値に代えて標準偏差による値を算出してもよいし、代表値を選定してもよい。あるいは、外れ値を除外したうえでこれらの計算を行ってもよい。さらに、複数の一致化ゲインの平均値を算出する観点で言えば、複数の領域を１つの処理領域として纏め、画像データのそれぞれの複数の処理領域同士ごとに一致化ゲインを算出しても良い。

また、推定元画像生成部１０２は、例えば画像データ３０１Ｆに対しては、重複領域を有する画像データ３０１Ｌとの関係において、上述の算出処理を行い、これと同様に、同じく重複領域を有する画像データ３０１Ｒとの関係においても上述の算出処理を行う。そのため、推定元画像生成部１０２は、これらすべての一致化ゲインから、画像データ３０１Ｆに対する一の一致化ゲインを決定する。

図４に戻る。推定元画像生成部１０２は、上述のようにして算出した一致化ゲインを利用して、推定元画像を生成する（ステップＳ１４）。一致化ゲインを利用することにより、例えば、画像データ３０１ＦのＲ,Ｇ,Ｂ毎の信号レベルと画像データ３０１ＬのＲ,Ｇ,Ｂ毎の信号レベは、以下のような関係となる。

ここで、α_ＦＥ、γ_ＦＥ、β_ＦＥは、画像データ３０１Ｆに対する一致化ゲインであり、α_ＬＥ、γ_ＬＥおよびβ_ＬＥは、画像データ３０１Ｌに対する一致化ゲインである。推定元画像生成部１０２は、重複領域の互いに対応する処理領域における各色の信号レベルを一致させる一致化ゲインを画像データごとに算出し、一致化ゲインをそれぞれ対応する画像データに含まれる画素の各色の信号レベルに乗じる。これにより推定元画像生成部１０２は、推定元画像データを生成する。以上のように、一致化ゲインを算出し、算出した一致化ゲインを利用することにより、半導体装置１００は、ＩＳＰが画像に施した初期色調整の効果をキャンセルすることができる。

ステップＳ１２に戻る。画像データに含まれる情報にＡＷＢゲインに関する情報が含まれている場合（ステップＳ１２：Ｙｅｓ）、推定元画像生成部１０２は、ＡＷＢゲインを利用して推定元画像を生成する（ステップＳ２１）。この場合、推定元画像生成部１０２は、ＡＷＢゲインの値の逆数を各領域に乗じることにより、ＩＳＰが画像データに施した初期色調整の効果をキャンセルすることができる。

次に、図３に示すように、推定元画像生成部１０２は、上述のようにステップＳ１４またはステップＳ２１の処理によってＩＳＰによる初期色調整の効果をキャンセルした後に、生成した推定元画像の画像データを調整領域決定部１０３に供給する。

調整領域決定部１０３は、推定元画像に対して色バランスの調整を施すための調整領域を決定する。調整領域決定部１０３は、主な機能として物体検出部１０３Ａおよび位置推定部１０３Ｂを有している。

物体検出部１０３Ａは、記憶部１０８が記憶している対象物体情報を参照して画像データ中に存在する対象物体の属性や大きさを検出する。対象物体情報には、画像データにおける物体の特徴量および物体の属性情報等が記憶されている。

画像データにおける物体の特徴量は、例えばＨＯＧ（Histograms of Oriented Gradients）特徴量などの画像データに含まれる画素値の変化から物体の存在を推定するための情報である。物体の属性情報は、検出した物体を運転の安全性の観点から分類するための情報である。検出された物体は、属性情報により、人間、自動車、自転車、交通標識等に分類される。

位置推定部１０３Ｂは、検出した対象物体の位置の時間に伴う変化を検出することにより、物体の移動方向や移動速度を算出する。また、位置推定部１０３Ｂは、物体の移動方向や移動速度を算出することにより、所定時間経過後の物体の位置を推定する。上述の機能を利用することにより、調整領域決定部１０３は例えば、物体検出部１０３Ａが検出した物体の所定時間経過後の位置を推定し、推定した位置を調整領域として決定する。

また、調整領域決定部１０３は、画像データ内に複数の対象物体を検出する場合に、予め設定された判断基準に従い優先順位が最も高い第１対象物体を特定し、所定時間経過後の画像データにおける第１対象物体の位置を推定することにより調整領域を決定する。

予め設定された判断基準の一例は、所定時刻における自動車１と複数の対象物体とのそれぞれの位置を判断基準とするものである。これによれば、調整領域決定部１０３は、所定時間経過後に取得する対象物体の位置を推定し、推定した対象物体との距離に基づいて第１対象物体を特定する。

また、予め設定された判断基準の別の例では、調整領域決定部１０３は、対象物体の属性に基づいて第１対象物体を特定する。対象物体の属性は、記憶部１０８に優先順位情報として記憶されている。記憶部１０８は、対象物体の属性と優先順位が関連付けられた優先順位情報を記憶している。

また、調整領域決定部１０３は、画像データ内に複数の対象物体を検出する場合に、優先順位が第１対象物体に次いで２番目に高い第２対象物体を特定する。そして、調整領域決定部１０３は、所定時間経過後の画像データにおいて第１対象物体の位置を推定して第１調整領域を決定するとともに、第２対象物体の位置を推定して第２調整領域を決定する。このように第２対象物体にかかる第２調整領域を決定することにより、第１対象物体が画像データ内に存在しなくなった場合の切換え処理をスムーズに行うことができる。

上述の機能を有する調整領域決定部１０３は、生成された推定元画像データから調整領域を決定する（ステップＳ１５）。以下に調整領域決定部１０３が行う調整領域を決定する処理の一例について説明する。

図１０は、半導体装置の処理時間の例を示した図である。半導体装置１００がカメラから画像データを取得した後に、取得した画像データに種々の処理を施す場合、所定の処理時間を必要とする。図に示すように、例えば、半導体装置１００は、時刻ｔ＝Ｎ－１においてカメラから画像データを取得する。半導体装置１００は、取得した画像データに対して種々の処理を施す。そして、半導体装置１００は、時刻ｔ＝Ｎに処理を施した画像データを表示装置に出力する。同様に、半導体装置１００は、時刻ｔ＝Ｎにおいてカメラから画像データを取得し、取得した画像データに対して種々の処理を施し、時刻ｔ＝Ｎ＋１に処理を施した画像データを表示装置に出力する。このように、半導体装置１００が取得した画像データに対して所定の処理を施すと遅延時間が発生する。そこで、半導体装置１００が行う処理は、予め遅延時間を考慮した処理が行われる。

次に、図１１～図１３を参照して、調整領域を決定する処理の具体例について説明する。図１１～図１３は、画像処理システム１０を搭載した自動車１の近くを他の他車９が走行している状況を時刻の経過とともに示している。図１１～図１３において点線により格子状に示されているのは、自動車１が走行している道路４００である。道路４００は理解を容易にするため格子状に分割されている。道路４００の横方向は左側から座標Ｘ１～Ｘ７により７分割され、道路４００の縦方向は上側から座標Ｙ１～Ｙ７により７分割されている。道路４００の左上の格子は、座標（Ｘ１、Ｙ１）と示される。

また、道路４００の領域内において太い一点鎖線で示された矩形は、自動車１が対象物体を検出することができる領域（検出領域４０１）である。また、検出領域４０１の内側に実線により示された矩形は、表示装置１２が表示する領域（表示領域４０２）である。検出領域４０１および表示領域４０２は、自動車１の周囲を囲むように形成されている。また、検出領域４０１および表示領域４０２は、自動車１との相対的な位置が固定されている。自動車１は道路４００を矢印方向（図面の上方向）に向かって走行している。そして、自動車１の右後方からは、他車９が近付いている状況である。

図１１は、時刻ｔ＝Ｎ－１における自動車１および周辺の状況を示した図である。時刻ｔ＝Ｎ－１において、自動車１は座標（Ｘ４、Ｙ５）を走行中である。また、他車９は、座標（Ｘ５、Ｙ７）を走行中である。自動車１が有する半導体装置１００は、検出領域４０１に含まれる他車９を検出する。

次に、図１２は、時刻ｔ＝Ｎにおける自動車１および周辺の状況を示した図である。時刻ｔ＝Ｎにおいて、自動車１は座標（Ｘ４、Ｙ４）を走行中である。また、他車９は、座標（Ｘ５、Ｙ５）を走行中である。半導体装置１００が有する調整領域決定部１０３は、他車９の位置を検出するとともに、所定時間経過後（時刻ｔ＝Ｎ＋１）の他車９の移動速度および移動方向を推定する。ここで、調整領域決定部１０３は、自動車１と他車９との相対的な位置の変化から、時刻ｔ＝Ｎ＋１に他車９が自動車１の右側に近付くことを算出する。また、調整領域決定部１０３は、時刻ｔ＝Ｎ＋１に自動車１が座標（Ｘ４、Ｙ３）に位置することを算出する。

図１３は、調整領域決定部１０３が推定した時刻ｔ＝Ｎ＋１における自動車１および周辺の状況を示した図である。図に示すように調整領域決定部１０３は、時刻ｔ＝Ｎ＋１に自動車１が座標（Ｘ４、Ｙ３）に位置し、他車９が座標（Ｘ５、Ｙ３）に位置することを推定する。

図１２に戻る。上述のように、調整領域決定部１０３は、時刻ｔ＝Ｎにおいて、時刻ｔ＝Ｎ＋１に表示する画像の調整領域をハッチングで示した座標（Ｘ５、Ｙ３）と決定する。調整領域決定部１０３は、このようにして調整領域を決定すると、決定した調整領域に関する情報を再調整部１０４に供給する。このように、調整領域決定部１０３は、対象物体を検出し、所定時間経過後の対象物体の位置を推定することにより、調整領域を決定する。

次に、図１４を参照しながら、調整領域決定部１０３の処理の詳細についてさらに説明する。図１４は、調整領域決定部１０３が行う調整領域を決定するための処理（図４のステップＳ１５）の詳細を示すフローチャートである。

まず、調整領域決定部１０３は、画像データ内に対象物体を検出したか否かを判定する（ステップＳ１５０）。画像データ内に対象物体を検出したと判定しない場合（ステップＳ１５０：Ｎｏ）、調整領域決定部１０３は、自動車１の進行方向を検出する（ステップＳ１５１）。自動車１の進行方向は、複数フレームの画像から算出してもよいし、ＧＰＳ信号から算出してもよい。

調整領域決定部１０３は、自動車１の進行方向を検出すると、進行方向に相当する画像の画像データを調整領域として決定する（ステップＳ１５２）。調整領域決定部１０３は、調整領域を決定すると、一連の処理を終了する。

ステップＳ１５０において、対象物体を検出したと判定する場合（ステップＳ１５０：Ｙｅｓ）、調整領域決定部１０３は、対象物体を複数検出したか否かを判定する（ステップＳ１５３）。

対象物体を複数検出したと判定しない場合（ステップＳ１５３：Ｎｏ）、画像データ内に対象物体が１つ検出されたことを意味する。この場合、調整領域決定部１０３は、対象物体の移動情報を検出する（ステップＳ１５４）。すなわち、調整領域決定部１０３は、図１１～図１３に示した例のとおり、対象物体の位置を推定する。そして、調整領域決定部１０３は、推定した対象物体の位置を調整領域として決定する（ステップＳ１５２）。

ステップＳ１５３において、対象物体を複数検出したと判定する場合（ステップＳ１５３：Ｙｅｓ）、画像データ内に対象物体が２つ以上検出されたことを意味する。この場合、調整領域決定部１０３は、自動車１と対象物体との距離をそれぞれ検出する（ステップＳ１５５）。

次に、調整領域決定部１０３は、検出した自動車１と対象物体との距離が同じか否かを判定する（ステップＳ１５６）。なおここで「自動車１と対象物体との距離が同じ」とは、略同じということを意味し、例えば検出した２つの距離の差が１０％以内であれば、これらは同じ距離であるとみなす。

ステップＳ１５６において、対象物体の距離が同じであると判定しない場合（ステップＳ１５６：Ｎｏ）、調整領域決定部１０３は、これらの距離に応じて、優先順位が１位となる第１対象物体と、優先順位が２位となる第２対象物体をそれぞれ決定する（ステップＳ１５７）。そして、調整領域決定部１０３は、第１対象物体に係る第１調整領域と、第２対象物体に係る第２調整領域をそれぞれ決定し（ステップＳ１５２）、一連の処理を終了する。

ステップＳ１５６において、対象物体の距離が同じであると判定する場合（ステップＳ１５６：Ｙｅｓ）、調整領域決定部１０３は、記憶部１０８が記憶している優先順位情報を取得する（ステップＳ１５８）。

図１５は、対象物体の優先順位の例を示した図である。図に示すように、優先順位情報は、対象物体を属性ごとに２種類のカテゴリによって分類する。対象物体はまず、大分類により、「人間」、「乗り物」、「動物」、「標識」および「障害物」に分類される。そして、大分類のそれぞれに分類された対象物体は、さらに小分類に分類される。例えば、大分類「人間」は、小分類として「子供」、「高齢者」および「大人」のいずれかに分類される。そして、このように分類された対象物体はそれぞれに優先順位が定義づけされている。図示の例の場合、小分類の最下部に示された「樹木」が最も優先順位が低く、「樹木」の上方に示されている「交通標識」、「野生動物」と、上方に位置するほど優先順位が高くなり、「子供」が最も優先順位が高く設定されている。記憶部１０８が記憶する優先順位情報は、このように対象物体の属性と優先順位が関連付けられている。

なお、例えば、同じ距離に同じ属性の対象物体が複数存在することが考えられる。例えば、自動車１の後方に他の四輪車が２台併走している場合などである。このような場合、調整領域決定部１０３は、対象物体を検出した時刻から所定時間経過後の時刻にかけて相対的に自己に対してより速い移動速度で近寄ってくる対象物体を第１対象物体として特定してもよい。

調整領域決定部１０３は、検出した複数の対象物体と、優先順位情報とを照合し、第１対象物体と第２対象物体とをそれぞれ決定する（ステップＳ１５９）。そして、調整領域決定部１０３は、第１対象物体に係る第１調整領域と、第２対象物体に係る第２調整領域をそれぞれ決定し（ステップＳ１５２）、一連の処理を終了する。

上述の処理により、調整領域決定部１０３は、調整領域を決定する。そして、調整領域決定部１０３は、決定した調整領域に関する情報および画像データを再調整部１０４に供給する。

次に、再調整部１０４は、受け取った画像データに対して調整領域に関する情報を利用して再調整を施す（ステップＳ１６）。再調整とは、推定元画像データの色バランスを再度調整する処理である。再調整ゲインを算出するにあたり、まず再調整部１０４は、調整領域の中に、無彩色かつ輝度値が予め設定された値よりも高い画素を参照画素として抽出する。予め設定された値とは、例えば２５６階調の内の２００以上の値である。参照画素が処理領域内の５パーセント以上を占める場合、再調整部１０４は、参照画素を利用して再調整ゲインを算出する。なお、再調整部１０４は、色調整部とも称される。

以下に再調整ゲインの算出方法の例を示す。再調整ゲインは例えば以下の式により算出される。

ここで、α_wb、γ_wb、β_wbは、再調整ゲインである。また、ＡＶＲ（Ｒ）、ＡＶＲ（Ｇ）、ＡＶＲ（Ｂ）は、参照画素の各色の平均信号レベルである。さらに、ＭＩＮ（Ｒ、Ｇ、Ｂ）は、各色の平均信号レベル（ＡＶＲ（Ｒ）、ＡＶＲ（Ｇ）、ＡＶＲ（Ｂ））の内の、最小値である。

再調整ゲインの算出について具体例を用いて説明する。例えば、ある調整領域における参照画素の平均信号レベルが（Ｒ、Ｇ、Ｂ）＝（２００、２１０、２０５）であったとする。この場合、平均信号レベルの最小値は、２００である。したがって、再調整ゲインは、（α_wb、γ_wb、β_wb）＝（２００／２００、２００／２１０、２００／２０５）＝（１、０．９５、０．９８）となる。なお、式７は一例であって、例えば分母を参照画素の各色の平均輝度値から最大値（上記具体例の場合だと２１０）に、分子を最小値から参照画素の各色の平均輝度値に変えたりしても良い。

再調整部１０４は、再調整ゲインの算出をすると、算出した再調整ゲインを用いて画像データに対して再調整処理を施す。なお、調整領域内において、参照画素が調整領域内の５パーセント以上を占めない場合には、周囲の再調整ゲインを利用して処理を施す。

また、再調整部１０４は、隣接する調整領域の再調整ゲインである隣接ゲインが複数存在する場合には、複数の隣接ゲインの平均値を算出し、処理対象である調整領域の色バランスの再調整ゲインとしてもよい。

再調整部１０４は、参照画素が調整領域内において予め設定された以上の画素数以上を占めない場合、調整領域を数パーセント（例えば３パーセント、１０パーセント、３０パーセントなど）拡大し、拡大した調整領域を用いて再調整ゲインを算出する。拡大した調整領域になお参照画素が予め設定された以上存在しない場合には、さらに数パーセント拡大する処理を繰り返す。

再調整部１０４は、このようにして画像データに対する再調整処理を行った後、再調整処理を施した画像データを幾何変換部１０５に供給する。そして幾何変換部１０５は、受け取った画像データに対して幾何変換処理を施す（ステップＳ１７）。

図１２は、実施の形態１にかかる画像の幾何変換を示した図である。図の上側に示している樽型の形状は、色補間処理が施された画像データ３０１Ｆである。幾何変換部１０５は、この画像データ３０１Ｆに対して幾何変換処理を施す。これにより、画像データ３０１Ｆは、広角レンズの収差の影響により生じた樽型の歪みが解消されて矩形の画像データ３０２Ｆとなる。幾何変換部１０５は、自動車１に搭載されている４台のカメラからそれぞれ取得し、上述の処理が施された画像データ３０１Ｆ、３０１Ｌ、３０１Ｂおよび３０１Ｒのそれぞれに対してこのような処理を施す。これにより上記４台のカメラから取得した画像データはそれぞれ矩形の画像に加工される。

なお、本実施の形態における説明では、画像データを樽型で示し、この樽型の歪みを幾何変換する例を示したが、このような樽型の歪みを補正する処理に加えて、台形補正等の線形変換を行う場合がある。自動車１に設置されたカメラから自動車１の周囲を撮像し、撮像した画像からサラウンドビューと称される視点変換処理を施す画像を生成する場合には、半導体装置１００は、このような視点変換処理を行い、これに伴い上述の線形変換を行う。

次に、幾何変換部１０５は、上述の幾何変換処理を行うと、画像データを画像合成部１０６に供給する。そして画像データを画像合成部１０６は、受け取った画像データを合成する処理を行う（ステップＳ１８）。図１３は、実施の形態１にかかる画像の合成を模式的に示した図である。図の上側には、画像合成部１０６により矩形の画像に加工された画像データ３０２Ｆが示されている。同様に、図の左側には画像データ３０２Ｌが、図の下側には画像データ３０２Ｂが、図の右側には画像データ３０２Ｒが、それぞれ示されている。そして、これら４つの画像データに囲まれた部分には、合成画像データ３０３が示されている。

合成画像データ３０３は、画像データ３０２Ｆ、３０２Ｌ、３０２Ｂおよび３０２Ｒの重複領域を重畳させるようにして構成されている。例えば、画像データ３０２Ｆの処理領域（ＦＣ１、ＦＲ１）は、画像データ３０２Ｌの処理領域（ＬＣ１、ＬＲ１）と対応関係にある。したがって、合成画像データ３０３では、画像データ３０２Ｆの処理領域（ＦＣ１、ＦＲ１）と画像データ３０２Ｌの処理領域（ＬＣ１、ＬＲ１）とが重畳された状態となっている。

また、合成画像データ３０３の横方向のサイズは、画像データ３０２Ｆおよび画像データ３０２Ｂの幅と一致するように構成される。そして、縦方向のサイズは、画像データ３０２Ｌおよび画像データ３０２Ｒの幅と一致するように構成される。したがって、合成画像データ３０３は、幅方向がＣ１からＣ３２と示され、縦方向がＲ１からＲ４８と示されている。

また、これら４つの画像データから生成される合成画像データ３０３は、中央部に画像データが存在しない。そこで、半導体装置１００は、予め記憶しておいたダミー自動車の画像データ１Ｄを合成画像データ３０３に重畳させる。これにより、合成画像データ３０３は、運転者が自ら運転する自動車を自動車の上方から俯瞰しているような画像を生成する。このようなシステムにおいて、運転者が物体を認識しやすいよう好適な色バランスで画像を表示することは、自動車および自動車を取り巻く環境の安全性を向上させることに寄与し得る。

画像データ３０２Ｆ、３０２Ｌ、３０２Ｂおよび３０２Ｒは、画像合成部１０６が受け取る前に、ＩＳＰによる初期色調整の効果がキャンセルされ、さらに再調整ゲインによって色バランスが再調整された状態である。したがって、このように対応関係にある処理領域を重畳させても、合成画像データ３０３は全体として好適な色バランスを維持することができる。

なお、このように対応関係にある処理領域を重畳させる場合に、各色の信号レベルが完全に一致することなく、対応関係にある２つの処理領域のＲ,Ｇ,Ｂ毎の信号レベルが異なる場合がある。そのような場合は、互いのＲ,Ｇ,Ｂ毎の信号レベルの平均値を採用する。本実施の形態によれば、このように平均値を採用する場合であっても、上述の処理により互いのＲ,Ｇ,Ｂ毎の信号レベルの差が抑えられているため、運転者等にとって好適な色バランスにより合成画像データを生成することができる。

画像合成部１０６は、このようにして生成した合成画像データ３０３を出力部１０７に供給する。そして、出力部１０７は、受け取った合成画像データ３０３を外部（表示装置１２）に出力する（ステップＳ１９）。

次に、半導体装置１００は、処理を終了するか否かを判定する（ステップＳ２０）。処理を終了すると判定しない場合（ステップＳ２０：Ｎｏ）、半導体装置１００は、再びステップＳ１０に戻り処理を繰り返す。一方、処理を終了すると判定する場合（ステップＳ２０：Ｙｅｓ）、半導体装置１００は、処理を終了する。

半導体装置１００は、以上に説明した一連の処理により、画像データの色バランスを調整する。なお、カメラ１１Ｆ、カメラ１１Ｌ、カメラ１１Ｂおよびカメラ１１ＲがＡＷＢの処理を施さないものである場合には、上述したステップＳ１２からステップＳ１４までの処理およびステップＳ２１の処理を省略することができる。またその場合、図３に示した推定元画像生成部１０２を構成として有さない。

なお、上述した一連の処理のうち、画像データを幾何変換する処理（ステップＳ１７）は、ステップＳ１１の後に行われてもよい。またその場合、画像データを合成する処理（ステップＳ１８）は、調整領域決定処理（ステップＳ１５）の前に行われてもよい。

次に、図１８を参照しながら対象物体の優先順位が変化する場合の処理について説明する。図１８は、対象物体の優先順位が入れ替わる状態の例を示した図である。図において、自動車１の表示領域４０２には対象物体である他車９とバイク７が存在している。また、図に示した状態は時刻ｔ＝Ｎ＋２におけるものである。時刻ｔ＝Ｎ＋２における他車９の位置は領域９ａであり、バイク７の位置は領域７ａである。すなわち時刻ｔ＝Ｎ＋２において、自動車１と他車９との距離は自動車１とバイク７との距離より近いため、第１対象物体は他車９であり、第２対象物体はバイク７である。

このような状況において、調整領域決定部１０３は、時刻ｔ＝Ｎ＋２よりも後の時刻であるｔ＝Ｎ＋３における対象物体の優先順位を図１４に示した処理により決定する。調整領域決定部１０３が推定する時刻ｔ＝Ｎ＋３における他車９の位置は、領域９ｂである。同様に、調整領域決定部１０３が推定するバイク７の位置は、領域７ｂである。自動車１と領域７ｂとの距離は、自動車１と領域９ｂとの距離よりも近い。したがって、調整領域決定部１０３は、時刻ｔ＝Ｎ＋３における第１対象物体をバイク７と決定し、第２対象物体を他車９と決定する。つまり、時刻ｔ＝Ｎ＋２から時刻ｔ＝Ｎ＋３にかけて、対象物体の優先順位が入れ替わることになる。したがって、調整領域決定部１０３は、第１調整領域を領域９ｂから領域７ｂに入れ替える。

次に、図１９を参照しながら上述の状況において再調整ゲインが算出する再調整ゲインの例について説明する。図１９は、再調整部１０４が処理する再調整ゲインの例を説明するためのグラフである。図に示すグラフにおいて、横軸は時刻であり、縦軸は再調整ゲインである。また、グラフにプロットされた太い折れ線Ｇｗｂは、再調整ゲインの値である。なお、ここでは一例として１つのゲインについて説明しているが、当然ながら実際には画像データのゲインはＲＧＢそれぞれ別個に存在する。

再調整部１０４は、時刻ｔ＝Ｎ＋１および時刻ｔ＝Ｎ＋２において、第１対象物体である他車９の推定位置から決定された第１領域から再調整ゲインＧ１を算出している。そいて、時刻ｔ＝Ｎ＋３において、第１対象物体が他車９からバイク７に入れ替わることにより、第１領域の位置が大きく変わったことにより、再調整ゲインＧ３を算出する。このような場合に再調整ゲインＧ１と再調整ゲインＧ３との差が大きい場合、画像データの色バランスが急激に変化し、運転者にとって見づらい状態となる場合がある。本実施の形態では、そのような場合に画像の色バランスの急激な変化を抑えるために、再調整部１０４は予め設定された時定数ＴＣを有している。図において、一点鎖線で示した直線は時定数ＴＣをプロットしたものである。時刻ｔ＝Ｎ＋３において、再調整部１０４は、時定数ＴＣを超えない値である再調整ゲインＧ２を算出し、再調整ゲインＧ２を使用して画像データの再調整を施す。そして、時刻ｔ＝Ｎ＋４において、時定数ＴＣを超えない再調整ゲインＧ３を使用して画像データの再調整を施す。

このように、再調整部１０４は、所定の時刻における再調整ゲインを決定する場合において、過去に決定した再調整ゲイン（これを過去ゲインと称する）からの変化率が予め設定された値を超えないように色調整ゲインを決定する。このような構成とすることにより、半導体装置１００は、画像の急激な色合いの変化を抑制することができ、色合いの急激な変化による視認性の悪化を防ぐことができる。

以上、実施の形態１について説明したが、実施の形態１にかかる構成は上述の内容に限られない。例えば、図１に示した４台のカメラは、自動車１の左前部、左後部、右前部および右後部に設置されていてもよい。あるいは、これら４台のカメラは自動車１のルーフに設置され、自動車１の周囲を撮像範囲とするように設置されていてもよい。また、カメラの台数は４台に限られない。さらに、カメラは可動式であって、動きながら自動車の周囲を順次撮像する構成であってもよい。

また、再調整部１０４は、第１調整領域から算出される再調整ゲインと第２調整領域から算出される再調整ゲインとから算出した平均値を再調整ゲインとする構成であってもよい。また、この場合、再調整部１０４は、平均値に重み付けを行ってもよい。このような構成にすることにより、画像処理システム１０は、複数の対象物体に対する色バランスの悪化を抑制することができる。

以上の構成により、半導体装置１００ないし画像処理システム１０は、自動車１の周囲の物体に対して好適な色バランスによる処理を行う。これにより、自動車１の運転者等は、自動車１の周囲の物体を容易に認識することができる。すなわち実施の形態１によれば、物体の視認性を向上させる半導体装置等を提供することができる。

＜実施の形態１の変形例１＞
次に、実施の形態１の変形例１について説明する。図２０は、実施の形態１の変形例における自動車の概観図である。実施の形態１の変形例は、カメラの数およびカメラの配置が実施の形態１の画像処理システム１０と異なる。

実施の形態１の変形例１にかかる画像処理システム３０は、自動車１の後方を撮像し、撮像した画像の画像データに所定の処理を施して運転者等に表示するためのシステムである。画像処理システム３０は、自動車のサイドミラーおよびバックミラーに代えて設置されていてもよい。画像処理システム３０は、主な構成として、カメラ２１Ｌ、カメラ１１Ｂ、カメラ２１Ｒ、表示装置１２、および半導体装置１００を有している。

カメラ２１Ｌは自動車１の後方左側の撮像領域２１０Ｌを撮像し、カメラ１１Ｂは自動車１の後方中央の撮像領域２１０Ｂを撮像し、そして、カメラ２１Ｒは自動車１の後方右側の撮像領域２１０Ｒを撮像する。これらの撮像領域の内、隣接する撮像領域は互いに重複する重複領域をそれぞれ有している。すなわち、撮像領域２１０Ｌと撮像領域２１０Ｂとは、互いに重複する重複領域２１０ＬＢをそれぞれ有している。同様に、撮像領域２１０Ｂと撮像領域２１０Ｒとは、互いに重複する重複領域２１０ＢＲをそれぞれ有している。

このような構成において、半導体装置１００は、ＩＳＰが行った画像データの初期色調整の効果をそれぞれキャンセルすることにより推定元画像データを生成する。そして、半導体装置１００は、推定元画像データから対象物体を検出し、所定の時間経過後における対象物体の位置を推定するとともに調整領域を決定し、決定した調整領域を利用して画像データの色バランスの再調整を施す。さらに半導体装置１００は、画像データをそれぞれの重複領域が互いに重なるように合成して合成画像を生成する。さらに、半導体装置１００は、再調整が施された合成画像データを表示装置１２に出力する。

以上の構成により、画像処理システム３０は、自動車１の後方に存在する物体を好適な色バランスに施す。これにより運転者は、自動車１の後方に存在する物体を認識することが容易になる。このように本実施の形態は、画像に含まれる物体に好適な色バランス処理を施す半導体装置等を提供することができる。

＜実施の形態１の変形例２＞
次に、実施の形態１の変形例２について説明する。図２１は、実施の形態１の変形例２にかかる画像処理システムの概略構成図である。本実施の形態にかかる画像処理システム２０は、半導体装置１００に代えて半導体装置２００を有している点において実施の形態１と異なる。また、画像処理システム２０は、測距センサ１３およびＥＣＵ（Electronic Control Unit）装置１４を有している点において実施の形態１と異なる。以下に、実施の形態１と異なる点について説明する。

測距センサ１３は、自動車１の周囲に存在する物体の位置、形状および大きさを検出するセンサ装置である。測距センサ１３は例えばＬＩＤＡＲ（Laser Imaging Detection and Ranging）と呼ばれるレーザ光を利用した測距センサや、赤外光を用いた熱画像を生成するセンサ装置である。測距センサ１３は、このように可視光とは異なる光を利用して物体の検出を行うための画像データを生成し、生成した画像データを半導体装置２００に供給する。

ＥＣＵ装置１４は、自動車１に組み込まれた駆動装置や操舵装置等から自動車１の運転に関わる情報を取得する。ＥＣＵ装置１４が取得する情報は、例えば、自動車１の速度、ステアリングの操舵角、ＧＰＳ位置情報等である。ＥＣＵ装置１４は、これらの情報を半導体装置２００に供給する。

半導体装置２００が有する画像データ取得ＩＦ１１０は、実施の形態１にかかるカメラ１１Ｆ、カメラ１１Ｌ、カメラ１１Ｂ、カメラ１１Ｒから供給される画像データに加え、測距センサ１３から供給される画像データを受け取る。

また、半導体装置２００は、バス通信ＩＦ２１０を有している。バス通信ＩＦ２１０は、外部機器との通信を行うための通信インタフェースであり有線または無線を問わない。通信インタフェースは、例えばＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、ＣＡＮ（Controller Area Network）などである。バス通信ＩＦ２１０は、ＥＣＵ装置１４に接続されており、ＥＣＵ装置１４から供給される情報を受け取る。ＥＣＵ装置１４から供給される情報は、プロセッサ１２０に供給され、処理が行われる。

画像処理システム２０は、このような構成により、カメラ１１Ｆ、カメラ１１Ｌ、カメラ１１Ｂ、カメラ１１Ｒが撮像する範囲とは異なる範囲における対象物体の認識を測距センサ１３により行うことができる。好ましくは、測距センサ１３は、合成画像に含まれる領域の外側の領域に位置する対象物体を検出する。これにより、合成画像の表示領域に侵入すると推定される対象物体を予め検出し、表示領域に侵入する対象物体に対応した色バランスの調整を行うことができる。また、画像処理システム２０は、自動車１の運転に関わる情報を取得することにより、対象物体の推定位置をより正確に推定することができる。

＜実施の形態２＞
次に、実施の形態２について説明する。実施の形態２にかかる画像処理システム３０は、第１対象物体を選択できる点において実施の形態１と異なる。このような機能を実現するために、実施の形態２にかかる画像処理システム３０は、表示装置１２に表示された画像をタッチセンサと重畳させる構成となっている。以下に、実施の形態１との差異点について説明する。

図２２は、実施の形態２にかかる画像処理システムの概略構成図である。画像処理システム３０は、半導体装置１００に代えて、半導体装置２００を有している。また、画像処理システム３０は、半導体装置２００と接続するタッチセンサ２１を有している。

半導体装置２００は、バス通信ＩＦ２１０を有している。バス通信ＩＦ２１０は、外部機器との通信を行うための通信インタフェースであり有線または無線を問わない。通信インタフェースは、例えばＵＳＢ、ＨＤＭＩ、ＣＡＮなどである。バス通信ＩＦ２１０は、タッチセンサ２１に接続されており、タッチセンサ２１から供給される信号を受け取る。バス通信ＩＦ２１０が受け取った信号は、プロセッサ１２０に供給され、処理が行われる。

タッチセンサ２１は、運転者等がディスプレイ内の所定の位置に触れた場合にその触れた位置を検出するセンサ装置であって、例えば圧力式、静電容量式または光学式などの位置検出センサである。タッチセンサ２１は、表示装置１２のディスプレイ部分に重畳して設置されることにより、ディスプレイ上に表示された画像データの座標と関連付けられた位置を検出することができる。

図２３は、実施の形態２にかかる半導体装置の機能ブロック図である。実施の形態２にかかる半導体装置２００の機能ブロックは、物体選択部１０９を有している点において実施の形態１にかかる半導体装置１００と異なる。

物体選択部１０９は、タッチセンサ２１から供給された信号により動作する。物体選択部１０９は、タッチセンサ２１を介して受け取る信号から画像データの座標情報を検出する。そして、物体選択部１０９は、検出した画像データの座標情報を調整領域決定部１０３に供給する。

調整領域決定部１０３は、物体選択部１０９から受け取った画像データの座標情報と対象物体の存在する位置とが一致するか否かを判断する。そして、調整領域決定部１０３は、座標情報と対象物体の存在する位置とが一致することを判定した場合に、一致した対象物体の優先順位を１位として扱う。

図２４を参照しながら物体選択部１０９にかかる機能の処理について説明する。図２４は、実施の形態２にかかる半導体装置における物体選択処理のフローチャートである。図に示すフローチャートは、図１４に示した処理と平行して実行される。

まず、物体選択部１０９は、タッチ信号を検出したか否かを判定する（ステップＳ２５０）。タッチ信号を検出したと判定しない場合（ステップＳ２５０：Ｎｏ）、物体選択部１０９は、タッチ信号を検出したか否かを繰り返し判定するポーリング動作を行う。

タッチ信号を検出したと判定した場合（ステップＳ２５０：Ｙｅｓ）、物体選択部１０９は、タッチ信号に含まれる座標情報を調整領域決定部１０３に供給する。調整領域決定部１０３は、受け取った座標情報と対象物体の存在する位置とが一致するか否かを判定する（ステップＳ２５１）。

座標情報と対象物体の存在する位置とが一致すると判定しない場合（ステップＳ２５１：Ｎｏ）、調整領域決定部１０３は、この座標情報にかかる領域を調整領域に決定する（ステップＳ２５６）。この場合、調整領域決定部１０３は、物体選択部１０９から受け取った座標を運転者等が指定した領域として扱う。そのため、検出した対象物体の位置に関わらず選択された座標を含む領域を調整領域として決定する。

座標情報と対象物体の存在する位置とが一致すると判定した場合（ステップＳ２５１：Ｙｅｓ）、調整領域決定部１０３は、一致した対象物体を運転者等が選択した物体として扱う。すなわち調整領域決定部１０３は、選択された対象物体を第１対象物体に決定する（ステップＳ２５２）。かかる処理は図１４に示した処理よりも高い優先度で行われる。そこで、調整領域決定部１０３は、第１対象物体が入れ替わるか否かを判定する（ステップＳ２５３）。

ここで、運転者等がタッチした座標と、調整領域決定部１０３が決定した第１対象物体の位置とが一致していた場合、調整領域決定部１０３は、第１対象物体が入れ替わると判定しない（ステップＳ２５３：Ｎｏ）。この場合、調整領域決定部１０３は、それまでに実行した処理に従い調整領域を決定し（ステップＳ２５５）、一連の処理を終了する。

一方、運転者等がタッチした座標と、調整領域決定部１０３が決定した第１対象物体の位置とが一致していなかった場合、調整領域決定部１０３は、第１対象物体が入れ替わると判定する（ステップＳ２５３：Ｙｅｓ）。この場合、調整領域決定部１０３は、選択された対象物体を第１対象物体として扱うとともに、それまで第１対象物体として扱っていた対象物体を第２対象物体として決定する（ステップＳ２５４）。すなわち、調整領域決定部１０３は、それまで優先順位１位として扱っていた対象物体の優先順位を２位に変更する。そして、調整領域決定部１０３は、このように決定した第１対象物体および第２対象物体から調整領域を決定し（ステップＳ２５５）、処理を終了する。

以上、実施の形態２について説明したが、実施の形態２の構成は上述の内容に限られない。例えば、画像処理システム３０は、領域を選択するタッチセンサ２１に代えて、選択領域を上下左右方向に移動させ、移動させた領域を選択することを指示するコマンドを発行する操作手段を有していてもよい。また、ステップＳ２５６の処理を省略し、対象物体が含まれない領域が選択された場合には、物体選択部１０９からの指示は調整領域決定部１０３の処理に反映されない構成としてもよい。

以上の構成により、画像処理システム３０は、運転者が注視を所望する物体に対して好適な色バランスによる処理を行う。これにより、自動車１の運転者等は、自動車１の周囲の物体を容易に認識することができる。すなわち実施の形態２によれば、物体の視認性を向上させる半導体装置等を提供することができる。

なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、および電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、または無線通信路を介して、プログラムをコンピュータに供給できる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。

１ 自動車
７ バイク
９ 他車
１０、２０、３０ 画像処理システム
１１Ｂ、１１Ｆ、１１Ｌ、１１Ｒ、２１Ｌ、２１Ｒ カメラ
１２ 表示装置
１３ 測距センサ
１４ ＥＣＵ装置
２１ タッチセンサ
１００、２００ 半導体装置
１０１ 画像データ取得部
１０２ 推定元画像生成部
１０３ 調整領域決定部
１０４ 再調整部
１０５ 幾何変換部
１０６ 画像合成部
１０７ 出力部
１０８ 記憶部
１０９ 物体選択部
１２０ プロセッサ
１３０ 内部メモリ
４００ 道路
４０１ 検出領域
４０２ 表示領域
１１０ 画像データ取得ＩＦ
１４０ 画像データ出力ＩＦ
２１０ バス通信ＩＦ

Claims (20)

1. 撮像領域に互いに重複する重複部を含む画像を撮像し、撮像した画像の画像データをそれぞれ生成する複数の画像信号処理装置から予め設定された期間ごとに連続して前記画像データを取得する画像データ取得回路と、
   第１時刻において取得した第１画像データから予め認識するように設定された物体である対象物体を検出し、前記第１時刻より前の時刻から前記第１時刻にかけての前記対象物体の位置変化に基づいて、前記第１時刻より後の第２時刻における前記対象物体の位置を推定することにより調整領域を決定する調整領域決定回路と、
   前記第１画像データの前記調整領域に基づいて色バランスの調整である色調整ゲインを決定し、前記色調整ゲインに基づいて第２時刻において取得した第２画像データに色調整を施す色調整回路と、
   色調整を施した第２画像データをそれぞれの前記重複部が互いに重なるように合成して合成画像を生成する画像合成回路と、
   を備える半導体装置。
2. 前記色調整が施された前記合成画像を出力する出力回路をさらに有する、
   請求項１に記載の半導体装置。
3. 前記画像信号処理装置が色バランスの調整である初期色調整を施した前記画像データを生成する場合に、前記画像データに施された前記初期色調整の効果をそれぞれキャンセルして推定元画像データを生成する処理である推定元画像生成処理を施す推定元画像生成回路をさらに有し、
   前記色調整回路は、前記推定元画像生成処理が施された前記第１画像データにおける前記調整領域に基づいて前記色調整ゲインを決定する、
   請求項１に記載の半導体装置。
4. 前記推定元画像生成回路は、前記重複部の互いに対応する処理領域における各色の信号レベルを一致させる一致化ゲインを前記画像データごとに算出し、前記一致化ゲインをそれぞれ対応する前記画像データに含まれる画素の各色の信号レベルに乗ずることにより前記推定元画像データを生成する、
   請求項３に記載の半導体装置。
5. 前記推定元画像生成回路は、前記重複部に対応する２つの前記画像データにおいて互いに対応する前記処理領域の特定の画素群から各色の信号レベルの平均値を算出し、算出した平均値に基づいて前記一致化ゲインを算出する、
   請求項４に記載の半導体装置。
6. 前記推定元画像生成回路は、前記画像データに含まれる前記初期色調整に関する情報に基づいて前記推定元画像データを生成する、
   請求項３に記載の半導体装置。
7. 前記調整領域決定回路は、前記第１画像データから前記対象物体を特定できない場合に、予め設定された領域を前記調整領域として決定する、
   請求項１に記載の半導体装置。
8. 前記色調整回路は、前記第２時刻における前記色調整ゲインを決定する場合において、過去に決定した過去ゲインからの変化率が予め設定された値を超えないように前記色調整ゲインを決定する、
   請求項１に記載の半導体装置。
9. 前記調整領域決定回路は、前記第１画像データ内に複数の前記対象物体を検出する場合に、予め設定された判断基準に基づいて優先順位が最も高い第１対象物体を特定し、前記第２画像データにおける前記第１対象物体の位置を推定することにより前記調整領域を決定する、
   請求項１に記載の半導体装置。
10. 前記調整領域決定回路は、前記第２時刻において取得する前記第２画像データにおける前記対象物体の位置を推定し、推定した前記対象物体との距離に基づいて前記第１対象物体を特定する、
    請求項９に記載の半導体装置。
11. 前記対象物体の属性と優先順位が関連付けられた優先順位情報を記憶する記憶部をさらに有し、
    前記調整領域決定回路は、前記優先順位情報に基づいて前記第１対象物体を特定する、
    請求項９に記載の半導体装置。
12. 前記調整領域決定回路は、優先順位が前記第１対象物体に次いで２番目に高い第２対象物体を特定するとともに、
    前記第２画像データにおいて前記第１対象物体に基づく第１調整領域と、前記第２対象物体に基づく第２調整領域とをそれぞれ決定する、
    請求項９に記載の半導体装置。
13. 前記画像データ内の前記対象物体の選択を受け付ける物体選択回路をさらに有し、
    調整領域決定回路は、前記物体選択回路により前記対象物体が選択された場合には、選択された前記対象物体の位置に基づいて前記調整領域を決定する、
    請求項１に記載の半導体装置。
14. 前記調整領域決定回路は、前記合成画像に含まれる領域の外側の領域に位置する前記対象物体を検出する、
    請求項１に記載の半導体装置。
15. 前記画像データ取得回路は、移動体の周囲を撮像して生成された前記画像データを取得する、
    請求項１に記載の半導体装置。
16. 前記調整領域決定回路は、前記第１画像データ内に複数の前記対象物体が存在する場合に、前記第１時刻から前記第２時刻にかけて相対的に自己に対してより速い移動速度で近寄ってくる前記対象物体を前記第１対象物体として特定する、
    請求項９に記載の半導体装置。
17. 前記画像合成回路は、前記画像データ取得回路が取得した複数の前記画像データをそれぞれの前記重複部が互いに重なるように合成して前記合成画像を生成し、
    前記調整領域決定回路は、前記合成画像のデータである合成画像データに対して前記調整領域を決定する、
    請求項１に記載の半導体装置。
18. 撮像領域に互いに重複する重複部を含む画像を撮像し、撮像した画像の画像データをそれぞれ生成する複数の画像信号処理装置から予め設定された期間ごとに連続して前記画像データを取得する画像データ取得インタフェースと、
    第１時刻において取得した第１画像データから予め認識するように設定された物体である対象物体を検出し、
    前記第１時刻より前の時刻から前記第１時刻にかけての前記対象物体の位置変化に基づいて、前記第１時刻より後の第２時刻における前記対象物体の位置を推定することにより調整領域を決定し、
    前記第１画像データにおける前記調整領域に基づいて色バランスの調整である色調整ゲインを決定し、
    前記色調整ゲインに基づいて第２時刻において取得した第２画像データに色調整を施し、
    色調整を施した第２画像データをそれぞれの前記重複部が互いに重なるように合成して合成画像を生成し、
    前記色調整が施された前記合成画像を出力するプロセッサと、
    前記対象物体を特性するための対象物体情報を記憶するメモリと、
    を備える半導体装置。
19. 撮像領域に互いに重複する重複部を含む画像を撮像し、撮像した画像の画像データをそれぞれ生成する複数の画像信号処理装置から予め設定された期間ごとに連続して前記画像データを取得する画像データ取得ステップと、
    第１時刻において取得した第１画像データから予め認識するように設定された物体である対象物体を検出し、前記第１時刻より前の時刻から前記第１時刻にかけての前記対象物体の位置変化に基づいて、前記第１時刻より後の第２時刻における前記対象物体の位置を推定することにより調整領域を決定する調整領域決定ステップと、
    前記第１画像データにおける前記調整領域に基づいて色バランスの調整である色調整ゲインを決定し、前記色調整ゲインに基づいて第２時刻において取得した第２画像データに色調整を施す色調整ステップと、
    色調整を施した第２画像データをそれぞれの前記重複部が互いに重なるように合成して合成画像を生成する画像合成ステップと、
    前記色調整が施された前記合成画像を出力する出力ステップと、
    を備える画像処理方法。
20. 請求項１９に記載の方法をコンピュータに実行させるプログラム。

Images