JP4641601B2

JP4641601B2 - Image processing apparatus and image processing system

Info

Publication number: JP4641601B2
Application number: JP2000273297A
Authority: JP
Inventors: 正博山田
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2000-09-08
Filing date: 2000-09-08
Publication date: 2011-03-02
Anticipated expiration: 2020-09-08
Also published as: JP2002084534A

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理装置、特に車両に搭載され車両の周辺の道路状況等をビデオカメラにて監視するのに適した画像処理装置、ならびに画像処理システムに関する。
【０００２】
【従来の技術】
上記のような画像処理装置は、前方を走行する車両との間の車両距離が十分でなくなったことを検知して運転者にアラーム音を発したり、あるいはレーンマークから外れて車両が走行し始めたときに同様に運転者にアラーム音を発したりするために用いることができる。
【０００３】
また車両が前進する場合のみならず、後退する場合においても後方確認のためにその画像処理装置を利用することができる。
【０００４】
【発明が解決しようとする課題】
画像処理装置は上述のように車両の周辺の他の車両、レーンマーク等の道路状況を画像として捉えさらにその道路状況を認識する機能を果す。すなわち画像認識である。
この画像認識の性能は、画像処理装置自身の性能によって定まるものであるが、実際の運用時においては、画像処理装置が置かれる撮影状況によっても大きく左右される。その撮影状況（日照条件、天候等）によっては、上記の画像認識を行うことが困難な場合に遭遇することがある。
【０００５】
例えば夜間の走行中、その前方を走行する車両のブレーキランプが点灯した場合、ブレーキランプ周辺の画像がぼやけてしまい、当該車両に設けられる画像処理装置の画像認識性能が低下してしまう、という第１の問題がある。
図２０は従来技術の第１の問題点を示す画像の一例を表す図である。
本図に示すとおり、夜間の走行中に前方を走る車両１が有する例えば３個のブレーキランプ２，３および４の周辺の画像に上記の「ぼやけ」が現れる。
【０００６】
また画像処理装置に内蔵される画像メモリのメモリ容量と処理時間とに制限が課せられている、という第２の問題がある。
したがって本発明は上記問題点に鑑み、上述した画像認識性能の低下の問題と、上述したメモリ容量および処理時間に課せられる制限の問題とを同時に解消することのできる画像処理装置、ならびに画像処理システムを提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
図１は本発明に係る画像処理装置の基本構成を示す図である。
本図において、参照番号１０は画像処理装置であり、該装置１０は、撮像素子１４を有する光学系１１と、光学系１１からの撮像信号Ｓを入力として画像処理を行う演算処理部１２とからなる。なお、撮像素子１４の部分についてのみ、拡大した斜視図Ａにて示す。この拡大斜視図は、レンズ１３側から見た図である。
【０００８】
ここに撮像素子１４は行方向の画素と列方向の画素とを全体にマトリクス状に配列してなる。ただしこの構成は周知であるので、詳細に図示しない。
撮像素子１４の撮像面１４’は、行単位または列単位で複数の領域に区分されると共に、これら複数の領域は、第１フィルタＦ１を該撮像面上に備える第１領域Ｉ、第２フィルタＦ２を該撮像面１４’上に備える第２領域IIおよび撮像面１４’上にフィルタを設けない第３領域III のうちの少なくともいずれか２つの領域によって構成される。
【０００９】
かくしてフィルタ処理が加えられた、光学系１１からの撮像信号Ｓが演算処理部１２に入力され、例えば前方の車両の認識等の処理が行われる。
図２は撮像素子１４の分光感度特性を示すグラフである。
本図において、横軸には波長〔nm〕を、縦軸には輝度をそれぞれとって、上記の分光感度特性を示す。ただし撮像素子 (センサＩＣ）１４としてＣＭＯＳセンサを採用した例を示す。
【００１０】
本図のグラフ中、特に注目すべき部分は、波長帯域Ｂである。この帯域Ｂが、図２０に表した、車両１のブレーキランプ（２，３，４）周辺に生じる「ぼやけ」の原因となる帯域である。
このようなぼやけは、赤外領域（Ｂ）にあることから、人間の眼には見えないが、一方、上記ＣＭＯＳセンサにとってみると、このような波長帯域も検知範囲となる。したがってこの波長帯域に基づくセンサ信号が撮像信号Ｓの中に上記のぼやけとして現れることになる。
【００１１】
そこで上記の波長帯域Ｂをフィルタによりカットして、該ぼやけを除去する、というのが本発明の前提となる。ただし、このようなフィルタによる帯域Ｂのカットということ自体は公知のことである。本発明の特徴は、そのフィルタの形成の仕方にあり、具体的には図１内の拡大斜視図Ａに示すように形成される。なお、本図Ａは本発明に基づくある一態様を示したものであって、フィルタＦ１（Ｉ）、フィルタＦ２（II）およびフィルタなし（III ）の各領域の全てが撮像面１４’上に形成されているが、これに限らず、フィルタＦ１（Ｉ）、フィルタＦ２（II）およびフィルタなし（III ）のうちのいずれか２つの領域だけが存在するように構成してもよい。
【００１２】
以下、上記図２の説明を続けるが、この説明では第１フィルタＦ１と第２フィルタＦ２のみを用いた例を用いる。
図３は撮像面１４’上に形成されるフィルタ群１５を示す平面図である。
本図の例では、５１２列および４８０行のそれぞれに５１２画素および４８０画素をマトリクス状に配列してなる撮像素子１４を用いており、その撮像面１４’上に、行単位ですなわち奇数行と偶数行とに区分して、第１フィルタ（Ｆ１）と第２フィルタ（Ｆ２）とを交互配置する。このため各フィルタの幅は数１０μｍと微小なものとなる。
【００１３】
このようなフィルタ群を用いて図１の撮像信号Ｓを得、図１の演算処理部１２にて所定の処理を行う。
図４は演算処理部１２による処理の一例を示すフローチャートである。
ステップＳ１１：図３における５１２画素×１２０（４８０／４）画素分の輝度値の平均を算出する。この場合、行単位の画素情報は一例として１／４に間引いている。この行単位の画素情報は、演算処理部１２内のメモリ（後述する図５のメモリ２４参照）に一旦格納され、さらに、同図中のＣＰＵ２５にて平均輝度値が算出される。
【００１４】
ステップＳ１２：上記ステップＳ１１で算出された平均輝度値により、当該車両の置かれた環境（昼か夜）を上記ＣＰＵにより判断する。
ステップＳ１３：上記の判断により、昼であることが判明すると、インタレース方式により第１フィルタＦ１が載せられた奇数行のみをスキャンする。このときの第１フィルタＦ１は、図２の波長帯域Ｂまでも含めた全波長帯域についての撮像信号Ｓを得る。この結果、昼間の画像認識性能は従前どおり十分確保することができる。
【００１５】
ステップＳ１４：一方上記の判断により、夜であることが判明すると、今度は、上記インタレース方式のもとで、第２フィルタＦ２が載せられた偶数行のみをスキャンする。このときの第２フィルタＦ２としては、図２の波長帯域Ｂを除いた全波長帯域（青、緑および赤）についての撮像信号Ｓを得る。この結果、夜間における該帯域Ｂに起因するぼやけは排除され、夜間の画像認識性能は従前に比して大幅に改善される。
【００１６】
上述のとおり、昼と夜とに最適なフィルタ特性をそれぞれ選択でき、既述の第１の問題は解消される。
この場合、第１および第２フィルタＦ１, Ｆ２のいずれか一方に属する撮像面のみしか使用されないので、画像情報量は本来得られる画像情報量に比べてほぼ半減してしまう。しかし実際に実施した結果によれば、画像認識能力の低下は実用上全く問題にならない程度であった。そのような能力の低下は、ぼやけの完全な解消という効果によって十分相殺される。かくして夜間において例えば前方の車両を認識する際、その車両の輪郭をきわめて鮮明に捉えることが可能となる。
【００１７】
また上述のとおり、使用する画像情報量がほぼ半減するので、上記メモリ２４のメモリ容量は従来のほぼ半分で済むことになり、これに伴い上記ＣＰＵ２５による画像処理（車両の周囲の明るさ判断の処理や、車両の画像の輪郭を抽出する等の処理や、前方の車両との車間距離を計算する処理や、必要に応じて既述のアラーム音を発出する処理等）に要する処理時間も短縮される。この結果、既述の第２の問題も解消される。
【００１８】
【発明の実施の形態】
図５は図１の装置構成の具体例を示す図である。なお全図を通じて、同様の構成要素には同一の参照番号または記号を付して示す。
本図において、画像処理装置１０は、図１のとおり、光学系１１と演算処理部１２とからなる。
【００１９】
光学系１１はいわばビデオカメラであり、レンズ１３と撮像素子１４とフィルタ群１５等を含む。このビデオカメラは例えば、車両内のルームミラーのところに取り付けられ、および／または、車両のリアウィンドウ中央付近に取り付けられる。
このビデオカメラ（１１）からのアナログの撮像信号Ｓは、演算処理部１２に入力され、まず、アンプ２１にてこれを増幅し、さらに、ＡＤＣ（Ａｎａｌｏｇ／ＤｉｇｉｔａｌＣｏｎｖｅｒｔｅｒ）２２によりディジタルの撮像信号Ｓに変換する。さらに、メモリＩ／Ｆ制御回路２３は、ＣＰＵ２５による指令のもとで、メモリ２４へのデータ（撮像信号）の書込みおよびＣＰＵ２５への読出しを制御する。該回路２３はさらに他の制御も行う。
【００２０】
図６は本発明に基づく第１実施例を示す平面図であり、
図７は第１実施例の説明に用いるグラフである。なお、図６の見方は図３と同じであり、図７の見方は図２と同じである。
この第１実施例においては、既述の複数の領域は、第１領域Ｉと第３領域III とから構成される。かつ、第１領域Ｉに備えられる第１フィルタＦ１は赤外カットフィルタであることを特徴とするものである。
【００２１】
これにより、図７におけるにじみ（既述のぼやけと等価）の原因となるセンサ信号の部分Ｃは、赤外カットフィルタ（Ｆ１）により除去される。
さらに詳細には、前方の車両のストップランプがぼやける夜間に対応するため、奇数行と偶数行のフィルタの特性を変えることにする。すなわち奇数行はフィルタなし、偶数行は赤外カットフィルタ（Ｆ１）である。このときの処理としては、演算処理部１２で昼または夜の判断を行い、その結果をもとに、インタレースのビデオカメラ信号の処理範囲を次のようにする。
【００２２】
・昼ならば、フィルタなしの奇数フィールドを選択し、
・夜ならば、赤外カットフィルタ（Ｆ１）有りの偶数フィールドを選択する。
図８は本発明に基づく第２実施例を示す平面図であり、
図９は第２実施例の説明い用いるグラフである。なお、図８の見方は図３と同じであり、図９の見方は図２と同じである。
【００２３】
この第２実施例においては、既述の複数の領域は、第１領域Ｉと第２領域IIと第３領域III から構成される。かつ、第１領域Ｉに備えられる第１フィルタＦ１は赤外カットフィルタであり、第２領域IIに備えられる第２フィルタＦ２も赤外カットフィルタであって、第１フィルタＦ１と第２フィルタＦ２の各分光感度特性を相互に異ならせることを特徴とするものである。
【００２４】
これにより、図９における上記にじみの原因となる部分Ｃ（図７のＣと同じ）は、赤外カットフィルタ（Ｆ１）または赤外カットフィルタ（Ｆ２）により除去される。
さらに詳細には、前方の車両のストップランプがぼやける夜間の場合、３行毎にフィルタの特性を変えることにする。すなわちｎは整数で、ｎ＝０，１，…，１５９とすると、
３ｎ＋１行：フィルタなし
３ｎ＋２行：赤外カットフィルタ１（Ｆ１）
３ｎ＋３行：赤外カットフィルタ２（Ｆ２）
とする。このときの処理としては、演算処理部１２で昼または夜の判断を行い、その結果をもとに、インタレースのビデオカメラ信号の処理範囲を次のようにする。
【００２５】
・昼ならば、フィルタなしの３ｎ＋１行を選択し、
・夜で、ぼやけの小さい時は、赤外カットフィルタ１の３ｎ＋２行を選択し、
・夜で、ぼやけの大きい時は、赤外カットフィルタ２の３ｎ＋３行を選択する。
本発明に係る撮像素子１４の撮像面１４’は、行単位または列単位で複数の領域に区分される。上述した第１および第２実施例では、行単位で複数の領域に区分した構成を示したので、次に列単位で複数の領域に区分した構成を、第３および第４実施例として示す。
【００２６】
図１０は本発明に基づく第３実施例を示す平面図である。
第１実施例（図６）が行単位であるのに対し、この第３実施例は、列単位にしたものである。
詳細には、前方の車両のストップランプがぼやける夜間に対応するため、奇数列と偶数列のフィルタの特性を変えることにする。すなわち奇数列はフィルタなし、偶数列は赤外カットフィルタ（Ｆ１）である。このときの処理としては、演算処理部１２で昼または夜の判断を行い、その結果をもとに、ビデオカメラ信号の処理範囲を次のようにする。
【００２７】
・昼ならば、フィルタなしの奇数列を選択し、
・夜ならば、赤外カットフィルタ（Ｆ１）有りの偶数列を選択する。
図１１は本発明に基づく第４実施例を示す平面図である。
第２実施例（図８）が行単位であるのに対し、この第４実施例は、列単位にしたものである。
【００２８】
詳細には、前方の車両のストップランプがぼやける夜間に対応するため、３ｎ＋１列と３ｎ＋２列と３ｎ＋３列のフィルタの特性を変えることにする。すなわちｎは整数で、ｎ＝０，１，…，１５９とすると、
３ｎ＋１列：フィルタなし
３ｎ＋２列：赤外カットフィルタ１（Ｆ１）
３ｎ＋３列：赤外カットフィルタ２（Ｆ２）
とする。このときの処理としては、演算処理部１２で昼または夜の判断を行い、その結果をもとに、ビデオカメラ信号の処理範囲を次のようにする。
【００２９】
・昼ならば、フィルタなしの３ｎ＋１列を選択し、
・夜で、ぼやけの小さい時は、赤外カットフィルタ１の３ｎ＋２列を選択し、
・夜で、ぼやけの大きい時は、赤外カットフィルタ２の３ｎ＋３列を選択する。
上述した第３および第４実施例は、ビデオカメラからの左右の視野角を適宜設定したいようなときに有効である。例えば、ビデオカメラが車両のリヤウィンドウ側に設けられていて、車両の後方に展開する道路上の白いレーンマークを確認したいような場合に有効である（後述）。
【００３０】
このような第３および第４実施例による列単位での撮像信号Ｓの抽出を行うためには、前述した第１および第２実施例の場合のようなインタレース方式をそのまま利用することができない。
すなわち第１および第２実施例の場合ならば、行単位で区分される既述の複数の領域は、撮像素子１４の奇数または偶数番目のいずれか一方の行によって規定され、このインタレース方式の撮像信号Ｓを、演算処理部１２を構成するメモリ２４に格納すれば、ＣＰＵ２５およびメモリＩ／Ｆ制御回路２３はその後何ら複雑な制御をすることなく、所定の画像処理を行うことができる。
【００３１】
しかしながら第３および第４実施例の場合には、演算処理部１２内にカウンタ機能（図５のカウンタ３１参照）を持たせ、撮像素子１４からの行単位の撮像信号Ｓのうち所定のカウント値に達する毎に選択された撮像信号を、列単位で区分される複数の領域に対応する撮像信号Ｓとして、演算処理部１２を構成するメモリ２４から読み出すようにする必要がある。
【００３２】
このような読出し操作を行うのは、例えば図５のメモリＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）制御回路２３である。例えば図１１の場合についてみると、上記の所定のカウント値は、赤外カットフィルタ（Ｆ１）については、“２→５→８→…→５１１”であり、赤外カットフィルタ（Ｆ２）については、“３→６→９→…→５１２”である。またフィルタなし（III ）については、“１→４→７→…→５１０”である。
【００３３】
どのようなカウント値を選択するかは、最も単純には、車両の置かれた環境が昼であるか夜であるか、に依存する。このような昼／夜の識別は図５の演算処理部１２、とりわけＣＰＵ２５、が行う。
すなわち、演算処理部１２は、演算処理部１２を構成するメモリ２４に格納されている撮像信号Ｓのデータに基づいて、この撮像素子全体の平均受光輝度を表す輝度値を算出し、この輝度値の大小に応じて、前述した第１、第２および第３領域（Ｉ，IIおよびIII ）を指定する。つまり、第１フィルタＦ１を使うか、第２フィルタＦ２を使うか、またはフィルタなし（III ）とするか、を決定する。
【００３４】
上記第１および第２実施例は行単位のみでのフィルタ処理をベースにし、上記第３および第４実施例は列単位のみでのフィルタ処理をベースにしている。これをさらに発展させれば行単位と列単位の複合によるフィルタ処理をベースにすることもできる。
図１２は本発明に基づく第５実施例を示す図である。
【００３５】
この第５実施例では、行単位と列単位の複合でフィルタ処理を行う。図１２においては、既述の複数の領域として、第１領域Ｉ（第１フィルタＦ１付き）、第２領域II（第２フィルタＦ２付き）および第３領域III （フィルタなし）が全て採用され、これらの領域が格子状に配置されていることを示す。
かくしてこの第５実施例のもとでは撮像素子１４を有する光学系１１と、光学系１１からの撮像信号Ｓを入力として画像処理を行う演算処理部１２とからなる画像処理装置において、撮像素子１４は行方向の画素と列方向の画素とを全体にマトリクス状に配列すると共に、
撮像素子１４の撮像面１４’は、行および列の交点の単位で複数の領域に区分され、これら複数の領域は、第１フィルタＦ１を撮像面１４’上に備える第１領域Ｉ、第２フィルタＦ２を撮像面１４’上に備える第２領域IIおよび撮像面１４’上にフィルタを設けない第３領域III のうちの少なくともいずれか２つの領域によって構成されるようにする。
【００３６】
図１３は本発明に基づく第６実施例の説明に用いるグラフである。
前述した各実施例では第１フィルタＦ１（第２フィルタＦ２）として赤外カットフィルタを用いたが、この第６実施例（および後述の第７実施例）では均一な濃度のフィルタ（全波長帯域（減衰を必要とする波長帯域）に亘り略一律に透過光量を抑えるフィルタ）であるＮＤ（ＮＥＵＴＲＡＬＤＥＮＳＩＴＹ）フィルタを用いる。
【００３７】
すなわち、前述した複数の領域は、第１領域Ｉと第３領域III とから構成されると共に、この第１領域Ｉに備えられる第１フィルタＦ１はＮＤフィルタであることを特徴とするものである。
前述した各実施例では、ぼやけの原因Ｃを赤外カットフィルタにより除去したが、第６実施例（第７実施例）では、ＮＤフィルタを用いて、全波長帯域に亘り一律に透過率を下げる（透過光量を抑える）ことにより、その原因Ｃを排除するようにしたものである。既述のぼやけを防ぐ効果は、赤外カットフィルタにほぼ等しい。
【００３８】
図１３において、曲線ＤはＮＤフィルタにより低下した透過率特性を表す。
図１４は本発明に基づく第７実施例の説明に用いるグラフである。
この第７実施例では、前述した複数の領域は、第１領域Ｉと第２領域IIと第３領域III とから構成され、かつ、この第１領域Ｉに備えられる第１フィルタＦ１はＮＤフィルタであり、その第２領域に備えられる第２フィルタＦ２もＮＤフィルタであって、第１フィルタＦ１と第２フィルタＦ２の各透過率特性を相互に異ならせることを特徴とするものである。
【００３９】
図１４を参照すると、曲線Ｄ１は第１ＮＤフィルタ（Ｆ１）の透過率特性を示し、曲線Ｄ２は第２ＮＤフィルタ（Ｆ２）の透過率特性を示す。そしてＦ１の透過率の方がＦ２の透過率よりも大に設定される。それぞれの役割は、既述した第１赤外カットフィルタ（Ｆ１）および第２赤外カットフィルタの役割と同じである。
【００４０】
以上の実施例ではビデオカメラを主として車両のフロントウィンドウ側に設けた場合について説明したが、以下、このビデオカメラを車両のリヤウィンドウ側に設ける場合について説明する。また使用するフィルタとして赤外カットフィルタおよびＮＤフィルタについて述べたが、以下の説明ではＲＧＢカラーフィルタも取り入れた場合について述べる。
【００４１】
図１５は本発明に基づく第８実施例を示す図である。
この第８実施例においては、前述した複数の領域は列単位のみで区分されると共に、撮像面１４’の中間部分に配置される第１領域Ｉと撮像面１４’における該中間部分の左右にある左部分と右部分とにそれぞれ配置される第３領域III とから構成され、ここに、第１領域Ｉに備えられる第１フィルタＦ１はＲＧＢカラーフィルタであることを特徴とするものである。
【００４２】
図１６は第８実施例のもとでの撮影画像の一例を示す図である。
本図において、４１はディスプレイであり、車両の後方側の映像を表示する。本図は夜間の映像を表示しており、中央に後方車両が映っている（図１５の後方車両部）。
夜間走行では車両後方に展開する道路上のレーンマーク（白線）５だけを鮮明に映し出したいことがある。このために、ディスプレイの中央表示部分の左側および右側の部分に相当する撮像面１４’の部分はフィルタなし（第３領域III ）とする（図１５の白線部）。
【００４３】
車両後方に展開する映像としては、上記の他、例えば駐車の際の車両後方の確認用として用いる場合がある。このときは、カラー画像として、視野の中央部分を鮮明に映し出す必要がある。このために図１５のＲＧＢカラーフィルタ（Ｆ１）を撮像面１４’の中央に設ける。なお、このような車両後方の確認のときは、拡大表示するのが都合がよい。これを図１６のディスプレイ４１’として示す。
【００４４】
さらに詳細には、車両の後方に取り付けたビデオカメラ（図１８の５２参照）から後方の白線を認識する場合、車両の存在する範囲と白線の存在する範囲とで、フィルタの特性を変えることにする。すなわち
車両部１：ＲＧＢカラーフィルタ（Ｉ）
白線部５：フィルタなし（III ）
とする。このときの処理としては、中央部の映像は画面に表示するために、カラー表示が必要であり、一方、その左右の白線部は画像処理を行うためにＲＧＢカラーフィルタをとり、フィルタなしとする。
【００４５】
図１７は本発明に基づく第９実施例を示す図である。
第９実施例は上記第８実施例の変形であり、白線部（５）の光量が強過ぎるような場合に採用することができる。
すなわち第９実施例においては、前述の複数の領域は列単位のみで区分されると共に、撮像面１４’の中間部分に配置される第１領域Ｉと撮像面１４’における該中間部分の左右にある左部分と右部分とにそれぞれ配置される第２領域IIとから構成され、ここに、第１領域Ｉに備えられる第１フィルタＦ１はＲＧＢカラーフィルタであり、第２領域IIに備えられる第２フィルタＦ２は赤外カットフィルタであることを特徴とするものである。
【００４６】
上記の赤外カットフィルタ（Ｆ２）についてみると、これをさらに２段階に区分することもできる。既述の図９において両矢印のＦ１およびＦ２として示すとおりである。
すなわち、第２フィルタＦ２をなす赤外カットフィルタは第１赤外カットフィルタと第２赤外カットフィルタからなり、かつ、該第１および第２赤外カットフィルタの各分光感度特性を相互に異ならせるようにする。
【００４７】
またさらなる変形例としては、その赤外カットフィルタに代えて既述のＮＤフィルタとすることもできる。すなわち、かかる実施態様のもとでは、前述の複数の領域は列単位のみで区分されると共に、撮像面１４’の中間部分に配置される第１領域Ｉと撮像面１４’における該中間部分の左右にある左部分と右部分とにそれぞれ配置される第２領域IIとから構成され、かつ、この第１領域Ｉに備えられる第１フィルタＦ１はＲＧＢカラーフィルタとし、該第２領域IIに備えられる第２フィルタＦ２はＮＤフィルタとする。
【００４８】
そしてこのＮＤフィルタ（Ｆ２）についても、これをさらに２段階に区分することもできる。既述の図１４において曲線Ｄ１およびＤ２として示すとおりである。
かかる実施態様のもとでは、第２フィルタＦ２をなすＮＤフィルタは第１ＮＤフィルタと第２ＮＤフィルタからなり、かつ、これら第１および第２ＮＤフィルタの各透過率特性を相互に異ならせるようにする。
【００４９】
次に説明する第１０実施例は、車両の後方にビデオカメラだけでなく、その後方の映像を浮かび上がらせる照光手段をもさらに設けるものである。
図１８は本発明に基づく第１０実施例を説明するための斜視図である。
本図において、車両１はレーンマーク（白線）５に沿って走行中であり、この車両１の後方には、既に述べてきたビデオカメラが５２として示されると共に、上述した照光手段が５１として示されている。ただし、採用する撮像面１４’上のフィルタ構成は、前述の第８実施例（図１５）あるいは第９実施例（図１７）と全く同じである。
【００５０】
照光手段５１としては特定波長で発光する発光素子を用いる。本図の例ではその発光素子として赤外ＬＥＤを用いており（中心周波数９５０nm）、図１８では、レーンマーク５を照光する様子が示されている。
図１９は本発明に基づく第１０実施例を示す図であり、分光感度特性を表すグラフＧと共に示されている。
【００５１】
上記の例では、照光手段５１として赤外ＬＥＤ（特定波長は９５０nm）を用いており、この特定波長域（図１９のグラフＧ内のＨ参照）を透過させる特定波長フィルタを第２フィルタＦ２として用いる。
すなわちこの第１０実施例においては、前述の複数の領域は列単位のみで区分されると共に、撮像面１４’の中間部分に配置される第１領域Ｉと該撮像面１４’における該中間部分の左右にある左部分と右部分とにそれぞれ配置される第２領域IIとから構成され、ここに、その第１領域Ｉに備えられる第１フィルタＦ１はＲＧＢカラーフィルタであり、その第２領域に備えられる第２フィルタＦ２は特定の波長域を透過させる特定波長フィルタであることを特徴とするものである。
【００５２】
さらに上記の特定波長フィルタ（Ｆ２）は、第１特定波長フィルタと第２特定波長フィルタからなり、かつ、これら第１および第２特定波長フィルタの各透過率特性を相互に異ならせるようにすることもできる。
【００５３】
【発明の効果】
以上説明したように本発明によれば、撮像素子１４の撮像面１４’上に選択的に所望のフィルタを配列したビデオカメラが提供される。
これにより、所望の映像をより一層鮮明に得ることができる。
また、所望のフィルタを選択的に使用することにより、メモリ２４のメモリ容量を減らし、これに伴いＣＰＵ２５の処理時間を短縮することもできる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の基本構成を示す図である。
【図２】撮像素子１４の分光感度特性を示すグラフである。
【図３】撮像面１４’上に形成されるフィルタ群１５を示す平面図である。
【図４】演算処理部１２による処理の一例を示すフローチャートである。
【図５】図１の装置構成の具体例を示す図である。
【図６】本発明に基づく第１実施例を示す平面図である。
【図７】第１実施例の説明に用いるグラフである。
【図８】本発明に基づく第２実施例を示す平面図である。
【図９】第２実施例の説明に用いるグラフである。
【図１０】本発明に基づく第３実施例を示す平面図である。
【図１１】本発明に基づく第４実施例を示す平面図である。
【図１２】本発明に基づく第５実施例を示す平面図である。
【図１３】本発明に基づく第６実施例の説明に用いるグラフである。
【図１４】本発明に基づく第７実施例の説明に用いるグラフである。
【図１５】本発明に基づく第８実施例を示す図である。
【図１６】第８実施例のもとでの撮像画像の一例を示す図である。
【図１７】本発明に基づく第９実施例を示す図である。
【図１８】本発明に基づく第１０実施例を説明するための斜視図である。
【図１９】本発明に基づく第１０実施例を示す図である。
【図２０】従来技術の第１の問題点を示す画像の一例を表す図である。
【符号の説明】
１…車両
２，３，４…ブレーキランプ
５…レーンマーク
１０…画像処理装置
１１…光学系（ビデオカメラ）
１２…演算処理部
１３…レンズ
１４…撮像素子
１４’…撮像面
１５…フィルタ群
２１…アンプ
２２…ＡＤＣ
２３…メモリＩ／Ｆ制御回路
２４…メモリ
２５…ＣＰＵ
３１…カウンタ
４１…ディスプレイ
５１…照光手段
５２…ビデオカメラ
Ｓ…撮像信号
Ｉ…第１領域
II…第２領域
III …第３領域
Ｆ１…第１フィルタ
Ｆ２…第２フィルタ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, particularly an image processing apparatus mounted on a vehicle and suitable for monitoring a road condition around the vehicle with a video camera. And image processing system About.
[0002]
[Prior art]
The image processing apparatus as described above detects that the vehicle distance from the vehicle traveling ahead is not sufficient and emits an alarm sound to the driver, or comes off the lane mark and the vehicle starts to travel. Similarly, it can be used to make an alarm sound to the driver.
[0003]
The image processing apparatus can be used not only when the vehicle moves forward but also when the vehicle moves backward to confirm the rear.
[0004]
[Problems to be solved by the invention]
As described above, the image processing apparatus performs a function of capturing road conditions such as other vehicles around the vehicle and lane marks as images and recognizing the road conditions. That is, image recognition.
The performance of this image recognition is determined by the performance of the image processing apparatus itself. However, in actual operation, it greatly depends on the shooting situation in which the image processing apparatus is placed. Depending on the shooting conditions (sunshine conditions, weather, etc.), you may encounter when it is difficult to perform the above image recognition.
[0005]
For example, when a vehicle running in front of the vehicle is illuminated at night, the image around the brake light is blurred and the image recognition performance of the image processing device provided in the vehicle is reduced. There is one problem.
FIG. 20 is a diagram illustrating an example of an image showing a first problem of the conventional technique.
As shown in the figure, the above-mentioned “blurring” appears in an image around, for example, the three brake lamps 2, 3, and 4 of the vehicle 1 that runs ahead during night driving.
[0006]
In addition, there is a second problem that there is a restriction on the memory capacity and processing time of the image memory built in the image processing apparatus.
Therefore, in view of the above problems, the present invention can solve the above-described problem of degradation of image recognition performance and the above-described problem of limitations imposed on the memory capacity and processing time at the same time. And image processing system Is intended to provide.
[0007]
[Means for Solving the Problems]
FIG. 1 is a diagram showing a basic configuration of an image processing apparatus according to the present invention.
In this figure, reference numeral 10 denotes an image processing apparatus, which includes an optical system 11 having an image sensor 14 and an arithmetic processing unit 12 that performs image processing with an imaging signal S from the optical system 11 as an input. Become. Only the portion of the image sensor 14 is shown in an enlarged perspective view A. This enlarged perspective view is a view from the lens 13 side.
[0008]
Here, the imaging element 14 is formed by arranging the pixels in the row direction and the pixels in the column direction as a whole in a matrix. However, since this configuration is well known, it is not shown in detail.
The imaging surface 14 ′ of the imaging device 14 is divided into a plurality of regions in units of rows or columns, and the plurality of regions include a first region I and a second filter provided with a first filter F1 on the imaging surface. The second region II includes F2 on the imaging surface 14 ′ and the third region III does not include a filter on the imaging surface 14 ′.
[0009]
Thus, the imaging signal S from the optical system 11 to which the filtering process has been added is input to the arithmetic processing unit 12, and processing such as recognition of the vehicle ahead is performed, for example.
FIG. 2 is a graph showing the spectral sensitivity characteristics of the image sensor 14.
In this figure, the wavelength [nm] is plotted on the horizontal axis and the luminance is plotted on the vertical axis, and the above spectral sensitivity characteristics are shown. However, the example which employ | adopted the CMOS sensor as the image pick-up element (sensor IC) 14 is shown.
[0010]
In the graph of this figure, the part to be particularly noted is the wavelength band B. This band B is a band that causes “blurring” generated around the brake lamp (2, 3, 4) of the vehicle 1 shown in FIG.
Since such blur is in the infrared region (B), it cannot be seen by human eyes. On the other hand, for the CMOS sensor, such a wavelength band is also a detection range. Therefore, a sensor signal based on this wavelength band appears as the blur in the imaging signal S.
[0011]
Therefore, the premise of the present invention is to remove the blur by cutting the wavelength band B with a filter. However, the band B cut by such a filter is known per se. The feature of the present invention lies in the way of forming the filter, specifically, as shown in an enlarged perspective view A in FIG. Note that FIG. A shows one aspect based on the present invention, and all of the regions of the filter F1 (I), the filter F2 (II), and the no filter (III) are on the imaging surface 14 ′. However, the present invention is not limited to this, and it may be configured such that only any two regions of the filter F1 (I), the filter F2 (II), and the no filter (III) exist.
[0012]
Hereinafter, the description of FIG. 2 is continued. In this description, an example using only the first filter F1 and the second filter F2 is used.
FIG. 3 is a plan view showing the filter group 15 formed on the imaging surface 14 ′.
In the example of this figure, an image sensor 14 in which 512 pixels and 480 pixels are arranged in a matrix in 512 columns and 480 rows, respectively, is used. The first filter (F1) and the second filter (F2) are alternately arranged by dividing into even rows. For this reason, the width of each filter is as small as several tens of μm.
[0013]
The image pickup signal S of FIG. 1 is obtained using such a filter group, and predetermined processing is performed by the arithmetic processing unit 12 of FIG.
FIG. 4 is a flowchart showing an example of processing by the arithmetic processing unit 12.
Step S11: The average of the luminance values for 512 pixels × 120 (480/4) pixels in FIG. 3 is calculated. In this case, pixel information for each row is thinned out to ¼ as an example. This row-by-row pixel information is temporarily stored in a memory in the arithmetic processing unit 12 (see a memory 24 in FIG. 5 described later), and an average luminance value is calculated by the CPU 25 in FIG.
[0014]
Step S12: Based on the average luminance value calculated in step S11, the CPU is used to determine the environment (day or night) in which the vehicle is placed.
Step S13: If it is determined by the above judgment that it is daytime, only the odd-numbered rows on which the first filter F1 is placed are scanned by the interlace method. At this time, the first filter F1 obtains the imaging signal S for the entire wavelength band including the wavelength band B of FIG. As a result, daytime image recognition performance can be sufficiently ensured as before.
[0015]
Step S14: On the other hand, if it is determined by the above judgment that it is night, this time, only the even-numbered rows on which the second filter F2 is placed are scanned under the interlace method. As the second filter F2 at this time, an imaging signal S for all the wavelength bands (blue, green, and red) excluding the wavelength band B of FIG. 2 is obtained. As a result, the blur caused by the band B at night is eliminated, and the image recognition performance at night is greatly improved as compared with the past.
[0016]
As described above, it is possible to select optimum filter characteristics for day and night, and the first problem described above is solved.
In this case, since only the imaging surfaces belonging to one of the first and second filters F1 and F2 are used, the amount of image information is almost halved compared to the amount of image information originally obtained. However, according to the actual results, the decrease in the image recognition capability was not a problem in practical use. Such a decrease in capacity is well offset by the effect of complete elimination of blur. Thus, when the vehicle ahead is recognized at night, for example, the outline of the vehicle can be captured very clearly.
[0017]
Further, as described above, since the amount of image information to be used is almost halved, the memory capacity of the memory 24 is almost half that of the prior art. Accordingly, the image processing by the CPU 25 (the determination of the brightness around the vehicle) Processing, processing to extract the contour of the vehicle image, processing to calculate the inter-vehicle distance from the vehicle ahead, processing to generate the alarm sound as described above, etc. Is done. As a result, the second problem described above is also solved.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 5 is a diagram showing a specific example of the apparatus configuration of FIG. Throughout the drawings, similar components are denoted by the same reference numerals or symbols.
As shown in FIG. 1, the image processing apparatus 10 includes an optical system 11 and an arithmetic processing unit 12.
[0019]
The optical system 11 is a so-called video camera, and includes a lens 13, an image sensor 14, a filter group 15, and the like. This video camera is mounted, for example, at a rearview mirror in the vehicle and / or near the center of the rear window of the vehicle.
The analog image pickup signal S from the video camera (11) is input to the arithmetic processing unit 12, and is first amplified by the amplifier 21, and further, the digital image pickup signal S by the ADC (Analog / Digital Converter) 22 is obtained. Convert to Further, the memory I / F control circuit 23 controls writing of data (imaging signal) to the memory 24 and reading to the CPU 25 under the instruction of the CPU 25. The circuit 23 also performs other controls.
[0020]
FIG. 6 is a plan view showing a first embodiment according to the present invention,
FIG. 7 is a graph used for explaining the first embodiment. 6 is the same as FIG. 3, and the view of FIG. 7 is the same as FIG.
In the first embodiment, the plurality of regions described above are composed of a first region I and a third region III. In addition, the first filter F1 provided in the first region I is an infrared cut filter.
[0021]
As a result, the portion C of the sensor signal that causes blurring (equivalent to the blurring described above) in FIG. 7 is removed by the infrared cut filter (F1).
More specifically, in order to cope with nighttime when the stop lamp of the vehicle ahead is blurred, the characteristics of the odd-numbered and even-numbered filters are changed. That is, the odd-numbered rows are without a filter, and the even-numbered rows are infrared cut filters (F1). As the processing at this time, the arithmetic processing unit 12 determines whether it is day or night, and based on the result, the processing range of the interlaced video camera signal is set as follows.
[0022]
・ In the daytime, select the odd field without filter,
-At night, select an even field with an infrared cut filter (F1).
FIG. 8 is a plan view showing a second embodiment according to the present invention.
FIG. 9 is a graph used for explaining the second embodiment. 8 is the same as FIG. 3 and FIG. 9 is the same as FIG.
[0023]
In the second embodiment, the plurality of regions described above are composed of a first region I, a second region II, and a third region III. The first filter F1 provided in the first region I is an infrared cut filter, and the second filter F2 provided in the second region II is also an infrared cut filter, and the first filter F1 and the second filter F2 are provided. The spectral sensitivity characteristics are different from each other.
[0024]
As a result, the portion C (same as C in FIG. 7) that causes the blur in FIG. 9 is removed by the infrared cut filter (F1) or the infrared cut filter (F2).
More specifically, in the nighttime when the stop lamp of the vehicle ahead is blurred, the characteristics of the filter are changed every three rows. That is, if n is an integer and n = 0, 1,.
3n + 1 line: No filter
3n + 2 line: Infrared cut filter 1 (F1)
3n + 3 line: Infrared cut filter 2 (F2)
And As the processing at this time, the arithmetic processing unit 12 determines whether it is day or night, and based on the result, the processing range of the interlaced video camera signal is set as follows.
[0025]
・ If noon, select 3n + 1 line without filter,
・ At night, when blurring is small, select 3n + 2 lines of infrared cut filter 1,
・ At night, when blurring is large, select 3n + 3 rows of infrared cut filter 2.
The imaging surface 14 ′ of the imaging device 14 according to the present invention is divided into a plurality of regions in units of rows or columns. In the first and second embodiments described above, the configuration divided into a plurality of regions in units of rows is shown. Next, the configuration partitioned into a plurality of regions in units of columns is shown as third and fourth embodiments.
[0026]
FIG. 10 is a plan view showing a third embodiment according to the present invention.
While the first embodiment (FIG. 6) is in units of rows, the third embodiment is in units of columns.
More specifically, the characteristics of the odd-numbered and even-numbered filters are changed in order to cope with nighttime when the stop lamp of the vehicle ahead is blurred. That is, the odd-numbered columns are without a filter, and the even-numbered columns are infrared cut filters (F1). As processing at this time, the arithmetic processing unit 12 determines whether it is day or night, and based on the result, the processing range of the video camera signal is set as follows.
[0027]
・ In the daytime, select an odd-numbered column without a filter,
-At night, select an even column with an infrared cut filter (F1).
FIG. 11 is a plan view showing a fourth embodiment according to the present invention.
The second embodiment (FIG. 8) is in units of rows, whereas the fourth embodiment is in units of columns.
[0028]
More specifically, the characteristics of the filters of the 3n + 1 column, the 3n + 2 column, and the 3n + 3 column are changed in order to cope with the night when the stop lamp of the vehicle ahead is blurred. That is, if n is an integer and n = 0, 1,.
3n + 1 column: no filter
3n + 2 rows: infrared cut filter 1 (F1)
3n + 3 rows: Infrared cut filter 2 (F2)
And As processing at this time, the arithmetic processing unit 12 determines whether it is day or night, and based on the result, the processing range of the video camera signal is set as follows.
[0029]
・ If noon, select 3n + 1 column without filter,
・ At night, when blurring is small, select 3n + 2 rows of infrared cut filter 1,
・ At night, when blurring is large, select the 3n + 3 column of the infrared cut filter 2.
The third and fourth embodiments described above are effective when it is desired to appropriately set the left and right viewing angles from the video camera. For example, this is effective when a video camera is provided on the rear window side of the vehicle and it is desired to check a white lane mark on the road that is developed behind the vehicle (described later).
[0030]
In order to extract the image pickup signal S in units of columns according to the third and fourth embodiments, the interlace method as in the first and second embodiments cannot be used as it is. .
That is, in the case of the first and second embodiments, the plurality of regions described above that are divided in units of rows are defined by one of the odd-numbered or even-numbered rows of the image sensor 14, and this interlace method is used. If the imaging signal S is stored in the memory 24 constituting the arithmetic processing unit 12, the CPU 25 and the memory I / F control circuit 23 can perform predetermined image processing without performing any complicated control thereafter.
[0031]
However, in the case of the third and fourth embodiments, the arithmetic processing unit 12 has a counter function (see the counter 31 in FIG. 5), and the predetermined count value of the row-by-row image pickup signal S from the image pickup device 14. It is necessary to read out the image signal selected every time the signal reaches 1 from the memory 24 constituting the arithmetic processing unit 12 as the image signal S corresponding to a plurality of regions divided in units of columns.
[0032]
For example, the memory I / F (interface) control circuit 23 in FIG. 5 performs such a read operation. For example, in the case of FIG. 11, the predetermined count value is “2 → 5 → 8 →... → 511” for the infrared cut filter (F1), and for the infrared cut filter (F2). , “3 → 6 → 9 →... → 512”. Further, “No filter (III)” is “1 → 4 → 7 →... → 510”.
[0033]
The count value to be selected depends most simply on whether the environment in which the vehicle is placed is daytime or nighttime. Such day / night identification is performed by the arithmetic processing unit 12 of FIG.
That is, the arithmetic processing unit 12 calculates a luminance value representing the average received light luminance of the entire image sensor based on the data of the imaging signal S stored in the memory 24 constituting the arithmetic processing unit 12, and the luminance value The above-described first, second and third regions (I, II and III) are designated according to the size of. That is, whether to use the first filter F1, the second filter F2, or no filter (III) is determined.
[0034]
The first and second embodiments are based on filter processing only in units of rows, and the third and fourth embodiments are based on filter processing only in columns. If this is further developed, it can be based on a filter processing based on a combination of row units and column units.
FIG. 12 is a diagram showing a fifth embodiment according to the present invention.
[0035]
In the fifth embodiment, filter processing is performed in a composite of row units and column units. In FIG. 12, the first region I (with the first filter F1), the second region II (with the second filter F2), and the third region III (without the filter) are all adopted as the plurality of regions described above. It shows that these regions are arranged in a grid pattern.
Thus, in this fifth embodiment, in the image processing apparatus comprising the optical system 11 having the image sensor 14 and the arithmetic processing unit 12 that performs image processing with the image signal S from the optical system 11 as an input, the image sensor 14 Are arranged in a matrix of pixels in the row direction and pixels in the column direction,
The imaging surface 14 ′ of the imaging device 14 is divided into a plurality of regions in units of intersections of rows and columns, and the plurality of regions includes a first region I and a second region having a first filter F1 on the imaging surface 14 ′. The filter F2 is configured by at least any two of the second region II provided on the imaging surface 14 ′ and the third region III provided with no filter on the imaging surface 14 ′.
[0036]
FIG. 13 is a graph used for explaining the sixth embodiment according to the present invention.
In each of the embodiments described above, an infrared cut filter is used as the first filter F1 (second filter F2). However, in the sixth embodiment (and the seventh embodiment described later), a filter having a uniform density (all wavelength bands) An ND (Neutral Density) filter, which is a filter that suppresses the amount of transmitted light substantially uniformly over (a wavelength band that requires attenuation), is used.
[0037]
That is, the plurality of regions described above are configured by the first region I and the third region III, and the first filter F1 provided in the first region I is an ND filter. .
In each of the above-described embodiments, the cause C of blurring is removed by the infrared cut filter. In the sixth embodiment (seventh embodiment), the ND filter is used to uniformly reduce the transmittance over the entire wavelength band. (suppressing amount of transmitted light) by, in which so as to eliminate the cause C. The effect of preventing the above-described blur is almost the same as that of the infrared cut filter.
[0038]
In FIG. 13, a curve D represents the transmittance characteristic lowered by the ND filter.
FIG. 14 is a graph used for explaining the seventh embodiment according to the present invention.
In the seventh embodiment, the plurality of regions described above are composed of a first region I, a second region II, and a third region III, and the first filter F1 provided in the first region I is an ND filter. The second filter F2 provided in the second region is also an ND filter, and is characterized in that the transmittance characteristics of the first filter F1 and the second filter F2 are different from each other.
[0039]
Referring to FIG. 14, a curve D1 represents the transmittance characteristic of the first ND filter (F1), and a curve D2 represents the transmittance characteristic of the second ND filter (F2). The transmittance of F1 is set larger than the transmittance of F2. Each role is the same as the roles of the first infrared cut filter (F1) and the second infrared cut filter described above.
[0040]
Although the case where the video camera is provided mainly on the front window side of the vehicle has been described in the above embodiment, the case where this video camera is provided on the rear window side of the vehicle will be described below. Moreover, although the infrared cut filter and the ND filter have been described as the filters to be used, in the following description, a case where an RGB color filter is also incorporated will be described.
[0041]
FIG. 15 is a view showing an eighth embodiment according to the present invention.
In the eighth embodiment, the plurality of regions described above are divided only in column units, and the first region I arranged in the middle portion of the imaging surface 14 ′ and the left and right sides of the middle portion in the imaging surface 14 ′. The third region III is arranged in each of a certain left part and right part, and the first filter F1 provided in the first region I is an RGB color filter.
[0042]
FIG. 16 is a diagram showing an example of a captured image under the eighth embodiment.
In this figure, 41 is a display and displays the image | video of the back side of a vehicle. This figure displays a night image, and a rear vehicle is shown in the center (rear vehicle portion in FIG. 15).
When driving at night, there are times when it is desirable to clearly display only the lane mark (white line) 5 on the road developed behind the vehicle. Therefore, the portions of the imaging surface 14 ′ corresponding to the left and right portions of the central display portion of the display are not filtered (third region III) (white line portion in FIG. 15).
[0043]
The image to be developed in the vehicle rear, in addition to the above, there is a case of using, for example, as a confirmation of the vehicle rear during parking. In this case, a color image, it is necessary to project a central portion of the field of view clearly. Providing a RGB color filter (F1) in FIG. 15 for the center of the imaging plane 14 '. Incidentally, such a time the vehicle rear of the check, to enlarge it is convenient. This is shown as display 41 'in FIG.
[0044]
More specifically, when recognizing a white line behind a video camera (see 52 in FIG. 18) attached to the rear of the vehicle, the filter characteristics are changed depending on the range where the vehicle exists and the range where the white line exists. To do. Ie
Vehicle part 1: RGB color filter (I)
White line part 5: No filter (III)
And As the processing at this time, in order to display the video in the central portion on the screen, color display is necessary. .
[0045]
FIG. 17 is a diagram showing a ninth embodiment according to the present invention.
The ninth embodiment is a modification of the eighth embodiment and can be employed when the amount of light in the white line portion (5) is too strong.
That is, in the ninth embodiment, the plurality of regions described above are divided only in column units, and the first region I arranged in the middle portion of the imaging surface 14 ′ and the left and right of the middle portion in the imaging surface 14 ′. The second region II is arranged in each of the left part and the right part, and the first filter F1 provided in the first region I is an RGB color filter, and the second region II is provided in the second region II. The second filter F2 is an infrared cut filter.
[0046]
As for the above infrared cut filter (F2), it can be further divided into two stages this. This is as shown by F1 and F2 of the double arrows in FIG.
In other words, the infrared cut filter forming the second filter F2 includes a first infrared cut filter and a second infrared cut filter, and the spectral sensitivity characteristics of the first and second infrared cut filters are different from each other. I will let you.
[0047]
And as a further modification, it is also possible to ND filter described above in place of the infrared cut filter. That is, according to such an embodiment, the plurality of regions described above are divided only in column units, and the first region I arranged in the middle portion of the imaging surface 14 ′ and the middle portion of the imaging surface 14 ′. The first region F1 is composed of a second region II arranged in the left part and the right part on the right and left sides, and the first filter F1 provided in the first region I is an RGB color filter and is provided in the second region II. The second filter F2 to be used is an ND filter.
[0048]
And for this ND filter (F2), or it may be further divided into two stages this. This is as shown as curves D1 and D2 in FIG. 14 described above.
Under such an embodiment, the ND filter forming the second filter F2 includes the first ND filter and the second ND filter, and the transmittance characteristics of the first and second ND filters are made different from each other.
[0049]
In a tenth embodiment described below, not only a video camera but also illumination means for raising an image behind the vehicle are provided behind the vehicle.
FIG. 18 is a perspective view for explaining a tenth embodiment according to the present invention.
In this figure, the vehicle 1 is traveling along a lane mark (white line) 5, and the video camera already described is shown as 52 behind the vehicle 1, and the above-mentioned illumination means is shown as 51. Has been. However, the employed filter configuration on the imaging surface 14 'is exactly the same as that of the above-described eighth embodiment (FIG. 15) or ninth embodiment (FIG. 17).
[0050]
As the illumination means 51, a light emitting element that emits light at a specific wavelength is used. In the example of this figure, an infrared LED is used as the light emitting element (center frequency 950 nm), and FIG. 18 shows a state in which the lane mark 5 is illuminated.
Figure 19 is a diagram showing a tenth embodiment according to the present invention, shown with a graph G representing the spectral sensitivity characteristics.
[0051]
In the above example, an infrared LED (specific wavelength is 950 nm) is used as the illuminating means 51, and the specific wavelength filter that transmits this specific wavelength region (see H in the graph G of FIG. 19) is used as the second filter F2. Use.
That is, in the tenth embodiment, the plurality of regions described above are divided only in column units, and the first region I arranged in the middle portion of the imaging surface 14 ′ and the middle portion of the imaging surface 14 ′ are arranged. The second region II is arranged in the left part and the right part on the left and right, respectively. Here, the first filter F1 provided in the first region I is an RGB color filter, and in the second region the second filter F2 provided is characterized in that a specific wavelength filter that transmits a specific wavelength range.
[0052]
Further, the specific wavelength filter (F2) includes a first specific wavelength filter and a second specific wavelength filter, and the transmittance characteristics of the first and second specific wavelength filters are different from each other. You can also.
[0053]
【The invention's effect】
As described above, according to the present invention, a video camera in which a desired filter is selectively arranged on the imaging surface 14 ′ of the imaging device 14 is provided.
Thereby, a desired image can be obtained more clearly.
Further, by selectively using a desired filter, the memory capacity of the memory 24 can be reduced, and accordingly, the processing time of the CPU 25 can be shortened.
[Brief description of the drawings]
FIG. 1 is a diagram showing a basic configuration of an image processing apparatus according to the present invention.
FIG. 2 is a graph showing spectral sensitivity characteristics of the image sensor 14;
FIG. 3 is a plan view showing a filter group 15 formed on an imaging surface 14 ′.
FIG. 4 is a flowchart illustrating an example of processing by the arithmetic processing unit 12;
FIG. 5 is a diagram showing a specific example of the device configuration of FIG. 1;
FIG. 6 is a plan view showing a first embodiment according to the present invention.
FIG. 7 is a graph used for explaining the first embodiment.
FIG. 8 is a plan view showing a second embodiment according to the present invention.
FIG. 9 is a graph used for explaining the second embodiment.
FIG. 10 is a plan view showing a third embodiment according to the present invention.
FIG. 11 is a plan view showing a fourth embodiment according to the present invention.
FIG. 12 is a plan view showing a fifth embodiment according to the present invention.
FIG. 13 is a graph used for explaining a sixth embodiment according to the present invention.
FIG. 14 is a graph used for explaining a seventh embodiment according to the present invention.
FIG. 15 is a diagram showing an eighth embodiment according to the present invention.
16 is a diagram showing an example of a captured image under the eighth embodiment.
FIG. 17 is a diagram showing a ninth embodiment according to the present invention.
18 is a perspective view for explaining a tenth embodiment according to the present invention.
FIG. 19 shows a tenth embodiment according to the present invention.
20 is a diagram illustrating an example of an image showing a first problem of the prior art.
[Explanation of symbols]
1 ... Vehicle
2, 3, 4 ... Brake lamp
5 ... Lane mark
10. Image processing apparatus
11 ... Optical system (video camera)
12 ... arithmetic processing unit
13 ... Lens
14: Image sensor
14 '... Imaging surface
15 ... Filter group
21 ... Amplifier
22 ... ADC
23. Memory I / F control circuit
24 ... Memory
25 ... CPU
31 ... Counter
41 ... Display
51. Illumination means
52 ... Video camera
S: Imaging signal
I ... 1st area
II ... 2nd area
III ... 3rd area
F1 ... 1st filter
F2 ... Second filter

Claims

撮像素子を有するカメラと、
前記カメラの撮像信号を入力として画像処理を行う画像処理装置と、を備え、
前記カメラは、
前記撮像素子が複数の領域に区分されると共に、前記複数の領域のうち、所定の領域の撮像面上に配置されるフィルタを備え、
前記画像処理装置は、
周囲環境に基づいて、前記撮像信号の画像処理を行う処理範囲を設定する演算処理部を備え、
前記フィルタとして少なくともＲＧＢカラーフィルタを含み、かつ該ＲＧＢカラーフィルタが配置される前記所定の領域は、前記撮像面の左右部分を除いた中央に位置する領域であることを特徴とする画像処理システム。A camera having an image sensor;
An image processing device that performs image processing using an imaging signal of the camera as an input,
The camera
The image pickup device is divided into a plurality of regions, and includes a filter disposed on an image pickup surface of a predetermined region among the plurality of regions,
The image processing apparatus includes:
Based on the ambient environment, an arithmetic processing unit for setting the processing range for performing image processing of the image signal,
An image processing system comprising: at least an RGB color filter as the filter, and the predetermined region in which the RGB color filter is disposed is a region located in the center excluding the left and right portions of the imaging surface .

前記フィルタとしてさらに、所定波長帯域の透過をカット、又は全波長帯域の透過光量を減衰するフィルタを含み、前記演算処理部は、前記周囲環境が昼の場合、前記処理範囲として、前記のカット又は減衰するフィルタが配置された領域で撮像された撮像信号を選択することを特徴とする請求項１記載の画像処理システム。 Further, as the filter comprises a filter for attenuating the amount of light transmitted through the transmissive cut, or the entire wavelength band of a predetermined wavelength band, the calculation processing unit, when the ambient environment is the day, as the processing range, the cut or The image processing system according to claim 1, wherein an image signal picked up in an area where a filter to be attenuated is arranged is selected.

撮像素子を有し、該撮像素子が複数の領域に区分されると共に、該複数の領域のうち、所定の領域の撮像面上に配置されるフィルタを備えるカメラからの撮像信号が入力され、該入力された撮像信号を画像処理する演算処理部を備え、
前記演算処理部は、周囲環境に基づいて、前記撮像信号の画像処理を行う処理範囲を設定し、
前記フィルタとして少なくともＲＧＢカラーフィルタを含み、かつ該ＲＧＢカラーフィルタが配置される前記所定の領域は、前記撮像面の左右部分を除いた中央に位置する領域であることを特徴とする画像処理装置。An image pickup device having an image pickup device, wherein the image pickup device is divided into a plurality of regions, and an image pickup signal from a camera including a filter disposed on an image pickup surface of a predetermined region of the plurality of regions is input; An arithmetic processing unit that performs image processing on the input imaging signal;
The arithmetic processing unit sets a processing range based on the surrounding environment, performs image processing of the image signal,
An image processing apparatus comprising: at least an RGB color filter as the filter, and the predetermined region where the RGB color filter is disposed is a region located in the center excluding the left and right portions of the imaging surface .