JP4641601B2 - 画像処理装置および画像処理システム - Google Patents
画像処理装置および画像処理システム Download PDFInfo
- Publication number
- JP4641601B2 JP4641601B2 JP2000273297A JP2000273297A JP4641601B2 JP 4641601 B2 JP4641601 B2 JP 4641601B2 JP 2000273297 A JP2000273297 A JP 2000273297A JP 2000273297 A JP2000273297 A JP 2000273297A JP 4641601 B2 JP4641601 B2 JP 4641601B2
- Authority
- JP
- Japan
- Prior art keywords
- filter
- image
- image processing
- region
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Image Input (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理装置、特に車両に搭載され車両の周辺の道路状況等をビデオカメラにて監視するのに適した画像処理装置、ならびに画像処理システムに関する。
【０００２】
【従来の技術】
上記のような画像処理装置は、前方を走行する車両との間の車両距離が十分でなくなったことを検知して運転者にアラーム音を発したり、あるいはレーンマークから外れて車両が走行し始めたときに同様に運転者にアラーム音を発したりするために用いることができる。
【０００３】
また車両が前進する場合のみならず、後退する場合においても後方確認のためにその画像処理装置を利用することができる。
【０００４】
【発明が解決しようとする課題】
画像処理装置は上述のように車両の周辺の他の車両、レーンマーク等の道路状況を画像として捉えさらにその道路状況を認識する機能を果す。すなわち画像認識である。
この画像認識の性能は、画像処理装置自身の性能によって定まるものであるが、実際の運用時においては、画像処理装置が置かれる撮影状況によっても大きく左右される。その撮影状況（日照条件、 天候等）によっては、上記の画像認識を行うことが困難な場合に遭遇することがある。
【０００５】
例えば夜間の走行中、その前方を走行する車両のブレーキランプが点灯した場合、ブレーキランプ周辺の画像がぼやけてしまい、 当該車両に設けられる画像処理装置の画像認識性能が低下してしまう、という第１の問題がある。
図２０は従来技術の第１の問題点を示す画像の一例を表す図である。
本図に示すとおり、 夜間の走行中に前方を走る車両１が有する例えば３個のブレーキランプ２，３および４の周辺の画像に上記の「ぼやけ」が現れる。
【０００６】
また画像処理装置に内蔵される画像メモリのメモリ容量と処理時間とに制限が課せられている、という第２の問題がある。
したがって本発明は上記問題点に鑑み、上述した画像認識性能の低下の問題と、上述したメモリ容量および処理時間に課せられる制限の問題とを同時に解消することのできる画像処理装置、ならびに画像処理システムを提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
図１は本発明に係る画像処理装置の基本構成を示す図である。
本図において、参照番号１０は画像処理装置であり、該装置１０は、 撮像素子１４を有する光学系１１と、光学系１１からの撮像信号Ｓを入力として画像処理を行う演算処理部１２とからなる。なお、撮像素子１４の部分についてのみ、 拡大した斜視図Ａにて示す。この拡大斜視図は、 レンズ１３側から見た図である。
【０００８】
ここに撮像素子１４は行方向の画素と列方向の画素とを全体にマトリクス状に配列してなる。ただしこの構成は周知であるので、詳細に図示しない。
撮像素子１４の撮像面１４’は、行単位または列単位で複数の領域に区分されると共に、これら複数の領域は、 第１フィルタＦ１を該撮像面上に備える第１領域Ｉ、第２フィルタＦ２を該撮像面１４’上に備える第２領域IIおよび撮像面１４’上にフィルタを設けない第３領域III のうちの少なくともいずれか２つの領域によって構成される。
【０００９】
かくしてフィルタ処理が加えられた、 光学系１１からの撮像信号Ｓが演算処理部１２に入力され、例えば前方の車両の認識等の処理が行われる。
図２は撮像素子１４の分光感度特性を示すグラフである。
本図において、横軸には波長〔nm〕を、縦軸には輝度をそれぞれとって、上記の分光感度特性を示す。ただし撮像素子 (センサＩＣ）１４としてＣＭＯＳセンサを採用した例を示す。
【００１０】
本図のグラフ中、 特に注目すべき部分は、波長帯域Ｂである。この帯域Ｂが、図２０に表した、 車両１のブレーキランプ（２，３，４）周辺に生じる「ぼやけ」の原因となる帯域である。
このようなぼやけは、赤外領域（Ｂ）にあることから、人間の眼には見えないが、一方、上記ＣＭＯＳセンサにとってみると、このような波長帯域も検知範囲となる。したがってこの波長帯域に基づくセンサ信号が撮像信号Ｓの中に上記のぼやけとして現れることになる。
【００１１】
そこで上記の波長帯域Ｂをフィルタによりカットして、該ぼやけを除去する、というのが本発明の前提となる。ただし、このようなフィルタによる帯域Ｂのカットということ自体は公知のことである。本発明の特徴は、そのフィルタの形成の仕方にあり、具体的には図１内の拡大斜視図Ａに示すように形成される。なお、本図Ａは本発明に基づくある一態様を示したものであって、フィルタＦ１（Ｉ）、フィルタＦ２（II）およびフィルタなし（III ）の各領域の全てが撮像面１４’上に形成されているが、これに限らず、 フィルタＦ１（Ｉ）、フィルタＦ２（II）およびフィルタなし（III ）のうちのいずれか２つの領域だけが存在するように構成してもよい。
【００１２】
以下、上記図２の説明を続けるが、この説明では第１フィルタＦ１と第２フィルタＦ２のみを用いた例を用いる。
図３は撮像面１４’上に形成されるフィルタ群１５を示す平面図である。
本図の例では、５１２列および４８０行のそれぞれに５１２画素および４８０画素をマトリクス状に配列してなる撮像素子１４を用いており、その撮像面１４’上に、行単位ですなわち奇数行と偶数行とに区分して、第１フィルタ（Ｆ１）と第２フィルタ（Ｆ２）とを交互配置する。このため各フィルタの幅は数１０μｍと微小なものとなる。
【００１３】
このようなフィルタ群を用いて図１の撮像信号Ｓを得、図１の演算処理部１２にて所定の処理を行う。
図４は演算処理部１２による処理の一例を示すフローチャートである。
ステップＳ１１：図３における５１２画素×１２０（４８０／４）画素分の輝度値の平均を算出する。この場合、行単位の画素情報は一例として１／４に間引いている。この行単位の画素情報は、演算処理部１２内のメモリ（後述する図５のメモリ２４参照）に一旦格納され、さらに、同図中のＣＰＵ２５にて平均輝度値が算出される。
【００１４】
ステップＳ１２：上記ステップＳ１１で算出された平均輝度値により、 当該車両の置かれた環境（昼か夜）を上記ＣＰＵにより判断する。
ステップＳ１３：上記の判断により、昼であることが判明すると、インタレース方式により第１フィルタＦ１が載せられた奇数行のみをスキャンする。このときの第１フィルタＦ１は、図２の波長帯域Ｂまでも含めた全波長帯域についての撮像信号Ｓを得る。この結果、昼間の画像認識性能は従前どおり十分確保することができる。
【００１５】
ステップＳ１４：一方上記の判断により、夜であることが判明すると、今度は、上記インタレース方式のもとで、第２フィルタＦ２が載せられた偶数行のみをスキャンする。このときの第２フィルタＦ２としては、 図２の波長帯域Ｂを除いた全波長帯域（青、緑および赤）についての撮像信号Ｓを得る。この結果、夜間における該帯域Ｂに起因するぼやけは排除され、夜間の画像認識性能は従前に比して大幅に改善される。
【００１６】
上述のとおり、昼と夜とに最適なフィルタ特性をそれぞれ選択でき、既述の第１の問題は解消される。
この場合、第１および第２フィルタＦ１, Ｆ２のいずれか一方に属する撮像面のみしか使用されないので、画像情報量は本来得られる画像情報量に比べてほぼ半減してしまう。しかし実際に実施した結果によれば、画像認識能力の低下は実用上全く問題にならない程度であった。そのような能力の低下は、ぼやけの完全な解消という効果によって十分相殺される。かくして夜間において例えば前方の車両を認識する際、その車両の輪郭をきわめて鮮明に捉えることが可能となる。
【００１７】
また上述のとおり、使用する画像情報量がほぼ半減するので、上記メモリ２４のメモリ容量は従来のほぼ半分で済むことになり、これに伴い上記ＣＰＵ２５による画像処理（車両の周囲の明るさ判断の処理や、車両の画像の輪郭を抽出する等の処理や、前方の車両との車間距離を計算する処理や、必要に応じて既述のアラーム音を発出する処理等）に要する処理時間も短縮される。この結果、既述の第２の問題も解消される。
【００１８】
【発明の実施の形態】
図５は図１の装置構成の具体例を示す図である。なお全図を通じて、同様の構成要素には同一の参照番号または記号を付して示す。
本図において、画像処理装置１０は、図１のとおり、光学系１１と演算処理部１２とからなる。
【００１９】
光学系１１はいわばビデオカメラであり、レンズ１３と撮像素子１４とフィルタ群１５等を含む。このビデオカメラは例えば、車両内のルームミラーのところに取り付けられ、および／または、車両のリアウィンドウ中央付近に取り付けられる。
このビデオカメラ（１１）からのアナログの撮像信号Ｓは、演算処理部１２に入力され、まず、アンプ２１にてこれを増幅し、さらに、ＡＤＣ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２２によりディジタルの撮像信号Ｓに変換する。さらに、メモリＩ／Ｆ制御回路２３は、ＣＰＵ２５による指令のもとで、メモリ２４へのデータ（撮像信号）の書込みおよびＣＰＵ２５への読出しを制御する。該回路２３はさらに他の制御も行う。
【００２０】
図６は本発明に基づく第１実施例を示す平面図であり、
図７は第１実施例の説明に用いるグラフである。なお、図６の見方は図３と同じであり、図７の見方は図２と同じである。
この第１実施例においては、既述の複数の領域は、第１領域Ｉと第３領域III とから構成される。かつ、第１領域Ｉに備えられる第１フィルタＦ１は赤外カットフィルタであることを特徴とするものである。
【００２１】
これにより、図７におけるにじみ（既述のぼやけと等価）の原因となるセンサ信号の部分Ｃは、赤外カットフィルタ（Ｆ１）により除去される。
さらに詳細には、前方の車両のストップランプがぼやける夜間に対応するため、奇数行と偶数行のフィルタの特性を変えることにする。すなわち奇数行はフィルタなし、偶数行は赤外カットフィルタ（Ｆ１）である。このときの処理としては、演算処理部１２で昼または夜の判断を行い、その結果をもとに、インタレースのビデオカメラ信号の処理範囲を次のようにする。
【００２２】
・昼ならば、フィルタなしの奇数フィールドを選択し、
・夜ならば、赤外カットフィルタ（Ｆ１）有りの偶数フィールドを選択する。
図８は本発明に基づく第２実施例を示す平面図であり、
図９は第２実施例の説明い用いるグラフである。なお、図８の見方は図３と同じであり、図９の見方は図２と同じである。
【００２３】
この第２実施例においては、既述の複数の領域は、第１領域Ｉと第２領域IIと第３領域III から構成される。かつ、第１領域Ｉに備えられる第１フィルタＦ１は赤外カットフィルタであり、第２領域IIに備えられる第２フィルタＦ２も赤外カットフィルタであって、第１フィルタＦ１と第２フィルタＦ２の各分光感度特性を相互に異ならせることを特徴とするものである。
【００２４】
これにより、図９における上記にじみの原因となる部分Ｃ（図７のＣと同じ）は、赤外カットフィルタ（Ｆ１）または赤外カットフィルタ（Ｆ２）により除去される。
さらに詳細には、前方の車両のストップランプがぼやける夜間の場合、３行毎にフィルタの特性を変えることにする。すなわちｎは整数で、ｎ＝０，１，…，１５９とすると、
３ｎ＋１行：フィルタなし
３ｎ＋２行：赤外カットフィルタ１（Ｆ１）
３ｎ＋３行：赤外カットフィルタ２（Ｆ２）
とする。このときの処理としては、演算処理部１２で昼または夜の判断を行い、その結果をもとに、インタレースのビデオカメラ信号の処理範囲を次のようにする。
【００２５】
・昼ならば、フィルタなしの３ｎ＋１行を選択し、
・夜で、ぼやけの小さい時は、赤外カットフィルタ１の３ｎ＋２行を選択し、
・夜で、ぼやけの大きい時は、赤外カットフィルタ２の３ｎ＋３行を選択する。
本発明に係る撮像素子１４の撮像面１４’は、行単位または列単位で複数の領域に区分される。上述した第１および第２実施例では、行単位で複数の領域に区分した構成を示したので、次に列単位で複数の領域に区分した構成を、第３および第４実施例として示す。
【００２６】
図１０は本発明に基づく第３実施例を示す平面図である。
第１実施例（図６）が行単位であるのに対し、この第３実施例は、列単位にしたものである。
詳細には、前方の車両のストップランプがぼやける夜間に対応するため、奇数列と偶数列のフィルタの特性を変えることにする。すなわち奇数列はフィルタなし、偶数列は赤外カットフィルタ（Ｆ１）である。このときの処理としては、演算処理部１２で昼または夜の判断を行い、その結果をもとに、ビデオカメラ信号の処理範囲を次のようにする。
【００２７】
・昼ならば、フィルタなしの奇数列を選択し、
・夜ならば、赤外カットフィルタ（Ｆ１）有りの偶数列を選択する。
図１１は本発明に基づく第４実施例を示す平面図である。
第２実施例（図８）が行単位であるのに対し、この第４実施例は、列単位にしたものである。
【００２８】
詳細には、前方の車両のストップランプがぼやける夜間に対応するため、３ｎ＋１列と３ｎ＋２列と３ｎ＋３列のフィルタの特性を変えることにする。すなわちｎは整数で、ｎ＝０，１，…，１５９とすると、
３ｎ＋１列：フィルタなし
３ｎ＋２列：赤外カットフィルタ１（Ｆ１）
３ｎ＋３列：赤外カットフィルタ２（Ｆ２）
とする。このときの処理としては、演算処理部１２で昼または夜の判断を行い、その結果をもとに、ビデオカメラ信号の処理範囲を次のようにする。
【００２９】
・昼ならば、フィルタなしの３ｎ＋１列を選択し、
・夜で、ぼやけの小さい時は、赤外カットフィルタ１の３ｎ＋２列を選択し、
・夜で、ぼやけの大きい時は、赤外カットフィルタ２の３ｎ＋３列を選択する。
上述した第３および第４実施例は、ビデオカメラからの左右の視野角を適宜設定したいようなときに有効である。例えば、ビデオカメラが車両のリヤウィンドウ側に設けられていて、車両の後方に展開する道路上の白いレーンマークを確認したいような場合に有効である（後述）。
【００３０】
このような第３および第４実施例による列単位での撮像信号Ｓの抽出を行うためには、前述した第１および第２実施例の場合のようなインタレース方式をそのまま利用することができない。
すなわち第１および第２実施例の場合ならば、行単位で区分される既述の複数の領域は、撮像素子１４の奇数または偶数番目のいずれか一方の行によって規定され、このインタレース方式の撮像信号Ｓを、演算処理部１２を構成するメモリ２４に格納すれば、ＣＰＵ２５およびメモリＩ／Ｆ制御回路２３はその後何ら複雑な制御をすることなく、所定の画像処理を行うことができる。
【００３１】
しかしながら第３および第４実施例の場合には、演算処理部１２内にカウンタ機能（図５のカウンタ３１参照）を持たせ、撮像素子１４からの行単位の撮像信号Ｓのうち所定のカウント値に達する毎に選択された撮像信号を、列単位で区分される複数の領域に対応する撮像信号Ｓとして、演算処理部１２を構成するメモリ２４から読み出すようにする必要がある。
【００３２】
このような読出し操作を行うのは、 例えば図５のメモリＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）制御回路２３である。例えば図１１の場合についてみると、上記の所定のカウント値は、赤外カットフィルタ（Ｆ１）については、“２→５→８→…→５１１”であり、赤外カットフィルタ（Ｆ２）については、“３→６→９→…→５１２”である。またフィルタなし（III ）については、“１→４→７→…→５１０”である。
【００３３】
どのようなカウント値を選択するかは、最も単純には、車両の置かれた環境が昼であるか夜であるか、に依存する。このような昼／夜の識別は図５の演算処理部１２、とりわけＣＰＵ２５、が行う。
すなわち、演算処理部１２は、演算処理部１２を構成するメモリ２４に格納されている撮像信号Ｓのデータに基づいて、この撮像素子全体の平均受光輝度を表す輝度値を算出し、この輝度値の大小に応じて、前述した第１、第２および第３領域（Ｉ，IIおよびIII ）を指定する。つまり、第１フィルタＦ１を使うか、第２フィルタＦ２を使うか、またはフィルタなし（III ）とするか、を決定する。
【００３４】
上記第１および第２実施例は行単位のみでのフィルタ処理をベースにし、上記第３および第４実施例は列単位のみでのフィルタ処理をベースにしている。これをさらに発展させれば行単位と列単位の複合によるフィルタ処理をベースにすることもできる。
図１２は本発明に基づく第５実施例を示す図である。
【００３５】
この第５実施例では、行単位と列単位の複合でフィルタ処理を行う。図１２においては、既述の複数の領域として、第１領域Ｉ（第１フィルタＦ１付き）、第２領域II（第２フィルタＦ２付き）および第３領域III （フィルタなし）が全て採用され、これらの領域が格子状に配置されていることを示す。
かくしてこの第５実施例のもとでは撮像素子１４を有する光学系１１と、光学系１１からの撮像信号Ｓを入力として画像処理を行う演算処理部１２とからなる画像処理装置において、撮像素子１４は行方向の画素と列方向の画素とを全体にマトリクス状に配列すると共に、
撮像素子１４の撮像面１４’は、行および列の交点の単位で複数の領域に区分され、これら複数の領域は、第１フィルタＦ１を撮像面１４’上に備える第１領域Ｉ、 第２フィルタＦ２を撮像面１４’上に備える第２領域IIおよび撮像面１４’上にフィルタを設けない第３領域III のうちの少なくともいずれか２つの領域によって構成されるようにする。
【００３６】
図１３は本発明に基づく第６実施例の説明に用いるグラフである。
前述した各実施例では第１フィルタＦ１（第２フィルタＦ２）として赤外カットフィルタを用いたが、この第６実施例（および後述の第７実施例）では均一な濃度のフィルタ（全波長帯域（減衰を必要とする波長帯域）に亘り略一律に透過光量を抑えるフィルタ）であるＮＤ（ＮＥＵＴＲＡＬ ＤＥＮＳＩＴＹ）フィルタを用いる。
【００３７】
すなわち、前述した複数の領域は、第１領域Ｉと第３領域III とから構成されると共に、この第１領域Ｉに備えられる第１フィルタＦ１はＮＤフィルタであることを特徴とするものである。
前述した各実施例では、ぼやけの原因Ｃを赤外カットフィルタにより除去したが、第６実施例（第７実施例）では、ＮＤフィルタを用いて、全波長帯域に亘り一律に透過率を下げる（透過光量を抑える）ことにより、その原因Ｃを排除するようにしたものである。既述のぼやけを防ぐ効果は、赤外カットフィルタにほぼ等しい。
【００３８】
図１３において、曲線ＤはＮＤフィルタにより低下した透過率特性を表す。
図１４は本発明に基づく第７実施例の説明に用いるグラフである。
この第７実施例では、前述した複数の領域は、第１領域Ｉと第２領域IIと第３領域III とから構成され、かつ、この第１領域Ｉに備えられる第１フィルタＦ１はＮＤフィルタであり、その第２領域に備えられる第２フィルタＦ２もＮＤフィルタであって、第１フィルタＦ１と第２フィルタＦ２の各透過率特性を相互に異ならせることを特徴とするものである。
【００３９】
図１４を参照すると、曲線Ｄ１は第１ＮＤフィルタ（Ｆ１）の透過率特性を示し、曲線Ｄ２は第２ＮＤフィルタ（Ｆ２）の透過率特性を示す。そしてＦ１の透過率の方がＦ２の透過率よりも大に設定される。それぞれの役割は、既述した第１赤外カットフィルタ（Ｆ１）および第２赤外カットフィルタの役割と同じである。
【００４０】
以上の実施例ではビデオカメラを主として車両のフロントウィンドウ側に設けた場合について説明したが、以下、このビデオカメラを車両のリヤウィンドウ側に設ける場合について説明する。また使用するフィルタとして赤外カットフィルタおよびＮＤフィルタについて述べたが、以下の説明ではＲＧＢカラーフィルタも取り入れた場合について述べる。
【００４１】
図１５は本発明に基づく第８実施例を示す図である。
この第８実施例においては、前述した複数の領域は列単位のみで区分されると共に、撮像面１４’の中間部分に配置される第１領域Ｉと撮像面１４’における該中間部分の左右にある左部分と右部分とにそれぞれ配置される第３領域III とから構成され、ここに、第１領域Ｉに備えられる第１フィルタＦ１はＲＧＢカラーフィルタであることを特徴とするものである。
【００４２】
図１６は第８実施例のもとでの撮影画像の一例を示す図である。
本図において、４１はディスプレイであり、車両の後方側の映像を表示する。本図は夜間の映像を表示しており、中央に後方車両が映っている（図１５の後方車両部）。
夜間走行では車両後方に展開する道路上のレーンマーク（白線）５だけを鮮明に映し出したいことがある。このために、ディスプレイの中央表示部分の左側および右側の部分に相当する撮像面１４’の部分はフィルタなし（第３領域III ）とする（図１５の白線部）。
【００４３】
車両後方に展開する映像としては、上記の他、例えば駐車の際の車両後方の確認用として用いる場合がある。このときは、カラー画像として、視野の中央部分を鮮明に映し出す必要がある。このために図１５のＲＧＢカラーフィルタ（Ｆ１）を撮像面１４’の中央に設ける。なお、このような車両後方の確認のときは、拡大表示するのが都合がよい。これを図１６のディスプレイ４１’として示す。
【００４４】
さらに詳細には、車両の後方に取り付けたビデオカメラ（図１８の５２参照）から後方の白線を認識する場合、 車両の存在する範囲と白線の存在する範囲とで、フィルタの特性を変えることにする。すなわち
車両部１：ＲＧＢカラーフィルタ（Ｉ）
白線部５：フィルタなし（III ）
とする。このときの処理としては、中央部の映像は画面に表示するために、カラー表示が必要であり、一方、その左右の白線部は画像処理を行うためにＲＧＢカラーフィルタをとり、フィルタなしとする。
【００４５】
図１７は本発明に基づく第９実施例を示す図である。
第９実施例は上記第８実施例の変形であり、白線部（５）の光量が強過ぎるような場合に採用することができる。
すなわち第９実施例においては、前述の複数の領域は列単位のみで区分されると共に、 撮像面１４’の中間部分に配置される第１領域Ｉと撮像面１４’における該中間部分の左右にある左部分と右部分とにそれぞれ配置される第２領域IIとから構成され、ここに、第１領域Ｉに備えられる第１フィルタＦ１はＲＧＢカラーフィルタであり、第２領域IIに備えられる第２フィルタＦ２は赤外カットフィルタであることを特徴とするものである。
【００４６】
上記の赤外カットフィルタ（Ｆ２）についてみると、これをさらに２段階に区分することもできる。既述の図９において両矢印のＦ１およびＦ２として示すとおりである。
すなわち、第２フィルタＦ２をなす赤外カットフィルタは第１赤外カットフィルタと第２赤外カットフィルタからなり、かつ、該第１および第２赤外カットフィルタの各分光感度特性を相互に異ならせるようにする。
【００４７】
またさらなる変形例としては、その赤外カットフィルタに代えて既述のＮＤフィルタとすることもできる。すなわち、かかる実施態様のもとでは、前述の複数の領域は列単位のみで区分されると共に、撮像面１４’の中間部分に配置される第１領域Ｉと撮像面１４’における該中間部分の左右にある左部分と右部分とにそれぞれ配置される第２領域IIとから構成され、かつ、この第１領域Ｉに備えられる第１フィルタＦ１はＲＧＢカラーフィルタとし、該第２領域IIに備えられる第２フィルタＦ２はＮＤフィルタとする。
【００４８】
そしてこのＮＤフィルタ（Ｆ２）についても、これをさらに２段階に区分することもできる。既述の図１４において曲線Ｄ１およびＤ２として示すとおりである。
かかる実施態様のもとでは、第２フィルタＦ２をなすＮＤフィルタは第１ＮＤフィルタと第２ＮＤフィルタからなり、かつ、これら第１および第２ＮＤフィルタの各透過率特性を相互に異ならせるようにする。
【００４９】
次に説明する第１０実施例は、車両の後方にビデオカメラだけでなく、その後方の映像を浮かび上がらせる照光手段をもさらに設けるものである。
図１８は本発明に基づく第１０実施例を説明するための斜視図である。
本図において、車両１はレーンマーク（白線）５に沿って走行中であり、この車両１の後方には、既に述べてきたビデオカメラが５２として示されると共に、上述した照光手段が５１として示されている。ただし、採用する撮像面１４’上のフィルタ構成は、前述の第８実施例（図１５）あるいは第９実施例（図１７）と全く同じである。
【００５０】
照光手段５１としては特定波長で発光する発光素子を用いる。本図の例ではその発光素子として赤外ＬＥＤを用いており（中心周波数９５０nm）、図１８では、レーンマーク５を照光する様子が示されている。
図１９は本発明に基づく第１０実施例を示す図であり、分光感度特性を表すグラフＧと共に示されている。
【００５１】
上記の例では、照光手段５１として赤外ＬＥＤ（特定波長は９５０nm）を用いており、この特定波長域（図１９のグラフＧ内のＨ参照）を透過させる特定波長フィルタを第２フィルタＦ２として用いる。
すなわちこの第１０実施例においては、前述の複数の領域は列単位のみで区分されると共に、 撮像面１４’の中間部分に配置される第１領域Ｉと該撮像面１４’における該中間部分の左右にある左部分と右部分とにそれぞれ配置される第２領域IIとから構成され、ここに、その第１領域Ｉに備えられる第１フィルタＦ１はＲＧＢカラーフィルタであり、その第２領域に備えられる第２フィルタＦ２は特定の波長域を透過させる特定波長フィルタであることを特徴とするものである。
【００５２】
さらに上記の特定波長フィルタ（Ｆ２）は、第１特定波長フィルタと第２特定波長フィルタからなり、かつ、これら第１および第２特定波長フィルタの各透過率特性を相互に異ならせるようにすることもできる。
【００５３】
【発明の効果】
以上説明したように本発明によれば、撮像素子１４の撮像面１４’上に選択的に所望のフィルタを配列したビデオカメラが提供される。
これにより、所望の映像をより一層鮮明に得ることができる。
また、所望のフィルタを選択的に使用することにより、メモリ２４のメモリ容量を減らし、これに伴いＣＰＵ２５の処理時間を短縮することもできる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の基本構成を示す図である。
【図２】撮像素子１４の分光感度特性を示すグラフである。
【図３】撮像面１４’上に形成されるフィルタ群１５を示す平面図である。
【図４】演算処理部１２による処理の一例を示すフローチャートである。
【図５】図１の装置構成の具体例を示す図である。
【図６】本発明に基づく第１実施例を示す平面図である。
【図７】第１実施例の説明に用いるグラフである。
【図８】本発明に基づく第２実施例を示す平面図である。
【図９】第２実施例の説明に用いるグラフである。
【図１０】本発明に基づく第３実施例を示す平面図である。
【図１１】本発明に基づく第４実施例を示す平面図である。
【図１２】本発明に基づく第５実施例を示す平面図である。
【図１３】本発明に基づく第６実施例の説明に用いるグラフである。
【図１４】本発明に基づく第７実施例の説明に用いるグラフである。
【図１５】本発明に基づく第８実施例を示す図である。
【図１６】第８実施例のもとでの撮像画像の一例を示す図である。
【図１７】本発明に基づく第９実施例を示す図である。
【図１８】本発明に基づく第１０実施例を説明するための斜視図である。
【図１９】本発明に基づく第１０実施例を示す図である。
【図２０】従来技術の第１の問題点を示す画像の一例を表す図である。
【符号の説明】
１…車両
２，３，４…ブレーキランプ
５…レーンマーク
１０…画像処理装置
１１…光学系（ビデオカメラ）
１２…演算処理部
１３…レンズ
１４…撮像素子
１４’…撮像面
１５…フィルタ群
２１…アンプ
２２…ＡＤＣ
２３…メモリＩ／Ｆ制御回路
２４…メモリ
２５…ＣＰＵ
３１…カウンタ
４１…ディスプレイ
５１…照光手段
５２…ビデオカメラ
Ｓ…撮像信号
Ｉ…第１領域
II…第２領域
III …第３領域
Ｆ１…第１フィルタ
Ｆ２…第２フィルタ
【発明の属する技術分野】
本発明は画像処理装置、特に車両に搭載され車両の周辺の道路状況等をビデオカメラにて監視するのに適した画像処理装置、ならびに画像処理システムに関する。
【０００２】
【従来の技術】
上記のような画像処理装置は、前方を走行する車両との間の車両距離が十分でなくなったことを検知して運転者にアラーム音を発したり、あるいはレーンマークから外れて車両が走行し始めたときに同様に運転者にアラーム音を発したりするために用いることができる。
【０００３】
また車両が前進する場合のみならず、後退する場合においても後方確認のためにその画像処理装置を利用することができる。
【０００４】
【発明が解決しようとする課題】
画像処理装置は上述のように車両の周辺の他の車両、レーンマーク等の道路状況を画像として捉えさらにその道路状況を認識する機能を果す。すなわち画像認識である。
この画像認識の性能は、画像処理装置自身の性能によって定まるものであるが、実際の運用時においては、画像処理装置が置かれる撮影状況によっても大きく左右される。その撮影状況（日照条件、 天候等）によっては、上記の画像認識を行うことが困難な場合に遭遇することがある。
【０００５】
例えば夜間の走行中、その前方を走行する車両のブレーキランプが点灯した場合、ブレーキランプ周辺の画像がぼやけてしまい、 当該車両に設けられる画像処理装置の画像認識性能が低下してしまう、という第１の問題がある。
図２０は従来技術の第１の問題点を示す画像の一例を表す図である。
本図に示すとおり、 夜間の走行中に前方を走る車両１が有する例えば３個のブレーキランプ２，３および４の周辺の画像に上記の「ぼやけ」が現れる。
【０００６】
また画像処理装置に内蔵される画像メモリのメモリ容量と処理時間とに制限が課せられている、という第２の問題がある。
したがって本発明は上記問題点に鑑み、上述した画像認識性能の低下の問題と、上述したメモリ容量および処理時間に課せられる制限の問題とを同時に解消することのできる画像処理装置、ならびに画像処理システムを提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
図１は本発明に係る画像処理装置の基本構成を示す図である。
本図において、参照番号１０は画像処理装置であり、該装置１０は、 撮像素子１４を有する光学系１１と、光学系１１からの撮像信号Ｓを入力として画像処理を行う演算処理部１２とからなる。なお、撮像素子１４の部分についてのみ、 拡大した斜視図Ａにて示す。この拡大斜視図は、 レンズ１３側から見た図である。
【０００８】
ここに撮像素子１４は行方向の画素と列方向の画素とを全体にマトリクス状に配列してなる。ただしこの構成は周知であるので、詳細に図示しない。
撮像素子１４の撮像面１４’は、行単位または列単位で複数の領域に区分されると共に、これら複数の領域は、 第１フィルタＦ１を該撮像面上に備える第１領域Ｉ、第２フィルタＦ２を該撮像面１４’上に備える第２領域IIおよび撮像面１４’上にフィルタを設けない第３領域III のうちの少なくともいずれか２つの領域によって構成される。
【０００９】
かくしてフィルタ処理が加えられた、 光学系１１からの撮像信号Ｓが演算処理部１２に入力され、例えば前方の車両の認識等の処理が行われる。
図２は撮像素子１４の分光感度特性を示すグラフである。
本図において、横軸には波長〔nm〕を、縦軸には輝度をそれぞれとって、上記の分光感度特性を示す。ただし撮像素子 (センサＩＣ）１４としてＣＭＯＳセンサを採用した例を示す。
【００１０】
本図のグラフ中、 特に注目すべき部分は、波長帯域Ｂである。この帯域Ｂが、図２０に表した、 車両１のブレーキランプ（２，３，４）周辺に生じる「ぼやけ」の原因となる帯域である。
このようなぼやけは、赤外領域（Ｂ）にあることから、人間の眼には見えないが、一方、上記ＣＭＯＳセンサにとってみると、このような波長帯域も検知範囲となる。したがってこの波長帯域に基づくセンサ信号が撮像信号Ｓの中に上記のぼやけとして現れることになる。
【００１１】
そこで上記の波長帯域Ｂをフィルタによりカットして、該ぼやけを除去する、というのが本発明の前提となる。ただし、このようなフィルタによる帯域Ｂのカットということ自体は公知のことである。本発明の特徴は、そのフィルタの形成の仕方にあり、具体的には図１内の拡大斜視図Ａに示すように形成される。なお、本図Ａは本発明に基づくある一態様を示したものであって、フィルタＦ１（Ｉ）、フィルタＦ２（II）およびフィルタなし（III ）の各領域の全てが撮像面１４’上に形成されているが、これに限らず、 フィルタＦ１（Ｉ）、フィルタＦ２（II）およびフィルタなし（III ）のうちのいずれか２つの領域だけが存在するように構成してもよい。
【００１２】
以下、上記図２の説明を続けるが、この説明では第１フィルタＦ１と第２フィルタＦ２のみを用いた例を用いる。
図３は撮像面１４’上に形成されるフィルタ群１５を示す平面図である。
本図の例では、５１２列および４８０行のそれぞれに５１２画素および４８０画素をマトリクス状に配列してなる撮像素子１４を用いており、その撮像面１４’上に、行単位ですなわち奇数行と偶数行とに区分して、第１フィルタ（Ｆ１）と第２フィルタ（Ｆ２）とを交互配置する。このため各フィルタの幅は数１０μｍと微小なものとなる。
【００１３】
このようなフィルタ群を用いて図１の撮像信号Ｓを得、図１の演算処理部１２にて所定の処理を行う。
図４は演算処理部１２による処理の一例を示すフローチャートである。
ステップＳ１１：図３における５１２画素×１２０（４８０／４）画素分の輝度値の平均を算出する。この場合、行単位の画素情報は一例として１／４に間引いている。この行単位の画素情報は、演算処理部１２内のメモリ（後述する図５のメモリ２４参照）に一旦格納され、さらに、同図中のＣＰＵ２５にて平均輝度値が算出される。
【００１４】
ステップＳ１２：上記ステップＳ１１で算出された平均輝度値により、 当該車両の置かれた環境（昼か夜）を上記ＣＰＵにより判断する。
ステップＳ１３：上記の判断により、昼であることが判明すると、インタレース方式により第１フィルタＦ１が載せられた奇数行のみをスキャンする。このときの第１フィルタＦ１は、図２の波長帯域Ｂまでも含めた全波長帯域についての撮像信号Ｓを得る。この結果、昼間の画像認識性能は従前どおり十分確保することができる。
【００１５】
ステップＳ１４：一方上記の判断により、夜であることが判明すると、今度は、上記インタレース方式のもとで、第２フィルタＦ２が載せられた偶数行のみをスキャンする。このときの第２フィルタＦ２としては、 図２の波長帯域Ｂを除いた全波長帯域（青、緑および赤）についての撮像信号Ｓを得る。この結果、夜間における該帯域Ｂに起因するぼやけは排除され、夜間の画像認識性能は従前に比して大幅に改善される。
【００１６】
上述のとおり、昼と夜とに最適なフィルタ特性をそれぞれ選択でき、既述の第１の問題は解消される。
この場合、第１および第２フィルタＦ１, Ｆ２のいずれか一方に属する撮像面のみしか使用されないので、画像情報量は本来得られる画像情報量に比べてほぼ半減してしまう。しかし実際に実施した結果によれば、画像認識能力の低下は実用上全く問題にならない程度であった。そのような能力の低下は、ぼやけの完全な解消という効果によって十分相殺される。かくして夜間において例えば前方の車両を認識する際、その車両の輪郭をきわめて鮮明に捉えることが可能となる。
【００１７】
また上述のとおり、使用する画像情報量がほぼ半減するので、上記メモリ２４のメモリ容量は従来のほぼ半分で済むことになり、これに伴い上記ＣＰＵ２５による画像処理（車両の周囲の明るさ判断の処理や、車両の画像の輪郭を抽出する等の処理や、前方の車両との車間距離を計算する処理や、必要に応じて既述のアラーム音を発出する処理等）に要する処理時間も短縮される。この結果、既述の第２の問題も解消される。
【００１８】
【発明の実施の形態】
図５は図１の装置構成の具体例を示す図である。なお全図を通じて、同様の構成要素には同一の参照番号または記号を付して示す。
本図において、画像処理装置１０は、図１のとおり、光学系１１と演算処理部１２とからなる。
【００１９】
光学系１１はいわばビデオカメラであり、レンズ１３と撮像素子１４とフィルタ群１５等を含む。このビデオカメラは例えば、車両内のルームミラーのところに取り付けられ、および／または、車両のリアウィンドウ中央付近に取り付けられる。
このビデオカメラ（１１）からのアナログの撮像信号Ｓは、演算処理部１２に入力され、まず、アンプ２１にてこれを増幅し、さらに、ＡＤＣ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２２によりディジタルの撮像信号Ｓに変換する。さらに、メモリＩ／Ｆ制御回路２３は、ＣＰＵ２５による指令のもとで、メモリ２４へのデータ（撮像信号）の書込みおよびＣＰＵ２５への読出しを制御する。該回路２３はさらに他の制御も行う。
【００２０】
図６は本発明に基づく第１実施例を示す平面図であり、
図７は第１実施例の説明に用いるグラフである。なお、図６の見方は図３と同じであり、図７の見方は図２と同じである。
この第１実施例においては、既述の複数の領域は、第１領域Ｉと第３領域III とから構成される。かつ、第１領域Ｉに備えられる第１フィルタＦ１は赤外カットフィルタであることを特徴とするものである。
【００２１】
これにより、図７におけるにじみ（既述のぼやけと等価）の原因となるセンサ信号の部分Ｃは、赤外カットフィルタ（Ｆ１）により除去される。
さらに詳細には、前方の車両のストップランプがぼやける夜間に対応するため、奇数行と偶数行のフィルタの特性を変えることにする。すなわち奇数行はフィルタなし、偶数行は赤外カットフィルタ（Ｆ１）である。このときの処理としては、演算処理部１２で昼または夜の判断を行い、その結果をもとに、インタレースのビデオカメラ信号の処理範囲を次のようにする。
【００２２】
・昼ならば、フィルタなしの奇数フィールドを選択し、
・夜ならば、赤外カットフィルタ（Ｆ１）有りの偶数フィールドを選択する。
図８は本発明に基づく第２実施例を示す平面図であり、
図９は第２実施例の説明い用いるグラフである。なお、図８の見方は図３と同じであり、図９の見方は図２と同じである。
【００２３】
この第２実施例においては、既述の複数の領域は、第１領域Ｉと第２領域IIと第３領域III から構成される。かつ、第１領域Ｉに備えられる第１フィルタＦ１は赤外カットフィルタであり、第２領域IIに備えられる第２フィルタＦ２も赤外カットフィルタであって、第１フィルタＦ１と第２フィルタＦ２の各分光感度特性を相互に異ならせることを特徴とするものである。
【００２４】
これにより、図９における上記にじみの原因となる部分Ｃ（図７のＣと同じ）は、赤外カットフィルタ（Ｆ１）または赤外カットフィルタ（Ｆ２）により除去される。
さらに詳細には、前方の車両のストップランプがぼやける夜間の場合、３行毎にフィルタの特性を変えることにする。すなわちｎは整数で、ｎ＝０，１，…，１５９とすると、
３ｎ＋１行：フィルタなし
３ｎ＋２行：赤外カットフィルタ１（Ｆ１）
３ｎ＋３行：赤外カットフィルタ２（Ｆ２）
とする。このときの処理としては、演算処理部１２で昼または夜の判断を行い、その結果をもとに、インタレースのビデオカメラ信号の処理範囲を次のようにする。
【００２５】
・昼ならば、フィルタなしの３ｎ＋１行を選択し、
・夜で、ぼやけの小さい時は、赤外カットフィルタ１の３ｎ＋２行を選択し、
・夜で、ぼやけの大きい時は、赤外カットフィルタ２の３ｎ＋３行を選択する。
本発明に係る撮像素子１４の撮像面１４’は、行単位または列単位で複数の領域に区分される。上述した第１および第２実施例では、行単位で複数の領域に区分した構成を示したので、次に列単位で複数の領域に区分した構成を、第３および第４実施例として示す。
【００２６】
図１０は本発明に基づく第３実施例を示す平面図である。
第１実施例（図６）が行単位であるのに対し、この第３実施例は、列単位にしたものである。
詳細には、前方の車両のストップランプがぼやける夜間に対応するため、奇数列と偶数列のフィルタの特性を変えることにする。すなわち奇数列はフィルタなし、偶数列は赤外カットフィルタ（Ｆ１）である。このときの処理としては、演算処理部１２で昼または夜の判断を行い、その結果をもとに、ビデオカメラ信号の処理範囲を次のようにする。
【００２７】
・昼ならば、フィルタなしの奇数列を選択し、
・夜ならば、赤外カットフィルタ（Ｆ１）有りの偶数列を選択する。
図１１は本発明に基づく第４実施例を示す平面図である。
第２実施例（図８）が行単位であるのに対し、この第４実施例は、列単位にしたものである。
【００２８】
詳細には、前方の車両のストップランプがぼやける夜間に対応するため、３ｎ＋１列と３ｎ＋２列と３ｎ＋３列のフィルタの特性を変えることにする。すなわちｎは整数で、ｎ＝０，１，…，１５９とすると、
３ｎ＋１列：フィルタなし
３ｎ＋２列：赤外カットフィルタ１（Ｆ１）
３ｎ＋３列：赤外カットフィルタ２（Ｆ２）
とする。このときの処理としては、演算処理部１２で昼または夜の判断を行い、その結果をもとに、ビデオカメラ信号の処理範囲を次のようにする。
【００２９】
・昼ならば、フィルタなしの３ｎ＋１列を選択し、
・夜で、ぼやけの小さい時は、赤外カットフィルタ１の３ｎ＋２列を選択し、
・夜で、ぼやけの大きい時は、赤外カットフィルタ２の３ｎ＋３列を選択する。
上述した第３および第４実施例は、ビデオカメラからの左右の視野角を適宜設定したいようなときに有効である。例えば、ビデオカメラが車両のリヤウィンドウ側に設けられていて、車両の後方に展開する道路上の白いレーンマークを確認したいような場合に有効である（後述）。
【００３０】
このような第３および第４実施例による列単位での撮像信号Ｓの抽出を行うためには、前述した第１および第２実施例の場合のようなインタレース方式をそのまま利用することができない。
すなわち第１および第２実施例の場合ならば、行単位で区分される既述の複数の領域は、撮像素子１４の奇数または偶数番目のいずれか一方の行によって規定され、このインタレース方式の撮像信号Ｓを、演算処理部１２を構成するメモリ２４に格納すれば、ＣＰＵ２５およびメモリＩ／Ｆ制御回路２３はその後何ら複雑な制御をすることなく、所定の画像処理を行うことができる。
【００３１】
しかしながら第３および第４実施例の場合には、演算処理部１２内にカウンタ機能（図５のカウンタ３１参照）を持たせ、撮像素子１４からの行単位の撮像信号Ｓのうち所定のカウント値に達する毎に選択された撮像信号を、列単位で区分される複数の領域に対応する撮像信号Ｓとして、演算処理部１２を構成するメモリ２４から読み出すようにする必要がある。
【００３２】
このような読出し操作を行うのは、 例えば図５のメモリＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）制御回路２３である。例えば図１１の場合についてみると、上記の所定のカウント値は、赤外カットフィルタ（Ｆ１）については、“２→５→８→…→５１１”であり、赤外カットフィルタ（Ｆ２）については、“３→６→９→…→５１２”である。またフィルタなし（III ）については、“１→４→７→…→５１０”である。
【００３３】
どのようなカウント値を選択するかは、最も単純には、車両の置かれた環境が昼であるか夜であるか、に依存する。このような昼／夜の識別は図５の演算処理部１２、とりわけＣＰＵ２５、が行う。
すなわち、演算処理部１２は、演算処理部１２を構成するメモリ２４に格納されている撮像信号Ｓのデータに基づいて、この撮像素子全体の平均受光輝度を表す輝度値を算出し、この輝度値の大小に応じて、前述した第１、第２および第３領域（Ｉ，IIおよびIII ）を指定する。つまり、第１フィルタＦ１を使うか、第２フィルタＦ２を使うか、またはフィルタなし（III ）とするか、を決定する。
【００３４】
上記第１および第２実施例は行単位のみでのフィルタ処理をベースにし、上記第３および第４実施例は列単位のみでのフィルタ処理をベースにしている。これをさらに発展させれば行単位と列単位の複合によるフィルタ処理をベースにすることもできる。
図１２は本発明に基づく第５実施例を示す図である。
【００３５】
この第５実施例では、行単位と列単位の複合でフィルタ処理を行う。図１２においては、既述の複数の領域として、第１領域Ｉ（第１フィルタＦ１付き）、第２領域II（第２フィルタＦ２付き）および第３領域III （フィルタなし）が全て採用され、これらの領域が格子状に配置されていることを示す。
かくしてこの第５実施例のもとでは撮像素子１４を有する光学系１１と、光学系１１からの撮像信号Ｓを入力として画像処理を行う演算処理部１２とからなる画像処理装置において、撮像素子１４は行方向の画素と列方向の画素とを全体にマトリクス状に配列すると共に、
撮像素子１４の撮像面１４’は、行および列の交点の単位で複数の領域に区分され、これら複数の領域は、第１フィルタＦ１を撮像面１４’上に備える第１領域Ｉ、 第２フィルタＦ２を撮像面１４’上に備える第２領域IIおよび撮像面１４’上にフィルタを設けない第３領域III のうちの少なくともいずれか２つの領域によって構成されるようにする。
【００３６】
図１３は本発明に基づく第６実施例の説明に用いるグラフである。
前述した各実施例では第１フィルタＦ１（第２フィルタＦ２）として赤外カットフィルタを用いたが、この第６実施例（および後述の第７実施例）では均一な濃度のフィルタ（全波長帯域（減衰を必要とする波長帯域）に亘り略一律に透過光量を抑えるフィルタ）であるＮＤ（ＮＥＵＴＲＡＬ ＤＥＮＳＩＴＹ）フィルタを用いる。
【００３７】
すなわち、前述した複数の領域は、第１領域Ｉと第３領域III とから構成されると共に、この第１領域Ｉに備えられる第１フィルタＦ１はＮＤフィルタであることを特徴とするものである。
前述した各実施例では、ぼやけの原因Ｃを赤外カットフィルタにより除去したが、第６実施例（第７実施例）では、ＮＤフィルタを用いて、全波長帯域に亘り一律に透過率を下げる（透過光量を抑える）ことにより、その原因Ｃを排除するようにしたものである。既述のぼやけを防ぐ効果は、赤外カットフィルタにほぼ等しい。
【００３８】
図１３において、曲線ＤはＮＤフィルタにより低下した透過率特性を表す。
図１４は本発明に基づく第７実施例の説明に用いるグラフである。
この第７実施例では、前述した複数の領域は、第１領域Ｉと第２領域IIと第３領域III とから構成され、かつ、この第１領域Ｉに備えられる第１フィルタＦ１はＮＤフィルタであり、その第２領域に備えられる第２フィルタＦ２もＮＤフィルタであって、第１フィルタＦ１と第２フィルタＦ２の各透過率特性を相互に異ならせることを特徴とするものである。
【００３９】
図１４を参照すると、曲線Ｄ１は第１ＮＤフィルタ（Ｆ１）の透過率特性を示し、曲線Ｄ２は第２ＮＤフィルタ（Ｆ２）の透過率特性を示す。そしてＦ１の透過率の方がＦ２の透過率よりも大に設定される。それぞれの役割は、既述した第１赤外カットフィルタ（Ｆ１）および第２赤外カットフィルタの役割と同じである。
【００４０】
以上の実施例ではビデオカメラを主として車両のフロントウィンドウ側に設けた場合について説明したが、以下、このビデオカメラを車両のリヤウィンドウ側に設ける場合について説明する。また使用するフィルタとして赤外カットフィルタおよびＮＤフィルタについて述べたが、以下の説明ではＲＧＢカラーフィルタも取り入れた場合について述べる。
【００４１】
図１５は本発明に基づく第８実施例を示す図である。
この第８実施例においては、前述した複数の領域は列単位のみで区分されると共に、撮像面１４’の中間部分に配置される第１領域Ｉと撮像面１４’における該中間部分の左右にある左部分と右部分とにそれぞれ配置される第３領域III とから構成され、ここに、第１領域Ｉに備えられる第１フィルタＦ１はＲＧＢカラーフィルタであることを特徴とするものである。
【００４２】
図１６は第８実施例のもとでの撮影画像の一例を示す図である。
本図において、４１はディスプレイであり、車両の後方側の映像を表示する。本図は夜間の映像を表示しており、中央に後方車両が映っている（図１５の後方車両部）。
夜間走行では車両後方に展開する道路上のレーンマーク（白線）５だけを鮮明に映し出したいことがある。このために、ディスプレイの中央表示部分の左側および右側の部分に相当する撮像面１４’の部分はフィルタなし（第３領域III ）とする（図１５の白線部）。
【００４３】
車両後方に展開する映像としては、上記の他、例えば駐車の際の車両後方の確認用として用いる場合がある。このときは、カラー画像として、視野の中央部分を鮮明に映し出す必要がある。このために図１５のＲＧＢカラーフィルタ（Ｆ１）を撮像面１４’の中央に設ける。なお、このような車両後方の確認のときは、拡大表示するのが都合がよい。これを図１６のディスプレイ４１’として示す。
【００４４】
さらに詳細には、車両の後方に取り付けたビデオカメラ（図１８の５２参照）から後方の白線を認識する場合、 車両の存在する範囲と白線の存在する範囲とで、フィルタの特性を変えることにする。すなわち
車両部１：ＲＧＢカラーフィルタ（Ｉ）
白線部５：フィルタなし（III ）
とする。このときの処理としては、中央部の映像は画面に表示するために、カラー表示が必要であり、一方、その左右の白線部は画像処理を行うためにＲＧＢカラーフィルタをとり、フィルタなしとする。
【００４５】
図１７は本発明に基づく第９実施例を示す図である。
第９実施例は上記第８実施例の変形であり、白線部（５）の光量が強過ぎるような場合に採用することができる。
すなわち第９実施例においては、前述の複数の領域は列単位のみで区分されると共に、 撮像面１４’の中間部分に配置される第１領域Ｉと撮像面１４’における該中間部分の左右にある左部分と右部分とにそれぞれ配置される第２領域IIとから構成され、ここに、第１領域Ｉに備えられる第１フィルタＦ１はＲＧＢカラーフィルタであり、第２領域IIに備えられる第２フィルタＦ２は赤外カットフィルタであることを特徴とするものである。
【００４６】
上記の赤外カットフィルタ（Ｆ２）についてみると、これをさらに２段階に区分することもできる。既述の図９において両矢印のＦ１およびＦ２として示すとおりである。
すなわち、第２フィルタＦ２をなす赤外カットフィルタは第１赤外カットフィルタと第２赤外カットフィルタからなり、かつ、該第１および第２赤外カットフィルタの各分光感度特性を相互に異ならせるようにする。
【００４７】
またさらなる変形例としては、その赤外カットフィルタに代えて既述のＮＤフィルタとすることもできる。すなわち、かかる実施態様のもとでは、前述の複数の領域は列単位のみで区分されると共に、撮像面１４’の中間部分に配置される第１領域Ｉと撮像面１４’における該中間部分の左右にある左部分と右部分とにそれぞれ配置される第２領域IIとから構成され、かつ、この第１領域Ｉに備えられる第１フィルタＦ１はＲＧＢカラーフィルタとし、該第２領域IIに備えられる第２フィルタＦ２はＮＤフィルタとする。
【００４８】
そしてこのＮＤフィルタ（Ｆ２）についても、これをさらに２段階に区分することもできる。既述の図１４において曲線Ｄ１およびＤ２として示すとおりである。
かかる実施態様のもとでは、第２フィルタＦ２をなすＮＤフィルタは第１ＮＤフィルタと第２ＮＤフィルタからなり、かつ、これら第１および第２ＮＤフィルタの各透過率特性を相互に異ならせるようにする。
【００４９】
次に説明する第１０実施例は、車両の後方にビデオカメラだけでなく、その後方の映像を浮かび上がらせる照光手段をもさらに設けるものである。
図１８は本発明に基づく第１０実施例を説明するための斜視図である。
本図において、車両１はレーンマーク（白線）５に沿って走行中であり、この車両１の後方には、既に述べてきたビデオカメラが５２として示されると共に、上述した照光手段が５１として示されている。ただし、採用する撮像面１４’上のフィルタ構成は、前述の第８実施例（図１５）あるいは第９実施例（図１７）と全く同じである。
【００５０】
照光手段５１としては特定波長で発光する発光素子を用いる。本図の例ではその発光素子として赤外ＬＥＤを用いており（中心周波数９５０nm）、図１８では、レーンマーク５を照光する様子が示されている。
図１９は本発明に基づく第１０実施例を示す図であり、分光感度特性を表すグラフＧと共に示されている。
【００５１】
上記の例では、照光手段５１として赤外ＬＥＤ（特定波長は９５０nm）を用いており、この特定波長域（図１９のグラフＧ内のＨ参照）を透過させる特定波長フィルタを第２フィルタＦ２として用いる。
すなわちこの第１０実施例においては、前述の複数の領域は列単位のみで区分されると共に、 撮像面１４’の中間部分に配置される第１領域Ｉと該撮像面１４’における該中間部分の左右にある左部分と右部分とにそれぞれ配置される第２領域IIとから構成され、ここに、その第１領域Ｉに備えられる第１フィルタＦ１はＲＧＢカラーフィルタであり、その第２領域に備えられる第２フィルタＦ２は特定の波長域を透過させる特定波長フィルタであることを特徴とするものである。
【００５２】
さらに上記の特定波長フィルタ（Ｆ２）は、第１特定波長フィルタと第２特定波長フィルタからなり、かつ、これら第１および第２特定波長フィルタの各透過率特性を相互に異ならせるようにすることもできる。
【００５３】
【発明の効果】
以上説明したように本発明によれば、撮像素子１４の撮像面１４’上に選択的に所望のフィルタを配列したビデオカメラが提供される。
これにより、所望の映像をより一層鮮明に得ることができる。
また、所望のフィルタを選択的に使用することにより、メモリ２４のメモリ容量を減らし、これに伴いＣＰＵ２５の処理時間を短縮することもできる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の基本構成を示す図である。
【図２】撮像素子１４の分光感度特性を示すグラフである。
【図３】撮像面１４’上に形成されるフィルタ群１５を示す平面図である。
【図４】演算処理部１２による処理の一例を示すフローチャートである。
【図５】図１の装置構成の具体例を示す図である。
【図６】本発明に基づく第１実施例を示す平面図である。
【図７】第１実施例の説明に用いるグラフである。
【図８】本発明に基づく第２実施例を示す平面図である。
【図９】第２実施例の説明に用いるグラフである。
【図１０】本発明に基づく第３実施例を示す平面図である。
【図１１】本発明に基づく第４実施例を示す平面図である。
【図１２】本発明に基づく第５実施例を示す平面図である。
【図１３】本発明に基づく第６実施例の説明に用いるグラフである。
【図１４】本発明に基づく第７実施例の説明に用いるグラフである。
【図１５】本発明に基づく第８実施例を示す図である。
【図１６】第８実施例のもとでの撮像画像の一例を示す図である。
【図１７】本発明に基づく第９実施例を示す図である。
【図１８】本発明に基づく第１０実施例を説明するための斜視図である。
【図１９】本発明に基づく第１０実施例を示す図である。
【図２０】従来技術の第１の問題点を示す画像の一例を表す図である。
【符号の説明】
１…車両
２，３，４…ブレーキランプ
５…レーンマーク
１０…画像処理装置
１１…光学系（ビデオカメラ）
１２…演算処理部
１３…レンズ
１４…撮像素子
１４’…撮像面
１５…フィルタ群
２１…アンプ
２２…ＡＤＣ
２３…メモリＩ／Ｆ制御回路
２４…メモリ
２５…ＣＰＵ
３１…カウンタ
４１…ディスプレイ
５１…照光手段
５２…ビデオカメラ
Ｓ…撮像信号
Ｉ…第１領域
II…第２領域
III …第３領域
Ｆ１…第１フィルタ
Ｆ２…第２フィルタ
Claims (3)
- 撮像素子を有するカメラと、
前記カメラの撮像信号を入力として画像処理を行う画像処理装置と、を備え、
前記カメラは、
前記撮像素子が複数の領域に区分されると共に、前記複数の領域のうち、所定の領域の撮像面上に配置されるフィルタを備え、
前記画像処理装置は、
周囲環境に基づいて、前記撮像信号の画像処理を行う処理範囲を設定する演算処理部を備え、
前記フィルタとして少なくともＲＧＢカラーフィルタを含み、かつ該ＲＧＢカラーフィルタが配置される前記所定の領域は、前記撮像面の左右部分を除いた中央に位置する領域であることを特徴とする画像処理システム。 - 前記フィルタとしてさらに、所定波長帯域の透過をカット、又は全波長帯域の透過光量を減衰するフィルタを含み、前記演算処理部は、前記周囲環境が昼の場合、前記処理範囲として、前記のカット又は減衰するフィルタが配置された領域で撮像された撮像信号を選択することを特徴とする請求項１記載の画像処理システム。
- 撮像素子を有し、該撮像素子が複数の領域に区分されると共に、該複数の領域のうち、所定の領域の撮像面上に配置されるフィルタを備えるカメラからの撮像信号が入力され、該入力された撮像信号を画像処理する演算処理部を備え、
前記演算処理部は、周囲環境に基づいて、前記撮像信号の画像処理を行う処理範囲を設定し、
前記フィルタとして少なくともＲＧＢカラーフィルタを含み、かつ該ＲＧＢカラーフィルタが配置される前記所定の領域は、前記撮像面の左右部分を除いた中央に位置する領域であることを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000273297A JP4641601B2 (ja) | 2000-09-08 | 2000-09-08 | 画像処理装置および画像処理システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000273297A JP4641601B2 (ja) | 2000-09-08 | 2000-09-08 | 画像処理装置および画像処理システム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002084534A JP2002084534A (ja) | 2002-03-22 |
| JP2002084534A5 JP2002084534A5 (ja) | 2007-10-04 |
| JP4641601B2 true JP4641601B2 (ja) | 2011-03-02 |
Family
ID=18759266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000273297A Expired - Fee Related JP4641601B2 (ja) | 2000-09-08 | 2000-09-08 | 画像処理装置および画像処理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4641601B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7746396B2 (en) | 2003-12-17 | 2010-06-29 | Nokia Corporation | Imaging device and method of creating image file |
| JP2005292784A (ja) * | 2004-03-09 | 2005-10-20 | Nikon Corp | 測色機能を備えた測光装置およびその測光装置を備えたカメラ |
| JP6197291B2 (ja) * | 2012-03-21 | 2017-09-20 | 株式会社リコー | 複眼カメラ装置、及びそれを備えた車両 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0433481A (ja) * | 1990-05-29 | 1992-02-04 | Sanyo Electric Co Ltd | 撮像装置 |
| JPH05296766A (ja) * | 1992-04-16 | 1993-11-09 | Canon Inc | 障害物検出装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07322142A (ja) * | 1994-05-26 | 1995-12-08 | Hitachi Denshi Ltd | 固体撮像素子およびこれを用いたテレビジョンカメラ |
| JP2850890B2 (ja) * | 1996-12-02 | 1999-01-27 | 日本電気株式会社 | 複合センサ型車両感知器 |
| JPH11103407A (ja) * | 1997-09-29 | 1999-04-13 | Nec Corp | Ｃｃｄデータ画素補間回路およびこのｃｃｄデータ画素 補間回路を備えたデジタルスチルカメラ |
-
2000
- 2000-09-08 JP JP2000273297A patent/JP4641601B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0433481A (ja) * | 1990-05-29 | 1992-02-04 | Sanyo Electric Co Ltd | 撮像装置 |
| JPH05296766A (ja) * | 1992-04-16 | 1993-11-09 | Canon Inc | 障害物検出装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002084534A (ja) | 2002-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9912876B1 (en) | Vehicle vision system with enhanced low light capabilities | |
| JP3909691B2 (ja) | 車載用画像処理装置 | |
| KR101367637B1 (ko) | 감시장치 | |
| US20120218410A1 (en) | System and method of assisting visibility of driver | |
| WO2010038223A1 (en) | A method and a system for detecting the presence of an impediment on a lens of an image capture device to light passing through the lens of an image capture device | |
| JP4399174B2 (ja) | 自動車のディスプレイユニット、自動車の夜間視認装置および自動車の赤外線夜間視認装置を備えた車両 | |
| JP6676040B2 (ja) | 車両搭載カメラ | |
| JP2005051791A (ja) | 多種光学センサを備えたセンサアレイ | |
| JPH0951484A (ja) | 電子カメラの光量制御装置 | |
| JP2008053901A (ja) | 撮像装置および撮像方法 | |
| US20100214455A1 (en) | Camera set-up and method for ascertaining picture signals having color values | |
| US20080012942A1 (en) | Imaging System | |
| JP4798945B2 (ja) | 撮像装置 | |
| JP2018007038A (ja) | 電子機器、自動車、撮像装置および画像記録装置 | |
| JP4641601B2 (ja) | 画像処理装置および画像処理システム | |
| KR101070050B1 (ko) | 복합 기능 카메라 모듈 | |
| JP2001111989A (ja) | 車載用撮像装置 | |
| WO2019177036A1 (ja) | 車両用映像システム | |
| JP2006024120A (ja) | 車両用画像処理システム及び画像処理装置 | |
| JP7051667B2 (ja) | 車載装置 | |
| KR101548987B1 (ko) | 시인성이 향상된 차량용 영상기록장치 및 그 영상처리 방법 | |
| JP2001239882A (ja) | 車載用周辺視認装置 | |
| JP6933955B2 (ja) | サイドミラー装置、サイドミラーシステム、および車両 | |
| JPH06233309A (ja) | 表示画像のコントラスト改善方法 | |
| JP2005196423A (ja) | 画像表示方法、画像表示システム、及び画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070822 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070822 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100415 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100420 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100621 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101102 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101130 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |