JP4766302B2 - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

画像処理装置および方法、記録媒体、並びにプログラム Download PDF

Info

Publication number
JP4766302B2
JP4766302B2 JP2005081890A JP2005081890A JP4766302B2 JP 4766302 B2 JP4766302 B2 JP 4766302B2 JP 2005081890 A JP2005081890 A JP 2005081890A JP 2005081890 A JP2005081890 A JP 2005081890A JP 4766302 B2 JP4766302 B2 JP 4766302B2
Authority
JP
Japan
Prior art keywords
range
image data
pixel values
extraction
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005081890A
Other languages
English (en)
Other versions
JP2006268135A (ja
Inventor
丹一 安藤
俊二 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2005081890A priority Critical patent/JP4766302B2/ja
Priority to EP06110985A priority patent/EP1705901A3/en
Priority to US11/375,666 priority patent/US20060215882A1/en
Publication of JP2006268135A publication Critical patent/JP2006268135A/ja
Application granted granted Critical
Publication of JP4766302B2 publication Critical patent/JP4766302B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、画像データの階調数を変換する画像処理装置および方法、プログラム、並びに記録媒体に関する。
図１は、従来の撮像装置に使用されるCCD（Charge Coupled Device）撮像素子の感度特性を示すグラフである。図１の横軸は、入射光の照度（単位は、ルクス（lux））の対数値を示し、縦軸は入射光の照度に対する感度を示している。線１はCCD撮像素子の感度特性を示し、線２は人の目の感度特性を示している。なお、従来のCMOS（Complementary Metal Oxide Semiconductor）撮像素子の感度特性は、線１に示されるCCD撮像素子の感度特性とほぼ類似したものとなる。
図１に示されるように、従来のCCD撮像素子およびCMOS（Complementary Metal Oxide Semiconductor）撮像素子のダイナミックレンジは人の目より狭く、最大でも約７０dBである。従って、CCD撮像素子を用いた撮像装置では、入射光の照度がCCD撮像素子のダイナミックレンジ内に収まるように、絞りやシャッタースピードなどを調整する必要があり、屋外などでの撮像時には、被写体の輝度範囲のすべてを撮像可能にすることはできなかった。
このため、電子シャッタ機能を用いて、高速と低速の異なったシャッタ時間で被写体の撮像を行い、その２種類の画像信号を信号処理して、ダイナミックレンジの広い画像を得ることができるようになされてきた（例えば、特許文献１参照）。
ところで、輝度範囲が広い被写体を撮像して、撮像した画像データを画像処理する場合、特許文献１に記載の発明を用いて取得したダイナミックレンジの広い画像データを画像処理する他に、同じ被写体に対して、複数の異なる輝度範囲の画像データを取得し、その中から適切な輝度範囲の画像データを選択して、画像処理することが考えられる。
同じ被写体に対して、異なる輝度範囲の画像データを取得するには、例えば、特許文献１に記載の発明のように、シャッタ時間や絞りなどを調整して、入射光量を変化させながら、すなわち、撮像する画像データの輝度範囲を変化させながら、同じ被写体を連続して撮像することが考えられる。
また、複数の撮像装置を用いて、それぞれの撮像装置の入射光量を変化させて、すなわち、撮像装置ごとに撮像する画像データの輝度範囲を変化させて、同じ被写体を同時に撮像することが考えられる。
特開２０００−３２３０３号公報
しかしながら、入射光量を変化させながら同じ被写体を連続して撮像する場合、撮像する間に被写体が動いてしまうときがある。また、全ての画像データを取得するまでの時間が長くなってしまう。また、複数の撮像装置の入射光量を変化させて、複数の撮像装置により同じ被写体を同時に撮像する場合、当然、複数の撮像装置が必要となるとともに、複数の撮像装置が同期して撮像するように制御する必要がある。また、それぞれの撮像装置で画角が異なるため、全く同じ被写体の画像データを取得することはできない。従って、必要な輝度範囲の画像データを簡単に取得することができない。
本発明はこのような状況に鑑みてなされたものであり、より簡単に必要な輝度範囲の画像データを取得することができるようにするものである。
本発明の画像処理装置は、入力された第１の画像データの画素値の分布を検出する分布検出手段と、第１の画像データの画素値の分布に基づいて、所定の広さ以下の画素値の範囲である抽出範囲を１つ以上設定し、さらに、第１の画像データの画素値の分布において画素数が所定の閾値以上となる画素値のうち、抽出範囲に含まれない画素値がある場合、抽出範囲に含まれない画素値のうち画素数が最大となる画素値を中心とする所定の広さ以下の範囲を抽出範囲に設定する範囲設定手段と、抽出範囲に含まれる画素値の画素を第１の画像データから抽出することにより１つ以上の第２の画像データを生成する画像データ生成手段とを含むことを特徴とする。
分布検出手段、範囲設定手段、および、画像データ生成手段は、例えば、CPU（Central Processing Unit）、DSP（Digital Signal Processor）などの演算装置により構成される。
第１の画像データの画素値の分布は、例えば、第１の画像データにおける画素値の度数分布とされる。所定の広さは、例えば、後段の画像処理装置が処理可能な画像データの階調数（画素値の数）とされ、例えば、１０２４階調とされる。
本発明の画像処理装置においては、入力された第１の画像データの画素値の分布が検出され、第１の画像データの画素値の分布に基づいて、所定の広さ以下の画素値の範囲である抽出範囲が１つ以上設定され、さらに、第１の画像データの画素値の分布において画素数が所定の閾値以上となる画素値のうち、抽出範囲に含まれない画素値がある場合、抽出範囲に含まれない画素値のうち画素数が最大となる画素値を中心とする所定の広さ以下の範囲が抽出範囲に設定され、抽出範囲に含まれる画素値の画素を第１の画像データから抽出することにより１つ以上の第２の画像データが生成される。
従って、より簡単かつ確実に必要な輝度範囲（画素値の範囲）の画像データを取得することができる。また、第１の画像データの画素値が最も集中する範囲以外で、画素数が所定の閾値以上の画素値の範囲を抽出範囲に設定することができる。
本発明の画像処理装置においては、範囲設定手段は、画素数が閾値以上となる画素値がいずれかの抽出範囲に含まれるまで、抽出範囲に含まれない画素値のうち画素数が最大となる画素値を中心とする所定の広さ以下の範囲を抽出範囲に繰り返し設定するようにすることができる。
従って、画素数が所定の閾値以上の全ての画素値を抽出範囲に含めることができる。
本発明の画像処理装置においては、抽出範囲は、第１の画像データの画素値の平均値を中心とする所定の広さ以下の範囲を含むようにすることができる。
従って、抽出範囲を、第１の画像データの画素値が最も集中する範囲に設定することができる。
本発明の画像処理装置においては、抽出範囲は、第１の画像データ内の所定の領域の画像の画素値の平均値を中心とする所定の広さ以下の範囲を含むようにすることができる。
従って、抽出範囲を、第１の画像データの所定の領域内の画素値が最も集中する範囲に設定することができる。
本発明の画像処理装置においては、抽出範囲は、第１の画像データの画素値の分布において画素数が最大となる画素値を中心とする所定の広さ以下の範囲を含むようにすることができる。
従って、抽出範囲を、第１の画像データの画素値が最も集中する範囲に設定することができる。
本発明の画像処理装置は、入力された第１の画像データの画素値の分布を検出する分布検出手段と、第１の画像データの画素値の分布において画素値の平均値を含む画素値の範囲であって、画素数が連続して所定の閾値以上となる画素値の範囲である連続範囲が所定の広さを超える場合、所定の広さ以下の範囲である抽出範囲が全体として連続範囲を含むように複数の抽出範囲を連続して設定し、連続範囲が所定の広さ以下の場合、第１の画像データの画素値の平均値を中心とする所定の広さ以下の範囲を抽出範囲に設定する範囲設定手段と、抽出範囲に含まれる画素値の画素を第１の画像データから抽出することにより１つ以上の第２の画像データを生成する画像データ生成手段とを含むことを特徴とする。
従って、抽出範囲を、第１の画像データの画素値が最も集中する範囲に設定することができる。
本発明の画像処理装置は、入力された第１の画像データの画素値の分布を検出する分布検出手段と、第１の画像データの画素値の分布において画素数が最大となる画素値を含む範囲であって、画素数が連続して所定の閾値以上となる画素値の範囲である連続範囲が所定の広さを超える場合、所定の広さ以下の範囲である抽出範囲が全体として連続範囲を含むように複数の抽出範囲を連続して設定し、連続範囲が所定の広さ以下の場合、第１の画像データの画素値の分布において画素数が最大となる画素値を中心とする所定の広さ以下の範囲を抽出範囲に設定する範囲設定手段と、抽出範囲に含まれる画素値の画素を第１の画像データから抽出することにより１つ以上の第２の画像データを生成する画像データ生成手段とを含むことを特徴とする。
従って、抽出範囲を、第１の画像データの画素値が最も集中する範囲に設定することができる。
本発明の画像処理装置においては、範囲設定手段は、第１の画像データの画素値の分布において画素数が閾値以上となる画素値のうち、抽出範囲に含まれない画素値がある場合、抽出範囲に含まれない画素値のうち画素数が最大となる画素値を中心とする所定の広さ以下の範囲を抽出範囲にさらに設定するようにすることができる。
従って、第１の画像データの画素値が最も集中する範囲以外で、画素数が所定の閾値以上の画素値の範囲を抽出範囲に設定することができる。
本発明の画像処理装置においては、範囲設定手段は、画素数が閾値以上となる画素値がいずれかの抽出範囲に含まれるまで、抽出範囲に含まれない画素値のうち画素数が最大となる画素値を中心とする所定の広さ以下の範囲を抽出範囲に繰り返し設定するようにすることができる。
従って、第１の画像データの画素値の分布において、画素数が所定の閾値以上の全ての画素値を抽出範囲に含めることができる。
本発明の画像処理装置は、入力された第１の画像データの画素値の分布を検出する分布検出手段と、第１の画像データの画素値の分布において、画素数が所定の閾値以上となる画素値の最小値と最大値の間の範囲である連続範囲が所定の広さを超える場合、所定の広さ以下の範囲である抽出範囲が全体として連続範囲を含むように複数の抽出範囲を連続して設定し、連続範囲が所定の広さ以下の場合、連続範囲を含む所定の広さ以下の範囲を抽出範囲に設定する範囲設定手段と、抽出範囲に含まれる画素値の画素を第１の画像データから抽出することにより１つ以上の第２の画像データを生成する画像データ生成手段とを含むことを特徴とする。
従って、第１の画像データの画素値の分布において、画素数が所定の閾値以上の全ての画素値を抽出範囲に含めることができる。
本発明の画像処理装置は、入力された第１の画像データの画素値の分布を検出する分布検出手段と、第１の画像データの画素値の分布において、画素数が所定の閾値以上となる画素値が、画素値の所定の第１の広さ以上にわたり連続する連続範囲のそれぞれについて、連続範囲が所定の第２の広さを超える場合、第２の広さ以下の範囲である抽出範囲が全体として連続範囲を含むように複数の抽出範囲を連続して設定し、連続範囲が第２の広さ以下の場合、連続範囲を含む第２の広さ以下の範囲を抽出範囲に設定する範囲設定手段と、抽出範囲に含まれる画素値の画素を第１の画像データから抽出することにより１つ以上の第２の画像データを生成する画像データ生成手段とを含むことを特徴とする。
従って、第１の画像データの画素値の分布において、画素数が少ない画素値、および、画素数が第２の閾値範囲以上にわたり連続して所定の閾値以上とならないヒストグラムの山に対応する画素値を抽出範囲からほとんど除外することができ、抽出範囲を効率的に設定し、抽出範囲の数を抑えることができる。
本発明の画像処理装置は、第２の画像データ内の所定の被写体を検出する被写体検出手段をさらに含むようにすることができる。
被写体検出手段は、例えば、CPU（Central Processing Unit）、DSP（Digital Signal Processor）などの演算装置により構成される。
従って、より少ない処理量で第１の画像データに写っている所定の被写体の画像を検出することができる。
本発明の画像処理装置においては、第１の画像データの輝度のダイナミックレンジは７０dB以上であるようにすることができる。
従って、従来のCCD撮像素子およびCMOS撮像素子を用いた撮像装置では１度に撮像できないダイナミックレンジで撮像した第１の画像データから、より簡単に必要な輝度範囲（画素値の範囲）の画像データを取得することができる。
本発明の画像処理装置においては、第１の画像データは、半導体のサブスレッショルド特性を利用して、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子を有する撮像装置により出力されるようにすることができる。
従って、第１の画像データのダイナミックレンジが広くなるため、より簡単に必要な輝度範囲（画素値の範囲）の画像データを取得することができるようになる。
本発明の画像処理装置においては、撮像素子は、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））であるようにすることができる。
従って、第１の画像データのダイナミックレンジが広くなるため、より簡単に必要な輝度範囲（画素値の範囲）の画像データを取得することができるようになる。
本発明の画像処理方法およびプログラムは、入力された第１の画像データの画素値の分布を検出する分布検出ステップと、第１の画像データの画素値の分布に基づいて、所定の広さ以下の画素値の範囲である抽出範囲を１つ以上設定し、さらに、第１の画像データの画素値の分布において画素数が所定の閾値以上となる画素値のうち、抽出範囲に含まれない画素値がある場合、抽出範囲に含まれない画素値のうち画素数が最大となる画素値を中心とする所定の広さ以下の範囲を抽出範囲に設定する範囲設定ステップと、抽出範囲に含まれる画素値の画素を第１の画像データから抽出することにより１つ以上の第２の画像データを生成する画像データ生成ステップとを含むことを特徴とする。
第１の画像データの画素値の分布は、例えば、第１の画像データにおける画素値の度数分布とされる。
所定の広さは、例えば、後段の画像処理装置が処理可能な画像データの階調数（画素値の数）とされ、例えば、１０２４階調とされる。
本発明の画像処理方法およびプログラムにおいては、入力された第１の画像データの画素値の分布が検出され、第１の画像データの画素値の分布に基づいて、所定の広さ以下の画素値の範囲である抽出範囲が１つ以上設定され、さらに、第１の画像データの画素値の分布において画素数が所定の閾値以上となる画素値のうち、抽出範囲に含まれない画素値がある場合、抽出範囲に含まれない画素値のうち画素数が最大となる画素値を中心とする所定の広さ以下の範囲が抽出範囲に設定され、抽出範囲に含まれる画素値の画素を第１の画像データから抽出することにより１つ以上の第２の画像データが生成される。
従って、より簡単に必要な輝度範囲（画素値の範囲）の画像データを取得することができる。
本発明によれば、画像データの階調数を変換することができる。また、本発明によれば、より簡単に必要な輝度範囲の画像データを取得することができる。
図２は、本発明を適用した画像処理システム１０１の一実施の形態を示す図である。画像処理システム１０１は、例えば、車内に搭載され、車内から車の前方を撮像した画像データから、特定の被写体の画像を検出する。また、画像処理システム１０１は、撮像した画像データに基づく画像を表示する。画像処理システム１０１は、撮像装置１１１、画像処理装置１１２、およびディプレイ１１３を含むように構成される。さらに、画像処理装置１１２は、画像変換部１２１および画像検出処理部１２２を含むように構成される。
撮像装置１１１は、図３を参照して後述するように、対数変換型の撮像素子を用いて非常に広いダイナミックレンジ（例えば、約170dB）で被写体を撮像し、撮像した被写体の画像の画像データ（以下、入力画像データとも称する）を画像変換部１２１に供給する。入力画像データは、例えば、14bitの符号なし２進数のデジタルの画像データであり、最も暗い０から最も明るい２14−１の範囲の１６３８４階調の画素値が割り当てられる。
画像変換部１２１は、入力画像データを画像検出処理部１２２が処理可能な階調数（例えば、１０２４階調）に変換した画像データを生成し、生成した画像データを画像検出処理部１２２に供給する。
画像検出処理部１２２は、画像変換部１２１から供給される画像データに基づいて、画像データに写っている被写体の中から特定の被写体を検出する。画像検出処理部１２２は、検出結果を示すデータを、画像変換部１２１および外部の画像処理装置に供給する。また、画像検出処理部１２２は、検出した被写体の画像をユーザが認識しやすいように強調した画像データ（以下、出力画像データと称する）を生成する。画像検出処理部１２２は、出力画像データをディスプレイ１１３に供給する。
ディスプレイ１１３は、例えばCRT(Cathode-Ray Tube)やLCD(Liquid Crystal Display)等で構成され、出力画像データに基づく画像を表示する。
画像変換部１２１は、画像データ取得部１３１、処理画像生成部１３２、および、表示画像生成部１３３を含むように構成される。
画像データ取得部１３１は、撮像装置１１１から入力画像データを取得し、入力画像データを処理画像生成部１３２および表示画像生成部１３３に供給する。
処理画像生成部１３２は、図７を参照して後述するように、入力画像データから、画像検出処理部１２２の画像検出部１４１が処理可能な階調数（以下、処理階調数と称する）以下（画素値の範囲の広さ以下）の画像データ（以下、処理画像データと称する）を生成する。処理画像生成部１３２は、生成した処理画像データを画像検出部１４１に供給する。また、処理画像生成部１３２は、入力画像データの画素値の分布を検出し、入力画像データの画素値の分布を示すデータを表示画像生成部１３３および画像検出部１４１に供給する。
表示画像生成部１３３は、図７を参照して後述するように、入力用画像データを、ディスプレイ１１３が表示可能な階調数（以下、表示階調数と称する）に変換した画像データ（以下、表示画像データと称する）を生成する。表示画像生成部１３３は、表示画像データを出力画像生成部１４２に供給する。
画像検出処理部１２２は、画像検出部１４１および出力画像生成部１４２を含むように構成される。
画像検出部１４１は、図１９を参照して後述するように、処理画像データから、特定の被写体の画像を検出する。画像検出部１４１は、検出結果を示すデータを処理画像生成部１３２、出力画像生成部１４２、および、外部の画像処理装置に供給する。
出力画像生成部１４２は、図７を参照して後述するように、表示画像データに写っている被写体のうち、画像検出部１４１により検出された被写体の画像をユーザが認識しやすいように強調した出力画像データを生成する。出力画像生成部１４２は、出力画像データをディスプレイ１１３に供給する。
図３は、図２の撮像装置１１１の一実施の形態を示すブロック図である。撮像装置１１１は、レンズ１６１、および対数変換型撮像素子１６２を含むように構成される。対数変換型撮像素子１６２は、例えば、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））などの対数変換型の撮像素子とされ、光検出部１７１、対数変換部１７２、A/D変換部１７３、および撮像タイミング制御部１７４を含むように構成される。
撮像装置１１１により撮像される被写体から発せられた光（あるいは、被写体により反射された光）は、レンズ１６１に入射し、対数変換型撮像素子１６２の光検出部１７１の図示せぬ光検出面に結像する。
光検出部１７１は、例えば、複数のフォトダイオードからなる受光素子などにより構成される。光検出部１７１は、レンズ１６１により結像された被写体の光を、入射された光の明るさ（照度）に応じた電荷に変換し、変換した電荷を蓄積する。光検出部１７１は、撮像タイミング制御部１７４から供給される制御信号に同期して、蓄積した電荷を対数変換部１７２に供給する。
対数変換部１７２は、例えば、複数のMOSFET（Metal Oxide Semiconductor Field Effect Transistor）などにより構成される。対数変換部１７２は、MOSFETのサブスレッショルド特性を利用して、光検出部１７１から供給される電荷を、画素ごとに電荷の数（電流の強さ）の対数（被写体の光の光量の対数）にほぼ比例した電圧値に変換したアナログの電気信号を生成する。対数変換部１７２は、生成したアナログの電気信号をA/D変換部１７３に供給する。
A/D変換部１７３は、撮像タイミング制御部１７４から供給される制御信号に同期して、アナログの電気信号をデジタルの画像データにA/D変換する。例えば、14bitの符号なし２進数のデジタルの画像データに変換される場合、画像データの画素値は、最も暗い０から最も明るい２14−１の範囲の値をとる。A/D変換部１７３は、変換したデジタルの画像データを画像処理装置１１２に供給する。
このように、撮像装置１１１は、光検出部１７１に入射した被写体の光の明るさ（入射光量）の対数に比例した画素値からなるデジタルの画像データを出力する。なお、対数変換型の撮像素子については、例えば、特表平７−５０６９３２公報などにその詳細が開示されている。
図４は、対数変換型撮像素子１６２、CCD撮像素子、銀塩フィルム、および、人の目の感度特性を示すグラフである。図４の横軸は、入射光の照度（単位は、ルクス（lux））の対数値を示し、縦軸は入射光の照度に対する感度を示している。線２０１は対数変換型撮像素子１６２の感度特性を示し、線２０２はCCD撮像素子の感度特性を示し、線２０３は銀塩フィルムの感度特性を示し、線２０４は人の目の感度特性を示している。なお、CCD撮像素子の感度特性を示す線２０２は図１の線１に対応し、人の目の感度特性を示す線２０４は図１の線２に対応する。
対数変換型撮像素子１６２は、上述したように、入射光量の対数にほぼ比例した画素値からなる画像データを出力することにより、対数変換型撮像素子１６２を構成するフォトダイオードやMOSFETなどの容量を飽和させずに、CCD撮像素子、銀塩フィルム、および、人の目より広い、約１ミリルクスから太陽光の輝度より高い約５００キロルクスまでの約１７０dBのダイナミックレンジで被写体を撮像することができる。
従って、対数変換型撮像素子１６２を用いた撮像装置１１１は、人が視認できる輝度範囲において、輝度クリッピングが発生しないため、絞りやシャッタースピードなどを調整して入射光量を調整する必要がない。すなわち、撮像装置１１１は、入射光量を調整しなくても、被写体の詳細な輝度分布を忠実に撮像することができる。
例えば、昼間に車内から車の前方を撮像する場合、画角内に太陽が入っていても、撮像装置１１１により撮像された画像は、入射光量を調整しなくても、太陽と前方の道路の輝度の分布を忠実に再現した画像となる。また、夜間に車内から車の前方を撮像する場合、対向車のヘッドライトが前方から照らされていても、撮像装置１１１により撮像された画像は、入射光量を調整しなくても、対向車のヘッドライトの光から自車のヘッドライトに照らされていない領域までの輝度の分布を忠実に再現した画像となる。
また、CCD撮像素子および銀塩フィルムでは、線２０２および線２０３に示されるように、ガンマ特性などの要因により感度特性が入射光の照度の対数に比例しないのに比べて、対数変換型撮像素子１６２では、感度特性が入射光の照度の対数にほぼ比例する。
このように、対数変換型撮像素子１６２を用いた撮像装置１１１は、輝度クリッピングの発生、入射光量の調整、ガンマ特性の影響を受けないため、撮像装置１１１により撮像された画像データの画素値は、被写体の輝度の変動および被写体の動きをほぼ忠実に反映するように変動する。すなわち、フレーム間の画像データの差分をとった差分データの各画素の差分値は、被写体の輝度の変動および被写体の動きがほぼ忠実に反映された値となる。
また、撮像装置１１１から出力される画像データの画素値は、入射光量の対数にほぼ比例した値となるので、被写体に照射される光の明るさ（照度）に関わらず、その被写体を撮像した画像データにおける画素値の分布は、その被写体の反射率の分布がほぼ同様に反映されたものとなる。例えば、反射率の最大値と最小値の比率が１０：１である被写体を、１回目と２回目とで約１００倍の照度差がある光を照射して撮像した場合、１回目の画像データと２回目の画像データとの画素値の分布を示すヒストグラムの幅はほぼ同じ値（１＝log1010）となる。一方、画像データの画素値が入射光量に比例する場合、１回目の画像データと２回目の画像データの画素値の分布を示すヒストグラムの幅の差は約１００倍となる。
また、被写体の輝度（反射率）の分布に関わらず、被写体の輝度がほぼ同じ比率で変動した場合、その被写体を撮像した画像データの画素値の変動値は、ほぼ同様になる。例えば、被写体内に輝度の比が１００：１となる２つの領域がある場合、被写体に照射される光の照度がほぼ一様に変化し、被写体の輝度がほぼ同じ比率の＋５％変動したとき、２つの領域に対応する画素値の変動値はほぼ同じ値（log101.05）となる。一方、画像データの画素値が入射光量に比例する場合、上述した２つの領域に対応する画素値の変動値の差は、約１００倍となる。
図５は、図２の処理画像生成部１３２の機能の構成の例を示すブロック図である。処理画像生成部１３２は、画素値分布検出部２２１、抽出範囲設定部２２２、および、画像抽出部２２３を含むように構成される。
画素値分布検出部２２１は、画像データ取得部１３１から入力画像データを取得する。画素値分布検出部２２１は、図７を参照して後述するように、入力画像データの画素値の分布を検出する。画素値分布検出部２２１は、入力画像データの画素値の分布を示すデータを抽出範囲設定部２２２、および、表示画像生成部１３３に供給する。なお、画素値分布検出部２２１が検出する入力画像データの画素値の分布は、画素値の度数分布であり、入力画像データ内における画素値の位置の分布を示すものではない。
抽出範囲設定部２２２は、図７を参照して後述するように、入力画像データの画素値の分布に基づいて、後段の画像検出部１４１が処理可能な画像データの階調数に対応した画素値の範囲（以下、抽出範囲と称する）を１つ以上設定する。抽出範囲設定部２２２は、入力画像データの画素値の分布、および、設定した抽出範囲を示すデータを画像抽出部２２３に供給する。
画像抽出部２２３は、画像データ取得部１３１から入力画像データを取得する。画像抽出部２２３は、図７を参照して後述するように、抽出範囲内の画素値の画素を入力画像データから抽出することにより処理画像データを生成する。画像抽出部２２３は、処理画像データ、入力画像データの画素値の分布を示すデータ、および、各処理画像データの抽出範囲を示すデータを画像検出部１４１に供給する。
図６は、画像検出部１４１の機能の構成例を示すブロック図である。画像検出部１４１は、画像データ取得部２４１、灯火検出部２４２、車体検出部２４３、ナンバープレート検出部２４４、歩行者検出部２４５、路面ペイント検出部２４６、道路検出部２４７、交通標識検出部２４８、および、検出結果出力部２４９を含むように構成される。
画像データ取得部２４１は、処理画像データ、入力画像データの画素値の分布を示すデータ、および、各処理画像データの抽出範囲を示すデータを画像抽出部２２３から取得する。画像データ取得部２４１は、図１９を参照して後述するように、灯火検出部２４２、車体検出部２４３、ナンバープレート検出部２４４、歩行者検出部２４５、路面ペイント検出部２４６、道路検出部２４７、または、交通標識検出部２４８の検出対象となる被写体の画像の検出に適した処理画像データを選択し、選択した処理画像データを各検出部に供給する。
灯火検出部２４２は、図１９を参照して後述するように、処理画像データから、例えば、車の照明、建物の窓から外に漏れている光、灯台、自発光式表示板など、自分で発光する被写体の画像を検出する。灯火検出部２４２は、検出結果を示すデータを検出結果出力部２４９に供給する。
車体検出部２４３は、図１９を参照して後述するように、処理画像データから、車体の画像を検出する。車体検出部２４３は、検出結果を示すデータを検出結果出力部２４９に供給する。
ナンバープレート検出部２４４は、図１９を参照して後述するように、処理画像データから、車のナンバープレートの画像を検出する。ナンバープレート検出部２４４は、検出結果を示すデータを検出結果出力部２４９に供給する。
歩行者検出部２４５は、図１９を参照して後述するように、処理画像データから、歩行者などの人、または、路上の各種の障害物の画像を検出する。歩行者検出部２４５は、検出結果を示すデータを検出結果出力部２４９に供給する。
路面ペイント検出部２４６は、図１９を参照して後述するようにセンターライン、標識、横断歩道、停止線など路面にペイントされている各種のラインおよびマークなどの画像を検出する。路面ペイント検出部２４６は、検出結果を示すデータを検出結果出力部２４９に供給する。
道路検出部２４７は、図１９を参照して後述するように、処理画像データから、道路の画像を検出する。道路検出部２４７は、検出結果を示すデータを検出結果出力部２４９に供給する。
交通標識検出部２４８は、図１９を参照して後述するように、処理画像データから、各種の交通標識の画像を検出する。交通標識検出部２４８は、検出結果を示すデータを検出結果出力部２４９に供給する。
検出結果出力部２４９は、灯火検出部２４２、車体検出部２４３、ナンバープレート検出部２４４、歩行者検出部２４５、路面ペイント検出部２４６、道路検出部２４７、および、交通標識検出部２４８検出部から供給される検出結果を示すデータを、処理画像生成部１３２、出力画像生成部１４２、および、外部の画像処理装置に出力する。
次に、図７のフローチャートを参照して、画像処理システム１０１により実行される画像処理を説明する。なお、この処理は、例えば、ユーザにより画像処理の開始の指令が、画像処理装置１１２に入力されたとき開始される。
ステップＳ１において、撮像装置１１１は画像データを撮像し、撮像した画像データ（入力画像データ）を画像データ取得部１３１に出力する。画像データ取得部１３１は、取得した入力画像データを、表示画像生成部１３３、画素値分布検出部２２１、および画像抽出部２２３に供給する。
ステップＳ２において、画素値分布検出部２２１は、画素値の分布を検出する。具体的には、画素値分布検出部２２１は、入力画像データの画素値が取りうる範囲（例えば、１６３８４）を所定の数（例えば、１０２４）の階級に区分して、入力画像データ内の各画素の画素値がどの階級に属するかを検出する。そして、各階級に属する画素数（度数）を集計することにより、入力画像データの画素値の分布、すなわち、入力画像データの画素値の度数分布を検出する。画素値分布検出部２２１は、入力画像データの画素値の分布を示すデータを表示画像生成部１３３および抽出範囲設定部２２２に供給する。なお、以下、各階級の階級値を各階級に含まれる画素値の最小値と最大値の中間値とする。
なお、階級に区分せずに画素値の分布を検出するようにしてもよい。
図８は、入力画像データの画素値の分布の示すヒストグラムの例を示している。すなわち、図８のヒストグラム３０２は、図８に模式的に示される入力画像データ３０１の画素値の分布を示している。
入力画像データ３０１は、夜の街中を走行する車の中から車の前方を撮像した画像データである。夜間に屋外で照明を用いずに撮像した場合、ほとんどの被写体の輝度が周囲の明るさに近い狭い範囲に集中するため、幅が狭くピーク値の非常に大きな山３１１−１がヒストグラム３０２に表れる。一方、車のヘッドライトやテールランプ、街灯、信号の光などの自分で発光する被写体の画像は、画角内に占める割合が小さく、かつ、周囲に比べて非常に明るいため、山３１１−１から離れた位置に、ピーク値の小さい山３１１−２がヒストグラム３０２に表れる。
ステップＳ３において、抽出範囲設定部２２２は、主要抽出範囲設定処理を実行する。主要抽出範囲設定処理の詳細は、図１０乃至図１６を参照して後述するが、この処理により、例えば、図８のヒストグラムの最大のピーク値を持つ山３０１に対応する抽出範囲３２１−１および３２１−２が設定される。
ステップＳ４において、抽出範囲設定部２２２は、二次抽出範囲設定処理を実行するか否かを判定する。抽出範囲設定部２２２は、例えば、ユーザによる設定などに基づいて、二次抽出範囲設定処理を行うと判定した場合、処理はステップＳ５に進む。
ステップＳ５において、抽出範囲設定部２２２は、二次抽出範囲設定処理を行う。二次抽出範囲設定処理の詳細は、図１８を参照して後述するが、この処理により、例えば、図８のヒストグラムの最大のピーク値を持つ山３０１から離れた位置にある山３０２に対応する抽出範囲３２１−３が設定される。
ステップＳ６において、画像抽出部２２３は、処理画像データを生成する。すなわち、画像抽出部２２３は、ステップＳ３およびＳ５において設定された各抽出範囲ごとに、抽出範囲に含まれる画素値の画素を入力画像データから抽出することにより処理画像データを生成する。具体的には、画像抽出部２２３は、入力画像データの各画素のうち画素値が抽出範囲内の画素に、処理階調数に対応した画素値を割り当てる。また、画像抽出部２２３は、入力画像データの画素値が抽出範囲内の画素値より小さい画素に最小の画素値を割り当て、入力画像データの画素値が抽出範囲内の画素値より大きい画素に最大の画素値を割り当てる。
例えば、処理階調数が１０２４階調の場合、入力画像データの各画素のうち、画素値が抽出範囲内の画素に、画素値が小さい画素から順に０から１０２３までの画素値が割り当てられる。また、画素値が抽出範囲内の画素値より小さい画素に値が０の画素値が割り当てられ、画素値が抽出範囲内の画素値より大きい画素に値が１０２３の画素値が割り当てられる。画像抽出部２２３は、この画素値の変換処理を抽出範囲ごとに行うことにより、１つ以上の処理画像データを生成する。
なお、画像抽出部２２３は、抽出範囲に含まれる画素値の画素を入力画像データから抽出した後、各画素値を逆対数変換し、逆対数変換した画素値の範囲を処理階調数で分割し、分割した各範囲に処理階調数に対応した画素値を割り当てるようにしてもよい。
また、画像抽出部２２３は、抽出範囲に含まれる画素値の範囲が処理階調数より狭い場合、画素値が抽出範囲内の画素に割り当てる画素値を所定のパターンにより間引くようにする。
画像抽出部２２３は、処理画像データ、入力画像データの画素値の分布を示すデータ、および、各処理画像データの抽出範囲を示すデータを画像データ取得部２４１に供給する。
ステップＳ７において、画像検出部１４１は、画像検出処理を行う。画像検出処理の詳細は、図１９を参照して後述するが、この処理により、処理画像データから、特定の被写体の画像が検出される。
ステップＳ８において、表示画像生成部１３３は、表示画像データを生成する。具体的には、表示画像生成部１３３は、例えば、図８に示される入力画像データ３０１に対して、ヒストグラム３０２において、画素数が所定の閾値より多い範囲３２２−１および範囲３２２−２を合わせた範囲を、ディスプレイ１１３の表示階調数で分割し、分割した各範囲に、表示階調数に対応した階調値を割り当てる。また、表示画像生成部１３３は、画素値が範囲３２２−１内の画素値より小さい画素に階調値の最小値を割り当て、画素値が範囲３２２−２内の画素値より大きい画素に階調値の最大値を割り当てる。さらに、表示画像生成部１３３は、範囲３２２−１と範囲３２２−２の間の画素値の画素に、範囲３２１−１に割り当てられた階調値の最大値を割り当てる。
例えば、ディスプレイ１１３の表示階調数が１０２４階調である場合、範囲３２２−１および範囲３２２−２を合わせた範囲が１０２４分割され、分割した各範囲に、画素値が小さい範囲から順に０から１０２３までの階調値が割り当てられる。また、画素値が範囲３２２−１内の画素値より小さい画素に値が０の階調値が割り当てられ、画素値が範囲３２２−２内の画素値より大きい画素に値が１０２３の階調値が割り当てられる。さらに、範囲３２２−１と範囲３２２−２の間の画素値の画素に、範囲３２２−１に割り当てられた階調値の最大値が割り当てられる。
これにより、画質の劣化を抑えつつ、入力画像データの階調数をディスプレイ１１３の表示階調数に変換した表示画像データを生成することができる。
なお、画素数が多い山３１１−１に対応する範囲３２２−１に割り当てる階調の階調幅を狭くし、画素数が少ない山３１１−２に対応する範囲３２２−２に割り当てる階調の階調幅を広くするようにしてもよい。これにより、画素数が多い範囲３２２−１に割り当てられる階調数が多くなり、表示画像データに基づく画像がより鮮明に表示されるようになる。
ステップＳ９において、出力画像生成部１４２は、出力画像データを生成する。具体的には、出力画像生成部１４２は、表示画像データ内の被写体のうち、画像検出部１４１により検出された被写体を強調した画像データ（出力画像データ）を生成する。例えば、図９に示されるように、画像検出部１４１により検出された車、道路にペイントされたラインやマークの輪郭が強調された出力画像データが生成される。ユーザは、出力画像データに基づく画像を見ることにより、画像検出部１４１により検出された被写体を、より迅速かつ確実に認識することができる。
ステップＳ１０において、ディスプレイ１１３は、出力画像データに基づく画像を表示し、画像処理は終了する。
次に、図１０のフローチャートを参照して、図７のステップＳ３の主要抽出範囲設定処理の詳細を説明する。
ステップＳ２１において、抽出範囲設定部２２２は、入力画像データの画素値の平均値を算出する。
ステップＳ２２において、抽出範囲設定部２２２は、算出した平均値を基準にして、抽出範囲を設定し、主要抽出範囲設定処理は終了する。以下、図１１を参照して、ステップＳ２２の処理の詳細を説明する。
図１１のヒストグラム３５２は、図１１に模式的に示される入力画像データ３５１の画素値の分布を示している。入力画像データ３５１は、曇りの日の昼間に郊外を走行する車の中から車の前方を撮像した画像データである。入力画像データ３５１の画角内には、直射日光が照射されている被写体、直射日光の影になっている被写体、および、自分で発光する被写体など、周囲と比較して非常に明るい被写体または非常に暗い被写体が存在しないため、ほとんどの被写体の輝度が狭い範囲に集中する。従って、幅が狭くピーク値が非常に大きな山３６１が１つヒストグラム３５２に表れる。
なお、例えば、晴れた日に順光で陰の少ない場面を撮像した場合、入力画像データのヒストグラムには、ヒストグラム３５２と同じように、幅が狭くピーク値が非常に大きな山が１つ表れる。また、例えば、夜間に画角に入らない光源によりほぼ均一に照明された場面を撮像した場合、入力画像データのヒストグラムには、ヒストグラム３５２と同じように、幅が狭くピーク値が非常に大きな山が１つ表れる。
抽出範囲設定部２２２は、まず、画素値の平均値を中心とする処理階調数以下の画素値を含む範囲である抽出範囲３７１−１を設定する。なお、以下、処理階調数の画素値を含む所定の広さの画素値の範囲を設定基準範囲とも称する。
また、抽出範囲設定部２２２は、抽出範囲３７１−１の直前（左側）の階級の画素数が所定の閾値（以下、抽出閾値と称する）以上の場合、抽出範囲３７１−１の左側に隣接した設定基準範囲以下の広さの抽出範囲３７１−２を設定する。以下、設定した抽出範囲の直前（左側）の階級の画素数が抽出閾値未満となるまで、同様の処理が繰り返され、抽出範囲が設定される。さらに、抽出範囲設定部２２２は、抽出範囲３７１−１の直後（右側）の階級の画素数が抽出閾値以上の場合、抽出範囲３７１−１の右側に隣接した設定基準範囲以下の広さの抽出範囲３７１−３を設定する。以下、設定した抽出範囲の直後（右側）の階級の画素数が抽出閾値未満となるまで、同様の処理が繰り返され、抽出範囲が設定される。
従って、入力画像データの画素値の平均値を含む範囲であって、画素数が連続して抽出対象以上となる階級（画素値）の範囲（以下、入力画像データ平均値抽出対象範囲と称する）が設定基準範囲を超える場合、複数の連続する抽出範囲が全体として入力画像データ平均値抽出対象範囲を含むように抽出範囲が設定される。また、入力画像データ平均値抽出対象範囲が設定基準範囲以下の場合、入力画像データの画素値の平均値を中心とする設定基準範囲以下の広さの抽出範囲が設定される。
また、抽出範囲を設定する別の方法として、入力画像データの画素値の平均値を中心とする所定の広さの範囲を抽出範囲に設定するようにしてもよい。例えば、入力画像データの画素値の平均値を中心とする設定基準範囲の３倍の広さの範囲を３等分した３つの抽出範囲を設定するようにしてもよい。
さらに、入力画像データ全体の画素値の平均値だけでなく、入力画像データの所定の領域内の画素値の平均値を基準にして、上述した方法と同じ方法で、抽出範囲を設定するようにしてもよい。例えば、抽出範囲設定部２２２は、撮像される被写体が予め想定される領域内（例えば、図１１の入力画像データ３５１の中央下部の路面が写っている領域）、または、入力画像データから特に抽出したい領域内の画素値の平均値を基準にして、抽出範囲を設定するようにする。これにより、入力画像データの画素値の分布の違いに関わらず、所定の領域内の画像に含まれる画素の全部または大部分が入力画像データから抽出された処理画像データを確実に取得することができる。
抽出範囲設定部２２２は、入力画像データの画素値の分布、および、設定した抽出範囲を示すデータを画素抽出部２２３に供給する。
次に、図１２のフローチャートを参照して、図７のステップＳ３の主要抽出範囲設定処理の他の例の詳細を説明する。
ステップＳ４１において、抽出範囲設定部２２２は、入力画像データの画素値の最頻値を検出する。すなわち、入力画像データの画素値の分布において、画素数が最大となる階級の階級値が検出される。
ステップＳ４２において、抽出範囲設定部２２２は、検出した最頻値を基準にして、抽出範囲を設定し、主要抽出範囲設定処理は終了する。具体的には、抽出範囲設定部２２２は、入力画像データの画素値の平均値の代わりに、入力画像データの画素値の分布の最頻値を基準にして、図１０のステップＳ２２と同様の処理を行う。
これにより、入力画像データの画素値の最頻値を含む範囲であって、画素数が連続して抽出対象以上となる階級（画素値）の範囲（以下、入力画像データ最頻値抽出対象範囲と称する）が設定基準範囲を超える場合、複数の連続する抽出範囲が全体として入力画像データ最頻値抽出対象範囲を含むように抽出範囲が設定される。また、入力画像データ最頻値抽出対象範囲が設定基準範囲以下の場合、入力画像データの画素値の最頻値を中心とする設定基準範囲以下の広さの抽出範囲が設定される。
また、抽出範囲を設定する別の方法として、入力画像データの画素値の最頻値を中心とする所定の範囲を抽出範囲に設定するようにしてもよい。例えば、入力画像データの画素値の最頻値を中心とする設定基準範囲の３倍の広さの範囲を３等分した３つの抽出範囲を設定するようにしてもよい。
例えば、図８のヒストグラム３０２のように、ヒストグラムの山が分散して存在する場合、入力画像データの画素値の平均値が、山３１１−１のような最大のピークを持つヒストグラムの山からずれてしまい、入力画像データの画素値の平均値を基準とした場合、抽出範囲を適切に設定できないときがあるが、入力画像データの画素値の最頻値を基準とすることにより、その問題が解消される。
次に、図１３のフローチャートを参照して、図７のステップＳ３の主要抽出範囲設定処理のさらに他の例の詳細を説明する。
ステップＳ６１において、抽出範囲設定部２２２は、入力画像データの画素値の分布において、画素数が抽出閾値以上となる範囲を検出する。具体的には、抽出範囲設定部２２２は、入力画像データの画素値の分布において、画素数が抽出閾値以上となる階級のうち、階級値が最小の階級（以下、最小抽出階級と称する）と階級値が最大の階級（以下、最大抽出階級と称する）の間の範囲を検出する。
以下、図１４を参照して、図１２のフローチャートの処理を説明する。
図１４のヒストグラム４０２は、図１４に模式的に示される入力画像データ４０１の画素値の分布を示している。入力画像データ４０１は、晴れの日の昼間にトンネル内の出口付近を走行する車の中から車の前方を撮像した画像データである。入力画像データ４０１には、ほとんどの部分にトンネル内の暗い路面が写っており、さらに、その路面の輝度よりやや高輝度であるトンネル内の白い壁や、非常に高輝度であるトンネル外の部分が写っている。また、入力画像データ４０１には、トンネル内の路面の輝度より非常に低輝度である、トンネル内の黒い車が写っている。
このように被写体の輝度の分布が広いため、ヒストグラム４０２に示されるように、入力画像データ４０１の画素値は、広い範囲にわたって、ある程度の画素数で分布する。なお、ヒストグラム４０２の山４１１−１は、トンネル内の黒い車の画像の画素数が主に反映されたものであり、山４１１−２は、トンネル内の路面の画像の画素数が主に反映されたものであり、山４１１−３は、トンネル内の壁の画像の画素数が主に反映されたものであり、山４１１−４は、トンネルの外の画像の画素数が主に反映されたものである。
なお、以下、最小抽出階級として山４１１−１の左端の少し右側の位置に対応する階級が検出され、最大抽出階級として山４１１−４の右端の少し左側の位置に対応する階級が検出されたものとする。
なお、例えば、夜間にそれぞれ異なる照度の照明が照射された領域が画角内にある場合、撮像した入力画像データのヒストグラムは、ヒストグラム４０２と同じように、画素値が広い範囲にわたってある程度の画素数で分布する。また、照明から被写体までの距離に応じて、照明の照度が変化することにより、撮像した入力画像データのヒストグラムが、ヒストグラム４０２と同じように、画素値が広い範囲にわたってある程度の画素数で分布する場合がある。
ステップＳ６２において、抽出範囲設定部２２２は、検出した範囲を基準にして、抽出範囲を設定する。具体的には、抽出範囲設定部２２２は、最小抽出階級に含まれる画素値の最小値を基準にして、右側の方向（画素値の大きくなる方向）に、最大抽出階級に含まれる画素値の最大値以上になるまで、設定基準範囲以下の広さの抽出範囲を連続して設定する。例えば、図１４に示される抽出範囲４２１−１乃至４２１−６が設定される。なお、最大抽出階級に含まれる画素値の最大値を基準にして、左側の方向（画素値の小さくなる方向）に、最小抽出階級に含まれる画素値の最小値以下になるまで、設定基準範囲以下の広さの抽出範囲を連続して設定するようにしてもよい。
抽出範囲設定部２２２は、入力画像データの画素値の分布、および、設定した抽出範囲を示すデータを画素抽出部２２３に供給する。
これにより、入力画像データの画素値の分布において、画素数が抽出閾値以上となる画素値の最大値と最小値との間の範囲（以下、最大最小抽出対象範囲と称する）が設定基準範囲を超える場合、複数の連続する抽出範囲が全体として最大最小抽出対象範囲を含むように抽出範囲が設定される。また、最大最小抽出対象範囲が設定基準範囲以下の場合、最大最小抽出対象範囲を含む設定基準範囲以下の広さの抽出範囲が設定される。従って、抽出閾値以上となる階級に含まれる画素値が全て含まれるように抽出範囲が設定される。
この方法は、ヒストグラム４０２のように、画素値の分布が分散して、画素値の平均値または画素値の最頻値が、ヒストグラムの特徴をほとんど表さない場合に、特に有効である。
次に、図１５のフローチャートを参照して、図７のステップＳ３の主要抽出範囲設定処理のさらに他の例の詳細を説明する。
ステップＳ８１において、抽出範囲設定部２２２は、入力画像データの画素値の分布において、所定の範囲以上にわたり画素数が抽出閾値以上となる範囲を検索する。具体的には、抽出範囲設定部２２２は、画素数が抽出閾値以上となる階級が、所定の範囲（以下、主要閾値範囲と称する）以上にわたり連続する範囲（以下、主要抽出対象範囲と称する）、すなわち、画素数が抽出閾値以上となる部分の幅が主要閾値範囲以上となるヒストグラムの山を検索する。
ステップＳ８２において、抽出範囲設定部２２２は、ステップＳ８１の処理の結果に基づいて、入力画像データの画素値の分布において、所定の範囲以上にわたり画素数が抽出閾値以上となる範囲が検出されたか否かを判定する。所定の範囲以上にわたり画素数が抽出閾値以上となる範囲が検出されたと判定された場合、すなわち、主要抽出対象範囲が検出された場合、処理はステップＳ８３に進む。
ステップＳ８３において、抽出範囲設定部２２２は、検出した範囲を基準にして、抽出範囲を設定し、主要抽出範囲設定処理は終了する。具体的には、抽出範囲設定部２２２は、図１３のステップＳ６２と同様の処理により、検出した主要抽出対象範囲を基準にして、抽出範囲を設定する。なお、主要抽出対象範囲が複数ある場合、それぞれの主要抽出対象範囲を基準にして、抽出範囲が設定される。
抽出範囲設定部２２２は、入力画像データの画素値の分布、および、設定した抽出範囲を示すデータを画素抽出部２２３に供給する。
これにより、入力画像データの画素値の分布において、画素数が抽出閾値以上となる画素値が、主要閾値範囲以上にわたり連続する主要抽出対象範囲のそれぞれについて、主要抽出対象範囲が設定基準範囲を超える場合、複数の連続する抽出範囲が全体として主要抽出対象範囲を含むように抽出範囲が設定される。また、主要抽出対象範囲が設定基準範囲以下の場合、主要抽出対象範囲を含む設定基準範囲以下の広さの抽出範囲が設定される。
ステップＳ８２において、所定の範囲以上にわたり画素数が抽出閾値以上となる範囲が検出されなかったと判定された場合、すなわち、主要抽出対象範囲が検出されなかった場合、処理はステップＳ８４に進む。
ステップＳ８４において、上述した図１２のステップＳ４１の処理と同様に、入力画像データの画素値の最頻値が検出される。
ステップＳ８５において、上述した図１２のステップＳ４２の処理と同様に、検出した最頻値を基準にして、抽出範囲が設定され、主要抽出範囲設定処理は終了する。
すなわち、ステップＳ８１において、主要抽出対象範囲が検出されなかった場合、図１２のフローチャートと同様の処理により、抽出範囲が設定される。これは、入力画像データの画素値の分布において、画素値が主要閾値範囲より狭い範囲に集中することにより、主要閾値範囲より狭い範囲のピークが突出したヒストグラムの山が存在する場合を想定し、そのヒスグラムの山に対応する画素値の範囲を抽出対象範囲に設定するための処理である。
抽出範囲設定部２２２は、入力画像データの画素値の分布、および、設定した抽出範囲を示すデータを画素抽出部２２３に供給する。
なお、主要閾値範囲は、例えば、処理階調数の半分とされる。例えば、入力画像データの画素値の取りうる範囲を１６３８４、処理階調数を１０２４、入力画像データの画素値の分布の階級の合計数を５１２とした場合、主要閾値範囲は６４（＝（１０２４÷２）÷（１６３８４÷５１２））となる。また、２つの主要抽出対象範囲の間の範囲が所定の範囲より狭い場合、すなわち、２つの主要抽出対象範囲が互いに接近している場合、２つの主要抽出対象範囲を合わせて１つの主要抽出対象範囲として処理するようにしてもよい。
この図１３のフローチャートの主要抽出範囲設定処理により、入力画像データの画素値の分布において、画素数が少ない画素値、および、画素数が抽出閾値範囲以上にわたり連続して抽出閾値以上とならないヒストグラムの山に対応する画素値を抽出範囲からほとんど除外することができ、抽出範囲を効率的に設定し、抽出範囲の数を抑えることができる。
次に、図１６のフローチャートを参照して、図７のステップＳ３の主要抽出範囲設定処理のさらに他の例の詳細を説明する。
ステップＳ１０１において、抽出範囲設定部２２２は、所定の被写体の画像の画素値の平均値を算出する。具体的には、抽出範囲設定部２２２は、以前の画像処理により、画像検出部１４１により検出された所定の被写体の画像内の画素値の平均値を算出する。
ステップＳ１０２において、抽出範囲設定部２２２は、算出した画素値の平均値を基準にして、抽出範囲を設定し、主要抽出範囲設定処理は終了する。具体的には、抽出範囲設定部２２２は、入力画像データの画素値の平均値の代わりに、所定の被写体の画像の画素値の平均値を基準にして、図１０のステップＳ２２と同様の処理を行う。
これにより、所定の被写体の画素値の平均値を含む範囲であって、画素数が連続して抽出対象以上となる階級（画素値）の範囲（以下、被写体平均値抽出対象範囲と称する）が設定基準範囲を超える場合、複数の連続する抽出範囲が全体として被写体平均値抽出対象範囲を含むように抽出範囲が設定される。また、被写体平均値抽出対象範囲が設定基準範囲以下の場合、被写体平均値抽出対象範囲を中心とする設定基準範囲以下の広さの抽出範囲に設定される。従って、入力画像データの画素値の分布の違いに関わらず、所定の被写体の画像に含まれる画素の全部またはほとんどが入力画像データから抽出された処理画像データを確実に取得することができる。
次に、図１７のフローチャートを参照して、図７のステップＳ３の主要抽出範囲設定処理のさらに他の例の詳細を説明する。
ステップＳ１２１において、抽出範囲設定部２２２は、入力画像データの画素値が取りうる最小値と最大値の間の範囲を所定の広さに分割した範囲を抽出範囲に設定する。例えば、抽出範囲設定部２２２は、入力画像データの画素値が取りうる最小値と最大値の範囲（例えば、１６３８４）を、設定基準範囲の広さ（例えば、１０２４）に分割した範囲である合計１６の抽出範囲を設定する。
これにより、入力画像データの取りうる画素値が全て抽出範囲に含まれるようになり、必要な輝度範囲（画素値の範囲）の処理画像データを必ず取得することができる。
次に、図１８のフローチャートを参照して、図７のステップＳ５の二次抽出範囲設定処理の詳細を説明する。
ステップＳ１４１において、抽出範囲設定部２２２は、画素数が抽出閾値以上となる階級のうち、抽出範囲に含まれない階級があるか否かを判定する。画素数が抽出閾値以上となる階級のうち、抽出範囲に含まれない階級があると判定された場合、処理はステップＳ１４２に進む。
ステップＳ１４２において、抽出範囲設定部２２２は、抽出範囲に含まれない階級の最頻値を検出する。すなわち、抽出範囲に含まれない階級のうち、画素数が最大の階級の階級値が検出される。
ステップＳ１４３において、抽出範囲設定部２２２は、検出した最頻値を基準にして、抽出範囲を設定し、二次抽出範囲設定処理は終了する。具体的には、抽出判定部２２２は、上述した図１２のステップＳ４２と同様の処理により、ステップＳ１４２において検出した最頻値を基準にして、抽出範囲を設定する。また、抽出範囲設定部２２２は、入力画像データの画素値の分布、および、設定した抽出範囲を示すデータを画素抽出部２２３に供給する。
その後、処理はステップＳ１４１に戻り、ステップＳ１４１において、画素数が抽出閾値以上となる階級のうち、抽出範囲に含まれない階級がないと判定されるまで、すなわち、画素数が抽出閾値以上となる階級に含まれる画素値がいずれかの抽出範囲に含まれるまで、ステップＳ１４１乃至Ｓ１４３の処理が繰り返し実行される。
ステップＳ１４３において、画素数が抽出閾値以上となる階級のうち、抽出範囲に含まれない階級がないと判定された場合、二次抽出範囲設定処理は終了する。
これにより、例えば、図８のヒストグラム３０２の山３１１−２のように、入力画像データの画素値の分布において、画素値が集中する主要なヒストグラムの山から離れた位置にあり、かつ、山のピークが抽出閾値以上となる山に対応する画素値を含む範囲が抽出範囲に設定される。従って、例えば、図８に示される他の車のヘッドライトやテールランプ、街灯、信号の光など、周囲の輝度と大きく異なる輝度を持ち、画角内に占める割合が小さい被写体の画像内の画素の全部またはほとんどが入力画像データから抽出された処理画像データを確実に取得することができる。
なお、抽出範囲の数を抑えるために、二次抽出範囲処理により設定する抽出範囲を所定の数（例えば、１つ）に制限するようにしてもよい。
次に、図１９のフローチャートを参照して、図７のステップＳ７の画像検出処理の詳細を説明する。
ステップＳ２０１において、画像データ取得部２４１は、灯火検出部２４２、車体検出部２４３、ナンバープレート検出部２４４、歩行者検出部２４５、路面ペイント検出部２４６、道路検出部２４７、および、交通標識検出部２４８に処理画像データを供給する。具体的には、画像データ取得部２４１は、各検出部の検出対象となる被写体の画像の画素値（輝度）の範囲を推定し、推定した範囲の画素値を含む処理画像データ、すなわち、各検出部の検出対象となる被写体の画像の検出に適した処理画像データを各検出部に供給する。
例えば、図８に示される例の場合、画像データ取得部２４１は、入力画像データの画素値が集中する抽出範囲３２１−１および３２１−２から画素値が大きくなる方向（明るくなる方向）に離散した抽出範囲３２１−３に対応する処理画像データを、周囲より明るい被写体（例えば、ライト、図８には図示されていない発光するナンバープレートなど）の画像を検出する灯火検出部２４２およびナンバープレート検出部２４４に供給する。
また、例えば、画像データ取得部２４１は、入力画像データの画素値が最も集中する抽出範囲（例えば、図１１の抽出範囲３７１−２）に対応する処理画像データを、入力画像データの画角内に占める領域が大きく、ほぼ同様の画素値からなる被写体（例えば、道路など）の画像を検出する検出部（例えば、道路検出部２４７）に供給する。
さらに、例えば、画像データ取得部２４１は、各検出部の検出対象となる被写体の輝度の差異などに基づいて、各検出部に供給する処理画像データを選択する。例えば、昼間の場合、道路、路面に描かれたラインやマーク、道路付近にいる人、および、交通標識などの間の輝度の差は小さい場合が多いため、画像データ取得部２４１は、歩行者検出部２４５、路面ペイント検出部２４６、道路検出部２４７、および、交通標識検出部２４８に同じ処理画像データを供給する。
また、例えば、図１０を参照して上述したように、入力画像データ内の所定の領域内の画素値の平均値を基準にして抽出範囲が設定された場合、画像データ取得部２４１は、その領域内に写っていると推定される被写体の画像を検出対象とする検出部に、その領域内の画素値の平均値を中心とする抽出範囲に対応する処理画像データを供給する。
さらに、例えば、図１６を参照して上述したように、所定の被写体の画像の画素値の平均値を基準にして抽出範囲が設定された場合、画像データ取得部２４１は、その被写体の画像を検出対象とする検出部に、その被写体の画像の画素値の平均値を中心とする抽出範囲に対応する処理画像データを供給する。
また、例えば、車の走行中、周囲の環境や状況の変化により被写体の輝度は激しく変化するため、画像データ取得部２４１が、常に環境や状況の変化に応じた輝度範囲の処理画像データを各検出部に供給するようにすることが望ましい。
例えば、昼間の場合、ナンバープレートと車体および路面との輝度の差は小さい場合が多いため、画像データ取得部２４１は、車体検出部２４３、ナンバープレート検出部２４４、路面ペイント検出部２４６、および、道路検出部２４７に同じ処理画像データを供給する。
また、例えば、夜間や夕暮れ時、車のヘッドライトなど照明の照射の有無、自分で発光するかしないかなどにより交通標識の輝度範囲が広くなり、また、照明が照射された交通標識は道路の輝度より明るい場合が多い。従って、画像データ取得部２４１は、路面ペイント検出部２４６および道路検出部２４７に供給する処理画像データと同じ処理画像データ、並びに、路面ペイント検出部２４６および道路検出部２４７に供給する処理画像データに比べて明るい抽出範囲に対応する処理画像データなど、複数の抽出範囲に対応した処理画像データを交通標識部２４８に供給する。
さらに、例えば、片側が複数車線の道路では、隣のレーンを他の車が同じ方向に走行する場合があり、車の右斜め前方または左斜め左前方に他の車のヘッドライトに照らされた明るい領域が発生する場合がある。このような場合、画像データ取得部２４１は、ヘッドライトが照射された領域と照射されていない領域の輝度範囲の処理画像データを路面ペイント検出部２４６および道路検出部２４７に供給する。
ステップＳ２０２において、画像検出部１４１は、特定の被写体の画像を検出する。具体的には、灯火検出部２４２は、例えば、テンプレートマッチングまたはニューラルネットワークなどの手法を用いて、処理画像データから、例えば、車の照明、建物の窓から外に漏れている光、灯台、自発光式表示板などの自分で発光する被写体の画像を検出する。灯火検出部２４２は、検出した被写体の画像の形状および位置などを示すデータを検出結果出力部２４９に供給する。
車体検出部２４３は、例えば、テンプレートマッチングまたはニューラルネットワークなどの手法を用いて、処理画像データから、車体の画像を検出する。車体検出部２４３は、検出した被写体の画像の形状および位置などを示すデータを検出結果出力部２４９に供給する。
ナンバープレート検出部２４４は、例えば、テンプレートマッチングまたはニューラルネットワークなどの手法を用いて、処理画像データから、車のナンバープレートの画像を検出する。ナンバープレート検出部２４４は、検出した被写体の画像の形状および位置などを示すデータを検出結果出力部２４９に供給する。
歩行者検出部２４５は、例えば、テンプレートマッチングまたはニューラルネットワークなどの手法を用いて、処理画像データから、歩行者などの人、または、路上の各種の障害物の画像を検出する。歩行者検出部２４５は、検出した被写体の画像の形状および位置などを示すデータを検出結果出力部２４９に供給する。
路面ペイント検出部２４６は、例えば、テンプレートマッチングまたはニューラルネットワークなどの手法を用いて、処理画像データから、センターライン、標識、横断歩道、停止線など路面にペイントされている各種のラインおよびマークなどの画像を検出する。路面ペイント検出部２４６は、検出した被写体の画像の形状および位置などを示すデータを検出結果出力部２４９に供給する。
道路検出部２４７は、例えば、テンプレートマッチングまたはニューラルネットワークなどの手法を用いて、処理画像データから、道路の画像を検出する。道路検出部２４７は、検出した被写体の画像の形状および位置などを示すデータを検出結果出力部２４９に供給する。
なお、道路検出部２４７は、路面ペイント検出部２４６から路面のセンターラインの画像の検出結果を取得し、センターラインの位置および形状などの情報を利用して、道路の画像を検出するようにしてもよい。
交通標識検出部２４８は、例えば、テンプレートマッチングまたはニューラルネットワークなどの手法を用いて、処理画像データから、各種の交通標識の画像を検出する。交通標識検出部２４８は、検出した被写体の画像の形状および位置などを示すデータを検出結果出力部２４９に供給する。
なお、灯火検出部２４２、車体検出部２４３、ナンバープレート検出部２４４、歩行者検出部２４５、路面ペイント検出部２４６、道路検出部２４７、または、交通標識検出部２４８は、検出対象となる被写体の画像を検出できなかった場合、必要に応じて、他の処理画像データを画像データ取得部２４１から取得し、新たに取得した処理画像データからの検出対象となる被写体の画像の検出を行う。このとき、画像データ取得部２４１は、すでに検出対象となる被写体の画像を検出した検出部から取得した検出結果に基づいて、各検出部の検出対象となる被写体の画像の画素値の範囲を推定し、推定結果に基づいて、各検出部に供給する処理画像データを選択するようにしてもよい。
例えば、道路検出部２４７は、図１４の入力画像データ４０１のように、道路の輝度が大きく異なる画像データにおいて、まず手前のトンネル内の道路を検出してから、その検出結果に基づいて、輝度が大きく異なるトンネルの外の道路を検出するようにしてもよい。また、例えば、夜間にヘッドライトが照らされた領域と照らされていない領域があり、各検出部が輝度が大きく異なる被写体（例えば、道路、歩行者など）を検出する場合にも、同様の方法を用いることができる。
また、灯火検出部２４２、車体検出部２４３、ナンバープレート検出部２４４、歩行者検出部２４５、路面ペイント検出部２４６、道路検出部２４７、および、交通標識検出部２４８の各被写体の画像の検出手法は、特定の手法に限定されるものではない。
ステップＳ２０３において、検出結果出力部２４９は、検出結果を出力し、画像検出処理は終了する。具体的には、検出結果出力部２４９は、灯火検出部２４２、車体検出部２４３、ナンバープレート検出部２４４、歩行者検出部２４５、路面ペイント検出部２４６、道路検出部２４７、および、交通標識検出部２４８から供給された検出結果を示すデータを、処理画像生成部１３２、出力画像生成部１４２、および、外部の画像処理装置に出力する。
例えば、外部の画像処理装置は、検出結果出力部２４９から出力される検出結果を利用して、車の自動走行を行ったり、安全管理や運転者への支援を行うために、さらに被写体の詳細を認識する。
例えば、前の車に追従して自動走行を行う前車追従走行装置は、前の車を確実に認識するために、灯火検出部２４２、車体検出部２４３、およびナンバープレート検出部２４４が検出した前の車に関する情報、路面ペイント検出部２４６および道路検出部２４７が検出した情報を用いて検出される走行レーンの情報、並びに、車速や操舵角など自車の走行に関する情報などを用いて自動走行を行うようにすることができる。
また、例えば、歩行者検出部２４５が検出した車の前方の歩行者や障害物などの画像、道路検出部２４７が検出した道路の画像、並びに、路面ペイント検出部２４８が検出したセンターラインおよび路側帯のラインの画像を強調した出力画像データを出力画像生成部１４２が生成し、運転支援を行う装置に設けられているディスプレイ１１３に出力画像データに基づく画像を表示させることにより、運転手は、歩行者や障害物などと進行中の道路との位置関係を瞬時に把握し、危険を迅速に回避することが可能となる。
以上のようにして、より簡単に必要な輝度範囲（画素値の範囲）の画像データを取得することができる。また、入射光量を変化させながら同じ被写体を連続して撮像したり、入射光量を変化させた複数の撮像装置により同じ被写体を同時に撮像する必要がないため、同じ被写体の異なる輝度範囲の画像データをより簡単かつ迅速に取得することができる。
また、後段の画像処理装置が処理可能な画像データの階調数（画素値の数）に合わせて、入力画像データの階調数を変換することができるので、後段の画像処理装置の改良等の対応が不要となる。
さらに、入力画像データの画素値が集中する範囲の画素値を抽出した処理画像データを生成することにより、例えば、階調幅を広くして画像データの階調数を減らす場合に比べて、画質の劣化を抑えることができる。また、入力画像データから情報量を削減した処理画像データを後段の画像処理装置に出力することにより、後段の画像処理装置の画像処理に要する負荷を軽減させることができる。
また、同じ撮像装置（光学系）により撮像した入力画像データから異なる輝度範囲の処理画像データを抽出することにより、入射光量を変化させながら同じ被写体を連続して撮像したり、入射光量を変化させた複数の撮像装置により同じ被写体を同時に撮像する場合に発生する各処理画像データ間の画像の位置や時間のずれが発生しない。従って、例えば、各処理画像データ間における被写体の位置や輝度の変化を検出する検出処理、各処理画像データ間の整合性を保つために、画像の位置や時間のずれを補正する補正処理などを行う必要がないため、処理画像データを利用する画像処理装置の処理時間の短縮および負荷の軽減が実現される。
さらに、本発明は、従来のCCD撮像素子およびCMOS撮像素子を用いた撮像装置により撮像された画像データの輝度のダイナミックレンジの最大値とされる約７０dBより広いダイナミックレンジの入力画像データを処理する場合、すなわち、従来のCCD撮像素子およびCMOS撮像素子を用いた撮像装置では１度に撮像できないダイナミックレンジで撮像した入力画像データを処理する場合、特に効果が大きい。
なお、以上の説明では、画像処理システム１０１を、車の前方の被写体の画像の画像検出処理する場合に用いる例を示したが、その他の被写体の画像検出処理に用いるようにしてもよい。
また、画像変換部１２１と画像検出処理部１２２を別の装置とするようにしてもよい。
さらに、処理画像生成部１３２から出力される処理画像データは、画像検出処理に限らず、他の画像処理（例えば、画像認識処理、画像認証処理など）に利用することができる。
また、画像処理システム１０１を車の自動運転支援装置に利用する場合、リアルタイムに特定の被写体の画像を検出することが重要となるので、各検出部を複数設けるようにして、異なる抽出範囲に対応する処理画像データに基づく画像検出処理を同時に行うようにしてもよい。例えば、トンネルの中と外、または、ヘッドライトに照らされた車の直前の領域と遠方の領域など、輝度範囲が広い道路を一度に検出できるように、道路検出部２４７を複数設けるようにしてもよい。また、例えば、上述したように交通標識の輝度はそれぞれ大きく異なる場合があるため、複数の交通標識を一度に検出できるように、交通標識検出部２４８を複数設けるようにしてもよい。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
図２０は、汎用のパーソナルコンピュータ９００の内部の構成例を示す図である。CPU（Central Processing Unit）９０１は、ROM（Read Only Memory）９０２に記憶されているプログラム、または記録部９０８からRAM（Random Access Memory）９０３にロードされたプログラムに従って各種の処理を実行する。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU９０１、ROM９０２、およびRAM９０３は、バス９０４を介して相互に接続されている。このバス９０４にはまた、入出力インタフェース９０５も接続されている。
入出力インタフェース９０５には、ボタン、スイッチ、キーボードあるいはマウスなどで構成される入力部９０６、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などのディスプレイ、並びにスピーカなどで構成される出力部９０７、ハードディスクなどで構成される記録部９０８、およびモデムやターミナルアダプタなどで構成される通信部９０９が接続されている。通信部９０９は、インターネットを含むネットワークを介して通信処理を行う。
入出力インタフェース９０５にはまた、必要に応じてドライブ９１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなるリムーバブルメディア９２１が適宜装着され、そこから読み出されたコンピュータプログラムが、記録部９０８にインストールされる。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図２０に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory）、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（MD(Mini-Disc)（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア９１１により構成されるだけでなく、装置本体にあらかじめ組み込まれた状態でユーザに提供される、プログラムが記録されているROM９０３または記録部９０８に含まれるハードディスクなどで構成される。
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置、手段などにより構成される全体的な装置を意味するものである。
CCD撮像素子などの感度特性を示すグラフである。 本発明の画像処理システムの一実施の形態を示すブロック図である。 図２の撮像装置の一実施の形態を示すブロック図である。 対数変換型撮像素子などの感度特性を示すグラフである。 図２の処理画像生成部の機能の構成の例を示すブロック図である。 図２の画像検出部の機能の構成の例を示すブロック図である。 図２の画像処理システムにより実行される画像処理を説明するフローチャートである。 入力画像データの画素値の分布を示すヒストグラムの例を示す図である。 出力画像データの例を示す図である。 図７のステップＳ３の主要抽出範囲設定処理の例の詳細を説明するフローチャートである。 入力画像データの画素値の分布を示すヒストグラムの他の例を示す図である。 図７のステップＳ３の主要抽出範囲設定処理の他の例の詳細を説明するフローチャートである。 図７のステップＳ３の主要抽出範囲設定処理のさらに他の例の詳細を説明するフローチャートである。 入力画像データの画素値の分布を示すヒストグラムのさらに他の例を示す図である。 図７のステップＳ３の主要抽出範囲設定処理のさらに他の例の詳細を説明するフローチャートである。 図７のステップＳ３の主要抽出範囲設定処理のさらに他の例の詳細を説明するフローチャートである。 図７のステップＳ３の主要抽出範囲設定処理のさらに他の例の詳細を説明するフローチャートである。 図７のステップＳ５の二次抽出範囲設定処理の詳細を説明するフローチャートである。 図７のステップＳ７の画像検出処理の詳細を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
１０１ 画像処理システム
１１１ 撮像装置
１１２ 画像処理装置
１１３ ディスプレイ
１２１ 画像変換部
１２２ 画像検出処理部
１３１ 画像データ取得部
１３２ 処理画像生成部
１３３ 表示画像生成部
１４１ 画像検出部
１４２ 出力画像生成部
１６２ 対数変換型撮像素子
１７１ 光検出部
１７２ 対数変換部
２２１ 画素値分布検出部
２２２ 抽出範囲設定部
２２３ 画像抽出部
２４１ 画像データ取得部
２４２ 灯火検出部
２４３ 車体検出部
２４４ ナンバープレート検出部
２４５ 歩行者検出部
２４６ 路面ペイント検出部
２４７ 道路検出部
２４８ 交通標識検出部
９０１ CPU
９０２ ROM
９０３ RAM
９０８ 記録部
９１０ ドライブ
９１１ リムーバブルメディア

Claims (18)

  1. 入力された第１の画像データの画素値の分布を検出する分布検出手段と、
    前記第１の画像データの画素値の分布に基づいて、所定の広さ以下の画素値の範囲である抽出範囲を１つ以上設定し、さらに、前記第１の画像データの画素値の分布において画素数が所定の閾値以上となる画素値のうち、前記抽出範囲に含まれない画素値がある場合、前記抽出範囲に含まれない画素値のうち画素数が最大となる画素値を中心とする前記所定の広さ以下の範囲を前記抽出範囲に設定する範囲設定手段と、
    前記抽出範囲に含まれる画素値の画素を前記第１の画像データから抽出することにより１つ以上の第２の画像データを生成する画像データ生成手段と
    を含むことを特徴とする画像処理装置。
  2. 前記範囲設定手段は、画素数が前記閾値以上となる画素値がいずれかの前記抽出範囲に含まれるまで、前記抽出範囲に含まれない画素値のうち画素数が最大となる画素値を中心とする前記所定の広さ以下の範囲を前記抽出範囲に繰り返し設定する
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 前記抽出範囲は、前記第１の画像データの画素値の平均値を中心とする前記所定の広さ以下の範囲を含む
    ことを特徴とする請求項１に記載の画像処理装置。
  4. 前記抽出範囲は、前記第１の画像データ内の所定の領域の画像の画素値の平均値を中心とする前記所定の広さ以下の範囲を含む
    ことを特徴とする請求項１に記載の画像処理装置。
  5. 前記抽出範囲は、前記第１の画像データの画素値の分布において画素数が最大となる画素値を中心とする前記所定の広さ以下の範囲を含む
    ことを特徴とする請求項１に記載の画像処理装置。
  6. 入力された第１の画像データの画素値の分布を検出する分布検出手段と、
    前記第１の画像データの画素値の分布において画素値の平均値を含む画素値の範囲であって、画素数が連続して所定の閾値以上となる画素値の範囲である連続範囲が所定の広さを超える場合、前記所定の広さ以下の範囲である抽出範囲が全体として前記連続範囲を含むように複数の前記抽出範囲を連続して設定し、前記連続範囲が前記所定の広さ以下の場合、前記第１の画像データの画素値の平均値を中心とする前記所定の広さ以下の範囲を前記抽出範囲に設定する範囲設定手段と、
    前記抽出範囲に含まれる画素値の画素を前記第１の画像データから抽出することにより１つ以上の第２の画像データを生成する画像データ生成手段と
    を含むことを特徴とする画像処理装置。
  7. 入力された第１の画像データの画素値の分布を検出する分布検出手段と、
    前記第１の画像データの画素値の分布において画素数が最大となる画素値を含む範囲であって、画素数が連続して所定の閾値以上となる画素値の範囲である連続範囲が所定の広さを超える場合、前記所定の広さ以下の範囲である抽出範囲が全体として前記連続範囲を含むように複数の前記抽出範囲を連続して設定し、前記連続範囲が前記所定の広さ以下の場合、前記第１の画像データの画素値の分布において画素数が最大となる画素値を中心とする前記所定の広さ以下の範囲を前記抽出範囲に設定する範囲設定手段と、
    前記抽出範囲に含まれる画素値の画素を前記第１の画像データから抽出することにより１つ以上の第２の画像データを生成する画像データ生成手段と
    を含むことを特徴とする画像処理装置。
  8. 前記範囲設定手段は、前記第１の画像データの画素値の分布において画素数が前記閾値以上となる画素値のうち、前記抽出範囲に含まれない画素値がある場合、前記抽出範囲に含まれない画素値のうち画素数が最大となる画素値を中心とする前記所定の広さ以下の範囲を前記抽出範囲にさらに設定する
    ことを特徴とする請求項６または７に記載の画像処理装置。
  9. 前記範囲設定手段は、画素数が前記閾値以上となる画素値がいずれかの前記抽出範囲に含まれるまで、前記抽出範囲に含まれない画素値のうち画素数が最大となる画素値を中心とする前記所定の広さ以下の範囲を前記抽出範囲に繰り返し設定する
    ことを特徴とする請求項８に記載の画像処理装置。
  10. 入力された第１の画像データの画素値の分布を検出する分布検出手段と、
    前記第１の画像データの画素値の分布において、画素数が所定の閾値以上となる画素値の最小値と最大値の間の範囲である連続範囲が所定の広さを超える場合、前記所定の広さ以下の範囲である抽出範囲が全体として前記連続範囲を含むように複数の前記抽出範囲を連続して設定し、前記連続範囲が前記所定の広さ以下の場合、前記連続範囲を含む前記所定の広さ以下の範囲を前記抽出範囲に設定する範囲設定手段と、
    前記抽出範囲に含まれる画素値の画素を前記第１の画像データから抽出することにより１つ以上の第２の画像データを生成する画像データ生成手段と
    を含むことを特徴とする画像処理装置。
  11. 入力された第１の画像データの画素値の分布を検出する分布検出手段と、
    前記第１の画像データの画素値の分布において、画素数が所定の閾値以上となる画素値が、画素値の所定の第１の広さ以上にわたり連続する連続範囲のそれぞれについて、前記連続範囲が所定の第２の広さを超える場合、前記第２の広さ以下の範囲である抽出範囲が全体として前記連続範囲を含むように複数の前記抽出範囲を連続して設定し、前記連続範囲が前記第２の広さ以下の場合、前記連続範囲を含む前記第２の広さ以下の範囲を前記抽出範囲に設定する範囲設定手段と、
    前記抽出範囲に含まれる画素値の画素を前記第１の画像データから抽出することにより１つ以上の第２の画像データを生成する画像データ生成手段と
    を含むことを特徴とする画像処理装置。
  12. 前記第２の画像データ内の所定の被写体を検出する被写体検出手段を
    さらに含むことを特徴とする請求項１乃至１１のいずれかに記載の画像処理装置。
  13. 前記第１の画像データの輝度のダイナミックレンジは７０dB以上である
    ことを特徴とする請求項１乃至１２のいずれかに記載の画像処理装置。
  14. 前記第１の画像データは、半導体のサブスレッショルド特性を利用して、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子を有する撮像装置により出力される
    ことを特徴とする請求項１乃至１３のいずれかに記載の画像処理装置。
  15. 前記撮像素子は、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））である
    ことを特徴とする請求項１４に記載の画像処理装置。
  16. 入力された第１の画像データの画素値の分布を検出する分布検出ステップと、
    前記第１の画像データの画素値の分布に基づいて、所定の広さ以下の画素値の範囲である抽出範囲を１つ以上設定し、さらに、前記第１の画像データの画素値の分布において画素数が所定の閾値以上となる画素値のうち、前記抽出範囲に含まれない画素値がある場合、前記抽出範囲に含まれない画素値のうち画素数が最大となる画素値を中心とする前記所定の広さ以下の範囲を前記抽出範囲に設定する範囲設定ステップと、
    前記抽出範囲に含まれる画素値の画素を前記第１の画像データから抽出することにより１つ以上の第２の画像データを生成する画像データ生成ステップと
    を含むことを特徴とする画像処理方法。
  17. 入力された第１の画像データの画素値の分布を検出する分布検出ステップと、
    前記第１の画像データの画素値の分布に基づいて、所定の広さ以下の画素値の範囲である抽出範囲を１つ以上設定し、さらに、前記第１の画像データの画素値の分布において画素数が所定の閾値以上となる画素値のうち、前記抽出範囲に含まれない画素値がある場合、前記抽出範囲に含まれない画素値のうち画素数が最大となる画素値を中心とする前記所定の広さ以下の範囲を前記抽出範囲に設定する範囲設定ステップと、
    前記抽出範囲に含まれる画素値の画素を前記第１の画像データから抽出することにより１つ以上の第２の画像データを生成する画像データ生成ステップと
    を含む処理をコンピュータに実行させるためのプログラム。
  18. 請求項１７に記載のプログラムを記録した記録媒体。
JP2005081890A 2005-03-22 2005-03-22 画像処理装置および方法、記録媒体、並びにプログラム Expired - Fee Related JP4766302B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005081890A JP4766302B2 (ja) 2005-03-22 2005-03-22 画像処理装置および方法、記録媒体、並びにプログラム
EP06110985A EP1705901A3 (en) 2005-03-22 2006-03-10 Image processing apparatus and method, recording medium, and program
US11/375,666 US20060215882A1 (en) 2005-03-22 2006-03-14 Image processing apparatus and method, recording medium, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005081890A JP4766302B2 (ja) 2005-03-22 2005-03-22 画像処理装置および方法、記録媒体、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2006268135A JP2006268135A (ja) 2006-10-05
JP4766302B2 true JP4766302B2 (ja) 2011-09-07

Family

ID=36217951

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005081890A Expired - Fee Related JP4766302B2 (ja) 2005-03-22 2005-03-22 画像処理装置および方法、記録媒体、並びにプログラム

Country Status (3)

Country Link
US (1) US20060215882A1 (ja)
EP (1) EP1705901A3 (ja)
JP (1) JP4766302B2 (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8924078B2 (en) * 2004-11-18 2014-12-30 Gentex Corporation Image acquisition and processing system for vehicle equipment control
EP1971820B1 (de) * 2006-01-08 2012-10-17 Hermann Tropf Erstellung eines abstandsbildes
US8218821B2 (en) * 2007-01-23 2012-07-10 Pips Technology, Inc. Video preprocessing of image information for character recognition
US8289430B2 (en) * 2007-02-09 2012-10-16 Gentex Corporation High dynamic range imaging device
US8305471B2 (en) 2007-02-09 2012-11-06 Gentex Corporation High dynamic range imaging device
US8587706B2 (en) * 2008-01-30 2013-11-19 Gentex Corporation Imaging device
WO2009073054A1 (en) * 2007-12-06 2009-06-11 Gentex Corporation Improved imaging device
US8629927B2 (en) * 2008-04-09 2014-01-14 Gentex Corporation Imaging device
JP4984261B2 (ja) * 2008-05-29 2012-07-25 大日本印刷株式会社 目標物検出システム
JP5219847B2 (ja) * 2009-01-09 2013-06-26 キヤノン株式会社 画像処理装置及び画像処理方法
US8144223B2 (en) * 2009-01-28 2012-03-27 Gentex Corporation Imaging device
US8378284B2 (en) * 2009-01-28 2013-02-19 Gentex Corporation Imaging device
US8321422B1 (en) 2009-04-23 2012-11-27 Google Inc. Fast covariance matrix generation
US8611695B1 (en) 2009-04-27 2013-12-17 Google Inc. Large scale patch search
US8396325B1 (en) 2009-04-27 2013-03-12 Google Inc. Image enhancement through discrete patch optimization
US8391634B1 (en) * 2009-04-28 2013-03-05 Google Inc. Illumination estimation for images
US8385662B1 (en) 2009-04-30 2013-02-26 Google Inc. Principal component analysis based seed generation for clustering analysis
JP4795473B2 (ja) * 2009-06-29 2011-10-19 キヤノン株式会社 画像処理装置及びその制御方法
US9020257B2 (en) 2009-10-08 2015-04-28 International Business Machines Corporation Transforming a digital image from a low dynamic range (LDR) image to a high dynamic range (HDR) image
JP5462609B2 (ja) * 2009-12-09 2014-04-02 富士重工業株式会社 停止線認識装置
US8456327B2 (en) * 2010-02-26 2013-06-04 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
ES2529302T3 (es) * 2010-10-28 2015-02-18 Cyclomedia Technology B.V. Método para detectar y reconocer un objeto en una imagen, y un aparato y un programa informático para ello
US8798393B2 (en) 2010-12-01 2014-08-05 Google Inc. Removing illumination variation from images
US9769430B1 (en) 2011-06-23 2017-09-19 Gentex Corporation Imager system with median filter and method thereof
US9298991B2 (en) * 2012-01-17 2016-03-29 LimnTech LLC GPS-based machine vision roadway mark locator, inspection apparatus, and marker
US9784843B2 (en) 2012-01-17 2017-10-10 Limn Tech LLC Enhanced roadway mark locator, inspection apparatus, and marker
US10301783B2 (en) 2012-01-17 2019-05-28 LimnTech LLC Roadway maintenance striping control system
US9041838B2 (en) 2012-02-14 2015-05-26 Gentex Corporation High dynamic range imager system
US8938119B1 (en) 2012-05-01 2015-01-20 Google Inc. Facade illumination removal
DE102012018471A1 (de) 2012-09-19 2013-04-04 Daimler Ag Verfahren zur Erkennung einer Begrenzung eines Fahrbahnrandes für ein Fahrzeug
US9380228B2 (en) 2013-03-13 2016-06-28 Gentex Corporation High dynamic range image sensor system and method thereof
JP6177632B2 (ja) * 2013-09-11 2017-08-09 アルパイン株式会社 車両位置検出装置および車両後側方警報装置
US9760776B1 (en) 2014-06-27 2017-09-12 Blinker, Inc. Method and apparatus for obtaining a vehicle history report from an image
US10579892B1 (en) 2014-06-27 2020-03-03 Blinker, Inc. Method and apparatus for recovering license plate information from an image
US9754171B1 (en) 2014-06-27 2017-09-05 Blinker, Inc. Method and apparatus for receiving vehicle information from an image and posting the vehicle information to a website
US9594971B1 (en) 2014-06-27 2017-03-14 Blinker, Inc. Method and apparatus for receiving listings of similar vehicles from an image
US9558419B1 (en) 2014-06-27 2017-01-31 Blinker, Inc. Method and apparatus for receiving a location of a vehicle service center from an image
US9563814B1 (en) 2014-06-27 2017-02-07 Blinker, Inc. Method and apparatus for recovering a vehicle identification number from an image
US10540564B2 (en) 2014-06-27 2020-01-21 Blinker, Inc. Method and apparatus for identifying vehicle information from an image
US9818154B1 (en) 2014-06-27 2017-11-14 Blinker, Inc. System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate
US10515285B2 (en) 2014-06-27 2019-12-24 Blinker, Inc. Method and apparatus for blocking information from an image
US9892337B1 (en) 2014-06-27 2018-02-13 Blinker, Inc. Method and apparatus for receiving a refinancing offer from an image
US9779318B1 (en) 2014-06-27 2017-10-03 Blinker, Inc. Method and apparatus for verifying vehicle ownership from an image
US9607236B1 (en) 2014-06-27 2017-03-28 Blinker, Inc. Method and apparatus for providing loan verification from an image
US10733471B1 (en) 2014-06-27 2020-08-04 Blinker, Inc. Method and apparatus for receiving recall information from an image
US9589201B1 (en) 2014-06-27 2017-03-07 Blinker, Inc. Method and apparatus for recovering a vehicle value from an image
US9600733B1 (en) 2014-06-27 2017-03-21 Blinker, Inc. Method and apparatus for receiving car parts data from an image
US9589202B1 (en) 2014-06-27 2017-03-07 Blinker, Inc. Method and apparatus for receiving an insurance quote from an image
US9773184B1 (en) 2014-06-27 2017-09-26 Blinker, Inc. Method and apparatus for receiving a broadcast radio service offer from an image
US10867327B1 (en) 2014-06-27 2020-12-15 Blinker, Inc. System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate
US10572758B1 (en) 2014-06-27 2020-02-25 Blinker, Inc. Method and apparatus for receiving a financing offer from an image
JP6757258B2 (ja) * 2015-01-08 2020-09-16 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置および画像処理方法
JP6390512B2 (ja) * 2015-05-21 2018-09-19 株式会社デンソー 車載カメラ装置
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
US10257394B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
CA3033242A1 (en) 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
US10757320B2 (en) 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5172682A (en) 1988-12-02 1992-12-22 Welbilt Corporation Commercial hot air impingement cooking apparatus
JP3068628B2 (ja) * 1990-03-22 2000-07-24 キヤノン株式会社 画像処理装置およびその方法
US6359695B1 (en) * 1992-02-26 2002-03-19 Canon Kabushiki Kaisha Repeated image forming apparatus with neighboring image boundary gradiation correction
JP2978325B2 (ja) * 1992-03-31 1999-11-15 キヤノン株式会社 画像処理方法及びそれを実現するプリンタインタフェース
JP3477858B2 (ja) * 1994-11-18 2003-12-10 ミノルタ株式会社 画像処理装置及び画像データ処理方法
JP3461626B2 (ja) * 1995-07-28 2003-10-27 シャープ株式会社 特定画像領域抽出方法及び特定画像領域抽出装置
US5614948A (en) * 1996-04-26 1997-03-25 Intel Corporation Camera having an adaptive gain control
US6449060B1 (en) * 1996-07-22 2002-09-10 Canon Kabushiki Kaisha Image processing apparatus and method
JP3852998B2 (ja) * 1996-12-25 2006-12-06 シャープ株式会社 画像処理装置
US6480300B1 (en) * 1998-04-08 2002-11-12 Fuji Photo Film Co., Ltd. Image processing apparatus, image processing method and recording medium on which software for executing the image processing is recorded
US6801334B1 (en) * 1998-05-28 2004-10-05 Fuji Photo Film Co., Ltd. Index print producing method, image processing system, image processing method and image processing device
JP2000011168A (ja) * 1998-06-19 2000-01-14 Hitachi Ltd 輝度修正画像表示装置
JP4003151B2 (ja) 1998-07-09 2007-11-07 富士フイルム株式会社 撮像装置
JP3305265B2 (ja) * 1998-07-24 2002-07-22 キヤノン株式会社 画像処理装置およびその方法
JP3558893B2 (ja) * 1998-10-08 2004-08-25 シャープ株式会社 画像処理装置および画像処理方法
JP3829508B2 (ja) * 1998-11-27 2006-10-04 セイコーエプソン株式会社 画像処理装置、画像処理方法および印刷装置
SG75190A1 (en) * 1998-12-14 2000-09-19 Canon Kk Image processing method and apparatus image processing system and storage medium
JP4292679B2 (ja) * 1999-05-10 2009-07-08 コニカミノルタホールディングス株式会社 固体撮像装置
JP4216450B2 (ja) * 2000-09-01 2009-01-28 ローム株式会社 画像処理装置
US7298402B2 (en) * 2000-10-26 2007-11-20 Olympus Corporation Image-pickup apparatus with expanded dynamic range capabilities
JP4387584B2 (ja) * 2000-12-27 2009-12-16 キヤノン株式会社 画像処理装置及び画像処理方法
US20020154323A1 (en) * 2001-03-10 2002-10-24 Sobol Robert E. Method for variable contrast mapping of digital images
KR20040052491A (ko) * 2001-03-16 2004-06-23 비젼 로보틱스 코포레이션 이미지 센서의 유효 다이내믹 레인지를 효과적으로증대하는 시스템 및 방법
JP2004088345A (ja) * 2002-08-26 2004-03-18 Konica Minolta Holdings Inc 画像形成方法、画像処理装置、プリント作成装置及び記憶媒体
EP1398952A3 (en) * 2002-09-12 2005-11-02 Konica Corporation Method and apparatus for image processing
WO2005022077A2 (en) * 2003-08-28 2005-03-10 Sarnoff Corporation Method and apparatus for differentiating pedestrians, vehicles, and other objects
US7372597B2 (en) * 2004-07-27 2008-05-13 Eastman Kodak Company Tonescales for geographically localized digital rendition of people

Also Published As

Publication number Publication date
EP1705901A3 (en) 2007-11-07
JP2006268135A (ja) 2006-10-05
EP1705901A2 (en) 2006-09-27
US20060215882A1 (en) 2006-09-28

Similar Documents

Publication Publication Date Title
JP4766302B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JPWO2006109398A1 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP4678487B2 (ja) 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
JP4835593B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに、記録媒体
US8036427B2 (en) Vehicle and road sign recognition device
JP5182555B2 (ja) 画像処理装置および画像処理方法、画像処理システム、プログラム、並びに、記録媒体
JP5115792B2 (ja) 画像処理装置および方法、並びに、プログラム
KR20210006276A (ko) 플리커를 약화시키기 위한 이미지 처리 방법
JPWO2006098358A1 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JPWO2019194256A1 (ja) 演算処理装置、オブジェクト識別システム、学習方法、自動車、車両用灯具
US10922827B2 (en) Distance estimation of vehicle headlights
CN112991158B (zh) 一种图像生成方法、装置、设备及存储介质
JP6868932B2 (ja) 物体認識装置
JP2004304303A (ja) 対象物認識装置および対象物認識方法
JP2007249568A (ja) 画像処理装置および方法、記録媒体、並びに、プログラム
Rajkumar et al. Vehicle Detection and Tracking System from CCTV Captured Image for Night Vision
Choi et al. Efficient local adaptive thresholding for night-time vehicle candidate detection
KR20230048429A (ko) 해질녘 및 야간의 야생 동물 횡단으로 인한 사고를 방지하기 위한 시스템
KR20230129827A (ko) 역광 검출장치 및 방법
CN117465334A (zh) 应用于智能驾驶的车灯控制方法、装置、设备及介质
CN116246134A (zh) 一种自适应双光融合方法及装置
KR20150075586A (ko) 입력영상의 주간 및 야간 인식 방법 및 그 기록 매체
Pillai et al. “Ease of Driving” Road Classification for Night-time Driving Conditions
CN114556412A (zh) 物体识别装置
JPH02284268A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110414

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110425

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110601

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees