JP6064776B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP6064776B2
JP6064776B2 JP2013097664A JP2013097664A JP6064776B2 JP 6064776 B2 JP6064776 B2 JP 6064776B2 JP 2013097664 A JP2013097664 A JP 2013097664A JP 2013097664 A JP2013097664 A JP 2013097664A JP 6064776 B2 JP6064776 B2 JP 6064776B2
Authority
JP
Japan
Prior art keywords
value
luminance
characteristic
range
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013097664A
Other languages
English (en)
Other versions
JP2014219790A5 (ja
JP2014219790A (ja
Inventor
俊和 村尾
俊和 村尾
貴之 木村
貴之 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2013097664A priority Critical patent/JP6064776B2/ja
Priority to CN201480025880.6A priority patent/CN105190687B/zh
Priority to DE112014002331.0T priority patent/DE112014002331T5/de
Priority to PCT/JP2014/061987 priority patent/WO2014181743A1/ja
Priority to US14/889,789 priority patent/US9800881B2/en
Publication of JP2014219790A publication Critical patent/JP2014219790A/ja
Publication of JP2014219790A5 publication Critical patent/JP2014219790A5/ja
Application granted granted Critical
Publication of JP6064776B2 publication Critical patent/JP6064776B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、カメラにより撮像された画像から認識対象を検出する画像処理装置及び画像処理方法に関する。
従来、カメラにより撮像された画像から、予め設定された認識対象を検出する画像処理装置が知られている。画像処理装置は、用途に応じて種々の処理能力のものが使用される。カメラは、性能向上により、広いダイナミックレンジの画像データを出力するようになっている。そこで、カメラから出力された画像データのダイナミックレンジ(例えば12ビット)が画像処理装置の処理能力(例えば8ビット)を超える場合に、カメラから出力された画像データについて階調数を小さくする階調変換(例えば、12ビットから8ビットへの変換)を行い、階調変換した画像データについて認識対象の検出を行う画像処理装置がある(例えば、特許文献1参照)。
特開2012−208776号公報
さらに近年では、ダイナミックレンジを拡大するハイダイナミックレンジ(HDR)特性を有するカメラが用いられるようになっている。HDR特性とは、カメラの特性を輝度と出力画素値(輝度の表示値)との関係として表したときに、輝度に対する出力画素値の関係が全輝度域で一定(線形)ではなく、輝度域に応じて異なる(非線形)特性をいう。つまり、ある輝度域では分解能が細かく設定され(以下、細分解能域という)、これと異なるある領域では分解能が細分解能領域より粗く設定されている(以下、粗分解能域という)。
このようなHDR特性を有するカメラから出力される出力画素値について上述のように階調数を小さくする階調変換を行う場合、例えば12ビットから8ビットに変換する場合に、圧縮比を1/24として各出力画素値を均一に圧縮すると、粗分解能域の分解能は更に低下する。つまり、この粗分解能域に認識対象の輝度が含まれる場合は、認識対象の検出精度が低下する虞があった。
本発明はこのような問題に鑑みてなされたものであり、階調数を小さくするように階調変換された画像データで表される画像にて認識対象を精度よく検出する画像処理装置を提供することを目的とする。
上記目的を達成するためになされた本発明の画像処理装置は、請求項1に記載のように、取得手段が、第1の階調数で表された輝度値を予め設定された非線形な変換特性で変換した値を第1表示値として、撮像素子が出力する第1表示値からなるデータ列である撮像データを取得する。また、圧縮手段が、第1表示値を予め設定された圧縮特性で圧縮し、第1の階調数より小さい第2の階調数で表した値を第2表示値として出力する。そして、認識手段が、第2表示値からなるデータ列である圧縮データによって表される画像から認識対象を検出する。
ここで、第2の階調数の第1の階調数に対する比を基本圧縮比といい、認識対象が存在すると推定される輝度範囲である認識対象範囲を少なくとも含む輝度範囲を指定範囲といい、該指定範囲にて最小の輝度値である境界輝度値に対応する第1表示値を境界第1表示値というものとする。
上述の圧縮特性は、認識対象範囲では、第2表示値が、第1表示値のうち境界第1表示値以上の値を基本圧縮比より低い低圧縮比で圧縮した値と、境界第1表示値との和となるように設定されている。
なお、変換特性でいう非線形な特性は、輝度範囲毎に予め定められた線形な特性の組み合わせとして設定された特性を含むものとする。また、上述の境界第1表示値には0を含むものとする。
このような本発明の画像処理装置によると、第1表示値を第2表示値に圧縮(階調変換)した場合に、認識対象範囲における分解能の低下が抑制されるため、圧縮後の第2表示値により表される画像において、認識対象の検出精度の劣化を抑制することができる。
第1実施形態の運転支援システムの構成を示すブロック図である。 カメラのHDR特性を示す特性図である。 CPUが実行する処理を説明するフローチャートである。 総合変換特性を説明する説明図である。 第1実施形態の画像処理装置での総合変換特性による白線の検出結果と、画素出力値を均一に基本圧縮比で圧縮することにより得られる白線の検出結果との違いを説明する説明図である。 (a)は画素出力値を均一に基本圧縮比で圧縮することにより得られた画像の一例を示す図であり、(b)は第1実施形態の画像処理装置での総合変換特性により得られた画像の一例を示す図である。 認識対象を車両としたときに、黒色車両、灰色車両、及び白色車両のそれぞれについての輝度分布を示した説明図である。 変形例に総合変換特性を示す説明図である。 変形例の総合変換特性を示す説明図である。 第2実施形態の運転支援システムの構成を示すブロック図である。 イメージャにおける画素の配列を示す説明図である。 第2実施形態の画像処理装置での総合変換特性による検出結果と、画素出力値を均一に基本圧縮比で圧縮することにより得られる検出結果との違いを説明する説明図である。
以下に本発明が適用された実施形態を図面と共に説明する。
[第1実施形態]
本実施形態の画像処理装置は、車両に搭載され、車両(自車両)の前方に存在する認識対象を検出し、検出結果に基づく各種運転支援制御を実行する運転支援システムに適用される。
[全体構成]
運転支援システム1は、図1に示すように、自車両の前方を撮像し、撮像した画像を12ビットの画像データとして出力する車載カメラ(以下、単にカメラという)20を備える。また、運転支援システム1は、カメラ20から出力された画像データを8ビットの画像データに変換し、変換された画像データで表された画像を用いて種々の用途(アプリケーション)に応じた画像処理(例えば、先行車両、歩行者、白線等の認識対象を検出して検出結果を出力する処理)を実行する画像処理装置10を備える。
さらに、運転支援システム1は、画像処理装置10の検出結果を用いて、本実施形態では少なくとも、自車両が車線内から逸脱する危険性があるか否かを判定し、危険性があると判定した場合には警報部41に対して警報を発するように指示する車両制御装置40を備える。以下では、カメラ20及び画像処理装置10を撮像装置30と称する。
カメラ20は、車室内の所定位置、例えばルームミラーの裏側に設置され、車両の進行方向前方を撮像した画像を表す画像データを出力する。具体的には、カメラ20は、図示しないが、撮像した画像を表す画像データを生成する撮像素子(イメージャ)と、画像処理装置との入出力インタフェース回路とを備える。
イメージャは、公知のCCDイメージセンサ、あるいはCMOSイメージセンサに加え、増幅部及びA/D変換部を内蔵している。これら増幅部及びA/D変換部は、イメージセンサによって画像を撮像したとき、その画像の各画素の輝度を示すアナログ信号を所定のゲインで増幅し、かつ増幅したアナログ値を第1の階調数(ここでは12ビット)で表されるデジタル値に変換する。そして、カメラ20は、このデジタル値に変換した信号である出力画素値(「第1表示値」に相当)を、12ビットの撮像データ(出力画素値からなるデータ列)として出力する。
特に、本実施形態のイメージャとしては、ダイナミックレンジを拡大するハイダイナミックレンジ(HDR)特性を有するものが用いられている。HDR特性は、輝度に対する出力画素値の関係が全輝度範囲で一定(線形)ではなく、輝度範囲毎に異なる(非線形)特性となっている。
HDR特性は、具体的には図2に示すように、輝度値0〜L1の範囲(以下、輝度範囲0〜L1という。)と、残りの輝度範囲(輝度範囲L1〜L2)とで傾きが異なる折れ線の関係になっている。ここでは、このような折れ線の関係、つまり輝度範囲に応じて異なる線形な特性の組み合わせについても、非線形な特性に含むものとする。このように、イメージャは、低い輝度範囲の分解能を細かくしつつ、広い輝度範囲の出力が可能となっている。
輝度範囲0〜L1及び輝度範囲L1〜L2での輝度Lに対する出力画素値Yの関係は、それぞれ式(1)及び式(2)で表される。
各輝度値0〜L2に対応する出力画素値Y0〜Y2は、いずれも2のべき乗で表され、最大値である出力画素値Y2(=f2(L2))は212となっている。また、線形な特性が変化する変化点(L1、Y1(=f1(L1)))での輝度値L1を、変化点輝度値L1というものとする。以下では特に断りがない限り、HDR特性という場合、図2に示す輝度Lと出力画素値Yとの関係をいうものとする。なお、図2に示す輝度Lと出力画素値Yとの関係は一例を示すものである。
図1にもどり、画像処理装置10は、CPU12、ROM13、RAM14、および図示しないフラッシュメモリ等からなるマイクロコンピュータを中心に構成されている。また、図示しないが、画像処理装置10は、各種信号を入出力するインタフェース回路(たとえば、カメラ20からの画像データを入力する入力回路や車両制御装置40に検出結果を出力する出力回路等)を備える。なお、画像処理装置10は、8ビットのデータを処理するように構成されている。
画像処理装置10は、ROM13またはフラッシュメモリに記憶されている制御プログラムをCPU12が実行することにより、少なくとも、カメラ20から入力した12ビットの撮像データを8ビットの画像データに圧縮し圧縮データとして出力する圧縮処理と、圧縮データで表される画像から認識対象を検出する認識対象検出処理とを行う。検出結果は、車両制御装置40へ出力される。
車両制御装置40は、運転支援制御を行うための装置であり、ここでは、画像処理装置10から入力された検出結果(白線の位置)に応じて、自車両が車線内から逸脱する危険性があると判定した場合に、警報部41に対して警報を発するように指示を行う車線維持制御をアプリケーションとして実行するように構成されている。
[CPUで実行する処理]
次に、予め記憶されているプログラムに従いCPU12が定期的に実行する処理について、図3のフローチャートを用いて説明する。
CPU12は、処理を開始すると、まずS110では、カメラ20から入力しRAM14に格納されている出力画素値(撮像データ)を読み出す。次にS120では、予めROM13に格納されている圧縮特性を読み出し、該圧縮特性に従って出力画素値を12ビットから8ビットに圧縮し、圧縮した出力画素値を圧縮画素値(「第2表示値」に相当)として出力する圧縮処理を行う。
続いてS130では、8ビットの圧縮画素値からなるデータ列である圧縮データが表す画像から、認識対象(白線)を検出する認識対象検出処理を行う。そしてS140では、検出結果(白線の位置)を車両制御装置40に出力し、本処理を終了する。認識対象検出処理での認識対象の検出については、種々の方法が周知であるため、説明を省略する。
圧縮特性は、12ビットで表された出力画素値と、これに対応する8ビットで表された圧縮画素値とが示された変換テーブルとしてROM13に格納されている。
ここで、圧縮特性と変換特性とを組み合わせた特性を総合変換特性といい、圧縮画素値を表す階調数(「第2の階調数」に相当)である8ビットの、出力画素値を表す階調数(「第1の階調数」に相当)である12ビットに対する比を基本圧縮比(ここでは2-4)といい、認識対象が存在すると推定される輝度範囲を認識対象範囲というものとする。
また、認識対象範囲を少なくとも含む輝度範囲を指定範囲といい、該指定範囲にて最小の輝度値である境界輝度値に対応する出力画素値を境界第1表示値というものとする。
変換テーブル(圧縮特性)は、指定範囲では、圧縮画素値が、出力画素値のうち境界第1表示値以上の値を基本圧縮比より低い低圧縮比βで圧縮した低圧縮値と、境界第1表示値との和となるように、設定されている。
具体的には、図4に示すように、認識対象範囲は、認識対象である白線が存在すると推定される輝度範囲L1〜L3に設定されている。指定範囲は、境界輝度値が、該指定範囲を含む輝度範囲にて最小の輝度値となるように設定されている。つまり本実施形態では、指定範囲は認識対象範囲に一致するように設定されており、境界第1表示値は、境界輝度値L1に対応する出力画素値Y1に設定されている。
変換テーブルは、輝度範囲0〜L1では、式(3)に示すように、出力画素値を圧縮比α(ここではαを基本圧縮比である1/24とする。)で圧縮した値を圧縮画素値Zとするように設定されている。境界第1表示値Y1は、変換テーブルによって圧縮値Z1に変換される(式(4)参照)。以下では、この境界第1表示値(Y1)に対応する圧縮値(Z1)を圧縮基本値Z1という。
さらに、変換テーブルは、少なくとも指定範囲L1〜L3では、式(5)に示すように、圧縮基本値Z1と、出力画素値Yと境界第1表示値Y1との差を低圧縮率βで圧縮した値との和を、圧縮画素値Zとするように設定されている。
本実施形態では低圧縮比βは1に設定されており、このように低圧縮比βが1に設定されている圧縮を未圧縮というものとする。つまり、未圧縮では、総合変換特性による変換によって、指定範囲では、圧縮画素値Zの輝度値Lに対する変化の割合(圧縮後変化割合)が、出力画素値Yの輝度値Lに対する変化の割合(圧縮前変化割合)と同様となるように、変換テーブルが設定されている。
なお本実施形態では、指定範囲より大きい輝度値L(L>L3)についても式(5)に従って出力画素値Yが圧縮画素値Zに変換されるように変換テーブルが設定されており、輝度値L4(L4<L2)のときの圧縮画素値Z4(=Z1+β×(Y−Y4))が28に対応するようになっている。
[効果]
以上説明したように、本実施形態の画像処理装置10では、第1の階調数(12ビット)で表される出力画素値を第1の階調数より小さい階調数である第2の階調数(8ビット)で表される圧縮画素値に圧縮する場合、圧縮に用いる変換テーブルは、出力画素値を一律に基本圧縮比で圧縮した値を圧縮画素値とするのではなく、出力画素値のうち第1表示値を超える値については基本圧縮比より低い圧縮比βで圧縮し、これを圧縮画素値とするように設定されている。特に本実施形態では、未圧縮とするように変換テーブルが設定されている。
ここで、画像処理装置10が認識対象(白線)を検出する例を図5を用いて説明する。総合変換特性は図5にて点線で示されている。また、比較のために、画素出力値を一律に基本圧縮比で圧縮する特性(基本圧縮比特性という)が同図にて実線で示されている。
路面を表す輝度値の代表値をLRとし、白線を表す輝度値の代表値をLHとして、総合変換特性によって得られる路面輝度LRに対応する圧縮画素値ZRと白線輝度LHに対応する圧縮画素値ZHとの差であるコントラスト値CHは、式(6)により表される。
一方、基本圧縮比特性によって得られるコントラスト値CPは、式(7)により表される。
つまり、式(6)、(7)及び図5から明らかなように、総合変換特性では、より大きいコントラスト値CHを得ることができる。
このように、画像処理装置10では、画素出力値を圧縮画素値に圧縮(階調変換)した場合にも、階調差が確保され、認識対象範囲における分解能の低下を抑制することができる。これにより、画像処理装置10では、基本圧縮比特性を用いた場合(図6(a)参照)と比べて、路面に対する白線のコントラストがより鮮明な画像を得ることができる(図6(b)参照)。従って、圧縮後の圧縮画素値により表される画像において、認識対象の検出精度の劣化を抑制することができる。
また、図7は、黒色車両、灰色車両及び白色車両についての輝度分布の一例と、HDR特性とを示した図である。ここで、仮に出力画素値を基本圧縮比で一律に圧縮すると、輝度分布の範囲内にHDR特性の変化点を含む対象物、つまり図7に示す灰色車両については、変化点輝度値L1近傍の輝度値Lでは階調差が現れず、分解能が低下し、路面に対するコントラストが低下する。結果として、黒色車両及び白色車両に比べて、灰色車両の検出精度が低下する。
一方、画像処理装置10によると、基本圧縮比で一律に圧縮する場合に比べて、変化点輝度値L1近傍の輝度値Lに対する圧縮画素値に階調差を有し、分解能の低下が抑制されるため、灰色車両について、路面に対するコントラストの低下が抑制される。結果として、画像処理装置10では、灰色車両の検出精度の低下を抑制することができる。
なお、本実施形態では、白線認識処理を実行するために、白線が存在すると推定される輝度範囲について分解能の低下を抑制するように変換テーブル(圧縮特性)が設定されていた。これに対し、例えば歩行者認識処理を行う場合であれば、認識対象を歩行者とした場合の認識対象範囲にて分解能の低下を抑制するように(つまり、路面に対する歩行者のコントラストが鮮明になるように)圧縮特性を設定すればよい。このようにアプリケーションに応じて圧縮特性を設定することにより、認識対象の検出精度の低下を抑制することができる。
[特許請求の範囲との対応]
S110が取得手段に相当し、S120が圧縮手段に相当し、S130が認識手段に相当する。
[変形例1]
上記実施形態では、圧縮特性にて、低圧縮比βが1に設定されていたが、低圧縮比βの設定はこれに限るものではない。低圧縮比βは、基本圧縮比より低い圧縮比に設定されていればよい。この場合(β≠1)、圧縮画素値Zが28となるときの輝度値LeはLe>L4となり、ダイナミックレンジを拡大することができる。
また、上記実施形態では、圧縮特性にて、指定範囲より大きい輝度範囲においても指定範囲と同様の低圧縮比βが設定されていたが、これに限るものではない。指定範囲より大きい輝度範囲については、低圧縮比βとは異なる、該低圧縮比βより高い圧縮比を設定してもよい。これにより、路面に対する白線のコントラストを鮮明にするとともに、ダイナミックレンジを拡大することができる。
さらにまた、上記実施形態では、圧縮比αが基本圧縮比に設定されていたが、圧縮比αの設定はこれに限るものではない。圧縮比αは、基本圧縮比より高い圧縮値に設定されていてもよい。
[変形例2]
圧縮特性は、認識対象範囲にHDR特性の変化点輝度値L1を含む場合(例えば図7に示すように、HDR特性に対して認識対象を灰色車両とするような場合)には、総合変換特性による変換によって、圧縮画素値の輝度値に対する関係が指定範囲内で線形となるように設定されていてもよい。
具体的には図8に示すように、灰色車両の輝度範囲(認識対象範囲)が輝度値L5〜L6である場合、該輝度範囲L5〜L6を指定範囲として、該指定範囲内で輝度値に対する圧縮画素値の関係が線形になるように、圧縮特性を設定してもよい。
これにより、少なくとも指定範囲L5〜L6については、総合変換特性による変換によって圧縮画素値が階調差を有するようになるため、認識対象の検出精度(図7であれば、灰色車両の検出精度)を向上させることができる。
[変形例3]
圧縮特性は、総合変換特性によって変換された圧縮画素値の輝度値に対する関係が対数で表されるように設定されていてもよい(図9参照)。
[変形例4]
上記実施形態では、指定範囲は、変化点輝度値に境界輝度値が一致するように設定されていたが、指定範囲は、変化点輝度値に境界輝度値が一致しないように設定されてもよい。また、指定範囲は、上記実施形態のように認識範囲に一致していなくてもよく、少なくとも認識範囲を含む範囲に設定されていればよい。
[第2実施形態]
次に第2実施形態について説明する。
[構成]
本発明は、撮像装置がカラー撮影を行うように構成されている場合にも適用できる。図10に示すように、本実施形態の運転支援システム2は、車両に搭載され、例えば、認識対象として車両(自車両)の前方に存在する先行車のテールライト(赤色)を検出することで、先行車が存在する場合には自車両のヘッドライトをロービームにし、先行車が存在しない場合にはハイビームにするといったオートハイビーム制御を実現する。
本実施形態の画像処理装置11は、上記実施形態と比べて、カメラ21から出力される撮像データが、カラー画像を表す複数の画像データ、すなわち、R(赤)、G(緑)、B(青)の3チャネル分の画像データからなる点が異なる。またこれに伴い、CPU12で実行する処理の一部が上記実施形態とは異なる。
カメラ21では、上記実施形態のカメラ20とは異なり、イメージャが、図11に示すように、R(赤)の光を選択的に検出する画素、G(緑)の光を選択的に検出する画素、及びB(青)の光を選択的に検出する画素がベイヤ(Bayer)配列に従って配列されるように構成されており、任意の画素の色は、その画素と隣接する複数の画素の検出結果(画素出力値)から決定される。
イメージャは、各画素について、R(赤)、G(緑)、B(青)の3チャネル分の画像データ(12ビットの画素出力値からなるデータ列)を出力する。なおイメージャは、上記実施形態と同様にHDR特性を有するものが用いられており、以下では説明を簡単にするため、図2に示すHDR特性と同様の特性を有するものとする。
CPU12は、図3に示すフローチャートと同様の処理を行う。但し本実施形態では、処理を行う対象となる撮像データが、R(赤)、G(緑)、B(青)の3チャネルの画像データである点が上記実施形態とは異なる。
つまり、本実施形態では、図3に示すS110では、R、G、Bの3チャネル分の画像データを読み出す。次に、S120では、ROM13に格納されている圧縮特性(変換テーブル)に従って、画素ごとにR、G、Bの3チャネル分の画素出力値を12ビットから8ビットの圧縮画素値に圧縮し、R、G、Bの3チャネル分の圧縮画素値を出力する。続くS130では、R、G、Bの3チャネル分の圧縮画素値からなるデータ列である圧縮データが表す画像から、認識対象として先行車の赤色のテールライトを検出する。
[効果]
図12に、B(青)を表す代表輝度値Lb、G(緑)を表す代表輝度値LgR(赤)を表す代表輝度値Lrに対応する画素出力値を、画像処理装置11により圧縮した場合のR、G、B圧縮データ(圧縮画素値)の構成比と、比較のために基本圧縮比特性(上記実施形態の記載を参照)により圧縮した場合のR、G、B画像データとの構成比を示す。
基本圧縮比特性による圧縮では、R画像データについて階調差が出ないため、R、G、B画像データの構成比にてR画像データの割合が低下し、赤色として認識するべきところをオレンジ色〜黄色であると誤認識するおそれがある。
これに対し、画像処理装置11による圧縮では、R圧縮データについて階調差を有するため、R、G、B圧縮データの構成比にてR圧縮データの低下の割合が抑制され、赤色として認識することができる。
従って、本実施形態の画像処理装置11では、第1の階調数(12ビット)で表されるR、G、Bの画像データを第1の階調数より小さい階調数である第2の階調数(8ビット)で表されるR、G、Bの画像データに圧縮する場合に、色の誤認識を抑制することができる。結果として、テールライトの検出精度が向上し、オートハイビーム制御を精度よく実現することができる。
なお、本実施形態では、総合変換特性によって変換された圧縮画素値の輝度値に対する関係が輝度範囲毎に線形となるように変換テーブルが設定されていたが、総合変換特性によって変換された圧縮画素値の輝度値に対する関係が対数で表されるように変換テーブルが設定されていてもよい(図9参照)。これによると、圧縮画素値が輝度に対して急に変化する点(変化点)が存在しないため、色の検出精度を向上させることができる。
[他の実施形態]
(1)上記実施形態では、画像処理装置10、11は、S120にて変換テーブルを用いて画素出力値を圧縮画素値に変換するように構成されていたが、これに限るものではなく、S120にて一次式又は二次式等の数式により画素出力値を圧縮画素値に変換するように構成されてもよい。
(2)上記実施形態では、HDR特性は、低い輝度範囲の分解能を細かくするように設定されていたが、高い輝度範囲での分解能を細かくするように設定されていてもよい。また、HDR特性は、上記実施形態では変化点を1つ有する特性に設定されていたが、複数の変化点を有する特性に設定されていてもよい。
(3)上記実施形態では、運転支援システムが実行するアプリケーションとして車線維持制御、オートハイビーム制御を実行するように構成されていたが、アプリケーションはこれらに限るものではない。運転支援装置は、車両制御装置によって、例えば、認識対象として前方車両を検出し、検出した前方車両との車間距離を確保する車間制御や、前方車両に追従して走行する追従制御、又は、認識対象として歩行者を検出し、検出した歩行者を回避するように車両を制御する回避制御等、各種運転支援制御をアプリケーションとして実行するように構成されていてもよい。
(4)上記実施形態は、車両に搭載される運転支援システムに適用された場合の画像処理装置について説明したが、本発明の適用範囲はこれに限定されるものではない。本発明は、認識対象を撮像する種々の撮像装置及び該撮像装置を備えるシステムに適用することができる。
(5)上記実施形態で例示した画像処理装置の構成要素は、ハードウェアで実現してもよく、ソフトウェアで実現してもよく、ハードウェアとソフトウェアとの組み合わせで実現してもよい。例えば、上述した処理(プログラム)を実行するコンピュータ装置(例えばマイコン)により画像処理装置の少なくとも一部を構成してもよい。また、これらの構成要素は機能概念的なものであり、その一部又は全部を、機能的又は物理的に分散又は統合してもよい。
(6)上記実施形態は、本発明が適用された実施形態の一例に過ぎない。本発明は、画像処理装置、画像処理方法、画像処理装置としてコンピュータを機能させるためのプログラム、そのプログラムを記録した記録媒体、などの種々の形態で実現することができる。
1、2・・・運転支援システム 10、11・・・画像処理装置 20、21・・・カメラ 30、31・・・撮像装置 40、42・・・車両制御装置

Claims (3)

  1. 撮像素子が出力する、輝度値を予め設定された非線形な変換特性で変換し第1の階調数で表した第1表示値からなるデータ列である撮像データ、を取得する取得手段(S110)と、
    前記第1表示値を予め設定された圧縮特性で圧縮し、前記第1の階調数より小さい第2の階調数で表した値を第2表示値として出力する圧縮手段(S120)と、
    前記第2表示値からなるデータ列である圧縮データによって表される画像から認識対象を検出する認識手段(S130)と、
    を備え、
    前記第2の階調数の前記第1の階調数に対する比を基本圧縮比とし、前記認識対象が存在すると推定される輝度範囲である認識対象範囲を少なくとも含む輝度範囲を指定範囲とし、該指定範囲にて最小の輝度値である境界輝度値に対応する前記第1表示値を境界第1表示値として、
    前記変換特性は、輝度範囲毎に予め定められた線形な特性の組み合わせとして設定され、
    前記指定範囲は、前記変換特性にて前記線形な特性が変化する変化点での輝度値を変化点輝度値として、前記認識対象範囲に前記変化点輝度値を含むように設定され、
    前記圧縮特性は、前記認識対象範囲では、前記第2表示値が、前記第1表示値のうち前記境界第1表示値以上の値を前記基本圧縮比より低い低圧縮比で圧縮した値と、前記境界第1表示値との和となるように設定され、前記圧縮特性と前記変換特性とを組み合わせた特性を総合変換特性として、少なくとも前記指定範囲では、前記総合変換特性によって変換された前記第2表示値の前記輝度値に対する関係が線形となるように設定されていること、
    を特徴とする画像処理装置。
  2. 前記圧縮特性は、前記指定範囲にて前記低圧縮比が1となるように設定されていること、を特徴とする請求項1に記載の画像処理装置。
  3. 撮像素子が出力する、輝度値を予め設定された非線形な変換特性で変換し第1の階調数で表した第1表示値からなるデータ列である撮像データ、を取得する取得ステップ(S110)と、
    前記第1表示値を予め設定された圧縮特性で圧縮し、前記第1の階調数より小さい第2の階調数で表した値を第2表示値として出力する圧縮ステップ(S120)と、
    前記第2表示値からなるデータ列である圧縮データによって表される画像から認識対象を検出する認識ステップ(S130)と、
    を備え、
    前記第2の階調数の前記第1の階調数に対する比を基本圧縮比とし、前記認識対象が存在すると推定される輝度範囲である認識対象範囲を少なくとも含む輝度範囲を指定範囲とし、該指定範囲にて最小の輝度値である境界輝度値に対応する前記第1表示値を境界第1表示値として、
    前記変換特性は、輝度範囲毎に予め定められた線形な特性の組み合わせとして設定され、
    前記指定範囲は、前記変換特性にて前記線形な特性が変化する変化点での輝度値を変化点輝度値として、前記認識対象範囲に前記変化点輝度値を含むように設定され、
    前記圧縮特性は、前記認識対象範囲では、前記第2表示値が、前記第1表示値のうち前記境界第1表示値以上の値を前記基本圧縮比より低い低圧縮比で圧縮した値と、前記境界第1表示値との和となるように設定され、前記圧縮特性と前記変換特性とを組み合わせた特性を総合変換特性として、少なくとも前記指定範囲では、前記総合変換特性によって変換された前記第2表示値の前記輝度値に対する関係が線形となるように設定されていること、
    を特徴とする画像処理方法。
JP2013097664A 2013-05-07 2013-05-07 画像処理装置及び画像処理方法 Active JP6064776B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013097664A JP6064776B2 (ja) 2013-05-07 2013-05-07 画像処理装置及び画像処理方法
CN201480025880.6A CN105190687B (zh) 2013-05-07 2014-04-30 图像处理装置以及图像处理方法
DE112014002331.0T DE112014002331T5 (de) 2013-05-07 2014-04-30 Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
PCT/JP2014/061987 WO2014181743A1 (ja) 2013-05-07 2014-04-30 画像処理装置及び画像処理方法
US14/889,789 US9800881B2 (en) 2013-05-07 2014-04-30 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013097664A JP6064776B2 (ja) 2013-05-07 2013-05-07 画像処理装置及び画像処理方法

Publications (3)

Publication Number Publication Date
JP2014219790A JP2014219790A (ja) 2014-11-20
JP2014219790A5 JP2014219790A5 (ja) 2015-09-24
JP6064776B2 true JP6064776B2 (ja) 2017-01-25

Family

ID=51867224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013097664A Active JP6064776B2 (ja) 2013-05-07 2013-05-07 画像処理装置及び画像処理方法

Country Status (5)

Country Link
US (1) US9800881B2 (ja)
JP (1) JP6064776B2 (ja)
CN (1) CN105190687B (ja)
DE (1) DE112014002331T5 (ja)
WO (1) WO2014181743A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6064776B2 (ja) 2013-05-07 2017-01-25 株式会社デンソー 画像処理装置及び画像処理方法
JP6390512B2 (ja) * 2015-05-21 2018-09-19 株式会社デンソー 車載カメラ装置
JP6912957B2 (ja) * 2016-10-04 2021-08-04 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
EP3636490B1 (en) * 2017-06-09 2023-05-24 Koito Manufacturing Co., Ltd. Vehicular lamp, and device and method for controlling same
JP7151234B2 (ja) * 2018-07-19 2022-10-12 株式会社デンソー カメラシステムおよびイベント記録システム
US11699207B2 (en) 2018-08-20 2023-07-11 Waymo Llc Camera assessment techniques for autonomous vehicles
US11227409B1 (en) * 2018-08-20 2022-01-18 Waymo Llc Camera assessment techniques for autonomous vehicles
JP7217211B2 (ja) * 2019-08-23 2023-02-02 日立Astemo株式会社 撮像装置及び撮像方法
JP2023110325A (ja) * 2022-01-28 2023-08-09 キヤノン株式会社 カメラシステム、移動体、カメラシステムの制御方法、及びコンピュータプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115534A (ja) * 1998-09-30 2000-04-21 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP2001086365A (ja) * 1999-09-14 2001-03-30 Matsushita Electric Ind Co Ltd ガンマ補正回路およびニー補正回路
WO2004064388A1 (ja) 2003-01-09 2004-07-29 Sony Corporation 画像処理装置および方法
JP4161719B2 (ja) * 2003-01-09 2008-10-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4089911B2 (ja) 2005-02-23 2008-05-28 三菱電機株式会社 画像入力装置
EP1871093A4 (en) * 2005-03-15 2009-09-02 Omron Tateisi Electronics Co IMAGE PROCESSOR, IMAGE PROCESSING METHOD AND SYSTEM, PROGRAM, AND RECORDING MEDIUM
KR101230200B1 (ko) 2005-03-29 2013-02-05 코니카 미놀타 포토 이미징 가부시끼가이샤 촬상 장치
JP4736939B2 (ja) * 2005-08-16 2011-07-27 コニカミノルタホールディングス株式会社 撮像装置及び画像処理方法
US7791656B2 (en) 2005-08-16 2010-09-07 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method
US8144214B2 (en) 2007-04-18 2012-03-27 Panasonic Corporation Imaging apparatus, imaging method, integrated circuit, and storage medium
JP5133085B2 (ja) * 2007-04-18 2013-01-30 パナソニック株式会社 撮像装置および撮像方法
JP2008305122A (ja) 2007-06-07 2008-12-18 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP5282306B2 (ja) * 2007-11-01 2013-09-04 コニカミノルタ株式会社 画像処理装置、画像処理方法、及び撮像装置
JP5275122B2 (ja) * 2008-05-30 2013-08-28 パナソニック株式会社 ダイナミックレンジ圧縮装置、ダイナミックレンジ圧縮方法、プログラム、集積回路および撮像装置
JP4632100B2 (ja) * 2008-06-09 2011-02-16 ソニー株式会社 画像処理装置、画像処理方法、記録媒体、およびプログラム
JP2010219624A (ja) * 2009-03-13 2010-09-30 Toshiba Corp 画像信号処理装置及び画像信号処理方法
EP2579574A4 (en) 2010-06-07 2013-12-25 Konica Minolta Advanced Layers IMAGING DEVICE
JP2012208776A (ja) * 2011-03-30 2012-10-25 Fujitsu Ltd 画像処理装置、画像処理方法およびプログラム
JP6064776B2 (ja) 2013-05-07 2017-01-25 株式会社デンソー 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
WO2014181743A1 (ja) 2014-11-13
JP2014219790A (ja) 2014-11-20
US9800881B2 (en) 2017-10-24
US20160105679A1 (en) 2016-04-14
CN105190687B (zh) 2017-10-10
CN105190687A (zh) 2015-12-23
DE112014002331T5 (de) 2016-01-21

Similar Documents

Publication Publication Date Title
JP6064776B2 (ja) 画像処理装置及び画像処理方法
KR101367637B1 (ko) 감시장치
JP4389999B2 (ja) 露出制御装置及び露出制御プログラム
JP2007336019A (ja) 画像処理装置、撮像装置、画像出力装置、これらの装置における方法およびプログラム
JP4089911B2 (ja) 画像入力装置
US9582868B2 (en) Image processing apparatus that appropriately performs tone correction in low-illuminance environment, image processing method therefor, and storage medium
US9131199B2 (en) Imaging apparatus capable of generating an appropriate color image
JP4400512B2 (ja) 車載カメラ制御装置
JP2013135343A (ja) 撮像装置
JP2014027337A (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
JP2009124638A (ja) 画像信号処理回路
US11496688B2 (en) Image capturing apparatus, control method of image capturing apparatus which determines charge accumulation time based on histogram of a pixel value for each area
JP2012138688A (ja) 車載カメラの露出制御値の決定方法
JP5427744B2 (ja) 画像処理装置
US8442350B2 (en) Edge parameter computing method for image and image noise omitting method utilizing the edge parameter computing method
US10783619B2 (en) Image generating apparatus for combining plural images based on different shutter times
US8675971B2 (en) Method and apparatus for classifying image pixels
WO2015141860A1 (en) Image processing apparatus, imaging apparatus, image processing program, and image processing method
JP5172283B2 (ja) ステレオ画像処理装置、ステレオ画像処理方法およびプログラム
KR102282464B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP4679175B2 (ja) 撮像システム及び制御装置
JP2006279812A (ja) 輝度信号処理装置
JP2006060504A (ja) 白線検出用カメラの露出制御装置
US20230247284A1 (en) Camera system, movable apparatus, camera system control method, and storage medium
KR100769561B1 (ko) 노이즈 제거에 사용되는 임계값 결정 장치 및 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150805

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161205

R151 Written notification of patent or utility model registration

Ref document number: 6064776

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250