JP5539561B2

JP5539561B2 - 画像処理装置およびその方法

Info

Publication number: JP5539561B2
Application number: JP2013052404A
Authority: JP
Inventors: 信彦田村
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-03-14
Filing date: 2013-03-14
Publication date: 2014-07-02
Anticipated expiration: 2028-07-17
Also published as: JP2013127819A

Description

本発明は、撮影画像の画像処理に関する。

近年、ディジタルカメラの進歩は目覚しく、高画素、高感度、手振れ補正など様々な機能面の高度化が進んでいる。また、ディジタル一眼レフカメラの低価格化が進み、ディジタルカメラの更なる普及を後押ししている。

フィルムカメラに対するディジタルカメラの利点の一つとして、画像をディジタルデータとして扱うため撮影後のレタッチが容易であることが挙げられる。ディジタルカメラは、CCD、CMOSなどの撮像素子に焦点を結んだ光を電気信号に変換し、カメラ内部で画像処理した撮影画像をディジタルデータとして記録媒体に保存する。データ形式としては、JPEGなどのデータ圧縮した形式が一般的である。近年は、よりレタッチの自由度が高い撮影データの形式のディジタルデータの保存も可能である。

撮影画像のデータは、撮像素子が出力する信号をディジタル化したデータ（以下、RAWデータ）であり、デモザイキング(demosicking/demosaicing)などが行われていない。従って、そのままでは通常の画像として表示することはできない。

ここでRAWデータについて簡単に説明する。ディジタルカメラやディジタルビデオカメラなどの撮像装置の多くは、CCDやCMOSなどの光電変換デバイスの前に特定の色のフィルタを配置し、被写体の色情報を取得する。この方式を単板式と呼ぶ。図8は単板式のディジタルカメラやディジタルビデオカメラに用いる典型的なカラーフィルタ配列として知られるベイヤ配列を示す図である。単板式の撮像装置の場合、特定の色のフィルタが存在する素子からは、他の色の信号を得ることはできない。そこで、他の色の信号は、近隣の素子の信号から補間によって求める。この補間処理をデモザイキングと呼ぶ。

カラーフィルタが図8に示すベイヤ配列の場合を例としてデモザイキングを説明する。まず、光電変換デバイスから得られるRGBが混在したセンサ信号を三つのプレーン、すなわちR、G、Bプレーンに分割する。図9はセンサ信号をプレーン分割した結果を示す図で、図9(a)はRプレーンを、図9(b)はGプレーンを、図9(c)はBプレーンをそれぞれ表す。なお、各プレーンにおいて、値が不明な画素（当該色以外の色のフィルタが配置された素子に対応する画素）には略ゼロを挿入する。

図10はコンボリューションフィルタを示し、当該フィルタにより各プレーンを補間することでデモザイキングを行う。図10(a)はR、Bプレーンの補間用フィルタ、図10(b)はGプレーンの補間用フィルタである。

図11はGプレーンのデモザイキングの様子を示す図である。図11(a)は、デモザイキング前のGプレーンの状態を示し、中央は値が不明な画素であり、ゼロが挿入されている。図11(b)はデモザイキング後のGプレーンの状態を示し、中央の値が不明な画素に対して、上下左右に隣接する画素の値の平均値が割り当てられてる。R、Bプレーンについても、Gプレーンと同様、値が不明な画素は、周囲の画素の値によって補間される。

なお、デモザイキングは、上記の方法以外にも様々な方法があり、例えば、上下左右に隣接する画素の値の平均値ではなく、適応的に上下に隣接する画素の値の平均値、または、左右に隣接する画素の値の平均値に補間する方法もある。

RAWデータは、撮影時に、一旦、記録媒体に保存し、その後、パーソナルコンピュータ(PC)上で動作するソフトウェアなどによってデモザイキング処理などの画像処理を行う。画像処理後の画像は、表示したり、JPEGなどの汎用データ形式に変換して記録媒体に保存することができる。つまり、ディジタルカメラにおけるRAWデータの利用するための処理は、フィルムカメラにおける撮影処理と現像処理に例えることができる。

RAWデータを利用すれば、現像に対応する画像処理（以下、現像処理）のユーザ調整が可能になり、レタッチの自由度が高くなる。また、RAWデータは一画素当りのビット数が大きく、ロスレス圧縮されているため、画質の劣化が少ない現像処理が可能である。

現像処理を行うソフトウェア（以下、現像ソフト）は、一般に、現像処理後の画像を表示する表示機能のインタフェイスと、現像処理のパラメータを調整する調整機能のインタフェイスを備える。ユーザ調整が可能な現像処理パラメータにはエッジ強調処理のパラメータ、ぼかし処理のパラメータ、色の調整パラメータ、デモザイキングに関わるパラメータなどが含まれる。ユーザは、表示された画像を観察しながら現像処理パラメータを調整し、調整した現像処理パラメータによって表示画像を更新する。ユーザは、この手順を繰り返して、所望する表示画像になるように現像処理パラメータを決定する。

RAWデータが利用可能なディジタルカメラは、ディジタル一眼レフカメラなどのハイエンド機が殆どである。ハイエンド機は、一般に撮像画素数が多いためRAMデータのデータ量が膨大になる。そのため、現像処理の演算負荷は大きく、ユーザが現像処理パラメータを調整し、再度画像処理を施された画像を表示するまでの時間は長くなる。特許文献1の技術は、撮影画像の一部領域の画像に画像処理を施して表示することで、処理効率を高めている。

しかし、特許文献1の技術は、撮影画像の一部領域（以下、参照領域）を参照して現像処理パラメータを決定するため、現像処理パラメータを調整した後の現像処理が参照領域以外の領域にどのように影響するかが不明である。言い換えれば、現像処理パラメータを調整した後の現像処理を画像全体に適用した場合、参照領域ではユーザが意図するとおりの画像が得られても、参照領域外ではユーザが意図する画像が得られない場合がある。

特開2004-040559号公報

本発明は、現像処理における処理効率を向上するとともに、ユーザが意図する処理結果が得られるようにすることを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる画像処理は、RAW画像から表示画像を生成し、前記表示画像の中の参照領域を示す指示、および、前記参照領域に対する現像処理パラメータの指示を入力し、予め指定された画像から、前記RAW画像の中の前記参照領域と相関が高い画像領域を類似領域として抽出し、前記参照領域に対応するRAW画像および前記類似領域に対応するRAW画像に前記現像処理パラメータを適用して生成した画像を前記表示画像の上に表示し、前記予め指定された画像は、画像の中央部で空間周波数が低く、画像周辺部ほど空間周波数が高いテストチャートであることを特徴とする。

本発明によれば、現像処理における処理効率を向上するとともに、ユーザが意図する処理結果が得られるようになる。

画像処理装置の構成例を示すブロック図。実施例1の現像処理アプリケーションによる処理の概要を示す図。実施例1の現像処理を説明するフローチャート。相関の算出を説明するフローチャート。実施例2の現像処理アプリケーションによる処理の概要を示す図。実施例2の現像処理を説明するフローチャート。テストチャートの一例を示す図。ペイヤ配列を示す図。プレーン分割とゼロ挿入を説明する図。デモザキングに用いるフィルタ例を示す図。デモザイキングを説明する図。「ラーメンノイズ」を説明する図。

以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。

［装置の構成］
図1は画像処理装置の構成例を示すブロック図である。

CPU101は、メインメモリ102のRAMをワークメモリとして、メインメモリ102のROMおよびハードディスクドライブ(HDD)105に格納されたオペレーティングシステム(OS)や各種プログラムを実行する。そして、PCI (peripheral component interconnect)バスなどのシステムバス1114を介して各構成を制御する。さらに、後述する現像処理アプリケーションを含む各種プログラムを実行する。

CPU101は、システムバス1114およびシリアルATAインタフェイス(SATA I/F)103を介してHDD105にアクセスする。また、ネットワークI/F104を介してローカルエリアネットワーク(LAN)などのネットワーク1113にアクセスする。

以下では、現像処理アプリケーション、画像データなどをHDD105から読み出すとして説明するが、ネットワーク1113上のサーバから読み出すこともできる。

また、CPU101は、後述する処理のユーザインタフェイスや処理結果をグラフィックアクセラレータ106を介してモニタ107に表示し、ユーザ指示をキーボード/マウスコントローラ110に接続されたキーボード1111、マウス1112を介して入力する。

また、CPU101は、画像データをUSB (Universal Serial Bus)コントローラ108を介してプリンタ109に出力して、例えばユーザが指示する画像を印刷する。

［画像処理］
図2は実施例1の現像処理アプリケーションによる処理の概要を示す図で、現像処理は、処理1、処理2、処理3に大別される。

詳細は後述するが、処理1において、表示画像113上で指定された、現像処理パラメータを調整する際の参照領域121のRAWデータ114を取得する。次に、処理2において、参照領域121と他の領域の間で相関を算出する。そして、処理3において、相関が高い画像領域を表示する。

図3は実施例1の現像処理を説明するフローチャートで、CPU101が実行する処理である。

CPU101は、現像処理すべきRAWデータ111を取得し(S101)、RAWデータ111をデモザイキングした画像112を生成する(S102)。なお、例えば3CCDや、RGB画像を順次撮影する、単板式のディジタルカメラなどはデモザイキングを行う必要はなく、ステップS102の処理は省略してよい。

次に、CPU101は、デモザイキングした画像112に画像処理130を施して表示画像113を生成し、モニタ107に表示する(S103)。そして、表示画像113上の参照領域121を示すユーザ指示を取得し(S104)、RAWデータ111から参照領域121に対応する参照RAWデータ114を取得する(S105)。

次に、CPU101は、現像処理パラメータに対するユーザの調整指示を入力し(S106)、調整後の現像処理パラメータを使用して参照RAWデータ114を現像処理する。そして、現像処理後の参照領域121の画像を表示画像113上に表示する(S107)。その際、参照領域121に枠を表示するなど、ユーザが参照領域121を認識し易いように表示することが好ましい。

つまり、ステップS101からS107が処理1に対応する。

次に、CPU101は、参照領域121以外の領域を相関の検出対象の領域122とし、相関の検出対象の領域122に対応するRAWデータ115をRAWデータ111から取得する(S108)。そして、参照領域121以外の各領域においてRAWデータ115と参照RAWデータ114との相関を算出する(S109)。

つまり、ステップS108、S109が処理2に対応する。

次に、CPU101は、参照領域121において調整された現像処理パラメータを用いて、参照領域121と相関が高い（類似する）領域116（以下、類似領域）のRAWデータを現像処理する。そして、現像処理後の類似領域116の画像を表示画像113上に表示する(S110)。その際、類似領域116に枠を表示するなど、ユーザが類似領域116を認識し易いように表示することが好ましい。

つまり、ステップS110が処理3に対応する。

次に、CPU101は、例えばユーザが終了を示すボタンを押して終了を指示したなど、現像処理パラメータの調整が終了したか否かを判定し(S111)、未了の場合は処理をステップS104に戻す。

［相関の算出］
図4は相関の算出(S109)を説明するフローチャートである。

CPU101は、相関を算出する領域（以下、比較領域）を決定する(S201)。なお、相関の検出対象のRAWデータ115の全域で相関を計算することが望ましいが、所定の画素間隔で相関を計算してもよい。あるいは、相関を算出する領域をユーザが指定するなど、必要に応じて相関を算出する領域を限定してもよい。なお、相関を算出する領域のサイズは、参照領域121と同じサイズにする。

次に、CPU101は、相関の検出対象の領域に対応するRAWデータ115から、比較領域のRAWデータを抽出して比較RAWデータとする(S202)。例えば参照領域121が5×5画素の場合、比較領域も5×5画素である。

次に、CPU101は、参照RAWデータ114と比較RAWデータの相関を算出する(S203)。相関の算出は式(1)により行う。
Corr = Σ_iΣ_jIref(i, j)Icomp(i, j) …(1)
ここで、Corrは相関値、
iは縦方向の画素位置を表すインデックス、
jは横方向の画素位置を表すインデックス、
Irefは参照RAWデータの画素(i, j)の値、
Icompは比較RAWデータの画素(i, j)の値。

相関の算出に式(2)やその他の算出方法を用いてもよい。さらに、撮像機器が単板式でなく、例えばベイヤ配列のRGBデータをRAWデータとして記録する方式の場合は、Gに対応する画素のみを対象として相関を算出してもよい。
Corr = Σ_iΣ_j{Iref(i, j) - Iref_ave}{Icomp(i, j) - Icomp_ave} …(2)
ここで、Corrは相関値、
Iref_aveは参照RAWデータの平均値、
Icomp_aveは比較RAWデータの平均値。

次に、CPU101は、相関を算出すべき領域の相関を算出したか否かを判定し(S204)、相関の算出が未了の領域がなくなるまでステップS201からS203の処理を繰り返す。

相関の算出が終了すると、CPU101は、相関値が所定値を超える領域を類似領域116に決定する(S205)。なお、類似領域116は、参照領域121と同じサイズになるとは限らない。つまり、隣接する比較領域がともに類似領域であれば、それらを結合した領域を類似領域116にする。

図2には示さないが、CPU101は、調整後の現像処理パラメータを使用して現像処理した参照領域121の画像と、類似領域116の画像を表示画像113上に表示する。従って、ユーザは、調整後の現像処理パラメータが参照領域121に対して適切か否かを知ることができる。その上、参照領域112との相関が高い類似領域116と、類似領域116の画像に当該現像処理パラメータがどう影響するか（または影響しないか）を目視で評価することができる。その際、CPU101は、参照領域112との相関が低い領域に対しては画像処理を行わないため、当該現像処理パラメータを用いてRAWデータ111（画像全体）を処理する場合に比べて処理効率を向上することができる。

例えば、人物の頭髪部（参照領域）など空間周波数が高い画像領域をエッジ強調する際、頭上の空（非類似領域）などの比較的空間周波数が低い画像領域の処理効果を確認する必要は少ない。参照領域121および類似する領域116を提示し、当該領域の現像処理結果を表示することで、CPU101の処理負荷を低減することができる。

類似領域116の検出を、現像後の画像同士の比較ではなく、RAWデータの比較に基づき行うメリットを説明する。そのため、まず、現像処理による画質劣化について説明する。

現像処理による画質劣化として、実際の被写体には存在しない模様が発生する場合がある。モアレも現像処理による画質劣化の一つである。また、モアレ以外にも現像処理の方法によっては「ラーメンノイズ」と呼ばれる画質劣化が発生する場合がある。「ラーメンノイズ」は、図12(a)に示すような細線が密集する被写体を撮影した場合、現像後の画像において、図12(b)に示すように、細線同士が画素レベルで渦巻き状につながる画質劣化である。

このような現像処理による画質劣化は、現像後の画像から検出することは困難である。何故ならば、現像後の画像を観察した場合、被写体がそもそも「ラーメンノイズ」に類似する模様を有するのか、現像処理によって「ラーメンノイズ」が発生したのか、の区別がつかないからである。現像後の画像から類似領域116を検出するのではなく、RAWデータで類似領域116を検出すれば上記の問題は解決する。つまり、RAWデータの時点で類似していれば、現像処理を施した結果も類似するためである。

以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例1では、一つの撮影画像に対して現像処理パラメータを調整する例を説明した。実施例2では、複数の撮影画像に共通する現像処理パラメータを調整する方法を説明する。複数の撮影画像に共通する現像処理パラメータを使用する場合、類似領域は一つの撮影画像に限らず、他の撮影画像にも含まれる。

図5は実施例2の現像処理アプリケーションによる処理の概要を示す図で、現像処理は、処理1、処理2、処理3に大別される。

処理1、3は実施例1と同様である。処理2において、現像処理する複数の撮影画像に含まれ、参照領域121を含む画像（以下、参照画像）とは異なる撮影画像132との間で相関を算出する。

図6は実施例2の現像処理を説明するフローチャートで、CPU101が実行する処理である。

ステップS101からS107の処理1は図3に示す実施例1の処理と同様である。

次に、CPU101は、現像処理する複数の撮影画像に含まれ、参照画像とは異なる撮影画像（以下、比較画像）を選択して、比較画像のRAWデータ131を取得する(S301)。そして、比較画像の各領域においてRAWデータ131と参照RAWデータ114の相関を算出する(S302)。なお、比較画像は、例えば、ユーザ入力などに基づき選択すればよい。

つまり、ステップS301、S302が処理2に対応する。

次に、CPU101は、参照領域121において調整された現像処理パラメータを用いて、類似領域116のRAWデータを現像処理する。そして、現像処理後の類似領域116の画像を別ウィンドウに表示した表示画像132上に表示する(S303)。その際、類似領域116に枠を表示するなど、ユーザが類似領域116を認識し易いように表示することが好ましい。また、比較画像が複数有る場合は、比較画像の数分のウィンドウに類似領域116を示す表示画像132を表示するか、ユーザがスクロールバーなどを操作して複数の比較画像を観察できるようにすればよい。

つまり、ステップS303が処理3に対応する。

なお、詳細な説明は省略するが、現像処理アプリケーションは、実施例1の同一画像内の類似領域の処理も実行することは言うまでもない。

［変形例］
実施例2においては、例えばユーザが指定する比較画像を取得し、比較画像の参照領域121と相関が高い類似領域116に、参照画像において調整した現像処理パラメータを適用する例を説明した。ここで、比較画像を、例えば図7に示すテストチャートなどの予め指定されたRAWデータにすることもできる。図7に示すテストチャートは、画像中央部で空間周波数が低く、画像周辺部で空間周波数が高い画像の一例である。なお、様々な空間周波数のパターンが記録されたテストチャートがあり、テスチャートの撮影、現像処理によって、画像処理の特性が一目で把握できる。

このようなテストチャートを用いれば、ユーザは、現像処理パラメータを調整する際に、参照領域121と類似する空間周波数領域をテストチャートから知ることができる。言い換えれば、テストチャートにおける類似領域116を参照しつつ、現像処理パラメータを調整すれば、汎用的な現像処理パラメータを得ることができる。つまり、風景写真、ポートレートなど、通常の撮影画像における領域が、テストチャートの領域とどのように対応するかが把握できるため、汎用的な現像処理パラメータを効率的に調整することができる。

［他の実施例］
なお、本発明は、複数の機器（例えばコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置、制御装置など）に適用してもよい。

また、本発明の目的は、上記実施例の機能を実現するコンピュータプログラムを記録した記録媒体または記憶媒体をシステムまたは装置に供給する。そして、そのシステムまたは装置のコンピュータ（CPUやMPU）が前記コンピュータプログラムを実行することでも達成される。この場合、記録媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのコンピュータプログラムと、そのコンピュータプログラムを記憶する、コンピュータが読み取り可能な記録媒体は本発明を構成する。

また、前記コンピュータプログラムの実行により上記機能が実現されるだけではない。つまり、そのコンピュータプログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)および/または第一の、第二の、第三の、…プログラムなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

また、前記コンピュータプログラムがコンピュータに接続された機能拡張カードやユニットなどのデバイスのメモリに書き込まれていてもよい。つまり、そのコンピュータプログラムの指示により、第一の、第二の、第三の、…デバイスのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

本発明を前記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応または関連するコンピュータプログラムが格納される。

Claims

RAW画像から表示画像を生成する画像処理手段と、
前記表示画像の中の参照領域を示す指示、および、前記参照領域に対する現像処理パラメータの指示を入力する入力手段と、
予め指定された画像から、前記RAW画像の中の前記参照領域と相関が高い画像領域を類似領域として抽出する抽出手段と、
前記参照領域に対応するRAW画像および前記類似領域に対応するRAW画像に前記現像処理パラメータを適用して生成した画像を前記表示画像の上に表示する前記表示手段とを有し、
前記予め指定された画像は、画像の中央部で空間周波数が低く、画像周辺部ほど空間周波数が高いテストチャートである画像処理装置。
前記表示手段は、前記参照領域に枠を表示する請求項1に記載された画像処理装置。
前記表示手段は、前記類似領域に枠を表示する請求項1または請求項2に記載された画像処理装置。
前記画像処理手段は、前記RAW画像をデモザイキングして前記表示画像を生成する請求項1から請求項3の何れか一項に記載された画像処理装置。
前記表示手段は、前記参照領域と前記類似領域を除くRAW画像に前記現像処理パラメータを適用しない請求項1から請求項4の何れか一項に記載された画像処理装置。
前記現像処理パラメータには、エッジ強調の処理パラメータ、ぼかし処理のパラメータ、色の調整のパラメータ、および、前記デモザイキングに関するパラメータの少なくとも一つが含まれる請求項1から請求項5の何れか一項に記載された画像処理装置。
前記抽出手段は、隣接する前記類似領域を結合する請求項1から請求項6の何れか一項に記載された画像処理装置。
RAW画像から表示画像を生成し、
前記表示画像の中の参照領域を示す指示、および、前記参照領域に対する現像処理パラメータの指示を入力し、
予め指定された画像から、前記RAW画像の中の前記参照領域と相関が高い画像領域を類似領域として抽出し、
前記参照領域に対応するRAW画像および前記類似領域に対応するRAW画像に前記現像処理パラメータを適用して生成した画像を前記表示画像の上に表示し、
前記予め指定された画像は、画像の中央部で空間周波数が低く、画像周辺部ほど空間周波数が高いテストチャートである画像処理方法。
コンピュータを請求項1から請求項7の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。
請求項9に記載されたプログラムが格納されたコンピュータが読み取り可能な記録媒体。