JP2020102797A

JP2020102797A - 画像処理装置

Info

Publication number: JP2020102797A
Application number: JP2018240485A
Authority: JP
Inventors: ▲高▼柳　渉; 渉 ▲高▼柳; Wataru Takayanagi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-12-25
Filing date: 2018-12-25
Publication date: 2020-07-02

Abstract

【課題】出力機器の入出力特性を考慮して効率のよい階調圧縮を行うこと。【解決手段】露出情報を取得する露出情報取得手段と、階調圧縮特性を設定する階調圧縮特性設定手段と、入力された画像信号を階調圧縮特性に基づいて階調圧縮する階調圧縮手段と、画像信号を画像処理によって補正する画像処理部を備え、階調圧縮特性は線形特性と非線形特性から成り、階調圧縮特性設定手段は、露出情報に基づいて前記階調圧縮特性の入力レンジにおける線形特性と非線形特性で画像処理による信号補正量を変更する。【選択図】図３

Description

本発明は、画像処理装置に関する。

従来、テレビやディスプレイといった出力機器の出力ダイナミックレンジが実際の被写体に比べてかなり狭いレンジまでしか表示出来なかった。そのため、撮像装置で被写体を撮影した際に、広いダイナミックレンジの映像信号を出力機器の表示のダイナミックレンジに押し込むように、ダイナミックレンジを圧縮する処理が必要となっていた。そのような処理を行った場合、見た目とは異なった状態で出力機器から映像が表示され、臨場感が失われてしまっていた。

近年の技術革新により出力機器の最大輝度出力が大きく改善して階調表現可能な画像のダイナミックレンジが拡大し、人間の視覚特性の大部分をカバーするほどのダイナミックレンジ出力が可能となった。出力機器のダイナミックレンジ性能向上に伴い、拡張されたダイナミックレンジ画像を表示するための出力機器の変換特性が規格化されている。

人間の視覚特性は輝度に応じて認識できるＪＮＤ（ＪｕｓｔＮｏｔｉｃｅａｂｌｅＤｉｆｆｅｒｅｎｃｅ）が異なることが科学的に検証されている。そのため、出力機器に入力される画像信号としては、ＪＤＮに基づく変換特性の逆関数にもとづいて光電変換されることが期待される。

一方、このようなダイナミックレンジの広い表示機器に出力する場合と従来のダイナミックレンジの表示機器に出力する場合とで、両方の用途が想定されることがある。このような場合、撮影時にそれぞれの規格に準じた階調変換を行うよりも、撮影時の記録画像としてはどちらにも対応可能な符号化を行い、記録後の後編集の際にそれぞれの規格に準じた階調変換を行う方が、汎用性が高くコンテンツとしての価値も向上する。その際、後編集時にダイナミックレンジの広い画像に変換することを想定し、実世界の被写体情報をより効率よく画像信号として残す画像の符号化方法が求められる。

特許文献１には、人間の網膜の応答特性に基づいて効率よく階調圧縮を行う画像の符号化方法が開示されている。

特願２００７−７２９８４号公報

人間の視覚特性は知覚される輝度によりＪＮＤが異なるが、特許文献１に示す階調圧縮では人間の視覚特性が知覚される輝度に応じて異なることが考慮されていない。そのため、出力機器での表示輝度まで考慮すると効率のよい符号化とはならない。更に出力機器での表示輝度まで考慮した効率の良い符号化を行ったとしても、撮像装置に備えられたビット深度によっては、ＪＮＤを満たした階調特性を実現できない。そうした場合、ＪＮＤを満たした階調特性を実現できない輝度レンジにおいて階調不足が発生する。その領域に対して画像処理を行うと階調不足を強調してしまうという問題があった。

上記の課題を解決するために、本発明に係る画像処理装置は、
露出情報を取得する露出情報取得手段と、階調圧縮特性を設定する階調圧縮特性設定手段と、入力された画像信号を前記階調圧縮特性に基づいて階調圧縮する階調圧縮手段と、前記画像信号を画像処理によって補正する画像処理部を備え、階調圧縮特性は線形特性と非線形特性から成り、階調圧縮特性設定手段は、露出情報に基づいて階調圧縮特性の入力レンジにおける前記線形特性と前記非線形特性の比率を変えることを特徴としている。

本発明に係る画像処理装置によれば、出力機器の入出力特性を考慮した画像信号画の符号化により最も効率のよい符号化を行うことができる。また効率の良い符号化を行った場合においても撮像装置の性能によって発生してしまう画像品位上の問題に対しても適した画像処理を行うことが可能で、撮影画像の価値を最大化することができる。

実施形態におけるデジタルビデオカメラの構成を示すブロック図である。実施形態における画像処理部２４の内部構成を示すブロック図である。実施形態における画像処理の流れ示すフローチャートである。視覚特性に基づくモデル関数と実施形態における階調変換特性の関係を示すグラフである。実施形態における階調変換特性を示すグラフである。視覚特性に基づくモデル関数と実施形態における階調変換特性の関係を示すグラフである。実施形態における階調変換特性を示すグラフである。信号処理ブロック例である。信号処理フローチャートである。階調が十分で信号も強い場合の輪郭強調・画像回復などの画像処理である。階調が十分でなく信号も弱い場合の輪郭強調・画像回復などの画像処理である。彩度・コントラスト強調処理である。

以下、図面を参照して本発明の好適な実施形態を説明する。

＜実施例１＞
本発明は画像処理方法である。一例としてデジタルビデオカメラ内の画像処理部として本発明が採用された場合を説明するが、本発明の内容は撮像装置内部の画像処理に制限するものではなく、本発明は汎用的な画像処理方法として適用されうる。

図１は、デジタルビデオカメラ１００の内部構成を示すブロック図である。

図１において、撮影レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り１０１は光量調整に使用する絞りである。ＮＤ１０４は減光用に使用するＮＤである。

撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。また、撮像部２２には電子シャッターによる蓄積の制御や、アナログゲイン、読み出し速度の変更などの機能も備える。Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア１０２は、デジタルビデオカメラ１００の、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、絞り１０１、撮像部２２を含む撮像系の汚れや破損を防止する。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対して色変換処理、ガンマ補正、デジタルゲインの付加等の処理を行う。また、撮像した画像データを用いて所定の演算処理が行われ、演算結果をシステム制御部５０に送信する。送信された演算結果に基づいてシステム制御部５０が露出制御、測距制御をホワイトバランス制御等行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。画像処理部２４についての詳細は後述する。

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって撮像されＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行うことができる。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本発明の実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、デジタルビデオカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本発明の第１の実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ６０、録画スイッチ６１、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。

モード切替スイッチ６０は、システム制御部５０の動作モードを、動画記録モード、静止画記録モード、再生モード等のいずれかに切り替える。動画記録モードや静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０で、動画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ６０で動画撮影モードに一旦切り換えた後に、動画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ６１は撮影待機状態と撮影状態を切り替える。システム制御部５０は、録画スイッチ６１により、撮像部２２からの信号読み出しから記録媒体９０への動画データの書き込みまでの一連の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右４方向の十字キーやＳＥＴボタンを用いて直感的に各種設定を行うことができる。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体９０を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる。Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体９０、または外部出力機器とのインターフェースである。図では記録媒体９０との接続時の状態を示している。記録媒体９０は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

次に、本発明の実施形態である画像処理部２４の内部構成について説明する。

図２は画像処理部２４の内部構成と関係部位を示すブロック図である。通常、ＷＢの制御やシャープネス制御などもこの部分で処理を行うが、本実施形態の説明には不要のため表記を省略している。なお画像処理部２４内の各ブロックは、システム制御部５０を通じて、撮像装置内部のあらゆるデータを取得可能である。

図２において、露出情報取得部２０１は露出情報（絞り、シャッター、感度、ＮＤフィルタ）情報を取得し、階調変換特性設定部２０２に伝達する。取得方法については様々な方法があり、画像データに付与されたメタデータとして取得する方法や、システム制御部からカメラの設定情報として取得する場合、ユーザが手動で入力する場合などが例としてあげられる。また、露出情報取得部２０１で取得する情報は、入力される画像の露出情報に限定するものではない。たとえば、撮影時にオンセットのディスプレイなどを通じて撮影後の処理における画像処理を想定しながら撮影する場合などは、想定される画像処理を含めたトータルの感度を算出し、露出情報として階調変換特性設定部２０２へ入力してもよい。階調変換特性設定部２０２では、露出情報取得部２０１より取得した露出情報をもとに階調変換特性を決定し、階調変換部２０３に設定する。この際の決定方法については後述の章で詳細に記述する。また、メタデータ生成部２０４では、階調変換特性設定部２０２により算出された階調変換特性に関する情報を取得し、画像に付与しうるデータ形式へと変換し、情報重畳部２０５へと伝達される。入力された画像信号は、階調変換部２０３で階調変換され、その後情報頂上部２０５でメタデータを付与され画像処理部から出力される。以上が本実施形態における画像処理部２４の説明である。

続いて、図３のフローチャートを用いて階調変換特性設定部２０２における階調変換特性の決定方法とメタデータ生成部２０４におけるメタデータの生成方法について詳細に説明する。

まずＳ４０１では、絞り、露光時間、感度、ＮＤフィルタなどの露出情報を取得する。続いてＳ４０２では光電変換特性を算出する。本実施例においてはビデオカメラの一部の画像処理部として本発明が適用された例として示すため、入力光量に対して線形関数により光電変換された画像信号を前提として記述する。ただし、光電変換特性を線形関数に限定する必要はなく、入力画像の画像信号と光量との変換特性が既知であれば本発明は適用可能である。ここで記述する光電変換特性とは、入力画像の被写界の絶対輝度と入力画像信号の符号値を対応づけた特性である。たとえば、Ｓ４０１で取得された露出情報から、最大Ｂｖ値を算出し、画像信号の最大符号値と対応づける。入力画像信号が線形変換特性により光電変換されていることを想定すると、入力画像信号のｂｉｔ数により、画像信号の全て符号値が関連付けられることになる。

画像信号の符号値と被写界の絶対輝度値を関連付ける方法について具体的な数値を持って説明する。ＡＰＥＸ（ＡｄｄｉｔｉｖｅＳｙｓｔｅｍｏｆＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｏｓｕｒｅ）表現における基準信号のＢＶ値、基準ＢＶ値の求め方は、
基準Ｂｖ値＝Ａｖ（絞り）＋Ｔｖ（シャッター）−Ｓｖ（感度）（式１）
となり、絞りがＦ４．０、シャッターが１／１２８、感度がＩＳＯ２００の場合は式１から、
基準ＢＶ値＝４（Ｆ４．０）＋７（１／１２８）−６（ＩＳＯ２００）
＝５
＝（２＾５）＊４ｃｄ／ｍ^２
＝１２８ｃｄ／ｍ^２
このとき、撮像装置のダイナミックレンジ１２００％、基準信号２０％、画像データのｂｉｔ数を１４とすると、
基準信号の符号値＝（２＾ｂｉｔ数）＊ダイナミックレンジ／基準信号（式２）
上記のように基準信号の符号値が求められる。式２に対し数値を入れると、
基準信号の符号値＝（２＾１４）＊１２００／２０
＝２７３
基準信号の符号値は２７３と求められる。

基準信号の符号値が２７３、基準Ｂｖ値が１２８ｃｄ／ｍ^２であるから、線形に光電変換されていることを想定すると最大符号値１６３８３のＢｖ値は７６８１ｃｄ／ｍ^２となる。これにより、入力画像の光電変換特性としては０〜７６８１ｃｄ／ｍ^２までの被写体輝度を線形に表現する特性であると算出される。また、露出情報をもとに光電変換特性を算出したが、露出情報が異なる画像に対しては光電変換特性を算出し直す必要がある。

続いてＳ４０３において、視覚特性に基づくモデル関数と光電変換特性との交点算出について説明する。

図４は横軸を被写体輝度、縦軸をＣｏｎｔｒａｓｔＳｔｅｐとして、人間の視覚特性に基づくモデル関数Ｓ０と、信号出力特性Ｓ１を図示したグラフである。人間の視覚特性は被写体輝度に応じて認識できるＣｏｎｔｒａｓｔＳｔｅｐが変化するため、モデル関数Ｓ０は横軸の被写体輝度に対して非線形に変化していることが分かる。

ここで、画像処理部の入力信号と出力信号のｂｉｔ数について考えると、理想的にはビデオカメラの記録としてはＲＡＷの画像信号をそのまま記録し、記録後の後編集工程までそのままの信号を届けるのが好ましい。

しかし、記録信号の肥大化や記録装置への情報転送速度の制限、または画像処理回路の回路構成簡易化の観点からすると、ＲＡＷの画像信号よりも少ないｂｉｔ数の画像信号として記録することが一般的である。その場合、入力画像のｂｉｔ数をそのまま線形に落とすと、図５の階調変換特性Ｓ２が適用される。ここでは入力画像のｂｉｔ深度は１４、記録画像のｂｉｔ深度は１２としている。また図５のＳ２は４図に示すＳ２と等価である。この時、図４のＳ２とモデル関数Ｓ０の位置関係をみると、低輝度側約８０ｃｄ／ｍ^２程度ではＳ２の方がＳ０の上に位置している。

これは、Ｓ２で変換された画像の低輝度側約８０ｃｄ／ｍ^２程度までは人間の視覚特性よりも大きなＣｏｎｔａｒｓｔＳｔｅｐで表現されうることを意味する。つまり、平坦な被写体で輝度がなだらかにグラデーションで変化するような領域でＣｏｎｔｒａｓｔが視覚的に知覚されてしまい、バンディングまたはトーンジャンプと呼ばれるような好ましくない品位の画質になってしまう。これを防ぐには、なるべくＳ０に近くＳ０を下回る部分が大きい階調変換特性により階調変換する必要がある。

そこで、図５における階調変換特性Ｓ１に注目すると、これは図４におけるＳ１と等しい。この場合、Ｓ２に比べてＳ０を上回る部分が大きく減少し、モデル関数Ｓ０を上回る領域は低輝度側約２０ｃｄ／ｍ２程度までになる。しかし、図５を見てわかるとおり、入力光量の一部にしか符号を割り当てることができず、階調表現できる被写体輝度範囲が大幅に減少してしまう。

そこで、階調変換特性Ｓ１とモデル関数との交点Ｃ０まではＳ１の階調変換特性に従い、交点から先の高輝度部分は入力画像信号の最大符号値まで階調変換可能な階用変換特性とすればよい。そのために、信号変換特性と視覚特性に基づくモデル関数との交点を求める。交点の算出方法に関して制限はないが、図４に示すような座標平面上の座標値でもよいし、入力画像信号の符号値として算出してもよいし、入力画像信号の絶対輝度値として算出することも可能である。

次に、比率決定ステップＳ４０４において、階調変換特性における線形特性の比率を決定する。これは、Ｓ４０３で算出された交点を入力画像信号の符号値に換算し、交点の符号値から下の符号値を光電変換特性そのもの（＝傾き１の直線）とし、交点の符号値から上は別の階調変換特性として入力符号値全体を階調表現可能な階調変換特性とする。ここで、交点の符号値よりも高輝度側の階調変換特性に関して制限はないが、視覚特性に基づくモデル関数よりも下回る関数特性であり、滑らかな階調表現が可能で網膜の応答特性とも相性の良い対数変換特性を採用してもよい。

図６には、交点までは線形変換特性で交点から上を対数関数で表現された例としてＳ３として示す。このようにして算出された階調変換特性は、入力画像の符号値と出力画像の符号値の関係としては、図７におけるＳ３として表現することができる。また、図６では交点の符号値をもとにそのまま比率を決定したが、記録後の後編集時において感度変更や階調調整を行う場合を想定して、交点の符号値をそのまま階調変換特性の接続点としない場合もある。交点付近の輝度領域に主被写体があり後編集時に階調調整が想定される場合は、階調調整による主被写体付近でのバンディングによる画質品位の劣化を防ぐため、接合点を交点よりも高輝度側に移動して主被写体付近の階調性を重視してもよい。

そして、メタデータ生成ステップＳ４０５では、Ｓ４０２で算出した交点の情報とＳ４０３で決定した比率をメタデータとして記録可能な形式に変換する。交点に関する付与メタデータの一例として、交点の絶対輝度そのもの、または絶対輝度に対応する階調変換後の画像信号の符号値、または絶対輝度に対応する入力画像信号の符号値などがあげられる。また、比率に関しては、さまざまな表現方法があり、入力ダイナミックレンジに占める線形関数の割合や、出力画像信号の符号値に占める線形関数の割合、または接合点の絶対輝度や入力画像信号における接合点の符号値、出力画像における接合点の符号値などがあげられる。さらには接合点の情報としては交点からの相対情報として、相対符号値や相対露出段数などで表現することも可能である。

また、交点情報や接合点情報はこれらいずれかのデータを生成可能な他の値であってもかまわない。たとえばこれらの値と関連付けられて用意されたテーブルのインデックス値などがこれにあてはまる。この２つのメタデータにより、後処理の段階において画像内のどの輝度領域が視覚特性を満たすか満たさないか、また感度変更や階調調整を行ったときに視覚特性を満たす範囲がどう変わるかを知りうることができる。

そしてＳ４０６ではＳ４０４で生成された階調変換特性に基づいて、入力画像信号に階調変換を施し、Ｓ４０７ではＳ４０５において作成されたメタデータを階調変換された画像データに付与する。

本実施例では画像データを階調変換したのちにメタデータを付与する順番で処理を紹介したが、処理の順番についての制限はなく、メタデータを付与したのちに画像データの階調変換をしても本発明は適用可能である。

本発明の特徴としては、上記階調変換特性における線形特性と視覚特性に基づいたモデル関数との交点を境に輪郭強調の信号補正量を切り替える。線形特性の輝度領域においては、その階調不足によるバンディングやトーンジャンプといった画質品位の劣化が発生している可能性がある。こうした輝度領域においては、バンディングが発生している可能性を考慮しない画像処理を適用するとよりバンディングを強調してしまう問題がある。

しかし、線形特性とモデル関数との交点から先の高輝度領域は視覚特性のモデル領域を満たしており、滑らかな階調表現が可能な輝度領域である。その輝度領域に対してバンディングが発生する輝度領域と同様な画像処理を適用すると補正をかけられないといった逆の問題が発生する。階調変換特性における線形特性とモデル関数の交点を境に画像処理による信号補正量を切り替えることでこの課題を解決する。

本発明の代表的な処理を図８のブロック図に示す。

ユーザが設定した最大輝度を設定する最大輝度設定部８０５によって露出を設定する８０４．設定される露出としては撮像センサ８０３のＩＳＯ感度とシャッター速度、絞り８０２が設定される。設定された露出によって撮像センサ８０３では撮像され、デジタル信号としてＳ０が読み出される。読み出された信号Ｓ０からは強調信号生成部８０７から強調信号を生成する。また輝度判定部８０８とコントラストステップ判定部８０９からは強調信号補正部８１０で補正に必要な情報を生成する。そして、最大輝度設定部８０５から得た情報で階調特性の線形特性と非線形特***点計算部８０５は線形と非線形の交点を計算し、強調信号補正部８１０で補正を強調信号に対してかける。補正された強調信号Ｓ１と元信号Ｓ０を合成し、強調された画像を生成する。

次に本発明の代表的なフローチャートを図９のフローチャートに示す。

始めにユーザが設定した最大輝度を取得するＳ９０１。取得した最大輝度から露出を計算し、ＩＳＯ感度やシャッター速度、絞りなどの露出を設定するＳ９０２。次に階調特性（ガンマ）の線形と非線形の交点を計算するＳ９０３。Ｓ９０２によって設定された露出量によって撮像された画像信号から輝度とコントラストステップを計算するＳ９０４。また同様に撮像された画像信号から強調信号を生成するＳ９０５。Ｓ９０４とＳ９０５で生成された情報から強調信号を補正するＳ９０６。

本発明の特徴である信号処理によって画像信号がどのように処理されるかを図１０と図１１に示す。図１０では、視覚特性のモデル関数に沿った階調特性の非線形特性部での処理であり、階調が十分に確保されていると考えられる輝度域での処理である。撮像された画像信号図１０?（ａ）?Ｓ０から強調信号図１０?（ｂ）?Ｓ１を生成する。

次に図１０?（ｂ）?Ｓ１の生成された強調信号を強調信号補正部図１０?（ｃ）?Ｓ２に入力し、補正された強調信号を出力する。この補正では視覚特性のモデル関数に沿った階調特性を満たしているとかんがえられるため、信号の補正は最小に留めることが可能である。最後に図１０?（ａ）?Ｓ０と補正された強調信号を合成し、図１０?（ｄ）?Ｓ３の画像信号を得る。

これに対して、図１１では撮像センサの性能によって階調特性の線形特性をもつことしかできず、視覚特性のモデル関数を満たすことができない。そのため、階調不足によってバンディングやトーンジャンプといった問題を起こしやすい輝度域での処理である。撮像された画像信号図１１?（ａ）?Ｓ０から強調信号図１１?（ｂ）?Ｓ１を生成する。

次に図１１?（ｂ）?Ｓ１の生成された強調信号を強調信号補正部図１１?（ｃ）?Ｓ２に入力し、補正された強調信号を出力する。この補正では視覚特性のモデル関数に沿った階調特性を満たしておらず、弱い信号は補正を行い、強い信号は補正を行わないなどの処理が行われる。これによってバンディングやトーンジャンプといった弱い信号に対してのみ補正を行わないようにすることが可能になる。最後に図１１?（ａ）?Ｓ０と補正された強調信号を合成し、図１１?（ｄ）?Ｓ３の画像信号を得る。

このようにして階調変換処理された画像に対して本実施例の画像処理を行うことで、絶対輝度と関連付けられて出力されることを想定した画像の撮影において、入力画像の光電変換特性を考慮し人間の視覚特性に基づいて最も効率のよい画像処理を実施することができる。

＜実施例２＞彩度強調・コントラスト強調
以下、本発明の第２の実施例について説明する。本実施例は実施例１に対し、図８のブロック図のうち８０７と８１０、図９のフローチャートのうちＳ９０５とＳ９０６の画像処理の種類が異なるものである。

本実施例では、上記階調変換特性における線形特性と視覚特性に基づいたモデル関数との交点を境に彩度や輝度差を強調する信号補正量を切り替える。線形特性の輝度領域においては、その階調不足によるバンディングやトーンジャンプといった画質品位の劣化が発生している可能性がある。こうした輝度領域においては、バンディングが発生している可能性を考慮しない画像処理を適用するとよりバンディングを強調してしまう問題がある。

本実施例における特徴である信号処理のうち視覚特性のモデル関数を満たしていない階調特性の線形特性部における信号処理の例を図１２に示す。視覚特性のモデル関数を満たしている階調特性の非線形特性部においては彩度強調やコントラスト強調についてはそのまま処理を実施するため言及しない。撮像された画像信号の彩度差や輝度差が大きい場合図１２?（ａ）?Ｓ０は彩度差や輝度差はそのまま強調される図１２?（ｂ）?Ｓ１。

それに対して、バンディングやトーンジャンプが発生している可能性がある彩度差や輝度差が小さい場合図１２?（ｃ）?Ｓ２は彩度強調やコントラスト強調は行わないように補正を行う図１２-（ｄ）?Ｓ３。

＜実施例３＞メタデータに記録して後編集においても同様の編集を可能とする。

以下、本発明の第４の実施例について説明する。本実施例は実施例１、２に対し、撮影時には階調特性の線形と非線形領域の交点の情報を保存するのみにとどめ、その情報を取得して後編集で本実施例１、２を適用する処理順序が異なるものである。

本発明の第１、２において、線形特性とモデル関数との交点をメタデータとして、画像データに付与することを実施例として記載している。それに対して本発明の第４の実施例では、その画像データに付与されたメタデータの交点情報と画像データを用いて後編集においても本発明の実施例１、２を実行出来ることを特徴とする。この実施形態においては静止画や動画といったデータを圧縮によるフォーマット変換を行う前のＲＡＷデータとメタデータを使って後から画像編集を行うことを想定している。

このようにして階調変換処理された画像に対して本実施例の画像処理を行うことで、絶対輝度と関連付けられて出力されることを想定した画像の撮影において、入力画像の光電変換特性を考慮し人間の視覚特性に基づいて最も効率のよい画像処理を後から実施することができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１００デジタルビデオカメラ、１０１絞り、１０２バリア、
１０３撮影レンズ、１０４ＮＤ、２２撮像部、２３Ａ／Ｄ変換器

Claims

露出情報を取得する露出情報取得手段と、
階調圧縮特性を設定する階調圧縮特性設定手段と、
入力された画像信号を前記階調圧縮特性に基づいて階調圧縮する階調圧縮手段と、
前記画像信号を画像処理によって補正する画像処理部を備え、
前記階調圧縮特性は線形特性と非線形特性から成り、
前記階調圧縮特性設定手段は、前記露出情報に基づいて前記階調圧縮特性の入力レンジにおける前記線形特性と前記非線形特性で前記画像処理部の画像処理による信号補正量を変更することを特徴とする画像処理装置。
前記画像処理は輪郭協調、画像回復、彩度強調、コントラスト強調の画像処理のうち少なくとも１つを含むことを特徴とする請求項１に記載の画像処理装置。
視覚特性に基づくモデル関数によって階調が満たされていると判断できる非線形領域とセンサの実力から視覚特性に基づくモデル関数によって階調が不足すると判断できる線形領域で信号補正量を変更することを特徴とする請求項１に記載の画像処理装置。
前記階調圧縮特性における線形特性及び非線形特性の比率は、視覚特性に基づくモデル関数と前記露出情報に基づく光電変換特性との交点によって決定されることを特徴とする請求項１に記載の画像処理装置。
前記比率は、出力画像のビット数によって変化することを特徴とする請求項４に記載の画像処理装置。
前記階調圧縮特性における線形特性とは、入力信号に対する出力信号の比率が１以上であることを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
少なくとも、画像信号の符号値と画像表示装置により表示される絶対輝度値とを関連付けて表示されることを想定した画像を処理する第１の画像処理モードと、関連付けずに出力されることを想定した画像を処理する第２の画像処理モードを持ち、第１の画像処理モードにおいて、前記階調圧縮特性設定手段による階調圧縮を行うことを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。
前記露出情報とは、絞り、感度、露光時間、装着減光フィルタ濃度のうち少なくとも１つを含むことを特徴とする請求項１乃至７の何れか一項に記載の画像処理装置。
前記感度とは、撮影時の感度または撮影後の増感・減感処理を含むトータルの感度であることを特徴とする請求項１乃至８の何れか一項に記載の画像処理装置。
前記線形特性と非線形特性の比率に関する情報をメタデータとして処理画像に付与することを特徴とする請求項１乃至９の何れか一項に記載の画像処理装置。
視覚特性に基づくモデル関数と前記露出情報に基づくセンサーの出力特性との交点に関する情報をメタデータとして処理画像に付与することを特徴とする請求項２乃至１０の何れか一項に記載の画像処理装置。