JP2011166728A - 画像処理装置、画像処理方法 - Google Patents

画像処理装置、画像処理方法 Download PDF

Info

Publication number
JP2011166728A
JP2011166728A JP2010145053A JP2010145053A JP2011166728A JP 2011166728 A JP2011166728 A JP 2011166728A JP 2010145053 A JP2010145053 A JP 2010145053A JP 2010145053 A JP2010145053 A JP 2010145053A JP 2011166728 A JP2011166728 A JP 2011166728A
Authority
JP
Japan
Prior art keywords
image
luminance
weight
information
gradation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010145053A
Other languages
English (en)
Other versions
JP5672796B2 (ja
Inventor
Shigeru Tsuchiida
茂 土井田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2010145053A priority Critical patent/JP5672796B2/ja
Priority to US12/980,970 priority patent/US8526057B2/en
Priority to CN2011100369351A priority patent/CN102186020A/zh
Publication of JP2011166728A publication Critical patent/JP2011166728A/ja
Application granted granted Critical
Publication of JP5672796B2 publication Critical patent/JP5672796B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/21Indexing scheme for image data processing or generation, in general involving computational photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

【課題】コントラストの良好な画像を得ることができる画像処理装置及び画像処理方法を提供する。
【解決手段】本発明は、高コントラスト画像(HCP)に基づきそれよりも階調幅の狭い出力画像(OP)を生成する画像処理装置(10)であり、複数枚の入力画像(MIP)から基準画像(BP)を選定する選定手段(11)と、BPを除いた残りの入力画像(NBP)についてBPとの輝度比率をゲインとして算出する算出手段1(11)と、NBPに適用する重み1を算出し、重み1を用いてMIPを重み付け合成演算した結果の画像データの輝度成分情報に基づき重み2を算出する算出手段2(11)と、重み1と重み2を用いてMIPの重み付け合成を行い、HCPを生成する生成手段1(11)と、HCPの輝度分布の形状の情報と変換目標の輝度分布の形状の情報とに基づき階調変換曲線を作成する作成手段(11)と、階調変換曲線に基づきHCPの階調変換を行い、階調幅の狭いOPを生成する生成手段2(11)を備える。
【選択図】 図1

Description

本発明は、画像処理装置および画像処理方法に関する。
従来、コントラストの良好な画像を得るための手法として、同一シーンを撮影した露光量の異なる複数枚の入力画像を合成してダイナミックレンジを拡大させた合成画像を作成する。そして、その階調幅の広い合成画像(高コントラスト画像)を基に階調変換を行い、それよりも階調幅の狭い最終結果の出力画像を生成するという手法が提案されている(例えば、特許文献1)。
この手法によれば、階調幅の広い高コントラスト画像の情報(特に階調情報)が保持された出力画像が生成されるので、コントラストの良好な画像を得ることができる。
特許第3956311号
上記の従来手法では、最終結果の出力画像を生成するための階調変換を、高コントラスト画像(合成画像)の輝度分布の特徴、具体的には、最低輝度、中間輝度、最高輝度の3点の特徴点を基に算出した変換特性に従って行うようにしている。しかしながら、その階調変換においては、依然として、階調飛びが生じたり、特に画像の低輝度部や高輝度部の階調表現が不自然になってしまうという問題があった。そのため、最終結果の出力画像として、コントラストの良好な画像を得ることができなかった。
本発明は、上記従来技術の課題を解決するためのものである。本発明の目的は、最終結果の出力画像として、コントラストの良好な画像を得ることができる画像処理装置および画像処理方法を提供することである。
第1の発明の画像処理装置は、同一シーンを撮影した露光量の異なる複数枚の入力画像を合成して得られるダイナミックレンジを拡大させた階調幅の広い合成画像である高コントラスト画像に基づき、高コントラスト画像よりも階調幅の狭い出力画像を生成する画像処理装置であって、前記複数枚の入力画像の輝度成分の情報に基づき前記複数枚の入力画像の中から基準画像を選定する選定手段と、前記複数枚の入力画像の輝度成分の情報に基づき、前記複数枚のうちの基準画像を除いた残りの入力画像について、基準画像を基準にした前記残りの入力画像との輝度比率をゲインとして算出するゲイン算出手段と、算出されたゲインと、基準画像の輝度成分の情報とに基づき、前記残りの入力画像に対して適用する第1の重みを算出すると共に、第1の重みを用いて前記複数枚の入力画像を重み付け合成演算した結果の画像データの輝度成分の情報に基づき第2の重みを算出する重み算出手段と、算出された第1の重みと第2の重みとを用いて前記複数枚の入力画像の重み付け合成を行うことにより高コントラスト画像を生成する中間画像生成手段と、生成された高コントラスト画像の輝度分布の形状の情報と、予め定められた変換目標の輝度分布の形状の情報とに基づき、階調変換の特性を示す階調変換曲線を作成する作成手段と、作成された階調変換曲線に基づき高コントラスト画像の階調変換を行い、高コントラスト画像よりも階調幅の狭い出力画像を生成する出力画像生成手段とを備える。
第2の発明は、第1の発明において、選定手段は、前記複数枚の入力画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、輝度分布の有効幅が最も広い1枚の入力画像を、前記複数枚の中から前記基準画像として選定する。
第3の発明は、第1または第2の発明において、ゲイン算出手段は、前記複数枚の入力画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、前記残りの入力画像について、基準画像を基準にした前記残りの入力画像との輝度比率をゲインとして算出する。
第4の発明は、第1ないし第3の発明の何れか一の発明において、重み算出手段は、算出されたゲインの値が所定の値よりも小さい前記残りの入力画像に対しては、該入力画像の高輝度部分の重みが大きくなるように第1の重みを算出し、算出されたゲインの値が所定の値よりも大きい前記残りの入力画像に対しては、該入力画像の低輝度部分の重みが大きくなるように第1の重みを算出する。
第5の発明は、第1ないし第4の発明の何れか一の発明において、重み算出手段は、第1の重みを用いて前記複数枚の入力画像を重み付け合成演算した結果の画像データの最大輝度が、ダイナミックレンジを拡大させた所定の「N」ビット階調での最大値に対応づくように求めた比率を第2の重みとして算出する。
第6の発明は、第1ないし第5の発明の何れか一の発明において、作成手段は、生成された高コントラスト画像の輝度分布の形状の情報と、予め定められた変換目標の輝度分布の形状の情報とから、変換元の高コントラスト画像と変換先の出力画像との輝度値の対応関係を示す情報を抽出し、その抽出した情報を基に階調変換の特性を示す階調変換曲線を作成する。
第7の発明は、第1ないし第6の発明の何れか一の発明において、作成手段は、高コントラスト画像の階調範囲のうちの予め決定された又はユーザーにより指定された階調範囲に属する画素のみを対象として作成した輝度分布の形状の情報と、変換目標の輝度分布の形状の情報とに基づいて、階調変換の特性を示す階調変換曲線を作成する。
第8の発明は、第1ないし第7の発明の何れか一の発明において、輝度分布の形状の情報は、累積ヒストグラムの形状の情報である。
第9の発明は、第1ないし第8の発明の何れか一の発明において、階調幅の広い合成画像である高コントラスト画像は、前記複数枚の入力画像と比べて階調数の多い画像である。
第10の発明の画像処理方法は、同一シーンを撮影した露光量の異なる複数枚の入力画像を合成して得られるダイナミックレンジを拡大させた階調幅の広い合成画像である高コントラスト画像に基づき、高コントラスト画像よりも階調幅の狭い出力画像を生成する画像処理方法であって、前記複数枚の入力画像の輝度成分の情報に基づき前記複数枚の入力画像の中から基準画像を選定する選定手順と、前記複数枚の入力画像の輝度成分の情報に基づき、前記複数枚のうちの基準画像を除いた残りの入力画像について、基準画像を基準にした前記残りの入力画像との輝度比率をゲインとして算出するゲイン算出手順と、算出されたゲインと、基準画像の輝度成分の情報とに基づき、前記残りの入力画像に対して適用する第1の重みを算出すると共に、第1の重みを用いて前記複数枚の入力画像を重み付け合成演算した結果の画像データの輝度成分の情報に基づき第2の重みを算出する重み算出手順と、算出された第1の重みと第2の重みとを用いて前記複数枚の入力画像の重み付け合成を行うことにより高コントラスト画像を生成する中間画像生成手順と、生成された高コントラスト画像の輝度分布の形状の情報と、予め定められた変換目標の輝度分布の形状の情報とに基づき、階調変換の特性を示す階調変換曲線を作成する作成手順と、作成された階調変換曲線に基づき高コントラスト画像の階調変換を行い、高コントラスト画像よりも階調幅の狭い出力画像を生成する出力画像生成手順とを備える。
第11の発明は、第10の発明において、選定手順は、前記複数枚の入力画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、輝度分布の有効幅が最も広い1枚の入力画像を、前記複数枚の中から基準画像として選定する。
第12の発明は、第10または第11の発明において、ゲイン算出手順は、前記複数枚の入力画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、前記残りの入力画像について、基準画像を基準にした前記残りの入力画像との輝度比率をゲインとして算出する。
第13の発明は、第10ないし第12の発明の何れか一の発明において、重み算出手順は、算出されたゲインの値が所定の値よりも小さい前記残りの入力画像に対しては、該入力画像の高輝度部分の重みが大きくなるように第1の重みを算出し、算出されたゲインの値が所定の値よりも大きい前記残りの入力画像に対しては、該入力画像の低輝度部分の重みが大きくなるように第1の重みを算出する。
第14の発明は、第10ないし第13の発明の何れか一の発明において、重み算出手順は、第1の重みを用いて前記複数枚の入力画像を重み付け合成演算した結果の画像データの最大輝度が、ダイナミックレンジを拡大させた所定の「N」ビット階調での最大値に対応づくように求めた比率を第2の重みとして算出する。
第15の発明は、第10ないし第14の発明の何れか一の発明において、作成手順は、生成された高コントラスト画像の輝度分布の形状の情報と、予め定められた変換目標の輝度分布の形状の情報とから、変換元の高コントラスト画像と変換先の出力画像との輝度値の対応関係を示す情報を抽出し、その抽出した情報を基に階調変換の特性を示す階調変換曲線を作成する。
第16の発明は、第10ないし第15の発明の何れか一の発明において、作成手順は、高コントラスト画像の階調範囲のうちの予め決定された又はユーザーにより指定された階調範囲に属する画素のみを対象として作成した輝度分布の形状の情報と、変換目標の輝度分布の形状の情報とに基づいて、階調変換の特性を示す階調変換曲線を作成する。
第17の発明は、第10ないし第16の発明の何れか一の発明において、輝度分布の形状の情報は、累積ヒストグラムの形状の情報である。
第18の発明は、第10ないし第17の発明の何れか一の発明において、階調幅の広い合成画像である高コントラスト画像は、前記複数枚の入力画像と比べて階調数の多い画像である。
本発明を利用すれば、最終結果の出力画像として、コントラストの良好な画像を得ることができる。
実施形態の画像処理装置の構成を示すブロック図。 実施形態の画像処理装置の動作を示すフローチャート(1/2)。 実施形態の画像処理装置の動作を示すフローチャート(2/2)。 変換目標の輝度ヒストグラムと、そのリニア特性状態の輝度ヒストグラムの例を示す図。 合成画像の累積ヒストグラムと変換目標の累積ヒストグラムの例を示す図。 諧調変換曲線の例を示す図。
以下、本発明の実施形態を説明する。図1は、本実施形態の画像処理装置の構成を示すブロック図である。図1のとおり、本実施形態の画像処理装置は、画像処理装置10と、それに接続される撮像ユニット20とから構成される。
画像処理装置10は、制御部11と、撮像ユニット収容部12と、バッファメモリ13と、データ処理部14と、圧縮/復号部15と、記録媒体16と、モニタ17と、操作部18と、システムバス19とを有している。ここで、制御部11、撮像ユニット収容部12、バッファメモリ13、データ処理部14、圧縮/復号部15、記録媒体16、モニタ17は、システムバス19を介して接続されている。また、操作部18は、制御部11に接続されている。
撮像ユニット20は、撮像ユニット収容部12の収容ポート(不図示)を介して画像処理装置10に接続される。なお、この接続は、IEEE1394やUSBなどの規格に基づく通信ケーブルを用いて行われる。
撮像ユニット20は、2次元マトリクス状に配置された多数の受光素子(画素)を半導体基板上に形成した撮像面を有する撮像素子と、撮像素子から出力された画像信号に、クランプ処理、感度調整(ゲイン調整)、A/D変換などの信号処理を施し、その信号処理後の画像データを画像処理装置10へ出力する信号処理回路などから構成される。なお、撮像ユニット20の撮像素子は、例えば、CCD型、或いは、CMOS型の撮像素子によって構成される。
また、撮像ユニット20は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成される撮影レンズおよび、その撮影レンズを光軸方向に移動させてフォーカス調整やズーム調整を行うレンズ駆動部を有している。なお、撮影レンズのフォーカス調整やズーム調整は、画像処理装置10の制御部11からの指示に応じて行われる。
撮像ユニット20は、画像処理装置10の制御部11からの指示に基づき、撮像面に結像された被写体像の画像を撮影する。撮影時のAE(自動露出)やAF(自動焦点調節)の制御は、撮像ユニット20が、画像処理装置10の制御部11からの指示に基づいて行う。或いは、撮像ユニット20と画像処理装置10の制御部11とが協働して行う。撮影により撮像ユニット20から出力される画像データは、撮像ユニット収容部12を介して、画像処理装置10のバッファメモリ13へ出力される。
バッファメモリ13には、撮像ユニット20から出力された画像データが一時的に記録される。また、制御部11による処理の過程で作成された画像データなどもこのバッファメモリ13に一時的に記録される。
データ処理部14は、制御部11の指示に応じて、バッファメモリ13に記録された画像データに対し、欠陥画素補正、シェーディング補正、ホワイトバランス調整、補間、輪郭強調、ガンマ変換などの画像処理を施す。なお、データ処理部14は、ASICなどとして構成される。
圧縮/復号部15は、制御部11の指示に応じて、バッファメモリ13の画像データに圧縮処理を施す。なお、圧縮処理は、JPEG(Joint Photographic Experts Group)形式などによって行われる。
記録媒体16は、メモリカード、ハードディスク、光ディスク(DVD等)などで構成される。なお、記録媒体16は、画像処理装置10に内蔵されるものであっても、着脱可能に装着されるものであってもよいし、外部に設けられるものであってもよい。外部に設けられる場合、記録媒体16と画像処理装置10とは有線または無線で電気的に接続される。
モニタ17は、LCDディスプレイやCRTディスプレイなどから構成される表示装置である。なお、モニタ17は、画像処理装置10に内蔵されるものであっても、外部に設けられるものであってもよい。外部に設けられる場合、モニタ17と画像処理装置10とは有線で電気的に接続される。
モニタ17は、制御部11の指示に応じて、画像処理前の画像の内容を表示したり、画像処理後の画像の内容を画像処理結果として表示したり、さらに、画像に施す画像処理の内容をユーザーに指示させる画像処理メニュー画面(GUI)などを表示する。
操作部18は、キーボード、また、マウスやトラックパッド等のポインティングデバイスなど、制御部11に対してユーザーが指示を行うための各種の入力デバイスを含んでいる。ユーザーは、これらの入力デバイスを操作することで、制御部11に対して、画像に施す画像処理の内容の指示や、その画像処理の実行の指示等を行うことができる。
ところで、本実施形態の画像処理装置では、同一シーンを撮影した露光量の異なる複数枚の入力画像を合成してダイナミックレンジを拡大させた合成画像を作成し、その合成画像(高コントラスト画像)を基に階調変換を行い、最終的に、それよりも階調幅の狭い出力画像を生成する。これにより、階調幅の広い高コントラスト画像の情報(特に階調情報)が保持されたコントラストの良好な出力画像を生成する。
なお、本画像処理装置の扱う各画像の階調について一例を挙げると、例えば、入力画像が256(8ビット)や1024(10ビット)階調、高コントラスト画像が1024(10ビット)や65536(16ビット)階調、そして出力画像が、1024(10ビット)や一般に扱い易い256(8ビット)階調などである。
以下、この処理について、本実施形態の画像処理装置が行う動作を、図2及び図3のフローチャートを参照して説明する。
図2及び図3のフローチャートの処理は、同一シーンを撮影した露光量の異なる複数枚の画像が、撮像ユニット20から出力されてバッファメモリ13に取得(記録)されたときに呼び出されるものである。その呼び出しの際には、それらバッファメモリ13の複数枚の画像が入力画像(1〜N)に指定される。
なお、このような複数枚の画像は、例えば露出ブラケット撮影などの実施によって取得することができる。その場合、それら複数枚のうちの1枚の画像はAE(自動露出)によって決定された或いはユーザーによって指定された露出条件で撮影されるように、また、それ以外の残りの画像はその露出条件を基準とした異なる露出条件(基準の露出条件±n段)で撮影されるように、露出ブラケット撮影を実施するとよい。
また、以下の処理では、ガンマ補正(ガンマ変換)等が施されていない画像、つまり、画像信号成分が撮像素子から出力された状態のリニア特性の状態の画像を入力にして処理を行うものとしている。そのため、ガンマ補正(ガンマ変換)等の画像処理が施された画像を入力画像(1〜N)に用いる場合には、画像信号成分をリニア特性の状態に戻すため、一旦、元の画像に逆ガンマ補正(逆ガンマ変換)を施してから、それを入力画像(1〜N)に用いるようにする。
ステップ101(S101):制御部11は、入力画像(1〜N)のそれぞれについて縮小画像を作成する。例えば、各入力画像の空間方向で、2×2画素或いは4×4画素の画素値の平均をとることなどによって縮小画像を作成する。なお、作成した縮小画像(1〜n)は、バッファメモリ13の入力画像(1〜N)とは別の領域に記録する。
ステップ102:制御部11は、作成した縮小画像(1〜n)のそれぞれについて輝度成分のヒストグラム(輝度ヒストグラム)を作成する。
ステップ103:制御部11は、作成した輝度ヒストグラムをそれぞれ解析し、その解析結果に基づき、入力画像(1〜N)の中から基準画像となる1枚を選定する。
具体的には、先ず、輝度ヒストグラムの作成の基となった縮小画像の全画素数の例えば0.1%となる画素数(i)を求める。なお、その縮小画像の全画素数に対する割合(0.1%など)は、撮像素子の欠陥画素、また、突出的な画素値やノイズ等、画像を構成する画素以外の領域の画素を、演算の対象に入れないようにするために指定する。
次に、作成した輝度ヒストグラムを使用して、例えば、ここでは図4の輝度ヒストグラムの例を用いるとすると、その横軸(輝度)の高輝度側(輝度値「255」)から低輝度側(輝度値「0」)に向けて、輝度ヒストグラムの縦軸(画素数)の値が先に求めた画素数(i)と一致するところまで検索し、一致したところの横軸の値(輝度値)を「max(輝度最大値)」として抽出する。また、続けて、同輝度ヒストグラムの横軸(輝度)の低輝度側(輝度値「0」)から高輝度側(輝度値「255」)に向けて、輝度ヒストグラムの縦軸(画素数)の値が先に求めた画素数(i)と一致するところまで検索し、一致したところの横軸の値(輝度値)を「min(輝度最小値)」として抽出する。
そして、その「max(輝度最大値)」と「min(輝度最小値)」との差が最も大きい輝度ヒストグラムの作成の基となった縮小画像に対応する入力画像(1枚)を基準画像として選定する。
このようにして、入力画像(1〜N)の中から、輝度分布の有効幅の最も広い画像1枚が、基準画像として選定される。
ステップ104:制御部11は、縮小画像の輝度成分の情報を基に、基準画像を基準として他の入力画像(基準画像を除いた残りの1枚以上の入力画像)のそれぞれにつきゲインを算出する。具体的には、下記の(式1)によってゲイン(gain)を算出する。ここで、(式1)のfY(x,y)は基準画像の縮小画像の輝度成分を、hY(x,y)は比較対象とする他の入力画像の縮小画像の輝度成分を、また(x,y)は縮小画像における各画素の座標位置を示している。但し、予め指定された露出条件で撮影するようなブラケット撮影を行う場合にはゲイン算出は不要となる。
Figure 2011166728
なお、(式1)によって算出されるゲイン(gain)の値が1.0よりも小さい場合(gain<1.0)には、その算出対象の「他の入力画像」は、基準画像に対して露出アンダーとなる露出条件で撮影されたものである。また、算出されるゲイン(gain)の値が1.0よりも大きい場合(gain>1.0)には、その算出対象の「他の入力画像」は、基準画像に対して露出オーバーとなる露出条件で撮影されたものである。
ステップ105:制御部11は、算出した各ゲイン(gain)と基準画像の輝度成分の情報とを基に、他の入力画像のぞれぞれに対して第1の重みを算出する。具体的には、下記の(式2)によって、ゲイン(gain)の値に応じた重み(W)を算出し、これを第1の重みとする。ここで、(式2)のfY(x,y)は基準画像の輝度成分を示している。また、「min」及び「max」は、上記ステップ103で基準画像を選定した際に、当該基準画像に対応する輝度ヒストグラムから求めた「min(輝度最小値)」及び「max(輝度最大値)」である。この(式2)により、他の入力画像のぞれぞれに対し、基準画像の輝度を基準として、第1の重みを算出する。
Figure 2011166728
なお、(式2)によれば、基準画像に対して露出アンダーとなる露出条件で撮影された「他の入力画像」については、「gain<1.0のとき」の演算により、画像の高輝度部分の重みが大きくなるように第1の重みの算出が行われる(但し、f<minのときには式(2)に拘わらずWは0に設定され、f>maxのときには式(2)に拘わらずWは(−2log(gain))に設定されるものとする。)。これは、高輝度部分については、基準画像よりも露光量が少なくなるように撮影された「他の入力画像」の情報が良好なためである。
また、基準画像に対して露出オーバーとなる露出条件で撮影された「他の入力画像」については、「gain>1.0のとき」の演算により、画像の低輝度部分の重みが大きくなるように第1の重みの算出が行われる(但し、f<minのときには式(2)に拘わらずWは(2log(gain))に設定され、f>maxのときには式(2)に拘わらずWは0に設定されるものとする。)。これは、低輝度部分については、基準画像よりも露光量が多くなるように撮影された「他の入力画像」の情報が良好なためである。
ステップ106:制御部11は、算出した第1の重みを用いて、下記の(式3)により、R(r),G(g),B(b)の各色成分毎に入力画像(基準画像および他の入力画像)
の重み付け合成演算を行う。
Figure 2011166728
なお、(式3)のfc(x,y)は「基準画像」、h1c(x,y)〜hn-1c(x,y)は他の入力画像(1〜N−1、つまり、基準画像を除いた残りの1枚以上の入力画像)を示している。また、W1〜Wn-1は他の入力画像(1〜N−1)のそれぞれに対して上記ステップ105で算出された第1の重み、「1.0」は基準画像に対する重み、「n」は入力画像の枚数(N)、「c」はR(r),G(g),B(b)の各色成分を示している。そして、gc(x,y)は、重み付け合成演算によりR(r),G(g),B(b)の各色成分毎に得られる演算結果、つまり合成後の画像データである。
制御部11は、重み付け合成演算を行うと、その演算結果を基に第2の重みを算出する。
具体的には、下記の(式4)によって、先ず、演算結果のgr(x,y)、gg(x,y)、gb(x,y)の画像データを基に輝度データgY(x,y)を算出する。次に、算出した輝度データgY(x,y)から、関数「Max()」を用いて、輝度の最大値を抽出する。そして、抽出した輝度の最大値が、所定の「N」ビット階調での最大値、例えば「N=16」ビットの場合にはその最大値である「65535」に対応づくような比率を第2の重み「NbitW」として算出する。
Figure 2011166728
ステップ107:制御部11は、算出した第1の重みと第2の重みとの2種類の重みを用いて、下記の(式5)により、R(r),G(g),B(b)の各色成分毎に入力画像(基準画像および他の入力画像)の重み付け合成を行い、上記所定の「N」ビット階調で示される階調幅にダイナミックレンジを拡大させた合成画像(高コントラスト画像)を作成する。
Figure 2011166728
なお、(式5)のgc(x,y)は作成される高コントラスト画像であり、fc(x,y)は「基準画像」、h1c(x,y)〜hn-1c(x,y)は他の入力画像(1〜N−1、つまり、基準画像を除いた残りの1枚以上の入力画像)を示している。また、W1〜Wn-1は他の入力画像(1〜N−1)のそれぞれに対して上記ステップ105で算出された第1の重み、「1.0」は基準画像に対する重み、「n」は入力画像の枚数(N)、「c」はR(r),G(g),B(b)の各色成分、「NbitW」は上記ステップ106で算出され
た第2の重みを示している。
このように、本実施形態の画像処理装置では、輝度成分のみに基づいて重みを算出し(上記ステップ105、106)、それを入力画像のR(r),G(g),B(b)の色成分
の全てに適用するようにして重み付け合成処理を行っている(本ステップ107)。そのため、作成される高コントラスト画像には、入力画像個々の色バランスが、そのまま維持された状態で、確実に反映されることとなる。
また、上記とは異なり、入力画像のR(r),G(g),B(b)の色成分の個々について高コントラスト画像を生成すれば(具体的には上記の輝度成分で処理している箇所(ステップ106の第2の重みを算出する処理は除く)を、全て、色成分毎の処理に置き換える)、より有効に階調幅を表現できるようになる。
ステップ108:制御部11は、図3に示す階調変換処理のサブルーチンを呼び出す。
(図3:階調変換処理)
ステップ108−1(S108−1):制御部11は、先ず、階調変換での変換目標とする輝度分布を定め、その変換目標とする輝度分布を示す輝度ヒストグラムと、合成画像(高コントラスト画像)の輝度分布を示す輝度ヒストグラムとを作成する。
ここで、変換目標の輝度ヒストグラムであるが、見た目に好ましい画像の輝度ヒストグラムは中輝度部分の画素の数が多くなると仮定し、変換目標として、例えば図4(a)に示すようなガウス分布状の輝度ヒストグラムとなるような輝度分布を定め、その輝度分布を基にして、画像信号成分をリニア特性の状態にした輝度ヒストグラムを作成する。例えば、図4(a)の画像信号成分をリニア特性の状態にした場合には、図4(b)に示すような輝度分布の輝度ヒストグラムが作成される。そして、作成したそのリニア特性の状態の輝度ヒストグラムを変換目標として用いるようにするとよい。
なお、上記所定の「N」ビット階調で示される階調幅にダイナミックレンジを拡大させた合成画像(高コントラスト画像)は、上記ステップ107の重み付け合成によって作成されたものであり、その「N」ビット階調の情報が全て有効であるとは限らず、また画像の注目領域の階調が表現されているとも限らない。
そのため、合成画像(高コントラスト画像)の階調の範囲のうち最終結果の出力画像として出力する範囲(階調レンジ)を例えばユーザーなどが指定できるようにするとよい。
そして、例えばユーザーによって指定された階調レンジの最小値「outputMin」と最大値「outputMax」との情報に基づき、合成画像(高コントラスト画像)の画素のうち当該「outputMin」と「outputMax」とで示される範囲に含まれない画素値を有する画素について
は、上記合成画像(高コントラスト画像)の輝度ヒストグラム作成の対象から外すようにする。
そうすれば、合成画像(高コントラスト画像)の有効と思われる階調部分、また画像の注目領域の階調部分を、ユーザーなどが任意に指定して、最終結果の出力画像として出力できるようになる。なお、階調レンジの最小値「outputMin」と最大値「outputMax」には、ユーザー指定の値ではなく、もちろん、予め設定された装置のプリセット値を使用するようにしてもよい。
このようにして輝度ヒストグラムを作成すると、制御部11は、その合成画像の輝度ヒストグラムと変換目標の輝度ヒストグラムとのそれぞれについて累積ヒストグラムを作成する。
なお、変換目標の累積ヒストグラムについては、合成画像(高コントラスト画像)よりも階調幅の狭い最終結果の出力画像の階調幅に応じた内容のものを作成する。出力画像の階調幅に応じた内容の輝度ヒストグラムを作成して、それを基に累積ヒストグラムを作成するようにしてもよい。
ステップ108−2:制御部11は、作成した累積ヒストグラムを基に階調変換テーブルを作成する。
具体的には、先ず、合成画像の累積ヒストグラムと変換目標の累積ヒストグラムとの縦軸(画素数を示す)をそれぞれ「n」等分する。なお、その際は、縦軸でのデータが存在する範囲を「n」等分するようにする。
ここで、縦軸を「n=16」等分した場合の例を示す。
図5(a)は、1200×1600画素の解像度で、ダイナミックレンジを16ビット階調に拡大させた合成画像(高コントラスト画像)について作成された累積ヒストグラムの例である。縦軸のデータの存在する範囲が境界線「a0〜a16」によって16等分されている。なお、この例の場合、縦軸の最大値は1920000(1200×1600画素)、横軸の最大値は65535(16ビット階調)となる。
また、図5(b)は、最終結果として生成される出力画像の階調幅(この場合10ビット階調)に応じて作成された変換目標の累積ヒストグラムの例である。縦軸のデータの存在する範囲が境界線「b0〜b16」によって16等分されている。なお、この例の場合、横軸の最大値は1023(10ビット階調)となり、また縦軸の最大値は、図5(a)の合成画像(高コントラスト画像)の累積ヒストグラムに合わせて正規化されるので、1920000(1200×1600画素)となる。
累積ヒストグラムの縦軸を「n」等分すると、次に、その等分領域の各境界線と、累積データのカーブとの交点によって示される輝度値を、合成画像と変換目標との累積ヒストグラム間で対応づけるようにする。図5の例では、合成画像の累積ヒストグラムである図5(a)の「a0Y〜a16Y」と、変換目標の累積ヒストグラムである図5(b)の「b0Y〜b16Y」とをそれぞれ対応づけるようにする。
そして、合成画像の累積ヒストグラムと変換目標の累積ヒストグラムとの間におけるそれら輝度値の対応関係を示す情報を階調変換テーブルとして作成する。
このようにして、制御部11は、合成画像と変換目標との累積ヒストグラムを基に、階調変換テーブルを作成する。
ステップ108−3:制御部11は、作成した階調変換テーブルに基づき階調変換曲線を作成する。例えば、図6に示すような階調変換曲線を作成する。具体的には、階調変換テーブルを参照して、合成画像(高コントラスト画像)の累積ヒストグラムでの輝度値、例えば図5(a)での「a0Y」〜「a16Y」を図6の横軸上に、また変換目標の累積ヒストグラムでの輝度値、例えば図5(b)での「b0Y」〜「b16Y」を図6の縦軸上にとる。そして、それら「a0Y」〜「a16Y」と「b0Y」〜「b16Y」との各交点を基準点とし、各基準点間で極端な変化を生じないようそれらの各基準点間に、線形補間、平滑化等の処理を施して、図6に示すような階調変換曲線を作成する。
この階調変換曲線の作成処理において、基準点間の傾きが、合成画像(高コントラスト画像)の階調幅と出力画像の階調幅との比率を超えてしまうような曲線が作成されなければ、つまり図6の例では、16ビット階調と10ビット階調との比率の64倍を超えてしまう曲線が作成されなければ、その階調変換曲線を用いた以下の階調変換の処理では、階調飛びが発生することはない。
なお、上記の説明から自ずと理解されることであるが、図6の階調変換曲線の例は、ダイナミックレンジを拡大させた16ビット階調の合成画像(高コントラスト画像)を階調変換して、それよりも階調幅の狭い10ビット階調の出力画像を生成するためのものである。
ステップ108−4:制御部11は、作成した階調変換曲線に基づいて合成画像の階調変換を行い、その処理後の画像をバッファメモリ13に記録する。これにより、合成画像(高コントラスト画像)よりも階調幅の狭い出力画像がバッファメモリ13に取得される。このようにして取得される出力画像は、階調幅の広い高コントラスト画像の情報(特に階調情報)が保持されたコントラストの良好な画像となる。
制御部20は、上記の階調変換処理を終えると、図2のフローチャートの処理へ復帰してステップ109(S109)へ移行する。
ステップ109(図2):制御部11は、データ処理部14を駆動して、バッファメモリ13に取得された階調変換後の画像に対しガンマ変換などの必要な画像処理を施す。
ステップ110:制御部11は、圧縮/復号部15を駆動してバッファメモリ13の画像処理後の画像に対し圧縮処理を施すと共に、その圧縮処理後の画像を記録媒体16へ記録する。そして、制御部11は、本フローチャートの処理を終了する。
なお、上記のステップ109では、画像処理後の画像の内容をモニタ17に表示するようにしてもよい。
(実施形態の作用効果)
本実施形態の画像処理装置では、入力画像(1〜N)のそれぞれについて縮小画像が作成され、その各縮小画像の輝度ヒストグラムを解析した結果に基づき、輝度分布の有効幅の最も広い1枚の画像が、入力画像の中から、基準画像として選定される。なお、縮小画像は、例えば、各入力画像の空間方向でn×n(n≧2)画素の画素値の平均をとることによって作成される。
次に、縮小画像の輝度成分の情報を基に、基準画像を基準にした他の入力画像(基準画像を除いた残りの1枚以上の入力画像)との輝度比率が、ゲインとして、他の入力画像のそれぞれについて算出され、その算出された各ゲインと、基準画像の輝度成分の情報とを基に、他の入力画像のそれぞれに対して適用する第1の重みが算出される。
また、算出された第1の重みを用いて、入力画像(基準画像および他の入力画像)の重み付け合成演算が行われ、その演算結果の画像データを基に第2の重みが算出される。
そして、第1の重みと第2の重みとを用いて、入力画像の重み付け合成が行われて、所定の「N」ビット階調で示される階調幅にダイナミックレンジを拡大させた合成画像(高コントラスト画像)が作成される。
このように、本実施形態の画像処理装置では、入力画像(1〜N)を縮小した「縮小画像」の情報を基にして、基準画像の選定、ゲインの算出、そして第1の重みの算出が行われる。
そのため、合成対象となる入力画像中にノイズの生じた画素が含まれる場合にも、重み付け合成によって作成される高コントラスト画像においては、そのノイズ成分が軽減される。また、入力画像中に突出的な画素値を有する画素が含まれる場合にも、重み付け合成によって作成される高コントラスト画像においては、階調飛びが生じにくい。
また、第2の重みの算出は、入力画像の重み付け合成演算結果の画像データの最大輝度がダイナミックレンジを拡大させた所定の「N」ビット階調での最大値に対応づくような比率を求めることによって行われる。
そのため、入力画像を重み付け合成して作成される合成画像(高コントラスト画像)は、その階調幅が、入力画像よりも広い所定の「N」ビット階調で示される階調幅に拡大されるが、高コントラスト画像においては、階調表現が自然なものとなり、また階調飛びも生じにくい。
また、本実施形態の画像処理装置では、算出されたゲイン(基準画像を基準とした輝度比率)の値が小さい(gain<1.0)他の入力画像、即ち、基準画像に対して露出アンダーとなる露出条件で撮影された他の入力画像に対しては、画像の高輝度部分の重みが大きくなるように第1の重みの算出が行われる。これは、基準画像よりも露光量が少なくなるように露出アンダーで撮影された他の入力画像は、その高輝度部分の情報が良好なためである。
また、算出されたゲインの値が大きい(gain>1.0)他の入力画像、即ち、基準画像に対して露出オーバーとなる露出条件で撮影された他の入力画像に対しては、画像の低輝度部分の重みが大きくなるように第1の重みの算出が行われる。これは、基準画像よりも露光量が多くなるように露出オーバーで撮影された他の入力画像は、その低輝度部分の情報が良好なためである。
そのため、合成対象となる入力画像中に輝度変化の滑らかな構造を持つ部分が含まれる場合にも、重み付け合成によって作成される高コントラスト画像においては、階調飛びが生じにくい。
また、本実施形態の画像処理装置では、入力画像(1〜N)のうち、輝度分布の有効幅の最も広い1枚の画像が基準画像として選定され、その基準画像に基づきゲイン算出及び第1の重み算出が行われる。そして、その重みを使用して、基準画像と他の入力画像との重み付け合成が行われて、高コントラスト画像が作成される。
このように、本実施形態の画像処理装置では、輝度分布の有効幅の最も広い基準画像をベースにして画像合成が行われるので、その合成によって高コントラスト画像に生じるノイズ、また階調飛びを、従来よりも減少させることができる。
また、本実施形態の画像処理装置では、変換目標とする輝度分布を示す輝度ヒストグラムと、合成画像の輝度分布を示す輝度ヒストグラムとのそれぞれについて累積ヒストグラムが作成される。変換目標の累積ヒストグラムについては、所定の「N」ビット階調で示される階調幅にダイナミックレンジを拡大させた合成画像(高コントラスト画像)よりも階調幅の狭い最終結果の出力画像の階調幅に応じた内容のものが作成される。
次に、作成された合成画像の累積ヒストグラムと、変換目標の累積ヒストグラムとを基に階調変換テーブルが作成される。詳しくは、作成された合成画像の累積ヒストグラムと、変換目標の累積ヒストグラムとの縦軸(画素数)をそれぞれ「n」等分、例えば「n=16」等分し、その等分による境界線と累積データのカーブとの交点の示す輝度値を両累積ヒストグラム間で対応付ける。そして、その対応関係を示す情報が階調変換テーブルとして作成される。
また、作成された階調変換テーブルに基づき階調変換曲線が作成される。詳しくは、階調変換テーブルを参照して、合成画像の累積ヒストグラムでの輝度値を横軸上に、また変換目標の累積ヒストグラムでの輝度値を縦軸上にとり、それらの交点(基準点)を求め、その求めた各基準点間に、線形補間、平滑化等の処理を施す。そして、それらの処理によって得られた結果のカーブが階調変換曲線として作成される。
その後、作成した階調変換曲線に基づいて合成画像の階調変換が行われる。この階調変換により、合成画像(高コントラスト画像)よりも階調幅の狭い最終結果の出力画像が生成される。このようにして取得される画像(出力画像)は、階調幅の広い高コントラスト画像の情報(特に階調情報)が保持されたコントラストの良好な画像となる。
したがって、本実施形態の画像処理装置によれば、最終結果の出力画像として、コントラストの良好な画像を得ることができる。
(その他)
本発明は、露出ブラケット撮影が可能な他の機器、例えば、デジタルカメラ(デジタルスチルカメラ)やデジタルビデオカメラ、携帯電話機などにも適用することができる。さらに、本発明は、撮像素子を用いて取得した画像により被写体の観察を行うことが可能な顕微鏡などにも適用することができる。
10…画像処理装置(本体),11…制御部,12…撮像ユニット収容部,13…バッファメモリ,14…データ処理部,15…圧縮/復号部,16…記録媒体,17…モニタ,18…操作部,19…システムバス,20…撮像ユニット

Claims (18)

  1. 同一シーンを撮影した露光量の異なる複数枚の入力画像を合成して得られるダイナミックレンジを拡大させた階調幅の広い合成画像である高コントラスト画像に基づき、前記高コントラスト画像よりも階調幅の狭い出力画像を生成する画像処理装置であって、
    前記複数枚の入力画像の輝度成分の情報に基づき前記複数枚の入力画像の中から基準画像を選定する選定手段と、
    前記複数枚の入力画像の輝度成分の情報に基づき、前記複数枚のうちの前記基準画像を除いた残りの入力画像について、前記基準画像を基準にした前記残りの入力画像との輝度比率をゲインとして算出するゲイン算出手段と、
    算出された前記ゲインと、前記基準画像の輝度成分の情報とに基づき、前記残りの入力画像に対して適用する第1の重みを算出すると共に、前記第1の重みを用いて前記複数枚の入力画像を重み付け合成演算した結果の画像データの輝度成分の情報に基づき第2の重みを算出する重み算出手段と、
    算出された前記第1の重みと前記第2の重みとを用いて前記複数枚の入力画像の重み付け合成を行うことにより前記高コントラスト画像を生成する中間画像生成手段と、
    生成された前記高コントラスト画像の輝度分布の形状の情報と、予め定められた変換目標の輝度分布の形状の情報とに基づき、階調変換の特性を示す階調変換曲線を作成する作成手段と、
    作成された前記階調変換曲線に基づき前記高コントラスト画像の階調変換を行い、該高コントラスト画像よりも階調幅の狭い出力画像を生成する出力画像生成手段と
    を備えることを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記選定手段は、前記複数枚の入力画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、輝度分布の有効幅が最も広い1枚の入力画像を、前記複数枚の中から前記基準画像として選定する
    ことを特徴とする画像処理装置。
  3. 請求項1または請求項2に記載の画像処理装置において、
    前記ゲイン算出手段は、前記複数枚の入力画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、前記残りの入力画像について、前記基準画像を基準にした前記残りの入力画像との輝度比率を前記ゲインとして算出する
    ことを特徴とする画像処理装置。
  4. 請求項1ないし請求項3の何れか一項に記載の画像処理装置において、
    前記重み算出手段は、
    算出された前記ゲインの値が所定の値よりも小さい前記残りの入力画像に対しては、該入力画像の高輝度部分の重みが大きくなるように前記第1の重みを算出し、
    算出された前記ゲインの値が所定の値よりも大きい前記残りの入力画像に対しては、該入力画像の低輝度部分の重みが大きくなるように前記第1の重みを算出する
    ことを特徴とする画像処理装置。
  5. 請求項1ないし請求項4の何れか一項に記載の画像処理装置において、
    前記重み算出手段は、前記第1の重みを用いて前記複数枚の入力画像を重み付け合成演算した結果の画像データの最大輝度が、ダイナミックレンジを拡大させた所定の「N」ビット階調での最大値に対応づくように求めた比率を前記第2の重みとして算出する
    ことを特徴とする画像処理装置。
  6. 請求項1ないし請求項5の何れか一項に記載の画像処理装置において、
    前記作成手段は、生成された前記高コントラスト画像の輝度分布の形状の情報と、予め定められた変換目標の輝度分布の形状の情報とから、変換元の前記高コントラスト画像と変換先の前記出力画像との輝度値の対応関係を示す情報を抽出し、その抽出した情報を基に階調変換の特性を示す階調変換曲線を作成する
    ことを特徴とする画像処理装置。
  7. 請求項1ないし請求項6の何れか一項に記載の画像処理装置において、
    前記作成手段は、前記高コントラスト画像の階調範囲のうちの予め決定された又はユーザーにより指定された階調範囲に属する画素のみを対象として作成した輝度分布の形状の情報と、前記変換目標の輝度分布の形状の情報とに基づいて、階調変換の特性を示す階調変換曲線を作成する
    ことを特徴とする画像処理装置。
  8. 請求項1ないし請求項7の何れか一項に記載の画像処理装置において、
    前記輝度分布の形状の情報は、累積ヒストグラムの形状の情報である
    ことを特徴とする画像処理装置。
  9. 請求項1ないし請求項8の何れか一項に記載の画像処理装置において、
    前記階調幅の広い合成画像である高コントラスト画像は、前記複数枚の入力画像と比べて階調数の多い画像である
    ことを特徴とする画像処理装置。
  10. 同一シーンを撮影した露光量の異なる複数枚の入力画像を合成して得られるダイナミックレンジを拡大させた階調幅の広い合成画像である高コントラスト画像に基づき、前記高コントラスト画像よりも階調幅の狭い出力画像を生成する画像処理方法であって、
    前記複数枚の入力画像の輝度成分の情報に基づき前記複数枚の入力画像の中から基準画像を選定する選定手順と、
    前記複数枚の入力画像の輝度成分の情報に基づき、前記複数枚のうちの前記基準画像を除いた残りの入力画像について、前記基準画像を基準にした前記残りの入力画像との輝度比率をゲインとして算出するゲイン算出手順と、
    算出された前記ゲインと、前記基準画像の輝度成分の情報とに基づき、前記残りの入力画像に対して適用する第1の重みを算出すると共に、前記第1の重みを用いて前記複数枚の入力画像を重み付け合成演算した結果の画像データの輝度成分の情報に基づき第2の重みを算出する重み算出手順と、
    算出された前記第1の重みと前記第2の重みとを用いて前記複数枚の入力画像の重み付け合成を行うことにより前記高コントラスト画像を生成する中間画像生成手順と、
    生成された前記高コントラスト画像の輝度分布の形状の情報と、予め定められた変換目標の輝度分布の形状の情報とに基づき、階調変換の特性を示す階調変換曲線を作成する作成手順と、
    作成された前記階調変換曲線に基づき前記高コントラスト画像の階調変換を行い、該高コントラスト画像よりも階調幅の狭い出力画像を生成する出力画像生成手順と
    を備えることを特徴とする画像処理方法。
  11. 請求項10に記載の画像処理方法において、
    前記選定手順は、前記複数枚の入力画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、輝度分布の有効幅が最も広い1枚の入力画像を、前記複数枚の中から前記基準画像として選定する
    ことを特徴とする画像処理方法。
  12. 請求項10または請求項11に記載の画像処理方法において、
    前記ゲイン算出手順は、前記複数枚の入力画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、前記残りの入力画像について、前記基準画像を基準にした前記残りの入力画像との輝度比率を前記ゲインとして算出する
    ことを特徴とする画像処理方法。
  13. 請求項10ないし請求項12の何れか一項に記載の画像処理方法において、
    前記重み算出手順は、
    算出された前記ゲインの値が所定の値よりも小さい前記残りの入力画像に対しては、該入力画像の高輝度部分の重みが大きくなるように前記第1の重みを算出し、
    算出された前記ゲインの値が所定の値よりも大きい前記残りの入力画像に対しては、該入力画像の低輝度部分の重みが大きくなるように前記第1の重みを算出する
    ことを特徴とする画像処理方法。
  14. 請求項10ないし請求項13の何れか一項に記載の画像処理方法において、
    前記重み算出手順は、前記第1の重みを用いて前記複数枚の入力画像を重み付け合成演算した結果の画像データの最大輝度が、ダイナミックレンジを拡大させた所定の「N」ビット階調での最大値に対応づくように求めた比率を前記第2の重みとして算出する
    ことを特徴とする画像処理方法。
  15. 請求項10ないし請求項14の何れか一項に記載の画像処理方法において、
    前記作成手順は、生成された前記高コントラスト画像の輝度分布の形状の情報と、予め定められた変換目標の輝度分布の形状の情報とから、変換元の前記高コントラスト画像と変換先の前記出力画像との輝度値の対応関係を示す情報を抽出し、その抽出した情報を基に階調変換の特性を示す階調変換曲線を作成する
    ことを特徴とする画像処理方法。
  16. 請求項10ないし請求項15の何れか一項に記載の画像処理方法において、
    前記作成手順は、前記高コントラスト画像の階調範囲のうちの予め決定された又はユーザーにより指定された階調範囲に属する画素のみを対象として作成した輝度分布の形状の情報と、前記変換目標の輝度分布の形状の情報とに基づいて、階調変換の特性を示す階調変換曲線を作成する
    ことを特徴とする画像処理方法。
  17. 請求項10ないし請求項16の何れか一項に記載の画像処理方法において、
    前記輝度分布の形状の情報は、累積ヒストグラムの形状の情報である
    ことを特徴とする画像処理方法。
  18. 請求項10ないし請求項17の何れか一項に記載の画像処理方法において、
    前記階調幅の広い合成画像である高コントラスト画像は、前記複数枚の入力画像と比べて階調数の多い画像である
    ことを特徴とする画像処理方法。
JP2010145053A 2010-01-13 2010-06-25 画像処理装置、画像処理方法 Active JP5672796B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010145053A JP5672796B2 (ja) 2010-01-13 2010-06-25 画像処理装置、画像処理方法
US12/980,970 US8526057B2 (en) 2010-01-13 2010-12-29 Image processing apparatus and image processing method
CN2011100369351A CN102186020A (zh) 2010-01-13 2011-01-13 图像处理装置、图像处理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010005071 2010-01-13
JP2010005071 2010-01-13
JP2010145053A JP5672796B2 (ja) 2010-01-13 2010-06-25 画像処理装置、画像処理方法

Publications (2)

Publication Number Publication Date
JP2011166728A true JP2011166728A (ja) 2011-08-25
JP5672796B2 JP5672796B2 (ja) 2015-02-18

Family

ID=44596816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010145053A Active JP5672796B2 (ja) 2010-01-13 2010-06-25 画像処理装置、画像処理方法

Country Status (2)

Country Link
US (1) US8526057B2 (ja)
JP (1) JP5672796B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013081170A (ja) * 2011-10-04 2013-05-02 Thomson Licensing Hdr画像をエンコードする方法および装置、hdr画像を再構成する方法および装置ならびに非一時的記憶媒体
JP2013255121A (ja) * 2012-06-07 2013-12-19 Canon Inc 画像処理装置及び画像処理装置の制御方法
CN107665480A (zh) * 2016-07-28 2018-02-06 佳能株式会社 图像处理装置、其控制方法、显示装置及存储介质
JP2018520428A (ja) * 2015-05-29 2018-07-26 アリババ グループ ホウルディング リミテッド 画像処理方法及び装置
KR20200031169A (ko) * 2017-11-01 2020-03-23 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 처리 방법 및 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8873882B2 (en) * 2011-02-28 2014-10-28 Aptina Imaging Corporation Blooming filter for multiple exposure high dynamic range image sensors
US9083935B2 (en) 2012-06-15 2015-07-14 Microsoft Technology Licensing, Llc Combining multiple images in bracketed photography
JP6210266B2 (ja) * 2013-03-13 2017-10-11 セイコーエプソン株式会社 カメラ、及び画像処理方法
KR102247564B1 (ko) * 2014-11-13 2021-05-03 삼성전자 주식회사 화소 처리 장치, 이를 포함하는 이미지 신호 처리 장치, 및 이를 포함하는 이미지 처리 시스템
KR102594201B1 (ko) * 2016-09-22 2023-10-27 삼성디스플레이 주식회사 영상 처리 방법 및 이를 수행하는 표시 장치
US10706512B2 (en) * 2017-03-07 2020-07-07 Adobe Inc. Preserving color in image brightness adjustment for exposure fusion
CN110849848B (zh) * 2019-10-29 2022-04-29 北京临近空间飞行器***工程研究所 一种荧光亮度确定方法、装置及计算机存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11317905A (ja) * 1998-05-06 1999-11-16 Seiko Epson Corp デジタルカメラ
JPH11331598A (ja) * 1999-04-01 1999-11-30 Matsushita Electric Ind Co Ltd 撮像装置の階調補正方法
JP2002305684A (ja) * 2001-01-31 2002-10-18 Olympus Optical Co Ltd 撮像システム及びプログラム
JP2003046859A (ja) * 2001-08-01 2003-02-14 Sony Corp 画像撮像装置及び方法
JP2008109176A (ja) * 2006-10-23 2008-05-08 Sanyo Electric Co Ltd 撮像装置及び撮像方法
JP2009015857A (ja) * 1996-11-13 2009-01-22 Seiko Epson Corp 画像処理装置、画像出力装置、画像処理方法および画像処理プログラムを記録した媒体
JP2009049547A (ja) * 2007-08-15 2009-03-05 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3074967B2 (ja) * 1992-10-27 2000-08-07 松下電器産業株式会社 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
JP3956311B2 (ja) 2004-02-19 2007-08-08 オムロン株式会社 画像データ変換装置及びカメラ装置
US7639893B2 (en) * 2006-05-17 2009-12-29 Xerox Corporation Histogram adjustment for high dynamic range image mapping
JP5408053B2 (ja) * 2009-10-20 2014-02-05 株式会社ニコン 画像処理装置、画像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009015857A (ja) * 1996-11-13 2009-01-22 Seiko Epson Corp 画像処理装置、画像出力装置、画像処理方法および画像処理プログラムを記録した媒体
JPH11317905A (ja) * 1998-05-06 1999-11-16 Seiko Epson Corp デジタルカメラ
JPH11331598A (ja) * 1999-04-01 1999-11-30 Matsushita Electric Ind Co Ltd 撮像装置の階調補正方法
JP2002305684A (ja) * 2001-01-31 2002-10-18 Olympus Optical Co Ltd 撮像システム及びプログラム
JP2003046859A (ja) * 2001-08-01 2003-02-14 Sony Corp 画像撮像装置及び方法
JP2008109176A (ja) * 2006-10-23 2008-05-08 Sanyo Electric Co Ltd 撮像装置及び撮像方法
JP2009049547A (ja) * 2007-08-15 2009-03-05 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013081170A (ja) * 2011-10-04 2013-05-02 Thomson Licensing Hdr画像をエンコードする方法および装置、hdr画像を再構成する方法および装置ならびに非一時的記憶媒体
JP2013255121A (ja) * 2012-06-07 2013-12-19 Canon Inc 画像処理装置及び画像処理装置の制御方法
JP2018520428A (ja) * 2015-05-29 2018-07-26 アリババ グループ ホウルディング リミテッド 画像処理方法及び装置
CN107665480A (zh) * 2016-07-28 2018-02-06 佳能株式会社 图像处理装置、其控制方法、显示装置及存储介质
KR20200031169A (ko) * 2017-11-01 2020-03-23 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 처리 방법 및 장치
KR102266649B1 (ko) * 2017-11-01 2021-06-18 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 처리 방법 및 장치

Also Published As

Publication number Publication date
US8526057B2 (en) 2013-09-03
US20110228295A1 (en) 2011-09-22
JP5672796B2 (ja) 2015-02-18

Similar Documents

Publication Publication Date Title
JP5672796B2 (ja) 画像処理装置、画像処理方法
JP5408053B2 (ja) 画像処理装置、画像処理方法
JP5713752B2 (ja) 画像処理装置、及びその制御方法
JP3838243B2 (ja) 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
JP4524717B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6020199B2 (ja) 画像処理装置、方法、及びプログラム、並びに撮像装置
JP6624889B2 (ja) 映像処理装置、映像処理方法、及び映像処理プログラム
JP2018022232A (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP4066803B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ
JP2004221644A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2011166300A (ja) 撮像装置及び画像処理方法
JP2007329619A (ja) 映像信号処理装置と映像信号処理方法、および映像信号処理プログラム。
JP6611543B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2018182376A (ja) 画像処理装置
JP2009200743A (ja) 画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置
JP2008294524A (ja) 画像処理装置および画像処理方法
JP2007020087A (ja) 撮像装置及び撮像方法
JP2006157599A (ja) 撮像装置
JP2007306083A (ja) 撮像装置および信号処理装置
JP2008219230A (ja) 撮像装置及び画像処理方法
JP7446827B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2018181070A (ja) 画像処理装置および画像処理方法
CN102186020A (zh) 图像处理装置、图像处理方法
JP2017068513A (ja) 画像処理装置及びその方法、プログラム、記憶媒体
JP6025555B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141215

R150 Certificate of patent or registration of utility model

Ref document number: 5672796

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250