JP2012217102A - 画像処理装置、及びその制御方法及びプログラム - Google Patents
画像処理装置、及びその制御方法及びプログラム Download PDFInfo
- Publication number
- JP2012217102A JP2012217102A JP2011082188A JP2011082188A JP2012217102A JP 2012217102 A JP2012217102 A JP 2012217102A JP 2011082188 A JP2011082188 A JP 2011082188A JP 2011082188 A JP2011082188 A JP 2011082188A JP 2012217102 A JP2012217102 A JP 2012217102A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixels
- images
- pixel
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000033001 locomotion Effects 0.000 claims description 55
- 238000001514 detection method Methods 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 13
- 239000000203 mixture Substances 0.000 abstract description 3
- 208000003443 Unconsciousness Diseases 0.000 description 45
- 230000000875 corresponding effect Effects 0.000 description 36
- 239000013598 vector Substances 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000013507 mapping Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000002194 synthesizing effect Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006641 stabilisation Effects 0.000 description 5
- 238000011105 stabilization Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000007906 compression Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- XUOLEICXAPEOSI-UHFFFAOYSA-L 2-methyl-4-oxopyran-3-olate;oxovanadium(2+) Chemical compound [V+2]=O.CC=1OC=CC(=O)C=1[O-].CC=1OC=CC(=O)C=1[O-] XUOLEICXAPEOSI-UHFFFAOYSA-L 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【解決手段】露出の異なる複数の画像を取得し、当該複数の画像の階調レベルを合わせた後、複数の画像間における画素値の差分から被写体に変化が生じた画素を検出する。そして、複数の画像について、被写体に変化が生じた画素における白飛び及び黒潰れ画素を計数し、当該画素の合計が最小数である画像、あるいは当該画素の合計が画像の被写体に変化が最小数と所定の閾値以下である画像を選択する。さらに、選択された画像の被写体に変化が生じた画素を、生成するダイナミックレンジが拡張された画像における、被写体に変化が生じた画素に対応する画素として用いる。
【選択図】図3
Description
・高露出画像において白飛びが生じた領域の画素を、当該画像より露出時間の短い画像から補う
・低露出画像において黒潰れが生じた領域の画素を、当該画像より露出時間の長い画像から補う
1.白飛び領域202と同じ位置の領域に、動体が既に存在しない低露出画像220の画素を用いて画素の置き換えを行うと、HDR画像230の動体領域内に背景が見える透明領域231が生じてしまう(透明化)。
2.また、白飛び領域202と同じ位置の領域に動体は存在するが、その位置が異なっている低露出画像220の画素を用いて画素の置き換えを行うことにより、当該領域232の境界において動体表面のテクスチャは不連続となる。
3.さらに、図2とは異なり、高露出画像において背景の領域に白飛び領域があり、低露出画像において当該領域を遮蔽する位置に動体が存在する場合は、白飛び領域の画素の低露出画像への置き換えにより動体の像が複数あるように合成されてしまう(残像)。
露出の異なる複数の画像を用いて、ダイナミックレンジを拡張したHDR画像を生成する生成手段を備える画像処理装置であって、複数の画像を取得する取得手段と、取得手段により取得された複数の画像の階調レベルを合わせるようにゲインを適用する調整手段と、階調レベルが合わせられた複数の画像のうち、少なくとも2つの画像間で値が異なる画素を、階調レベルが合わせられた複数の画像についての被写体に変化が生じた画素として検出する検出手段と、階調レベルが合わせられた複数の画像の各々で、検出手段により検出された被写体に変化が生じた画素について白飛び画素と判定する画素及び黒潰れ画素と判定する画素を計数する計数手段と、を備え、生成手段は、階調レベルが合わせられた複数の画像のうち、計数手段により計数された白飛び画素と判定する画素及び黒潰れ画素と判定する画素の合計が最小数である画像、あるいは白飛び画素と判定する画素及び黒潰れ画素と判定する画素の合計と最小数との差が所定の閾値以下の画像のうちの最も高露出の画像の、被写体に変化が生じた画素を、生成するHDR画像の被写体に変化が生じた画素に対応する画素として用いることを特徴とする。
露出の異なる複数の画像を用いて、ダイナミックレンジを拡張したHDR画像を生成する生成手段を備える画像処理装置であって、複数の画像を取得する取得手段と、取得手段により取得された複数の画像の階調レベルを合わせるようにゲインを適用する調整手段と、階調レベルが合わせられた複数の画像のうち、少なくとも2つの画像間で値が異なる画素を、階調レベルが合わせられた複数の画像についての被写体に変化が生じた画素として検出する検出手段と、検出手段により検出された被写体に変化が生じた画素を、隣接する画素が1つのグループとなるように分類する分類手段と、階調レベルが合わせられた複数の画像の各々で、分類手段により分類されたグループごとに、当該グループ内の画素について白飛び画素と判定する画素及び黒潰れ画素と判定する画素を計数する計数手段と、を備え、生成手段は、分類手段により分類されたグループそれぞれについて、階調レベルが合わせられた複数の画像のうち、計数手段により計数された白飛び画素と判定する画素及び黒潰れ画素と判定する画素の合計が最小数である画像、あるいは白飛び画素と判定する画素及び黒潰れ画素と判定する画素の合計と最小数との差が所定の閾値以下の画像のうちの最も高露出の画像の、被写体に変化が生じた画素を、生成するHDR画像の当該グループに対応する位置の画素として用いる
ことを特徴とする。
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、異なる露出時間で被写体を撮影して得られた複数の画像を合成して、ダイナミックレンジを拡張した画像(HDR画像)を出力可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、異なる露出時間で被写体を撮影して得られた複数の画像を合成して、ダイナミックレンジを拡張した画像を出力することが可能な任意の機器に適用可能である。また、本明細書において、「像の不連続」とは、上述したHDR画像における透明化、テクスチャの不連続、残像、多重エッジ、及びパターン混合の問題を総称するものとして説明する。
図1は、本発明の実施形態に係るデジタルカメラ100の機能構成を示すブロック図である。
制御部101は、例えばCPUであり、ROM102に記憶された、後述するダイナミックレンジ拡張画像生成処理のプログラムを読み出してRAM103に展開して実行することにより、デジタルカメラ100が備える各ブロックの動作を制御する。ROM102は、例えば書き換え可能な不揮発性メモリ等のレジスタであり、ダイナミックレンジ拡張画像生成処理のプログラムに加え、デジタルカメラ100が備える各ブロックの動作に必要な制御パラメータ等の情報を格納する。RAM103は、例えば揮発性メモリであり、ダイナミックレンジ拡張画像生成処理のプログラムの展開領域としてだけでなく、デジタルカメラ100が備える各ブロックの動作において出力された中間データを一時的に格納する記憶領域として用いられる。
このような構成をもつ本実施形態のデジタルカメラ100のダイナミックレンジ拡張画像生成処理について、図3のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部101が、例えばROM102に記憶されている対応する処理プログラムを読み出し、RAM103に展開して実行することにより実現することができる。なお、本ダイナミックレンジ拡張画像生成処理は、例えばデジタルカメラ100の撮影モードがHDR画像撮影モードに設定された状態で、ユーザが撮影ボタンを操作することにより撮影指示がなされた際に開始されるものとして説明する。
BMOV=F(Yb−Ya)∨F(Yc−Ya)・・・(1)
は当該動き画素の座標、iは露出の異なる複数の画像を識別する識別子(a,b,c,・・・)を示している。また
は、識別子iの画像におけるiの画素が、白飛び画素あるいは黒潰れ画素であるかを示す論理型の変数であり、次の式で定義される。
は識別子iの画像における
の画素の画素値、
はそれぞれ識別子iの画像における白飛び画素値の閾値、または黒潰れ画素値の閾値を示している。なお、このときベクトル同士の大小比較は、一方の画素値ベクトルの全ての色成分の値が、他方の色成分の値を上回る場合に前者の画素値ベクトルが大きいと判断する。また反対に、一方の画素値ベクトルの全ての色成分の値が、他方の色成分の値を下回る場合に前者の画素値ベクトルが小さいと判断する。
以上説明したように、本実施形態の画像処理装置は、露出の異なる複数の画像を合成して階調範囲を拡張する際に、白飛び領域、中間階調領域、及び黒潰れ領域の合成における像の不連続を回避することができる。具体的には画像処理装置は、露出の異なる複数の画像を取得し、当該複数の画像の階調レベルを合わせた後、複数の画像間における画素値の差分から被写体に変化が生じた画素を検出する。そして、複数の画像について、被写体に変化が生じた画素における白飛び及び黒潰れ画素を計数し、当該画素の合計が最小数である画像、あるいは当該画素の合計が画像の被写体に変化が最小数と所定の閾値以下である画像を選択する。さらに、選択された画像の被写体に変化が生じた画素を、生成するダイナミックレンジが拡張された画像における、被写体に変化が生じた画素に対応する画素として用いる。
上述した実施形態1では、HDR画像における動き画素に対応する画素は、露出の異なる複数の画像のうちの、白飛び及び黒潰れ画素の数が相対的に少ない1つの画像の画素を用いられるものとして説明した。従って、実施形態1では、HDR画像の動き画素に対応する画素に用いられる画素は、HDR画像全体を通して共通の1つの画像から抽出される。一方、本実施形態の画像処理装置では、被写体に変化が生じている画素をグループに分類し、HDR画像の生成において、グループごとに最適な露出画像を選択して当該画像の画素値をグループの画素に用いる。これにより、よりダイナミックレンジが拡張された画像を生成する方法について説明する。
以下、本実施形態のダイナミックレンジ拡張画像生成処理について、図9のフローチャートを用いて詳細に説明する。なお、本ダイナミックレンジ拡張画像生成処理において、上述した実施形態1の当該処理と同様の処理を行うステップについては、同一の参照符号を付して説明を省略し、本実施形態について特徴的な処理の説明に留める。
上述した実施形態1及び2では、HDR画像生成用の、露出が異なる複数の画像を撮影中に生じる被写体ぶれを考慮したダイナミックレンジ拡張画像生成処理について説明した。本変形例では、露出が異なる複数の画像を撮影中に生じる、撮影者が把持することに起因するデジタルカメラ100の揺れ、所謂手ぶれの影響を考慮したダイナミックレンジ拡張画像生成処理の処理について説明する。
また上述した変形例1では、露出時間中の撮影者の手ぶれに起因して像ぶれが生じている画像を、HDR画像の生成時に動き画素に対応する画素に用いる画素を抽出する画像として選択しないようにする態様について説明した。本変形例2では、露出時間中の被写体の移動量に起因して像ぶれが生じている画像を、HDR画像の生成時に動き画素に対応する画素に用いる画素を抽出する画像として選択しないようにする方法について説明する。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (10)
- 露出の異なる複数の画像を用いて、ダイナミックレンジを拡張したHDR画像を生成する生成手段を備える画像処理装置であって、
前記複数の画像を取得する取得手段と、
前記取得手段により取得された前記複数の画像の階調レベルを合わせるようにゲインを適用する調整手段と、
前記階調レベルが合わせられた複数の画像のうち、少なくとも2つの画像間で値が異なる画素を、前記階調レベルが合わせられた複数の画像についての被写体に変化が生じた画素として検出する検出手段と、
前記階調レベルが合わせられた複数の画像の各々で、前記検出手段により検出された被写体に変化が生じた画素について白飛び画素と判定する画素及び黒潰れ画素と判定する画素を計数する計数手段と、を備え、
前記生成手段は、前記階調レベルが合わせられた複数の画像のうち、前記計数手段により計数された前記白飛び画素と判定する画素及び前記黒潰れ画素と判定する画素の合計が最小数である画像、あるいは前記白飛び画素と判定する画素及び前記黒潰れ画素と判定する画素の合計と前記最小数との差が所定の閾値以下の画像のうちの最も高露出の画像の、前記被写体に変化が生じた画素を、生成する前記HDR画像の前記被写体に変化が生じた画素に対応する画素として用いることを特徴とする画像処理装置。 - 露出の異なる複数の画像を用いて、ダイナミックレンジを拡張したHDR画像を生成する生成手段を備える画像処理装置であって、
前記複数の画像を取得する取得手段と、
前記取得手段により取得された前記複数の画像の階調レベルを合わせるようにゲインを適用する調整手段と、
前記階調レベルが合わせられた複数の画像のうち、少なくとも2つの画像間で値が異なる画素を、前記階調レベルが合わせられた複数の画像についての被写体に変化が生じた画素として検出する検出手段と、
前記検出手段により検出された被写体に変化が生じた画素を、隣接する画素が1つのグループとなるように分類する分類手段と、
前記階調レベルが合わせられた複数の画像の各々で、前記分類手段により分類されたグループごとに、当該グループ内の画素について白飛び画素と判定する画素及び黒潰れ画素と判定する画素を計数する計数手段と、を備え、
前記生成手段は、前記分類手段により分類されたグループそれぞれについて、前記階調レベルが合わせられた複数の画像のうち、前記計数手段により計数された前記白飛び画素と判定する画素及び前記黒潰れ画素と判定する画素の合計が最小数である画像、あるいは前記白飛び画素と判定する画素及び前記黒潰れ画素と判定する画素の合計と前記最小数との差が所定の閾値以下の画像のうちの最も高露出の画像の、前記被写体に変化が生じた画素を、生成する前記HDR画像の当該グループに対応する位置の画素として用いる
ことを特徴とする画像処理装置。 - 前記分類手段は、領域成長法を用いて前記被写体に変化が生じた画素を分類することを特徴とする請求項2に記載の画像処理装置。
- 前記検出手段は、前記階調レベルが合わせられた複数の画像について、当該複数の画像のうちの1つの基準画像とその他の少なくとも1つの画像との画素値の差分が閾値以上である画素を、前記被写体に変化が生じた画素として検出することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記検出手段は、前記階調レベルが合わせられた複数の画像について、当該複数の画像のうちの1つの基準画像とその他の少なくとも1つの画像との画素値の輝度成分の差分が閾値以上である画素を、前記被写体に変化が生じた画素として検出することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
- 前記複数の画像それぞれの撮影時における、当該複数の画像を撮影した撮像装置の姿勢変化を検出する姿勢変化検出手段をさらに備え、
前記生成手段は、前記階調レベルが合わせられた複数の画像のうち、前記姿勢変化検出手段により検出された撮影時における、前記撮像装置の姿勢変化が予め定められた閾値以上である画像の前記被写体に変化が生じた画素を、前記生成するHDR画像の前記被写体に変化が生じた画素に対応する画素として用いないことを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。 - 前記複数の画像それぞれの撮影時における、被写体の動き量を検出する被写体動き検出手段をさらに備え、
前記生成手段は、前記階調レベルが合わせられた複数の画像のうち、前記被写体動き検出手段により検出された撮影時における、前記被写体の動き量が予め定められた閾値以上である画像の前記被写体に変化が生じた画素を、前記生成するHDR画像の前記被写体に変化が生じた画素に対応する画素として用いないことを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。 - 生成手段が、露出の異なる複数の画像を用いて、ダイナミックレンジを拡張したHDR画像を生成する生成工程を備える画像処理装置の制御方法であって、
取得手段が、前記複数の画像を取得する取得工程と、
調整手段が、前記取得工程において取得された前記複数の画像の階調レベルを合わせるようにゲインを適用する調整工程と、
検出手段が、前記階調レベルが合わせられた複数の画像のうち、少なくとも2つの画像間で値が異なる画素を、前記階調レベルが合わせられた複数の画像についての被写体に変化が生じた画素として検出する検出工程と、
計数手段が、前記階調レベルが合わせられた複数の画像の各々で、前記検出工程において検出された被写体に変化が生じた画素について白飛び画素と判定する画素及び黒潰れ画素と判定する画素を計数する計数工程と、を備え、
前記生成工程において前記生成手段は、前記階調レベルが合わせられた複数の画像のうち、前記計数工程において計数された前記白飛び画素と判定する画素及び前記黒潰れ画素と判定する画素の合計が最小数である画像、あるいは前記白飛び画素と判定する画素及び前記黒潰れ画素と判定する画素の合計と前記最小数との差が所定の閾値以下の画像のうちの最も高露出の画像の、前記被写体に変化が生じた画素を、生成する前記HDR画像の前記被写体に変化が生じた画素に対応する画素として用いることを特徴とする画像処理装置の制御方法。 - 生成手段が、露出の異なる複数の画像を用いて、ダイナミックレンジを拡張したHDR画像を生成する生成工程を備える画像処理装置の制御方法であって、
取得手段が、前記複数の画像を取得する取得工程と、
調整手段が、前記取得工程において取得された前記複数の画像の階調レベルを合わせるようにゲインを適用する調整工程と、
検出手段が、前記階調レベルが合わせられた複数の画像のうち、少なくとも2つの画像間で値が異なる画素を、前記階調レベルが合わせられた複数の画像についての被写体に変化が生じた画素として検出する検出工程と、
分類手段が、前記検出工程において検出された被写体に変化が生じた画素を、隣接する画素が1つのグループとなるように分類する分類工程と、
計数手段が、前記階調レベルが合わせられた複数の画像の各々で、前記分類工程において分類されたグループごとに、当該グループ内の画素について白飛び画素あるいは黒潰れ画素と判定する画素を計数する計数工程と、を備え、
前記生成工程において前記生成手段は、前記分類工程において分類されたグループそれぞれについて、前記階調レベルが合わせられた複数の画像のうち、前記計数工程において計数された前記白飛び画素あるいは黒潰れ画素と判定する画素の合計が最小数である画像、あるいは前記白飛び画素と判定する画素及び前記黒潰れ画素と判定する画素の合計と前記最小数との差が所定の閾値以下の画像のうちの最も高露出の画像の、前記被写体に変化が生じた画素を、生成する前記HDR画像の当該グループに対応する位置の画素として用いることを特徴とする画像処理装置の制御方法。 - コンピュータを、請求項1乃至7のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011082188A JP5791336B2 (ja) | 2011-04-01 | 2011-04-01 | 画像処理装置及びその制御方法 |
US13/423,870 US8866922B2 (en) | 2011-04-01 | 2012-03-19 | Image processing apparatus and control method thereof |
CN201210090597.4A CN102740082B (zh) | 2011-04-01 | 2012-03-30 | 图像处理装置及控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011082188A JP5791336B2 (ja) | 2011-04-01 | 2011-04-01 | 画像処理装置及びその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012217102A true JP2012217102A (ja) | 2012-11-08 |
JP2012217102A5 JP2012217102A5 (ja) | 2014-05-15 |
JP5791336B2 JP5791336B2 (ja) | 2015-10-07 |
Family
ID=46926762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011082188A Expired - Fee Related JP5791336B2 (ja) | 2011-04-01 | 2011-04-01 | 画像処理装置及びその制御方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8866922B2 (ja) |
JP (1) | JP5791336B2 (ja) |
CN (1) | CN102740082B (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014167676A1 (ja) * | 2013-04-10 | 2014-10-16 | 株式会社 東芝 | 電子機器および画像処理方法 |
JP2015011717A (ja) * | 2013-06-30 | 2015-01-19 | コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド | 複数スケールの規格化された相互相関を用いた、hdr画像処理におけるゴーストアーティファクトの検出および除去方法 |
JP2016502061A (ja) * | 2012-12-04 | 2016-01-21 | ゲナント ヴェルスボールグ インゴ シトーク | 熱処理監視システム |
US9674441B2 (en) | 2014-08-05 | 2017-06-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
JP2017123633A (ja) * | 2016-01-08 | 2017-07-13 | 中強光電股▲ふん▼有限公司 | ライトフィールドカメラ及びその映像処理方法 |
JP2019504994A (ja) * | 2016-01-28 | 2019-02-21 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. | 複数の側面図から試料容器を識別するように構成された方法および装置 |
WO2019053916A1 (ja) * | 2017-09-13 | 2019-03-21 | パナソニックIpマネジメント株式会社 | 映像表示装置及び映像表示方法 |
JP2019510963A (ja) * | 2016-01-28 | 2019-04-18 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. | マルチビューの特徴付けのための方法及び装置 |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101843450B1 (ko) * | 2011-08-23 | 2018-03-29 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기의 제어 방법 |
JP5898466B2 (ja) * | 2011-11-11 | 2016-04-06 | キヤノン株式会社 | 撮像装置、その制御方法、及びプログラム |
JP5713885B2 (ja) * | 2011-12-26 | 2015-05-07 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 |
DE102012217151A1 (de) * | 2012-09-24 | 2014-03-27 | Robert Bosch Gmbh | Clientvorrichtung, Überwachungssystem, Verfahren zum Anzeigen von Bildern auf einem Bildschirm sowie Computerprogramm |
KR20140056986A (ko) * | 2012-11-02 | 2014-05-12 | 삼성전자주식회사 | 모션 센서 어레이 장치, 상기 모선 센서 어레이를 이용한 거리 센싱 시스템, 및 거리 센싱 방법 |
CN103065324B (zh) * | 2012-12-13 | 2016-03-30 | 广东威创视讯科技股份有限公司 | 一种运动目标检测方法和装置 |
CN105284116B (zh) * | 2013-04-19 | 2019-05-21 | 麦克赛尔株式会社 | 摄像方法和摄像装置 |
JP6157242B2 (ja) * | 2013-06-28 | 2017-07-05 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
US9558563B1 (en) * | 2013-09-25 | 2017-01-31 | Amazon Technologies, Inc. | Determining time-of-fight measurement parameters |
US20150116525A1 (en) * | 2013-10-31 | 2015-04-30 | Himax Imaging Limited | Method for generating high dynamic range images |
CN103728305A (zh) * | 2014-01-13 | 2014-04-16 | 深圳市永光神目科技有限公司 | Pcba板用的检测方法 |
JP5888348B2 (ja) * | 2014-01-23 | 2016-03-22 | カシオ計算機株式会社 | 撮像装置、撮像制御方法、及びプログラム |
CN105227811A (zh) * | 2014-06-30 | 2016-01-06 | 卡西欧计算机株式会社 | 图像生成装置以及图像生成方法 |
EP2966856B1 (en) | 2014-07-08 | 2020-04-15 | Sony Depthsensing Solutions N.V. | A high dynamic range pixel and a method for operating it |
CN104168419B (zh) * | 2014-07-17 | 2016-08-24 | 小米科技有限责任公司 | 图像拍摄方法及装置 |
US9646365B1 (en) | 2014-08-12 | 2017-05-09 | Amazon Technologies, Inc. | Variable temporal aperture |
US9787899B1 (en) | 2014-08-12 | 2017-10-10 | Amazon Technologies, Inc. | Multiple captures with a variable aperture |
US9749532B1 (en) * | 2014-08-12 | 2017-08-29 | Amazon Technologies, Inc. | Pixel readout of a charge coupled device having a variable aperture |
WO2016049489A1 (en) * | 2014-09-26 | 2016-03-31 | Spero Devices, Inc. | Analog image alignment |
JP6445831B2 (ja) * | 2014-10-16 | 2018-12-26 | キヤノン株式会社 | 撮像装置及びその制御方法ならびにプログラム |
JP6862830B2 (ja) * | 2014-12-29 | 2021-04-21 | ソニーグループ株式会社 | 送信装置、送信方法、受信装置および受信方法 |
AU2016201867B2 (en) * | 2015-03-27 | 2017-09-28 | Konica Minolta Laboratory U.S.A., Inc. | Method and system to avoid plant shadows for vegetation and soil imaging |
KR102102740B1 (ko) * | 2015-12-15 | 2020-04-21 | 가부시키가이샤 리코 | 이미지 프로세싱 장치 및 이미지 프로세싱 방법 |
US9787909B1 (en) * | 2016-03-31 | 2017-10-10 | Stmicroelectronics (Research & Development) Limited | Controlling signal-to-noise ratio in high dynamic range automatic exposure control imaging |
US10148888B2 (en) * | 2016-05-18 | 2018-12-04 | Texas Instruments Incorporated | Image data processing for multi-exposure wide dynamic range image data |
US10753726B2 (en) | 2017-03-26 | 2020-08-25 | Cognex Corporation | System and method for 3D profile determination using model-based peak selection |
JP6824817B2 (ja) * | 2017-05-17 | 2021-02-03 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
CN108288253B (zh) * | 2018-01-08 | 2020-11-27 | 厦门美图之家科技有限公司 | Hdr图像生成方法及装置 |
TWI684165B (zh) * | 2018-07-02 | 2020-02-01 | 華晶科技股份有限公司 | 影像處理方法與電子裝置 |
JP7171342B2 (ja) * | 2018-09-26 | 2022-11-15 | キヤノン株式会社 | 撮像装置及びその制御方法、並びにプログラム |
CN109785370B (zh) * | 2018-12-12 | 2023-09-15 | 南京工程学院 | 一种基于空间时间序列模型的弱纹理图像配准方法 |
US11128809B2 (en) | 2019-02-15 | 2021-09-21 | Samsung Electronics Co., Ltd. | System and method for compositing high dynamic range images |
US11062436B2 (en) | 2019-05-10 | 2021-07-13 | Samsung Electronics Co., Ltd. | Techniques for combining image frames captured using different exposure settings into blended images |
RU2717252C1 (ru) * | 2019-09-03 | 2020-03-19 | Владимир Эльич Пашковский | Устройство фиксации изображения длительной экспозиции |
US10911691B1 (en) | 2019-11-19 | 2021-02-02 | Samsung Electronics Co., Ltd. | System and method for dynamic selection of reference image frame |
US11430094B2 (en) | 2020-07-20 | 2022-08-30 | Samsung Electronics Co., Ltd. | Guided multi-exposure image fusion |
CN113628136B (zh) * | 2021-07-29 | 2023-07-25 | 北京科技大学 | 一种高动态范围激光散斑数字图像相关变形测量方法 |
JP2023026919A (ja) * | 2021-08-16 | 2023-03-01 | キヤノン株式会社 | 撮像装置及びその制御方法並びにプログラム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09134418A (ja) * | 1995-11-08 | 1997-05-20 | Hitachi Ltd | 特定被写体の抽出方法とその装置 |
JPH10191020A (ja) * | 1996-12-20 | 1998-07-21 | Canon Inc | 被写体画像切出し方法及び装置 |
JP2002101347A (ja) * | 2000-09-21 | 2002-04-05 | Sony Corp | 画像合成方法及び該画像合成方法を用いた撮像装置 |
JP2002271686A (ja) * | 2001-03-12 | 2002-09-20 | Olympus Optical Co Ltd | 撮像装置 |
JP2006174293A (ja) * | 2004-12-17 | 2006-06-29 | Fuji Photo Film Co Ltd | 合成写真作成装置 |
JP2007129476A (ja) * | 2005-11-02 | 2007-05-24 | Nec Electronics Corp | 画像ぶれ補正装置、画像ぶれ補正方法及び画像ぶれ補正プログラム |
US20100091119A1 (en) * | 2008-10-10 | 2010-04-15 | Lee Kang-Eui | Method and apparatus for creating high dynamic range image |
JP2011066690A (ja) * | 2009-09-17 | 2011-03-31 | Sharp Corp | 携帯端末装置、画像出力装置、撮像画像処理システム、携帯端末装置の制御方法、画像出力方法、プログラム、および記録媒体 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3630905B2 (ja) | 1997-02-28 | 2005-03-23 | キヤノン株式会社 | 撮像方法及び撮像装置 |
US6906745B1 (en) | 1998-04-23 | 2005-06-14 | Micron Technology, Inc. | Digital exposure circuit for an image sensor |
US6879731B2 (en) | 2003-04-29 | 2005-04-12 | Microsoft Corporation | System and process for generating high dynamic range video |
JP4253327B2 (ja) | 2006-03-24 | 2009-04-08 | 株式会社東芝 | 字幕検出装置及び字幕検出方法ならびにプルダウン信号検出装置 |
-
2011
- 2011-04-01 JP JP2011082188A patent/JP5791336B2/ja not_active Expired - Fee Related
-
2012
- 2012-03-19 US US13/423,870 patent/US8866922B2/en not_active Expired - Fee Related
- 2012-03-30 CN CN201210090597.4A patent/CN102740082B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09134418A (ja) * | 1995-11-08 | 1997-05-20 | Hitachi Ltd | 特定被写体の抽出方法とその装置 |
JPH10191020A (ja) * | 1996-12-20 | 1998-07-21 | Canon Inc | 被写体画像切出し方法及び装置 |
JP2002101347A (ja) * | 2000-09-21 | 2002-04-05 | Sony Corp | 画像合成方法及び該画像合成方法を用いた撮像装置 |
JP2002271686A (ja) * | 2001-03-12 | 2002-09-20 | Olympus Optical Co Ltd | 撮像装置 |
JP2006174293A (ja) * | 2004-12-17 | 2006-06-29 | Fuji Photo Film Co Ltd | 合成写真作成装置 |
JP2007129476A (ja) * | 2005-11-02 | 2007-05-24 | Nec Electronics Corp | 画像ぶれ補正装置、画像ぶれ補正方法及び画像ぶれ補正プログラム |
US20100091119A1 (en) * | 2008-10-10 | 2010-04-15 | Lee Kang-Eui | Method and apparatus for creating high dynamic range image |
JP2011066690A (ja) * | 2009-09-17 | 2011-03-31 | Sharp Corp | 携帯端末装置、画像出力装置、撮像画像処理システム、携帯端末装置の制御方法、画像出力方法、プログラム、および記録媒体 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016502061A (ja) * | 2012-12-04 | 2016-01-21 | ゲナント ヴェルスボールグ インゴ シトーク | 熱処理監視システム |
US11013237B2 (en) | 2012-12-04 | 2021-05-25 | Ingo Stork Genannt Wersborg | Heat treatment monitoring system |
WO2014167676A1 (ja) * | 2013-04-10 | 2014-10-16 | 株式会社 東芝 | 電子機器および画像処理方法 |
JP2015011717A (ja) * | 2013-06-30 | 2015-01-19 | コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド | 複数スケールの規格化された相互相関を用いた、hdr画像処理におけるゴーストアーティファクトの検出および除去方法 |
US9674441B2 (en) | 2014-08-05 | 2017-06-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
JP2017123633A (ja) * | 2016-01-08 | 2017-07-13 | 中強光電股▲ふん▼有限公司 | ライトフィールドカメラ及びその映像処理方法 |
US10097770B2 (en) | 2016-01-08 | 2018-10-09 | Coretronic Corporation | Image capturing apparatus and image processing method thereof |
JP2019504994A (ja) * | 2016-01-28 | 2019-02-21 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. | 複数の側面図から試料容器を識別するように構成された方法および装置 |
JP2019510963A (ja) * | 2016-01-28 | 2019-04-18 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. | マルチビューの特徴付けのための方法及び装置 |
US11042788B2 (en) | 2016-01-28 | 2021-06-22 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus adapted to identify a specimen container from multiple lateral views |
WO2019053916A1 (ja) * | 2017-09-13 | 2019-03-21 | パナソニックIpマネジメント株式会社 | 映像表示装置及び映像表示方法 |
JPWO2019053916A1 (ja) * | 2017-09-13 | 2019-11-07 | パナソニックIpマネジメント株式会社 | 映像表示装置及び映像表示方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102740082B (zh) | 2015-09-09 |
US20120249830A1 (en) | 2012-10-04 |
US8866922B2 (en) | 2014-10-21 |
CN102740082A (zh) | 2012-10-17 |
JP5791336B2 (ja) | 2015-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5791336B2 (ja) | 画像処理装置及びその制御方法 | |
JP5898466B2 (ja) | 撮像装置、その制御方法、及びプログラム | |
JP6911202B2 (ja) | 撮像制御方法および撮像装置 | |
WO2020038069A1 (zh) | 曝光控制方法、装置和电子设备 | |
KR102557794B1 (ko) | 화상 처리 장치, 화상 처리 장치의 제어 방법, 및 비일시적인 컴퓨터 판독가능한 저장 매체 | |
US8462228B2 (en) | Image processing method, apparatus and computer program product, and imaging apparatus, method and computer program product | |
JP2021530911A (ja) | 夜景撮影方法、装置、電子機器および記憶媒体 | |
US8509482B2 (en) | Subject tracking apparatus, subject region extraction apparatus, and control methods therefor | |
US8576288B2 (en) | Image processing unit, image processing method, and image processing program | |
US8947501B2 (en) | Scene enhancements in off-center peripheral regions for nonlinear lens geometries | |
JP4668956B2 (ja) | 画像処理装置および方法並びにプログラム | |
JP5643563B2 (ja) | 画像処理装置及びその制御方法 | |
JP2019047336A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2018050149A (ja) | 画像処理装置 | |
JP5414216B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP5160655B2 (ja) | 画像処理装置および方法並びにプログラム | |
JP2009252069A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP2015041865A (ja) | 画像処理装置及び画像処理方法 | |
JP2014155000A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP5629562B2 (ja) | 画像処理装置及びその制御方法、及びプログラム | |
JP2017069871A (ja) | 画像処理装置、その制御方法、プログラム及び記録媒体 | |
US9936158B2 (en) | Image processing apparatus, method and program | |
JP2023154575A (ja) | 撮像装置およびその制御方法、ならびに画像処理装置 | |
JP2008263320A (ja) | 撮像装置及び制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140327 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140327 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150804 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5791336 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |