JP2003319263A - 画像合成装置 - Google Patents
画像合成装置Info
- Publication number
- JP2003319263A JP2003319263A JP2002120261A JP2002120261A JP2003319263A JP 2003319263 A JP2003319263 A JP 2003319263A JP 2002120261 A JP2002120261 A JP 2002120261A JP 2002120261 A JP2002120261 A JP 2002120261A JP 2003319263 A JP2003319263 A JP 2003319263A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel signal
- exposure
- exposure image
- proper
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 67
- 238000000605 extraction Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 3
- 208000024891 symptom Diseases 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 19
- 239000002131 composite material Substances 0.000 description 18
- 238000010586 diagram Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101000795655 Canis lupus familiaris Thymic stromal cotransporter homolog Proteins 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 102100039288 Gap junction gamma-2 protein Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101100280298 Homo sapiens FAM162A gene Proteins 0.000 description 1
- 101100533652 Homo sapiens SLIRP gene Proteins 0.000 description 1
- 102100023788 Protein FAM162A Human genes 0.000 description 1
- 102100025491 SRA stem-loop-interacting RNA-binding protein, mitochondrial Human genes 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Facsimile Image Signal Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 画像データの輝度分布に拘らず、ユーザに多
大な労力や時間の消費を強いることなく、高精度な合成
画像を簡単に得られる画像合成装置を提供する。 【解決手段】 露光量の異なる少なくとも２枚の画像か
ら、広ダイナミックレンジの画像を合成する画像合成装
置において、適切な露光量で撮影された適正露光画像お
よび該適正露光画像とは異なる露光量で撮影された異露
光画像を撮影する撮影手段１０と、適正露光画像の周波
数情報に基づいて該適正露光画像から低周波領域を分割
する分割手段２２と、低周波領域における画素信号の特
徴量に関する統計量を求める統計手段２３と、統計量に
基づいて適正露光画像の画素信号を適正領域と明領域あ
るいは暗領域とに分割する画素信号レベルを決定する決
定手段２４と、適正露光画像と異露光画像とを露光量比
に合わせて階調補正して、上記画素信号レベルを境とし
て合成する合成手段１８と、を備える。
大な労力や時間の消費を強いることなく、高精度な合成
画像を簡単に得られる画像合成装置を提供する。 【解決手段】 露光量の異なる少なくとも２枚の画像か
ら、広ダイナミックレンジの画像を合成する画像合成装
置において、適切な露光量で撮影された適正露光画像お
よび該適正露光画像とは異なる露光量で撮影された異露
光画像を撮影する撮影手段１０と、適正露光画像の周波
数情報に基づいて該適正露光画像から低周波領域を分割
する分割手段２２と、低周波領域における画素信号の特
徴量に関する統計量を求める統計手段２３と、統計量に
基づいて適正露光画像の画素信号を適正領域と明領域あ
るいは暗領域とに分割する画素信号レベルを決定する決
定手段２４と、適正露光画像と異露光画像とを露光量比
に合わせて階調補正して、上記画素信号レベルを境とし
て合成する合成手段１８と、を備える。
Description
【０００１】
【発明の属する技術分野】本発明は、露光量の異なる少
なくとも２枚以上の画像を合成して、輝度レベルを良好
に補正した広ダイナミックレンジの画像を得る画像合成
装置に関するものである。
なくとも２枚以上の画像を合成して、輝度レベルを良好
に補正した広ダイナミックレンジの画像を得る画像合成
装置に関するものである。
【０００２】
【従来の技術】一般に、ビデオカメラやディジタルスチ
ルカメラなどの固体撮像素子による画像は、固体撮像素
子のダイナミックレンジが狭いために、逆光シーンや明
暗の差が激しい被写体を撮影する場合には、被写体に露
光量を合わせると背景が白く飛んでしまったり、背景に
露光量を合わせると被写体が黒くつぶれてしまったりす
るなど、うまく撮影できないという問題がある。
ルカメラなどの固体撮像素子による画像は、固体撮像素
子のダイナミックレンジが狭いために、逆光シーンや明
暗の差が激しい被写体を撮影する場合には、被写体に露
光量を合わせると背景が白く飛んでしまったり、背景に
露光量を合わせると被写体が黒くつぶれてしまったりす
るなど、うまく撮影できないという問題がある。
【０００３】そこで、露光量の異なる複数枚の画像を撮
影し、適切な露光量で撮影された画像中の明るすぎる領
域あるいは暗すぎる領域を分割して、異なる露光量の画
像と置き換えることでダイナミックレンジが拡大された
画像を生成する手法が提案されている。
影し、適切な露光量で撮影された画像中の明るすぎる領
域あるいは暗すぎる領域を分割して、異なる露光量の画
像と置き換えることでダイナミックレンジが拡大された
画像を生成する手法が提案されている。
【０００４】しかし、この場合、明るすぎる領域、ある
いは暗すぎる領域を分割する際の境目となる切替えレベ
ルを、あらゆる画像に対して単純に一意的に定めてしま
うと、場合によっては合成画像に擬似輪郭や不自然な合
成境界などが生じてしまい、画質が大きく劣化すること
がある。このため、この切替えレベルをどのように決定
するかということは、高精度な合成画像を生成する上で
非常に重要な要因となる。
いは暗すぎる領域を分割する際の境目となる切替えレベ
ルを、あらゆる画像に対して単純に一意的に定めてしま
うと、場合によっては合成画像に擬似輪郭や不自然な合
成境界などが生じてしまい、画質が大きく劣化すること
がある。このため、この切替えレベルをどのように決定
するかということは、高精度な合成画像を生成する上で
非常に重要な要因となる。
【０００５】このようなことから、例えば特開平７-１
３１７０８号公報には、撮像素子から得られた露光量の
異なる複数枚の画像信号を合成するたびに、輝度レベル
調整のための演算を行なって、標準画像の明るい領域と
暗い領域とを分割する閾値を求め、この閾値に基づいて
対応する領域を非標準画像と置き換えることにより、撮
像素子の特性の違いや、照度による出力のばらつきなど
で輝度レベルを完全に合わすことができないために生じ
る合成画像の擬似輪郭を減少させるようにした画像合成
装置が開示されている。
３１７０８号公報には、撮像素子から得られた露光量の
異なる複数枚の画像信号を合成するたびに、輝度レベル
調整のための演算を行なって、標準画像の明るい領域と
暗い領域とを分割する閾値を求め、この閾値に基づいて
対応する領域を非標準画像と置き換えることにより、撮
像素子の特性の違いや、照度による出力のばらつきなど
で輝度レベルを完全に合わすことができないために生じ
る合成画像の擬似輪郭を減少させるようにした画像合成
装置が開示されている。
【０００６】また、特開平５-１３０４９９号公報に
は、適切な露光量で撮影した第１の画像情報と、この第
１の画像情報とは異なる露光量で撮影された第２の画像
情報との少なくとも２枚の画像情報を得、第１の画像情
報に対して輝度ヒストグラムを作成して、その輝度ヒス
トグラムの頻度の極小での輝度レベルを置換基準輝度レ
ベルとし、その位置に対応する標準画像データとは異な
る露光量の第２の画像情報の輝度平均値を算出し、この
輝度平均値に基づいて白飛びが発生している場合は基準
輝度レベル以上の画素を、黒つぶれが発生している場合
は基準輝度レベル以下の画素の輝度情報を置換して輝度
情報を補正するように画像信号の輝度補正装置が開示さ
れている。
は、適切な露光量で撮影した第１の画像情報と、この第
１の画像情報とは異なる露光量で撮影された第２の画像
情報との少なくとも２枚の画像情報を得、第１の画像情
報に対して輝度ヒストグラムを作成して、その輝度ヒス
トグラムの頻度の極小での輝度レベルを置換基準輝度レ
ベルとし、その位置に対応する標準画像データとは異な
る露光量の第２の画像情報の輝度平均値を算出し、この
輝度平均値に基づいて白飛びが発生している場合は基準
輝度レベル以上の画素を、黒つぶれが発生している場合
は基準輝度レベル以下の画素の輝度情報を置換して輝度
情報を補正するように画像信号の輝度補正装置が開示さ
れている。
【０００７】
【発明が解決しようとする課題】ところが、上記の特開
平７-１３１７０８号公報に開示された画像合成装置に
あっては、適切な露光量で撮影された標準画像信号と、
標準画像より露光量を少なくして撮影した非標準画像信
号との露光量比を統計的に求めて、標準画像信号と非標
準画像信号とを切替える輝度レベルの設定範囲を計算
し、その設定範囲の最小値から最大値までの間隔の割合
により切替え輝度レベルを設定するようにしていること
から、切替え輝度レベルが画像の輝度値の分布に拘わら
ず統一的に求められることになる。このため、場合によ
っては画像中の比較的輝度変化が少ない領域、あるいは
被写体領域のような比較的均一な領域に切替え輝度レベ
ルが設定されて、その領域に境目が生じることがある。
平７-１３１７０８号公報に開示された画像合成装置に
あっては、適切な露光量で撮影された標準画像信号と、
標準画像より露光量を少なくして撮影した非標準画像信
号との露光量比を統計的に求めて、標準画像信号と非標
準画像信号とを切替える輝度レベルの設定範囲を計算
し、その設定範囲の最小値から最大値までの間隔の割合
により切替え輝度レベルを設定するようにしていること
から、切替え輝度レベルが画像の輝度値の分布に拘わら
ず統一的に求められることになる。このため、場合によ
っては画像中の比較的輝度変化が少ない領域、あるいは
被写体領域のような比較的均一な領域に切替え輝度レベ
ルが設定されて、その領域に境目が生じることがある。
【０００８】このように、切替え輝度レベルが、比較的
均一な領域に設定されてその領域に境目が生じると、人
間の視覚は、変化の大きい部分では鈍感で、変化の小さ
い部分では敏感な特性があることから、不自然な輪郭を
知覚してしまい、良好な合成画像を得ることができない
という問題がある。
均一な領域に設定されてその領域に境目が生じると、人
間の視覚は、変化の大きい部分では鈍感で、変化の小さ
い部分では敏感な特性があることから、不自然な輪郭を
知覚してしまい、良好な合成画像を得ることができない
という問題がある。
【０００９】また、特開平５-１３０４９９号公報に開
示された輝度補正装置にあっては、撮影された画像信号
の画像全体において輝度レベルのヒストグラムを計算し
て、頻度の少ない輝度レベルを数点求め、その中からユ
ーザが感覚的に画像情報の輝度情報を置換する置換基準
輝度レベルを選択して、画像合成を行っているため、ヒ
ストグラムの分布が双峰形の場合には、分布の最小階級
を置換基準輝度レベルとして選択すればいいが、偏った
分布の場合には単純に最小値を選択すると良好な合成画
像が得られないことがある。
示された輝度補正装置にあっては、撮影された画像信号
の画像全体において輝度レベルのヒストグラムを計算し
て、頻度の少ない輝度レベルを数点求め、その中からユ
ーザが感覚的に画像情報の輝度情報を置換する置換基準
輝度レベルを選択して、画像合成を行っているため、ヒ
ストグラムの分布が双峰形の場合には、分布の最小階級
を置換基準輝度レベルとして選択すればいいが、偏った
分布の場合には単純に最小値を選択すると良好な合成画
像が得られないことがある。
【００１０】このため、高精度な合成画像を得るには、
ユーザが試行錯誤を繰り返しながら置換基準輝度レベル
を定める必要があり、ユーザの経験と勘、熟練などを要
し、ユーザに多大の労力や時間の消費を強いるという問
題がある。
ユーザが試行錯誤を繰り返しながら置換基準輝度レベル
を定める必要があり、ユーザの経験と勘、熟練などを要
し、ユーザに多大の労力や時間の消費を強いるという問
題がある。
【００１１】したがって、かかる点に鑑みてなされた本
発明の目的は、画像データの輝度分布に拘わらず、また
ユーザに多大な労力や時間の消費を強いることなく、高
精度な合成画像を簡単に得ることができる画像合成装置
を提供することにある。
発明の目的は、画像データの輝度分布に拘わらず、また
ユーザに多大な労力や時間の消費を強いることなく、高
精度な合成画像を簡単に得ることができる画像合成装置
を提供することにある。
【００１２】
【課題を解決するための手段】上記目的を達成する請求
項１に係る発明は、露光量の異なる少なくとも２枚の画
像から、広ダイナミックレンジの画像を合成する画像合
成装置において、適切な露光量で撮影された適正露光画
像、および該適正露光画像とは異なる露光量で撮影され
た異露光画像を撮影する撮影手段と、上記適正露光画像
の周波数情報に基づいて上記適正露光画像から低周波領
域を分割する分割手段と、上記低周波領域における画素
信号の特徴量に関する統計量を求める統計手段と、上記
統計量に基づいて、上記適正露光画像の画素信号を、適
正領域と明領域あるいは暗領域とに分割する画素信号レ
ベルを決定する決定手段と、上記適正露光画像と上記異
露光画像とを露光量比に合わせて階調補正して、上記画
素信号レベルを境として合成する合成手段と、を備える
ことを特徴とするものである。
項１に係る発明は、露光量の異なる少なくとも２枚の画
像から、広ダイナミックレンジの画像を合成する画像合
成装置において、適切な露光量で撮影された適正露光画
像、および該適正露光画像とは異なる露光量で撮影され
た異露光画像を撮影する撮影手段と、上記適正露光画像
の周波数情報に基づいて上記適正露光画像から低周波領
域を分割する分割手段と、上記低周波領域における画素
信号の特徴量に関する統計量を求める統計手段と、上記
統計量に基づいて、上記適正露光画像の画素信号を、適
正領域と明領域あるいは暗領域とに分割する画素信号レ
ベルを決定する決定手段と、上記適正露光画像と上記異
露光画像とを露光量比に合わせて階調補正して、上記画
素信号レベルを境として合成する合成手段と、を備える
ことを特徴とするものである。
【００１３】請求項１に係る発明によれば、撮影手段に
より露光量の異なる複数枚の画像が撮影され、そのうち
の適正な露光量の画像に対して分割手段により画像中の
周波数成分の低い領域が検出されて、その低周波領域に
おける画素信号の特徴量に関する統計量が統計手段で求
められ、その統計量に基づいて決定手段により明るさが
適当な領域と明るすぎる領域、または明るさが適当な領
域と暗すぎる領域とを分離する画素信号レベルが自動的
に決定され、その決定された画素信号レベルを境に合成
手段により露光量の異なる画像が合成されるので、画像
データの輝度分布に拘わらず、またユーザに多大な労力
や時間の消費を強いることなく、不自然な境界などの影
響が少ない高精度な合成画像を得ることができる。
より露光量の異なる複数枚の画像が撮影され、そのうち
の適正な露光量の画像に対して分割手段により画像中の
周波数成分の低い領域が検出されて、その低周波領域に
おける画素信号の特徴量に関する統計量が統計手段で求
められ、その統計量に基づいて決定手段により明るさが
適当な領域と明るすぎる領域、または明るさが適当な領
域と暗すぎる領域とを分離する画素信号レベルが自動的
に決定され、その決定された画素信号レベルを境に合成
手段により露光量の異なる画像が合成されるので、画像
データの輝度分布に拘わらず、またユーザに多大な労力
や時間の消費を強いることなく、不自然な境界などの影
響が少ない高精度な合成画像を得ることができる。
【００１４】請求項２に係る発明は、露光量の異なる少
なくとも２枚の画像から、広ダイナミックレンジの画像
を合成する画像合成装置において、適切な露光量で撮影
された適正露光画像、および該適正露光画像とは異なる
露光量で撮影された異露光画像を撮影する撮影手段と、
上記適正露光画像の周波数情報に基づいて上記適正露光
画像から低周波領域を分割する分割手段と、上記低周波
領域に対応する上記異露光画像内の領域において、画素
信号の輝度値が所定の値よりも低い画素あるいは高い画
素が含まれないように領域を分割する画素信号レベルの
範囲を求める限定手段と、上記適正露光画像と上記異露
光画像とを露光量比に合わせて階調補正して、上記画素
信号レベルの範囲内で設定される分割レベルを境として
合成する合成手段と、を備えることを特徴とするもので
ある。
なくとも２枚の画像から、広ダイナミックレンジの画像
を合成する画像合成装置において、適切な露光量で撮影
された適正露光画像、および該適正露光画像とは異なる
露光量で撮影された異露光画像を撮影する撮影手段と、
上記適正露光画像の周波数情報に基づいて上記適正露光
画像から低周波領域を分割する分割手段と、上記低周波
領域に対応する上記異露光画像内の領域において、画素
信号の輝度値が所定の値よりも低い画素あるいは高い画
素が含まれないように領域を分割する画素信号レベルの
範囲を求める限定手段と、上記適正露光画像と上記異露
光画像とを露光量比に合わせて階調補正して、上記画素
信号レベルの範囲内で設定される分割レベルを境として
合成する合成手段と、を備えることを特徴とするもので
ある。
【００１５】請求項２に係る発明によれば、撮影手段に
より露光量の異なる複数枚の画像が撮影され、そのうち
の適正な露光量の画像に対して分割手段により画像中の
周波数成分の低い領域が検出され、その低周波領域に対
応する異露光画像の領域に対して限定手段により黒つぶ
れまたは白飛びの画素が含まれないような画素信号レベ
ル範囲が求められるので、その範囲内で分割レベルを設
定することにより、設定された分割レベルを境として合
成手段により適正露光画像と異露光画像とを合成するこ
とができる。したがって、ユーザの経験や勘、熟練など
を要することなく、入力画像の画素信号レベルの分布に
依存しない高精度な合成画像を簡単に得ることができ
る。
より露光量の異なる複数枚の画像が撮影され、そのうち
の適正な露光量の画像に対して分割手段により画像中の
周波数成分の低い領域が検出され、その低周波領域に対
応する異露光画像の領域に対して限定手段により黒つぶ
れまたは白飛びの画素が含まれないような画素信号レベ
ル範囲が求められるので、その範囲内で分割レベルを設
定することにより、設定された分割レベルを境として合
成手段により適正露光画像と異露光画像とを合成するこ
とができる。したがって、ユーザの経験や勘、熟練など
を要することなく、入力画像の画素信号レベルの分布に
依存しない高精度な合成画像を簡単に得ることができ
る。
【００１６】請求項３に係る発明は、露光量の異なる少
なくとも２枚の画像から、広ダイナミックレンジの画像
を合成する画像合成装置において、適切な露光量で撮影
された適正露光画像、および該適正露光画像とは異なる
露光量で撮影された異露光画像を撮影する撮影手段と、
上記適正露光画像の周波数情報に基づいて上記適正露光
画像から低周波領域を分割する分割手段と、上記低周波
領域に対応する上記異露光画像内の領域において、画素
信号の輝度値が所定の値よりも低い画素あるいは高い画
素が含まれないように領域を分割する画素信号レベルの
範囲を求める限定手段と、上記低周波領域における画素
信号の特徴量に関する統計量を求める統計手段と、上記
画素信号レベルの範囲内で、上記統計量に基づいて、上
記適正露光画像の画素信号を、適正領域と明領域あるい
は暗領域とに分割する画素信号レベルを決定する決定手
段と、上記適正露光画像と上記異露光画像とを露光量比
に合わせて階調補正して、上記画素信号レベルを境とし
て合成する合成手段と、を備えることを特徴とするもの
である。
なくとも２枚の画像から、広ダイナミックレンジの画像
を合成する画像合成装置において、適切な露光量で撮影
された適正露光画像、および該適正露光画像とは異なる
露光量で撮影された異露光画像を撮影する撮影手段と、
上記適正露光画像の周波数情報に基づいて上記適正露光
画像から低周波領域を分割する分割手段と、上記低周波
領域に対応する上記異露光画像内の領域において、画素
信号の輝度値が所定の値よりも低い画素あるいは高い画
素が含まれないように領域を分割する画素信号レベルの
範囲を求める限定手段と、上記低周波領域における画素
信号の特徴量に関する統計量を求める統計手段と、上記
画素信号レベルの範囲内で、上記統計量に基づいて、上
記適正露光画像の画素信号を、適正領域と明領域あるい
は暗領域とに分割する画素信号レベルを決定する決定手
段と、上記適正露光画像と上記異露光画像とを露光量比
に合わせて階調補正して、上記画素信号レベルを境とし
て合成する合成手段と、を備えることを特徴とするもの
である。
【００１７】請求項３に係る発明によれば、撮影手段に
より露光量の異なる複数枚の画像が撮影され、そのうち
の適正な露光量の画像に対して分割手段により画像中の
周波数成分の低い領域が検出され、その低周波領域に対
応する異露光画像の領域に対して限定手段により黒つぶ
れまたは白飛びの画素が含まれないような画素信号レベ
ル範囲が求められ、さらに統計手段により低周波領域に
おける画素信号の特徴量に関する統計量が求められ、こ
れら画素信号レベル範囲および統計量に基づいて、決定
手段により画素信号レベルの範囲内で適正露光画像の画
素信号を適正領域と明領域あるいは暗領域とに分割する
画素信号レベルが自動的に決定されて、その決定された
画素信号レベルを境に合成手段により露光量の異なる画
像が合成される。したがって、請求項１に係る発明と同
様に、画像データの輝度分布に拘わらず、またユーザに
多大な労力や時間の消費を強いることなく、不自然な境
界などの影響が少ない高精度な合成画像を得ることがで
きる。
より露光量の異なる複数枚の画像が撮影され、そのうち
の適正な露光量の画像に対して分割手段により画像中の
周波数成分の低い領域が検出され、その低周波領域に対
応する異露光画像の領域に対して限定手段により黒つぶ
れまたは白飛びの画素が含まれないような画素信号レベ
ル範囲が求められ、さらに統計手段により低周波領域に
おける画素信号の特徴量に関する統計量が求められ、こ
れら画素信号レベル範囲および統計量に基づいて、決定
手段により画素信号レベルの範囲内で適正露光画像の画
素信号を適正領域と明領域あるいは暗領域とに分割する
画素信号レベルが自動的に決定されて、その決定された
画素信号レベルを境に合成手段により露光量の異なる画
像が合成される。したがって、請求項１に係る発明と同
様に、画像データの輝度分布に拘わらず、またユーザに
多大な労力や時間の消費を強いることなく、不自然な境
界などの影響が少ない高精度な合成画像を得ることがで
きる。
【００１８】請求項４に係る発明は、請求項１、２また
は３に記載の画像合成装置において、上記分割手段は、
上記適正露光画像の画素信号を求める画素信号算出手段
と、上記画素信号に基づいてエッジ強度を計算するエッ
ジ抽出手段と、上記エッジ強度と所定の値との比較に基
づいてエッジの存在しない領域を抽出する領域抽出手段
と、を備えることを特徴とするものである。
は３に記載の画像合成装置において、上記分割手段は、
上記適正露光画像の画素信号を求める画素信号算出手段
と、上記画素信号に基づいてエッジ強度を計算するエッ
ジ抽出手段と、上記エッジ強度と所定の値との比較に基
づいてエッジの存在しない領域を抽出する領域抽出手段
と、を備えることを特徴とするものである。
【００１９】請求項４に係る発明によれば、適正露光画
像の画素信号からエッジを抽出し、その強度に基づいて
エッジの存在しない領域を抽出するので、画像中の画素
信号の周波数成分が低い領域、つまり人物や建造物など
の被写体を除くような領域を検出することができる。
像の画素信号からエッジを抽出し、その強度に基づいて
エッジの存在しない領域を抽出するので、画像中の画素
信号の周波数成分が低い領域、つまり人物や建造物など
の被写体を除くような領域を検出することができる。
【００２０】請求項５に係る発明は、請求項１または３
に記載の画像合成装置において、上記統計手段は、上記
分割手段により抽出された上記適正露光画像の低周波領
域内の画素信号を読み取る画素抽出手段と、読み取った
画素信号に関する頻度から画素信号のヒストグラム分布
を計算する加算手段と、上記ヒストグラム分布を近傍の
階級間で平均化する平滑手段と、を備えることを特徴と
するものである。
に記載の画像合成装置において、上記統計手段は、上記
分割手段により抽出された上記適正露光画像の低周波領
域内の画素信号を読み取る画素抽出手段と、読み取った
画素信号に関する頻度から画素信号のヒストグラム分布
を計算する加算手段と、上記ヒストグラム分布を近傍の
階級間で平均化する平滑手段と、を備えることを特徴と
するものである。
【００２１】請求項５に係る発明によると、適正露光画
像の低周波領域内の画素信号を読み取り、そのヒストグ
ラム分布を計算して平滑化するので、周波数成分の低い
領域、つまり被写体が除かれた背景などの領域の画素信
号分布を求めることができる。
像の低周波領域内の画素信号を読み取り、そのヒストグ
ラム分布を計算して平滑化するので、周波数成分の低い
領域、つまり被写体が除かれた背景などの領域の画素信
号分布を求めることができる。
【００２２】請求項６に係る発明は、請求項５に記載の
画像合成装置において、上記決定手段は、上記画素信号
のヒストグラム分布を微分して極大値および極小値を検
出する極値検出手段と、上記極小値と隣り合う極大値と
の頻度値の差を検出する差検出手段と、各極小値に対す
る上記頻度値の差を比較して、最大値を示す極小値を選
択する比較手段と、を備えることを特徴とするものであ
る。
画像合成装置において、上記決定手段は、上記画素信号
のヒストグラム分布を微分して極大値および極小値を検
出する極値検出手段と、上記極小値と隣り合う極大値と
の頻度値の差を検出する差検出手段と、各極小値に対す
る上記頻度値の差を比較して、最大値を示す極小値を選
択する比較手段と、を備えることを特徴とするものであ
る。
【００２３】請求項６に係る発明によれば、統計手段に
より計算された画素信号のヒストグラム分布内の極小値
を検出し、検出されたそれぞれの極小値の中で隣り合う
極大値との頻度値の差が最大である場合の極小値を切替
えレベルとして選択するので、出現頻度が少ない輝度レ
ベルを境に合成画像を生成でき、不自然な合成境目や擬
似輪郭の影響を抑制した合成画像を得ることができる。
より計算された画素信号のヒストグラム分布内の極小値
を検出し、検出されたそれぞれの極小値の中で隣り合う
極大値との頻度値の差が最大である場合の極小値を切替
えレベルとして選択するので、出現頻度が少ない輝度レ
ベルを境に合成画像を生成でき、不自然な合成境目や擬
似輪郭の影響を抑制した合成画像を得ることができる。
【００２４】請求項７に係る発明は、請求項２または３
に記載の画像合成装置において、上記限定手段は、上記
分割手段により抽出された上記適正露光画像の低周波領
域において、領域を分割する画素信号レベルを設定する
設定手段と、分割された領域に対応する上記異露光画像
の領域内に含まれる画素で、画素信号の輝度値が所定の
値よりも低い画素または高い画素の数を加算する加算手
段と、該加算手段により加算された画素数が所定の許容
範囲内であるかどうかを判定する判定手段と、を備え、
上記判定手段での判定結果に基づいて上記設定手段で設
定する画素信号レベルを変更しながら、上記低周波領域
に対応する上記異露光画像内の領域において、画素信号
の輝度値が所定の値よりも低い画素あるいは高い画素が
含まれないように領域を分割する画素信号レベルの範囲
を求めるよう構成したことを特徴とするものである。
に記載の画像合成装置において、上記限定手段は、上記
分割手段により抽出された上記適正露光画像の低周波領
域において、領域を分割する画素信号レベルを設定する
設定手段と、分割された領域に対応する上記異露光画像
の領域内に含まれる画素で、画素信号の輝度値が所定の
値よりも低い画素または高い画素の数を加算する加算手
段と、該加算手段により加算された画素数が所定の許容
範囲内であるかどうかを判定する判定手段と、を備え、
上記判定手段での判定結果に基づいて上記設定手段で設
定する画素信号レベルを変更しながら、上記低周波領域
に対応する上記異露光画像内の領域において、画素信号
の輝度値が所定の値よりも低い画素あるいは高い画素が
含まれないように領域を分割する画素信号レベルの範囲
を求めるよう構成したことを特徴とするものである。
【００２５】請求項７に係る発明によれば、判定手段で
の判定結果に基づいて設定手段で設定する画素信号レベ
ルを変更しながら、適正画像の低周波領域に対応する異
露光画像内の領域において、画素信号の輝度値が所定の
値よりも低い画素あるいは高い画素が含まれないように
領域を分割する画素信号レベルの範囲を求めるので、画
像の画素信号の分布にかかわらず、高精度な合成画像を
得ることができる。
の判定結果に基づいて設定手段で設定する画素信号レベ
ルを変更しながら、適正画像の低周波領域に対応する異
露光画像内の領域において、画素信号の輝度値が所定の
値よりも低い画素あるいは高い画素が含まれないように
領域を分割する画素信号レベルの範囲を求めるので、画
像の画素信号の分布にかかわらず、高精度な合成画像を
得ることができる。
【００２６】
【発明の実施の形態】以下、本発明による画像合成装置
の実施の形態について、図面を参照して説明する。
の実施の形態について、図面を参照して説明する。
【００２７】図１〜図６は本発明の第１実施の形態を示
すもので、図１は画像合成装置の全体の構成を示すブロ
ック図、図２は図１に示す分割部の一例の構成を示すブ
ロック図、図３は図２に示すエッジ抽出部で用いるエッ
ジ検出フィルタの二つの例を示す図、図４は図１に示す
統計部の一例の構成を示すブロック図、図５は同じく決
定部の一例の構成を示すブロック図、図６は図５に示す
決定部の動作を説明するための図である。
すもので、図１は画像合成装置の全体の構成を示すブロ
ック図、図２は図１に示す分割部の一例の構成を示すブ
ロック図、図３は図２に示すエッジ抽出部で用いるエッ
ジ検出フィルタの二つの例を示す図、図４は図１に示す
統計部の一例の構成を示すブロック図、図５は同じく決
定部の一例の構成を示すブロック図、図６は図５に示す
決定部の動作を説明するための図である。
【００２８】図１に示すように、本実施の形態の画像合
成装置は、撮像部１０、Ａ／Ｄ変換器１５、画像バッフ
ァ１６、合成制御部１７、合成部１８、出力部１９、補
間部２０、入出力制御部２１、および閾値演算部２６を
有している。撮像部１０は、適切な露光量で撮影された
適正露光画像および該適正露光画像とは異なる露光量で
撮影された異露光画像を撮影する撮影手段を構成するも
ので、レンズ系１１、ローパスフィルタ１２、ＣＣＤ
（撮像素子）１３および撮像素子制御部１４を有してい
る。また、閾値演算部２６は、分割部２２、統計部２３
および決定部２４を有している。
成装置は、撮像部１０、Ａ／Ｄ変換器１５、画像バッフ
ァ１６、合成制御部１７、合成部１８、出力部１９、補
間部２０、入出力制御部２１、および閾値演算部２６を
有している。撮像部１０は、適切な露光量で撮影された
適正露光画像および該適正露光画像とは異なる露光量で
撮影された異露光画像を撮影する撮影手段を構成するも
ので、レンズ系１１、ローパスフィルタ１２、ＣＣＤ
（撮像素子）１３および撮像素子制御部１４を有してい
る。また、閾値演算部２６は、分割部２２、統計部２３
および決定部２４を有している。
【００２９】本実施の形態では、図示しない撮影ボタン
を押すことにより撮影モードとなり、この撮影モードに
おいて、撮像部１０により撮像素子制御部１４の制御に
基づいて、レンズ系１１およびローパスフィルタ１２を
経てＣＣＤ１３より露光量の異なる複数枚の画像、ここ
では露光量が適切な適正露光画像と、適切な露光量より
も少ない露光量の短時間露光画像との２枚の画像を撮影
する。
を押すことにより撮影モードとなり、この撮影モードに
おいて、撮像部１０により撮像素子制御部１４の制御に
基づいて、レンズ系１１およびローパスフィルタ１２を
経てＣＣＤ１３より露光量の異なる複数枚の画像、ここ
では露光量が適切な適正露光画像と、適切な露光量より
も少ない露光量の短時間露光画像との２枚の画像を撮影
する。
【００３０】撮像部１０で撮影された露光量の異なる２
枚の画像データは、それぞれＡ／Ｄ変換器１５でディジ
タル信号に変換して画像バッファ１６に取り込んで、画
像バッファ１６から合成制御部１７を経て合成部１８に
供給すると共に、画像バッファ１６に取り込まれた適正
露光画像データおよび短時間露光画像データのうち、適
正露光画像データは補間部２０に供給する。補間部２０
では、単板の適正露光画像データを補間してＲ（赤色信
号），Ｇ（緑色信号），Ｂ（青色信号）の三板の適正露
光画像データを、これらの適正露光画像データを入出力
制御部２１の制御に基づいて閾値演算部２６の分割部２
２および統計部２３にそれぞれ供給する。なお、補間部
２０での補間処理は、例えば線形演算やその他公知の演
算法を用いる。
枚の画像データは、それぞれＡ／Ｄ変換器１５でディジ
タル信号に変換して画像バッファ１６に取り込んで、画
像バッファ１６から合成制御部１７を経て合成部１８に
供給すると共に、画像バッファ１６に取り込まれた適正
露光画像データおよび短時間露光画像データのうち、適
正露光画像データは補間部２０に供給する。補間部２０
では、単板の適正露光画像データを補間してＲ（赤色信
号），Ｇ（緑色信号），Ｂ（青色信号）の三板の適正露
光画像データを、これらの適正露光画像データを入出力
制御部２１の制御に基づいて閾値演算部２６の分割部２
２および統計部２３にそれぞれ供給する。なお、補間部
２０での補間処理は、例えば線形演算やその他公知の演
算法を用いる。
【００３１】分割部２２は、適正露光画像の周波数情報
に基づいて、該適正露光画像から低周波領域を分割する
分割手段を構成するもので、図２に示すように、画素信
号算出部３１、エッジ抽出部３２および領域抽出部３３
を有して構成する。画素信号算出部３１は、適正露光画
像の画素信号を求める画素信号算出手段を構成するもの
で、入出力制御部２１の制御のもとに送られた適正露光
の画像データに対し、例えば下記の（１）式によりＲ，
Ｇ，Ｂの各色信号を用いて各画素の輝度値Ｙを演算して
エッジ抽出部３２に供給する。
に基づいて、該適正露光画像から低周波領域を分割する
分割手段を構成するもので、図２に示すように、画素信
号算出部３１、エッジ抽出部３２および領域抽出部３３
を有して構成する。画素信号算出部３１は、適正露光画
像の画素信号を求める画素信号算出手段を構成するもの
で、入出力制御部２１の制御のもとに送られた適正露光
の画像データに対し、例えば下記の（１）式によりＲ，
Ｇ，Ｂの各色信号を用いて各画素の輝度値Ｙを演算して
エッジ抽出部３２に供給する。
【００３２】
【数１】
Ｙ＝０.２９９×Ｒ＋０.５８７×Ｇ＋０.１１４×Ｂ ・・・（１）
【００３３】なお、上記（１）式のように、Ｒ，Ｇ，Ｂ
の各色信号を用いて輝度値Ｙを算出する代わりに、例え
ばＧ信号等の単一の色信号を輝度信号としても構わな
い。
の各色信号を用いて輝度値Ｙを算出する代わりに、例え
ばＧ信号等の単一の色信号を輝度信号としても構わな
い。
【００３４】エッジ抽出部３２は、画素信号算出部３１
からの輝度信号に基づいてエッジ強度を計算するエッジ
抽出手段を構成するもので、画素信号算出部３１からの
輝度信号に対して、図３（ａ）に示すようなプルウィッ
ト（Prewitt）フィルタや、図３（ｂ）に示すようなソ
ーベル（Sobel）フィルタ、あるいはその他の公知のフ
ィルタを用いてエッジを抽出し、その結果を領域抽出部
３３に供給する。
からの輝度信号に基づいてエッジ強度を計算するエッジ
抽出手段を構成するもので、画素信号算出部３１からの
輝度信号に対して、図３（ａ）に示すようなプルウィッ
ト（Prewitt）フィルタや、図３（ｂ）に示すようなソ
ーベル（Sobel）フィルタ、あるいはその他の公知のフ
ィルタを用いてエッジを抽出し、その結果を領域抽出部
３３に供給する。
【００３５】領域抽出部３３は、エッジ強度と所定の値
との比較に基づいてエッジの存在しない領域を抽出する
領域抽出手段を構成するもので、エッジ抽出部３２で抽
出したエッジに対して、その強度を所定の値と比較し、
エッジが存在するかどうかを判別する。例えば、求めら
れたエッジ強度が所定の値よりも大きい場合には、その
画素位置に識別子「０」を代入し、エッジ強度が小さい
場合にはその画素位置に識別子「１」を代入する。な
お、この値はエッジの有無が判別できるような識別子で
あれば、任意の値で構わない。すべての画素に対して同
様の判定を繰り返し、画素位置に対応した識別子の集合
を統計部２３へと出力する。
との比較に基づいてエッジの存在しない領域を抽出する
領域抽出手段を構成するもので、エッジ抽出部３２で抽
出したエッジに対して、その強度を所定の値と比較し、
エッジが存在するかどうかを判別する。例えば、求めら
れたエッジ強度が所定の値よりも大きい場合には、その
画素位置に識別子「０」を代入し、エッジ強度が小さい
場合にはその画素位置に識別子「１」を代入する。な
お、この値はエッジの有無が判別できるような識別子で
あれば、任意の値で構わない。すべての画素に対して同
様の判定を繰り返し、画素位置に対応した識別子の集合
を統計部２３へと出力する。
【００３６】統計部２３は、分割部２２で分割された適
正露光画像の低周波領域における画素信号の特徴量に関
する統計量を求める統計手段を構成するもので、図４に
示すように、画素抽出部４１、加算部４２および平滑部
４３を有して構成する。画素抽出部４１は、分割部２２
により抽出された適正露光画像の低周波領域内の画素信
号を読み取る画素抽出手段を構成するもので、分割部２
２からの出力に基づいて、入出力制御部２１の制御のも
とに送られる適正露光の画像データから、エッジ強度が
小さく、エッジがないと判定された領域における画素の
輝度信号を抽出して加算部４２に供給する。例えば、分
割部２２が出力する画素位置に対応した識別子の集合デ
ータを読み取り、エッジが存在しないことを示す識別子
「１」を検出した場合に限り、対応する位置の三板画像
データからＲ，Ｇ，Ｂの画素信号を読み取って、上記の
（１）式により輝度信号を演算するか、あるいは輝度信
号を演算する代わりに対応する位置のＧ信号などの色信
号を輝度信号として抽出して加算部４２に供給する。
正露光画像の低周波領域における画素信号の特徴量に関
する統計量を求める統計手段を構成するもので、図４に
示すように、画素抽出部４１、加算部４２および平滑部
４３を有して構成する。画素抽出部４１は、分割部２２
により抽出された適正露光画像の低周波領域内の画素信
号を読み取る画素抽出手段を構成するもので、分割部２
２からの出力に基づいて、入出力制御部２１の制御のも
とに送られる適正露光の画像データから、エッジ強度が
小さく、エッジがないと判定された領域における画素の
輝度信号を抽出して加算部４２に供給する。例えば、分
割部２２が出力する画素位置に対応した識別子の集合デ
ータを読み取り、エッジが存在しないことを示す識別子
「１」を検出した場合に限り、対応する位置の三板画像
データからＲ，Ｇ，Ｂの画素信号を読み取って、上記の
（１）式により輝度信号を演算するか、あるいは輝度信
号を演算する代わりに対応する位置のＧ信号などの色信
号を輝度信号として抽出して加算部４２に供給する。
【００３７】加算部４２は加算手段を構成するもので、
画素抽出部４１からの輝度信号を受けてレベル別に頻度
を計算して輝度ヒストグラムを算出し、その輝度ヒスト
グラムを平滑部４３に供給する。
画素抽出部４１からの輝度信号を受けてレベル別に頻度
を計算して輝度ヒストグラムを算出し、その輝度ヒスト
グラムを平滑部４３に供給する。
【００３８】平滑部４３は平滑手段を構成するもので、
加算部４２からの輝度ヒストグラムを受け、その分布に
ついて隣接する階級の値を平均、メディアン、モードな
ど公知の方法を用いて平滑化して決定部２４へと出力す
る。
加算部４２からの輝度ヒストグラムを受け、その分布に
ついて隣接する階級の値を平均、メディアン、モードな
ど公知の方法を用いて平滑化して決定部２４へと出力す
る。
【００３９】決定部２４は、上記の統計部２３からの統
計量に基づいて、適正露光画像の画素信号を、適正領域
と明領域あるいは暗領域とに分割する画素信号レベルを
決定する決定手段を構成するもので、図５に示すよう
に、極値検出部５１、差検出部５２および比較部５３を
有して構成する。極値検出部５１は極値検出手段を構成
するもので、統計部２３からの平滑化されたヒストグラ
ム分布を関数とみなして微分し、その微分値の符号がプ
ラスからマイナス、あるいはマイナスからプラスへと変
化している点を探索して、ヒストグラム分布の極大値お
よび極小値を検出して差検出部５２に供給する。この
際、数階級で符号の変化が発生しているような点は省く
ことで、微小な極大値または極小値を除くようにする。
計量に基づいて、適正露光画像の画素信号を、適正領域
と明領域あるいは暗領域とに分割する画素信号レベルを
決定する決定手段を構成するもので、図５に示すよう
に、極値検出部５１、差検出部５２および比較部５３を
有して構成する。極値検出部５１は極値検出手段を構成
するもので、統計部２３からの平滑化されたヒストグラ
ム分布を関数とみなして微分し、その微分値の符号がプ
ラスからマイナス、あるいはマイナスからプラスへと変
化している点を探索して、ヒストグラム分布の極大値お
よび極小値を検出して差検出部５２に供給する。この
際、数階級で符号の変化が発生しているような点は省く
ことで、微小な極大値または極小値を除くようにする。
【００４０】差検出部５２は差検出手段を構成するもの
で、極値検出部５１の出力に基づいて、統計部２３から
のヒストグラム分布の極小値とその極小値と隣り合う極
大値との頻度値の差を計算して、その結果を比較部５３
に供給する。例えば、図６に示すようなヒストグラム分
布の場合には、各極小値Ｉ１，Ｉ２，Ｉ３，・・・と、
隣り合う極大値との頻度差ｄｉ（ｉ = １，２，３，・
・・）を求める。
で、極値検出部５１の出力に基づいて、統計部２３から
のヒストグラム分布の極小値とその極小値と隣り合う極
大値との頻度値の差を計算して、その結果を比較部５３
に供給する。例えば、図６に示すようなヒストグラム分
布の場合には、各極小値Ｉ１，Ｉ２，Ｉ３，・・・と、
隣り合う極大値との頻度差ｄｉ（ｉ = １，２，３，・
・・）を求める。
【００４１】比較部５３は比較手段を構成するもので、
差検出部５２からの頻度差を比較してその最大値を探索
し、そのときの極小値を選択して合成制御部７へ出力す
る。例えば、図６に示したヒストグラム分布の場合に
は、検出された頻度差ｄｉ（ｉ= １，２，・・・，８）
のうち、ｄ３が最大となるため、そのときの極小値Ｉ２
を出力する。
差検出部５２からの頻度差を比較してその最大値を探索
し、そのときの極小値を選択して合成制御部７へ出力す
る。例えば、図６に示したヒストグラム分布の場合に
は、検出された頻度差ｄｉ（ｉ= １，２，・・・，８）
のうち、ｄ３が最大となるため、そのときの極小値Ｉ２
を出力する。
【００４２】図１において、合成部１８は合成手段を構
成するもので、適正露光画像と短時間露光画像とを露光
量比に応じて階調補正し、合成制御部１７の制御に基づ
いて、適正露光画像に対して閾値演算部２６の決定部２
４から出力される画素信号レベルを越える画素を、対応
する短時間露光画像の画素と置き換えることにより、露
光量の異なる２枚の画像を、決定部２４からの画素信号
レベルを境として合成して１枚の画像を生成し、その合
成画像を出力部１９に供給する。
成するもので、適正露光画像と短時間露光画像とを露光
量比に応じて階調補正し、合成制御部１７の制御に基づ
いて、適正露光画像に対して閾値演算部２６の決定部２
４から出力される画素信号レベルを越える画素を、対応
する短時間露光画像の画素と置き換えることにより、露
光量の異なる２枚の画像を、決定部２４からの画素信号
レベルを境として合成して１枚の画像を生成し、その合
成画像を出力部１９に供給する。
【００４３】出力部１９では、合成部１８からの合成画
像に対して公知の出力処理を施して保存する。
像に対して公知の出力処理を施して保存する。
【００４４】このように、本実施の形態では、撮影部１
０で露光量の異なる複数枚の画像を撮影し、そのうちの
適正露光画像に対して分割部２２で画像中の周波数成分
の低い領域を検出し、その低周波領域に対して統計部２
３で画素信号の特徴量に関する統計量を求め、その統計
量に基づいて決定部２４で明るさが適当な領域と明るす
ぎる領域、または明るさが適当な領域と暗すぎる領域と
を分離する画素信号レベルを自動的に決定して、その決
定された画素信号レベルを境に合成部１８で露光量の異
なる画像を合成するようにしたので、画像データの輝度
分布に拘わらず、またユーザに多大な労力や時間の消費
を強いることなく、不自然な境界などの影響が少ない高
精度な合成画像を得ることができる。
０で露光量の異なる複数枚の画像を撮影し、そのうちの
適正露光画像に対して分割部２２で画像中の周波数成分
の低い領域を検出し、その低周波領域に対して統計部２
３で画素信号の特徴量に関する統計量を求め、その統計
量に基づいて決定部２４で明るさが適当な領域と明るす
ぎる領域、または明るさが適当な領域と暗すぎる領域と
を分離する画素信号レベルを自動的に決定して、その決
定された画素信号レベルを境に合成部１８で露光量の異
なる画像を合成するようにしたので、画像データの輝度
分布に拘わらず、またユーザに多大な労力や時間の消費
を強いることなく、不自然な境界などの影響が少ない高
精度な合成画像を得ることができる。
【００４５】図７〜図１０は本発明の第２実施の形態を
示すもので、図７は画像合成装置の全体の構成を示すブ
ロック図、図８は図７に示す限定部の一例の構成を示す
ブロック図、図９は図８に示す加算部の動作を説明する
ための図、図１０は限定部の動作を示すフローチャート
である。
示すもので、図７は画像合成装置の全体の構成を示すブ
ロック図、図８は図７に示す限定部の一例の構成を示す
ブロック図、図９は図８に示す加算部の動作を説明する
ための図、図１０は限定部の動作を示すフローチャート
である。
【００４６】本実施の形態は、第１実施の形態の画像合
成装置の閾値演算部２６に代えて範囲演算部２７を設け
ると共に、画像バッファ１６から露光量が適切な適正露
光画像と適切な露光量とは異なる露光量の異露光画像と
を補間部２０に供給してそれぞれの単板画像をＲ，Ｇ，
Ｂの三板画像に補間し、それらの画像データを入出力制
御部２１を経て範囲演算部２７に供給するようにしたも
ので、その他の構成は第１実施の形態と同様であるの
で、第１実施の形態と同様の作用を行なう構成要素には
同一参照符号を付して、その説明を省略する。
成装置の閾値演算部２６に代えて範囲演算部２７を設け
ると共に、画像バッファ１６から露光量が適切な適正露
光画像と適切な露光量とは異なる露光量の異露光画像と
を補間部２０に供給してそれぞれの単板画像をＲ，Ｇ，
Ｂの三板画像に補間し、それらの画像データを入出力制
御部２１を経て範囲演算部２７に供給するようにしたも
ので、その他の構成は第１実施の形態と同様であるの
で、第１実施の形態と同様の作用を行なう構成要素には
同一参照符号を付して、その説明を省略する。
【００４７】範囲演算部２７は、分割部２２と限定部２
５とを有して構成する。分割部２２は、第１実施の形態
と同様に構成して、入出力制御部２１の制御に基づいて
供給される適正露光画像のエッジ強度の小さい領域を抽
出し、その結果を限定部２５に供給する。
５とを有して構成する。分割部２２は、第１実施の形態
と同様に構成して、入出力制御部２１の制御に基づいて
供給される適正露光画像のエッジ強度の小さい領域を抽
出し、その結果を限定部２５に供給する。
【００４８】限定部２５は、分割部２２で分割された適
正露光画像の低周波領域の位置に対応する異露光画像内
の領域において、画素信号の輝度値が所定の値よりも低
い画素あるいは高い画素が含まれないように領域を分割
する画素信号レベルの範囲を求める限定手段を構成する
もので、図８に示すように、設定部６１、加算部６２お
よび判定部６３を有して構成する。設定部６１は設定手
段を構成するもので、分割部２２からの出力を受けてエ
ッジ強度の小さい領域の輝度レベルを設定し、その輝度
レベルに基づいて、入出力制御部２３を経て供給される
適正露光画像の領域を分割し、その結果を加算部６２に
供給する。
正露光画像の低周波領域の位置に対応する異露光画像内
の領域において、画素信号の輝度値が所定の値よりも低
い画素あるいは高い画素が含まれないように領域を分割
する画素信号レベルの範囲を求める限定手段を構成する
もので、図８に示すように、設定部６１、加算部６２お
よび判定部６３を有して構成する。設定部６１は設定手
段を構成するもので、分割部２２からの出力を受けてエ
ッジ強度の小さい領域の輝度レベルを設定し、その輝度
レベルに基づいて、入出力制御部２３を経て供給される
適正露光画像の領域を分割し、その結果を加算部６２に
供給する。
【００４９】ここで、設定部６１で設定される輝度レベ
ルは、適正露光画像に対して少ない露光量の異露光画像
を合成する場合には、画像のビット幅の最大値（入力画
像が１０ビットの場合には１０２３）に初期設定し、適
正露光画像に対して多い露光量の異露光画像を合成する
場合には、画像のビット幅の最小値（入力画像が１０ビ
ットの場合には０）に初期設定する。
ルは、適正露光画像に対して少ない露光量の異露光画像
を合成する場合には、画像のビット幅の最大値（入力画
像が１０ビットの場合には１０２３）に初期設定し、適
正露光画像に対して多い露光量の異露光画像を合成する
場合には、画像のビット幅の最小値（入力画像が１０ビ
ットの場合には０）に初期設定する。
【００５０】加算部６２は加算手段を構成するもので、
入出力制御部２３を経て異露光画像を供給し、設定部６
１からの分割された適正露光画像の２つの画像領域のう
ち、画像合成を行う際に画像の置き換えを行なう領域に
対応する異露光画像の領域内に含まれる黒つぶれレベル
または白飛びレベルの画素数を加算し、その結果を判定
部６３に供給する。
入出力制御部２３を経て異露光画像を供給し、設定部６
１からの分割された適正露光画像の２つの画像領域のう
ち、画像合成を行う際に画像の置き換えを行なう領域に
対応する異露光画像の領域内に含まれる黒つぶれレベル
または白飛びレベルの画素数を加算し、その結果を判定
部６３に供給する。
【００５１】ここで、黒つぶれレベルの画素は、あらか
じめ設定した所定の値よりも輝度値が小さい画素とし、
白飛びレベルの画素は、所定の値よりも輝度値が大きい
画素とする。例えば、適正露光画像と、それよりも少な
い露光量の短時間露光画像とを合成する場合には、適正
露光画像における白飛びレベルの画素を短時間露光画像
と置き換えることから、置き換えられる短時間露光画像
の対応する領域における黒つぶれレベルの画素を数え
る。
じめ設定した所定の値よりも輝度値が小さい画素とし、
白飛びレベルの画素は、所定の値よりも輝度値が大きい
画素とする。例えば、適正露光画像と、それよりも少な
い露光量の短時間露光画像とを合成する場合には、適正
露光画像における白飛びレベルの画素を短時間露光画像
と置き換えることから、置き換えられる短時間露光画像
の対応する領域における黒つぶれレベルの画素を数え
る。
【００５２】図９は、黒つぶれレベル画素数の一例を示
すもので、横軸は置き換え基準となる画素信号レベルを
示し、縦軸は設定された画素信号レベルを境として置き
換えられる短時間露光画像の対応する領域内に含まれる
黒つぶれレベルの画素数を示している。
すもので、横軸は置き換え基準となる画素信号レベルを
示し、縦軸は設定された画素信号レベルを境として置き
換えられる短時間露光画像の対応する領域内に含まれる
黒つぶれレベルの画素数を示している。
【００５３】判定部６３は判定手段を構成するもので、
加算部６２からの黒つぶれレベルの画素数が、設定した
所定の許容数を越えているかどうかを判定する。ここ
で、黒つぶれレベルの画素数が所定の許容数を越えてい
ない場合には、設定部６１の輝度レベルを「１」小さく
した値に再設定し、設定部６１に制御を戻して同様の処
理を繰り返す。これに対し、黒つぶれレベルの画素数が
所定の許容数を超えた場合には、そのときの輝度レベル
を限界値として設定可能範囲を求め、合成制御部１７へ
出力する。これにより、図９に示すように、黒つぶれレ
ベルの画素数の総和が所定の基準以内である画素信号レ
ベルの限界が求められる。
加算部６２からの黒つぶれレベルの画素数が、設定した
所定の許容数を越えているかどうかを判定する。ここ
で、黒つぶれレベルの画素数が所定の許容数を越えてい
ない場合には、設定部６１の輝度レベルを「１」小さく
した値に再設定し、設定部６１に制御を戻して同様の処
理を繰り返す。これに対し、黒つぶれレベルの画素数が
所定の許容数を超えた場合には、そのときの輝度レベル
を限界値として設定可能範囲を求め、合成制御部１７へ
出力する。これにより、図９に示すように、黒つぶれレ
ベルの画素数の総和が所定の基準以内である画素信号レ
ベルの限界が求められる。
【００５４】合成制御部１７では、限定部２５からの画
素信号レベル範囲内で、ユーザにより任意の分割レベル
を設定させ、合成部１８において適正露光画像と異露光
画像とを露光量比に合わせて階調補正して、それらの画
像を合成制御部１７で設定された分割レベルを境として
合成して出力部１９へ出力する。
素信号レベル範囲内で、ユーザにより任意の分割レベル
を設定させ、合成部１８において適正露光画像と異露光
画像とを露光量比に合わせて階調補正して、それらの画
像を合成制御部１７で設定された分割レベルを境として
合成して出力部１９へ出力する。
【００５５】以下、図１０に示すフローチャートを参照
しながら限定部２５の動作を説明する。本実施の形態で
は、入力映像信号の階調幅を１０ビットとし、適正露光
画像に短時間露光画像を合成するものとする。
しながら限定部２５の動作を説明する。本実施の形態で
は、入力映像信号の階調幅を１０ビットとし、適正露光
画像に短時間露光画像を合成するものとする。
【００５６】先ず、ステップＳ１で初期化処理を行なっ
て、分割輝度レベルｔｈを階調幅の最大値(１０ビット
の場合は１０２３)に設定し、黒つぶれレベル画素数ｓ
ｕｍを０に設定する。次に、ステップＳ２において、入
力された適正露光画像の低周波領域を、設定された分割
輝度レベルｔｈにて領域分割した後、ステップＳ３にお
いて分割輝度レベルｔｈよりも高い領域に対応する短時
間露光画像の輝度信号を読み取る。その後、ステップＳ
４において、読み取った輝度信号が黒つぶれレベルであ
るかどうかを判定し、黒つぶれレベルの場合には、ステ
ップＳ５において黒つぶれレベル画素数ｓｕｍに１を加
算する。
て、分割輝度レベルｔｈを階調幅の最大値(１０ビット
の場合は１０２３)に設定し、黒つぶれレベル画素数ｓ
ｕｍを０に設定する。次に、ステップＳ２において、入
力された適正露光画像の低周波領域を、設定された分割
輝度レベルｔｈにて領域分割した後、ステップＳ３にお
いて分割輝度レベルｔｈよりも高い領域に対応する短時
間露光画像の輝度信号を読み取る。その後、ステップＳ
４において、読み取った輝度信号が黒つぶれレベルであ
るかどうかを判定し、黒つぶれレベルの場合には、ステ
ップＳ５において黒つぶれレベル画素数ｓｕｍに１を加
算する。
【００５７】次に、ステップＳ６において、すべてのデ
ータを読み取ったかどうかを判定し、読み取っていない
場合には、ステップＳ３に戻って同様の処理を繰り返
し、すべてのデータを読み取った場合には、ステップＳ
７において黒つぶれレベル画素数の総和ｓｕｍが所定の
基準を越えているかどうかを判定し、越えていない場合
には、ステップＳ８にて輝度レベルを「１」減算し、黒
つぶれレベル画素数の総和ｓｕｍを０に初期化してステ
ップＳ２へ戻る。
ータを読み取ったかどうかを判定し、読み取っていない
場合には、ステップＳ３に戻って同様の処理を繰り返
し、すべてのデータを読み取った場合には、ステップＳ
７において黒つぶれレベル画素数の総和ｓｕｍが所定の
基準を越えているかどうかを判定し、越えていない場合
には、ステップＳ８にて輝度レベルを「１」減算し、黒
つぶれレベル画素数の総和ｓｕｍを０に初期化してステ
ップＳ２へ戻る。
【００５８】以下、ステップＳ７において、黒つぶれレ
ベルの画素数の総和ｓｕｍが所定の基準を越えるまで同
様の処理を繰り返し、基準を越えた場合には、許容範囲
までの画素信号レベルを設定可能範囲として出力する。
ベルの画素数の総和ｓｕｍが所定の基準を越えるまで同
様の処理を繰り返し、基準を越えた場合には、許容範囲
までの画素信号レベルを設定可能範囲として出力する。
【００５９】このように、本実施の形態では、撮影部１
０で露光量の異なる複数枚の画像を撮影し、そのうちの
適正露光画像に対して分割部２２で画像中の周波数成分
の低い領域を検出し、その低周波領域に対応する異露光
画像の領域に対して限定部２５で黒つぶれまたは白飛び
の画素が含まれないような画素信号レベル範囲を求める
ようにしたので、その範囲内で分割レベルを設定するこ
とにより、設定された分割レベルを境として合成部１８
で適正露光画像と異露光画像とを合成することができ
る。したがって、ユーザの経験や勘、熟練などを要する
ことなく、入力画像の画素信号レベルの分布に依存しな
い高精度な合成画像を簡単に得ることができる。
０で露光量の異なる複数枚の画像を撮影し、そのうちの
適正露光画像に対して分割部２２で画像中の周波数成分
の低い領域を検出し、その低周波領域に対応する異露光
画像の領域に対して限定部２５で黒つぶれまたは白飛び
の画素が含まれないような画素信号レベル範囲を求める
ようにしたので、その範囲内で分割レベルを設定するこ
とにより、設定された分割レベルを境として合成部１８
で適正露光画像と異露光画像とを合成することができ
る。したがって、ユーザの経験や勘、熟練などを要する
ことなく、入力画像の画素信号レベルの分布に依存しな
い高精度な合成画像を簡単に得ることができる。
【００６０】図１１は本発明の第３実施の形態における
画像合成装置の全体の構成を示すブロック図である。本
実施の形態は、第２実施の形態の画像合成装置の範囲演
算部２７に代えて、第１実施の形態で説明した閾値演算
部２６と第２実施の形態で説明した範囲演算部２７とを
組み合わせてなる閾値演算部２８を設けたもので、その
他の構成は第１、第２実施の形態と同様であるので、同
様の作用を行なう構成要素には同一参照符号を付して、
その説明を省略する。
画像合成装置の全体の構成を示すブロック図である。本
実施の形態は、第２実施の形態の画像合成装置の範囲演
算部２７に代えて、第１実施の形態で説明した閾値演算
部２６と第２実施の形態で説明した範囲演算部２７とを
組み合わせてなる閾値演算部２８を設けたもので、その
他の構成は第１、第２実施の形態と同様であるので、同
様の作用を行なう構成要素には同一参照符号を付して、
その説明を省略する。
【００６１】すなわち、本実施の形態では、閾値演算部
２８を、第１実施の形態で説明した分割部２２、統計部
２３、決定部２４と、第２実施の形態で説明した限定部
２５とを有して構成し、入出力制御部２１の制御に従っ
て、分割部２２において適正露光画像のエッジ強度の小
さい領域を抽出し、その出力を統計部２３および限定部
２５にそれぞれ供給して、統計部２３において適正露光
画像のエッジ強度の小さい領域の輝度ヒストグラムを計
算し、限定部２５において適正露光画像と異なる露光量
の異露光画像を切替える画素信号レベルの設定可能範囲
を求める。
２８を、第１実施の形態で説明した分割部２２、統計部
２３、決定部２４と、第２実施の形態で説明した限定部
２５とを有して構成し、入出力制御部２１の制御に従っ
て、分割部２２において適正露光画像のエッジ強度の小
さい領域を抽出し、その出力を統計部２３および限定部
２５にそれぞれ供給して、統計部２３において適正露光
画像のエッジ強度の小さい領域の輝度ヒストグラムを計
算し、限定部２５において適正露光画像と異なる露光量
の異露光画像を切替える画素信号レベルの設定可能範囲
を求める。
【００６２】統計部２３および限定部２５のそれぞれの
出力は決定部２４に供給し、ここで限定部２５からの切
替え画素信号レベルの設定可能範囲内で画素信号レベル
を決定し、その結果に基づいて合成制御部１７により合
成部１８を制御して、露光量の異なる２枚の画像を合成
し、その合成画像を出力部１９で出力処理する。
出力は決定部２４に供給し、ここで限定部２５からの切
替え画素信号レベルの設定可能範囲内で画素信号レベル
を決定し、その結果に基づいて合成制御部１７により合
成部１８を制御して、露光量の異なる２枚の画像を合成
し、その合成画像を出力部１９で出力処理する。
【００６３】このように、本実施の形態によれば、撮影
部１０で露光量の異なる複数枚の画像を撮影し、そのう
ちの適正露光画像に対して分割部１０で画像中の周波数
成分の低い領域を検出し、その低周波領域に対応する異
露光画像の領域に対して限定部２５で黒つぶれまたは白
飛びの画素が含まれないような画素信号レベル範囲を求
め、さらに統計部２３で低周波領域における画素信号の
特徴量に関する統計量を求め、これら画素信号レベル範
囲および統計量に基づいて、決定部２４で画素信号レベ
ル範囲内で適正露光画像の画素信号を適正領域と明領域
あるいは暗領域とに分割する画素信号レベルを自動的に
決定し、その決定した画素信号レベルを境に合成部１８
で露光量の異なる画像を合成するようにしたので、第１
実施の形態と同様に、画像データの輝度分布に拘わら
ず、またユーザに多大な労力や時間の消費を強いること
なく、不自然な境界などの影響が少ない高精度な合成画
像を得ることができる。
部１０で露光量の異なる複数枚の画像を撮影し、そのう
ちの適正露光画像に対して分割部１０で画像中の周波数
成分の低い領域を検出し、その低周波領域に対応する異
露光画像の領域に対して限定部２５で黒つぶれまたは白
飛びの画素が含まれないような画素信号レベル範囲を求
め、さらに統計部２３で低周波領域における画素信号の
特徴量に関する統計量を求め、これら画素信号レベル範
囲および統計量に基づいて、決定部２４で画素信号レベ
ル範囲内で適正露光画像の画素信号を適正領域と明領域
あるいは暗領域とに分割する画素信号レベルを自動的に
決定し、その決定した画素信号レベルを境に合成部１８
で露光量の異なる画像を合成するようにしたので、第１
実施の形態と同様に、画像データの輝度分布に拘わら
ず、またユーザに多大な労力や時間の消費を強いること
なく、不自然な境界などの影響が少ない高精度な合成画
像を得ることができる。
【００６４】なお、本発明は、上記実施の形態にのみ限
定されるものではなく、幾多の変形または変更が可能で
ある。例えば、上記実施の形態では、露光量が適切な適
正露光画像とそれよりも少ない露光量の異露光画像とを
合成する場合を例示したが、本発明は適正露光画像とそ
れよりも多い露光量の異露光画像とを合成する場合にも
同様に適用することができる。また、本発明は２枚の画
像を合成する場合に限らず、露光量の異なる３枚以上の
画像を合成する場合にも同様に適用することができると
共に、静止画像に限らず、動画像の場合にも同様に適用
することができる。
定されるものではなく、幾多の変形または変更が可能で
ある。例えば、上記実施の形態では、露光量が適切な適
正露光画像とそれよりも少ない露光量の異露光画像とを
合成する場合を例示したが、本発明は適正露光画像とそ
れよりも多い露光量の異露光画像とを合成する場合にも
同様に適用することができる。また、本発明は２枚の画
像を合成する場合に限らず、露光量の異なる３枚以上の
画像を合成する場合にも同様に適用することができると
共に、静止画像に限らず、動画像の場合にも同様に適用
することができる。
【図１】 本発明による画像合成装置の第１実施の形態
の全体の構成を示すブロック図である。
の全体の構成を示すブロック図である。
【図２】 図１に示す分割部の一例の構成を示すブロッ
ク図である。
ク図である。
【図３】 図２に示すエッジ抽出部で用いるエッジ検出
フィルタの二つの例を示す図である。
フィルタの二つの例を示す図である。
【図４】 図１に示す統計部の一例の構成を示すブロッ
ク図である。
ク図である。
【図５】 図１に示す決定部の一例の構成を示すブロッ
ク図である。
ク図である。
【図６】 図５に示す決定部の動作を説明するための図
である。
である。
【図７】 本発明による画像合成装置の第２実施の形態
の全体の構成を示すブロック図である。
の全体の構成を示すブロック図である。
【図８】 図７に示す限定部の一例の構成を示すブロッ
ク図である。
ク図である。
【図９】 図８に示す加算部の動作を説明するための図
である。
である。
【図１０】 図７に示す限定部の動作を示すフローチャ
ートである。
ートである。
【図１１】 本発明による画像合成装置の第３実施の形
態の全体の構成を示すブロック図である。
態の全体の構成を示すブロック図である。
１０ 撮像部
１１ レンズ系
１２ ローパスフィルタ
１３ ＣＣＤ
１４ 撮像素子制御部
１５ Ａ／Ｄ変換器
１６ 画像バッファ
１７ 合成制御部
１８ 合成部
１９ 出力部
２０ 補間部
２１ 入出力制御部
２２ 分割部
２３ 統計部
２４ 決定部
２５ 限定部
２６ 閾値演算部
２７ 範囲演算部
２８ 閾値演算部
フロントページの続き
Ｆターム(参考） 5B057 AA20 BA02 CA08 CA12 CA16
CB08 CB12 CB16 CC01 CE08
CE11 DA20 DB02 DB09 DC16
DC23 DC30
5C022 AA13 AB01 AC01 AC42 AC69
5C024 BX01 CX47 CY20 CY25 DX04
GY01 HX05 HX21 HX28 HX29
HX50
Claims (7)
- 【請求項１】 露光量の異なる少なくとも２枚の画像か
ら、広ダイナミックレンジの画像を合成する画像合成装
置において、 適切な露光量で撮影された適正露光画像、および該適正
露光画像とは異なる露光量で撮影された異露光画像を撮
影する撮影手段と、 上記適正露光画像の周波数情報に基づいて上記適正露光
画像から低周波領域を分割する分割手段と、 上記低周波領域における画素信号の特徴量に関する統計
量を求める統計手段と、 上記統計量に基づいて、上記適正露光画像の画素信号
を、適正領域と明領域あるいは暗領域とに分割する画素
信号レベルを決定する決定手段と、 上記適正露光画像と上記異露光画像とを露光量比に合わ
せて階調補正して、上記画素信号レベルを境として合成
する合成手段と、 を備えることを特徴とする画像合成装置。 - 【請求項２】 露光量の異なる少なくとも２枚の画像か
ら、広ダイナミックレンジの画像を合成する画像合成装
置において、 適切な露光量で撮影された適正露光画像、および該適正
露光画像とは異なる露光量で撮影された異露光画像を撮
影する撮影手段と、 上記適正露光画像の周波数情報に基づいて上記適正露光
画像から低周波領域を分割する分割手段と、 上記低周波領域に対応する上記異露光画像内の領域にお
いて、画素信号の輝度値が所定の値よりも低い画素ある
いは高い画素が含まれないように領域を分割する画素信
号レベルの範囲を求める限定手段と、 上記適正露光画像と上記異露光画像とを露光量比に合わ
せて階調補正して、上記画素信号レベルの範囲内で設定
される分割レベルを境として合成する合成手段と、 を備えることを特徴とする画像合成装置。 - 【請求項３】 露光量の異なる少なくとも２枚の画像か
ら、広ダイナミックレンジの画像を合成する画像合成装
置において、 適切な露光量で撮影された適正露光画像、および該適正
露光画像とは異なる露光量で撮影された異露光画像を撮
影する撮影手段と、 上記適正露光画像の周波数情報に基づいて上記適正露光
画像から低周波領域を分割する分割手段と、 上記低周波領域に対応する上記異露光画像内の領域にお
いて、画素信号の輝度値が所定の値よりも低い画素ある
いは高い画素が含まれないように領域を分割する画素信
号レベルの範囲を求める限定手段と、 上記低周波領域における画素信号の特徴量に関する統計
量を求める統計手段と、 上記画素信号レベルの範囲内で、上記統計量に基づい
て、上記適正露光画像の画素信号を、適正領域と明領域
あるいは暗領域とに分割する画素信号レベルを決定する
決定手段と、 上記適正露光画像と上記異露光画像とを露光量比に合わ
せて階調補正して、上記画素信号レベルを境として合成
する合成手段と、 を備えることを特徴とする画像合成装置。 - 【請求項４】 上記分割手段は、上記適正露光画像の画
素信号を求める画素信号算出手段と、 上記画素信号に基づいてエッジ強度を計算するエッジ抽
出手段と、 上記エッジ強度と所定の値との比較に基づいてエッジの
存在しない領域を抽出する領域抽出手段と、 を備えることを特徴とする請求項１、２または３に記載
の画像合成装置。 - 【請求項５】 上記統計手段は、 上記分割手段により抽出された上記適正露光画像の低周
波領域内の画素信号を読み取る画素抽出手段と、 読み取った画素信号に関する頻度から画素信号のヒスト
グラム分布を計算する加算手段と、 上記ヒストグラム分布を近傍の階級間で平均化する平滑
手段と、 を備えることを特徴とする請求項１または３に記載の画
像合成装置。 - 【請求項６】 上記決定手段は、 上記画素信号のヒストグラム分布を微分して極大値およ
び極小値を検出する極値検出手段と、 上記極小値と隣り合う極大値との頻度値の差を検出する
差検出手段と、 各極小値に対する上記頻度値の差を比較して、最大値を
示す極小値を選択する比較手段と、 を備えることを特徴とする請求項５に記載の画像合成装
置。 - 【請求項７】 上記限定手段は、 上記分割手段により抽出された上記適正露光画像の低周
波領域において、領域を分割する画素信号レベルを設定
する設定手段と、 分割された領域に対応する上記異露光画像の領域内に含
まれる画素で、画素信号の輝度値が所定の値よりも低い
画素または高い画素の数を加算する加算手段と、 該加算手段により加算された画素数が所定の許容範囲内
であるかどうかを判定する判定手段と、 を備え、上記判定手段での判定結果に基づいて上記設定
手段で設定する画素信号レベルを変更しながら、上記低
周波領域に対応する上記異露光画像内の領域において、
画素信号の輝度値が所定の値よりも低い画素あるいは高
い画素が含まれないように領域を分割する画素信号レベ
ルの範囲を求めるよう構成したことを特徴とする請求項
２または３に記載の画像合成装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002120261A JP4097980B2 (ja) | 2002-04-23 | 2002-04-23 | 画像合成装置 |
| US10/412,875 US7158687B2 (en) | 2002-04-23 | 2003-04-14 | Image combination device |
| US11/586,264 US20070040929A1 (en) | 2002-04-23 | 2006-10-25 | Image combination device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002120261A JP4097980B2 (ja) | 2002-04-23 | 2002-04-23 | 画像合成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003319263A true JP2003319263A (ja) | 2003-11-07 |
| JP4097980B2 JP4097980B2 (ja) | 2008-06-11 |
Family
ID=29536537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002120261A Expired - Fee Related JP4097980B2 (ja) | 2002-04-23 | 2002-04-23 | 画像合成装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7158687B2 (ja) |
| JP (1) | JP4097980B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007221447A (ja) * | 2006-02-16 | 2007-08-30 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム |
| JP2008205935A (ja) * | 2007-02-21 | 2008-09-04 | National Univ Corp Shizuoka Univ | 画像合成における露光比決定方法 |
| JP2009017477A (ja) * | 2007-07-09 | 2009-01-22 | Canon Inc | 撮像装置及び撮像方法 |
| JP2010238006A (ja) * | 2009-03-31 | 2010-10-21 | Mitsubishi Electric Corp | 画像処理プログラムおよび画像処理装置 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4097980B2 (ja) * | 2002-04-23 | 2008-06-11 | オリンパス株式会社 | 画像合成装置 |
| US7317843B2 (en) | 2004-04-01 | 2008-01-08 | Microsoft Corporation | Luminance correction |
| JP4062291B2 (ja) * | 2004-09-01 | 2008-03-19 | セイコーエプソン株式会社 | 自動画像補正回路 |
| JP4247691B2 (ja) * | 2006-05-17 | 2009-04-02 | ソニー株式会社 | 登録装置、照合装置、登録方法、照合方法及びプログラム |
| DE102006046720A1 (de) * | 2006-10-02 | 2008-04-03 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Digitale Laufbildkamera |
| US7949182B2 (en) * | 2007-01-25 | 2011-05-24 | Hewlett-Packard Development Company, L.P. | Combining differently exposed images of the same object |
| US20090059039A1 (en) * | 2007-08-31 | 2009-03-05 | Micron Technology, Inc. | Method and apparatus for combining multi-exposure image data |
| EP2404209A4 (en) * | 2009-03-04 | 2012-10-17 | Paul A Wagner | TEMPORAL ALIGNMENT EXPOSURE SHIFTING FOR HIGH DYNAMIC RANGE IMAGING |
| JP4818393B2 (ja) * | 2009-05-07 | 2011-11-16 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
| TWI469631B (zh) * | 2010-11-05 | 2015-01-11 | Inst Information Industry | 影像處理裝置及影像處理方法 |
| CN102479321B (zh) * | 2010-11-26 | 2016-10-26 | 罗普特（厦门）科技集团有限公司 | 差异影像自动识别***及方法 |
| TWI485634B (zh) * | 2010-11-30 | 2015-05-21 | Hon Hai Prec Ind Co Ltd | 差異影像自動識別系統及方法 |
| US9762794B2 (en) | 2011-05-17 | 2017-09-12 | Apple Inc. | Positional sensor-assisted perspective correction for panoramic photography |
| US10306140B2 (en) | 2012-06-06 | 2019-05-28 | Apple Inc. | Motion adaptive image slice selection |
| US9832378B2 (en) * | 2013-06-06 | 2017-11-28 | Apple Inc. | Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure |
| JP6521776B2 (ja) * | 2015-07-13 | 2019-05-29 | オリンパス株式会社 | 画像処理装置、画像処理方法 |
| CN109634027B (zh) * | 2019-01-04 | 2020-11-10 | 广东智媒云图科技股份有限公司 | 一种光源亮度及位置的调节方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04172086A (ja) * | 1990-11-06 | 1992-06-19 | Canon Inc | 撮像装置 |
| JPH09200617A (ja) * | 1996-01-12 | 1997-07-31 | Nikon Corp | 撮像装置 |
| JP2000228747A (ja) * | 1998-12-03 | 2000-08-15 | Olympus Optical Co Ltd | 画像処理装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5239383A (en) * | 1989-05-10 | 1993-08-24 | Canon Kabushiki Kaisha | Image processing apparatus capable of image editing |
| US5381248A (en) * | 1990-05-04 | 1995-01-10 | Canon Kabushiki Kaisha | Image processing apparatus |
| US5294989A (en) * | 1991-09-17 | 1994-03-15 | Moore Color, Inc. | Saturable smoothing grid for image processing |
| US5982951A (en) * | 1996-05-28 | 1999-11-09 | Canon Kabushiki Kaisha | Apparatus and method for combining a plurality of images |
| US6864916B1 (en) * | 1999-06-04 | 2005-03-08 | The Trustees Of Columbia University In The City Of New York | Apparatus and method for high dynamic range imaging using spatially varying exposures |
| JP4097980B2 (ja) * | 2002-04-23 | 2008-06-11 | オリンパス株式会社 | 画像合成装置 |
-
2002
- 2002-04-23 JP JP2002120261A patent/JP4097980B2/ja not_active Expired - Fee Related
-
2003
- 2003-04-14 US US10/412,875 patent/US7158687B2/en not_active Expired - Fee Related
-
2006
- 2006-10-25 US US11/586,264 patent/US20070040929A1/en not_active Abandoned
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04172086A (ja) * | 1990-11-06 | 1992-06-19 | Canon Inc | 撮像装置 |
| JPH09200617A (ja) * | 1996-01-12 | 1997-07-31 | Nikon Corp | 撮像装置 |
| JP2000228747A (ja) * | 1998-12-03 | 2000-08-15 | Olympus Optical Co Ltd | 画像処理装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007221447A (ja) * | 2006-02-16 | 2007-08-30 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム |
| JP4760434B2 (ja) * | 2006-02-16 | 2011-08-31 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| JP2008205935A (ja) * | 2007-02-21 | 2008-09-04 | National Univ Corp Shizuoka Univ | 画像合成における露光比決定方法 |
| JP2009017477A (ja) * | 2007-07-09 | 2009-01-22 | Canon Inc | 撮像装置及び撮像方法 |
| JP2010238006A (ja) * | 2009-03-31 | 2010-10-21 | Mitsubishi Electric Corp | 画像処理プログラムおよび画像処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4097980B2 (ja) | 2008-06-11 |
| US7158687B2 (en) | 2007-01-02 |
| US20040001639A1 (en) | 2004-01-01 |
| US20070040929A1 (en) | 2007-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4097980B2 (ja) | 画像合成装置 | |
| CN111028189B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN107451969B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| TWI389559B (zh) | 前景影像分離方法 | |
| US6366680B1 (en) | Adjusting an electronic camera to acquire a watermarked image | |
| US5557339A (en) | Screen filtering boundary detection for noise filtering prior to image compositing | |
| US20070071316A1 (en) | Image correcting method and image correcting system | |
| JP2007087253A (ja) | 画像補正方法および装置 | |
| US8059187B2 (en) | Image capturing apparatus | |
| US20120127336A1 (en) | Imaging apparatus, imaging method and computer program | |
| CN107395991B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
| JP2003179756A (ja) | デジタル画像由来のデータを処理する方法及びプログラム製品 | |
| JP2009177472A (ja) | 画像処理方法、画像処理装置及び撮像装置 | |
| US10091422B2 (en) | Image processing device and recording medium | |
| JP6083974B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US20060177128A1 (en) | White balance with zone weighting | |
| JP2002271638A (ja) | ホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体 | |
| JP2005025448A (ja) | 信号処理装置、信号処理プログラム、および電子カメラ | |
| JP2003333616A (ja) | ホワイトバランス調整方法及び撮像装置及びプログラム及び記憶媒体 | |
| JP2007201963A (ja) | 撮像装置 | |
| JP2003209856A (ja) | ホワイトバランス補正方法 | |
| JP2004229259A (ja) | カラ−画像処理装置および処理方法 | |
| JP2013192057A (ja) | 撮像装置、その制御方法、および制御プログラム | |
| EP3972243B1 (en) | A computer implemented method for temporally stabilizing white point information in an auto white balance process, a data processing apparatus, a computer program product, and a computer-readable storage medium | |
| JP4857856B2 (ja) | 彩度調整機能を有する電子カメラ、および画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050404 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080229 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080304 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080312 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4097980 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120321 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120321 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130321 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140321 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |