JP2003319263A - 画像合成装置 - Google Patents
画像合成装置Info
- Publication number
- JP2003319263A JP2003319263A JP2002120261A JP2002120261A JP2003319263A JP 2003319263 A JP2003319263 A JP 2003319263A JP 2002120261 A JP2002120261 A JP 2002120261A JP 2002120261 A JP2002120261 A JP 2002120261A JP 2003319263 A JP2003319263 A JP 2003319263A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel signal
- exposure
- exposure image
- proper
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 67
- 238000000605 extraction Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 3
- 208000024891 symptom Diseases 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 19
- 239000002131 composite material Substances 0.000 description 18
- 238000010586 diagram Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101000795655 Canis lupus familiaris Thymic stromal cotransporter homolog Proteins 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 102100039288 Gap junction gamma-2 protein Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101100280298 Homo sapiens FAM162A gene Proteins 0.000 description 1
- 101100533652 Homo sapiens SLIRP gene Proteins 0.000 description 1
- 102100023788 Protein FAM162A Human genes 0.000 description 1
- 102100025491 SRA stem-loop-interacting RNA-binding protein, mitochondrial Human genes 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Facsimile Image Signal Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Processing (AREA)
Abstract
大な労力や時間の消費を強いることなく、高精度な合成
画像を簡単に得られる画像合成装置を提供する。 【解決手段】 露光量の異なる少なくとも2枚の画像か
ら、広ダイナミックレンジの画像を合成する画像合成装
置において、適切な露光量で撮影された適正露光画像お
よび該適正露光画像とは異なる露光量で撮影された異露
光画像を撮影する撮影手段10と、適正露光画像の周波
数情報に基づいて該適正露光画像から低周波領域を分割
する分割手段22と、低周波領域における画素信号の特
徴量に関する統計量を求める統計手段23と、統計量に
基づいて適正露光画像の画素信号を適正領域と明領域あ
るいは暗領域とに分割する画素信号レベルを決定する決
定手段24と、適正露光画像と異露光画像とを露光量比
に合わせて階調補正して、上記画素信号レベルを境とし
て合成する合成手段18と、を備える。
Description
なくとも2枚以上の画像を合成して、輝度レベルを良好
に補正した広ダイナミックレンジの画像を得る画像合成
装置に関するものである。
ルカメラなどの固体撮像素子による画像は、固体撮像素
子のダイナミックレンジが狭いために、逆光シーンや明
暗の差が激しい被写体を撮影する場合には、被写体に露
光量を合わせると背景が白く飛んでしまったり、背景に
露光量を合わせると被写体が黒くつぶれてしまったりす
るなど、うまく撮影できないという問題がある。
影し、適切な露光量で撮影された画像中の明るすぎる領
域あるいは暗すぎる領域を分割して、異なる露光量の画
像と置き換えることでダイナミックレンジが拡大された
画像を生成する手法が提案されている。
いは暗すぎる領域を分割する際の境目となる切替えレベ
ルを、あらゆる画像に対して単純に一意的に定めてしま
うと、場合によっては合成画像に擬似輪郭や不自然な合
成境界などが生じてしまい、画質が大きく劣化すること
がある。このため、この切替えレベルをどのように決定
するかということは、高精度な合成画像を生成する上で
非常に重要な要因となる。
31708号公報には、撮像素子から得られた露光量の
異なる複数枚の画像信号を合成するたびに、輝度レベル
調整のための演算を行なって、標準画像の明るい領域と
暗い領域とを分割する閾値を求め、この閾値に基づいて
対応する領域を非標準画像と置き換えることにより、撮
像素子の特性の違いや、照度による出力のばらつきなど
で輝度レベルを完全に合わすことができないために生じ
る合成画像の擬似輪郭を減少させるようにした画像合成
装置が開示されている。
は、適切な露光量で撮影した第1の画像情報と、この第
1の画像情報とは異なる露光量で撮影された第2の画像
情報との少なくとも2枚の画像情報を得、第1の画像情
報に対して輝度ヒストグラムを作成して、その輝度ヒス
トグラムの頻度の極小での輝度レベルを置換基準輝度レ
ベルとし、その位置に対応する標準画像データとは異な
る露光量の第2の画像情報の輝度平均値を算出し、この
輝度平均値に基づいて白飛びが発生している場合は基準
輝度レベル以上の画素を、黒つぶれが発生している場合
は基準輝度レベル以下の画素の輝度情報を置換して輝度
情報を補正するように画像信号の輝度補正装置が開示さ
れている。
平7-131708号公報に開示された画像合成装置に
あっては、適切な露光量で撮影された標準画像信号と、
標準画像より露光量を少なくして撮影した非標準画像信
号との露光量比を統計的に求めて、標準画像信号と非標
準画像信号とを切替える輝度レベルの設定範囲を計算
し、その設定範囲の最小値から最大値までの間隔の割合
により切替え輝度レベルを設定するようにしていること
から、切替え輝度レベルが画像の輝度値の分布に拘わら
ず統一的に求められることになる。このため、場合によ
っては画像中の比較的輝度変化が少ない領域、あるいは
被写体領域のような比較的均一な領域に切替え輝度レベ
ルが設定されて、その領域に境目が生じることがある。
均一な領域に設定されてその領域に境目が生じると、人
間の視覚は、変化の大きい部分では鈍感で、変化の小さ
い部分では敏感な特性があることから、不自然な輪郭を
知覚してしまい、良好な合成画像を得ることができない
という問題がある。
示された輝度補正装置にあっては、撮影された画像信号
の画像全体において輝度レベルのヒストグラムを計算し
て、頻度の少ない輝度レベルを数点求め、その中からユ
ーザが感覚的に画像情報の輝度情報を置換する置換基準
輝度レベルを選択して、画像合成を行っているため、ヒ
ストグラムの分布が双峰形の場合には、分布の最小階級
を置換基準輝度レベルとして選択すればいいが、偏った
分布の場合には単純に最小値を選択すると良好な合成画
像が得られないことがある。
ユーザが試行錯誤を繰り返しながら置換基準輝度レベル
を定める必要があり、ユーザの経験と勘、熟練などを要
し、ユーザに多大の労力や時間の消費を強いるという問
題がある。
発明の目的は、画像データの輝度分布に拘わらず、また
ユーザに多大な労力や時間の消費を強いることなく、高
精度な合成画像を簡単に得ることができる画像合成装置
を提供することにある。
項1に係る発明は、露光量の異なる少なくとも2枚の画
像から、広ダイナミックレンジの画像を合成する画像合
成装置において、適切な露光量で撮影された適正露光画
像、および該適正露光画像とは異なる露光量で撮影され
た異露光画像を撮影する撮影手段と、上記適正露光画像
の周波数情報に基づいて上記適正露光画像から低周波領
域を分割する分割手段と、上記低周波領域における画素
信号の特徴量に関する統計量を求める統計手段と、上記
統計量に基づいて、上記適正露光画像の画素信号を、適
正領域と明領域あるいは暗領域とに分割する画素信号レ
ベルを決定する決定手段と、上記適正露光画像と上記異
露光画像とを露光量比に合わせて階調補正して、上記画
素信号レベルを境として合成する合成手段と、を備える
ことを特徴とするものである。
より露光量の異なる複数枚の画像が撮影され、そのうち
の適正な露光量の画像に対して分割手段により画像中の
周波数成分の低い領域が検出されて、その低周波領域に
おける画素信号の特徴量に関する統計量が統計手段で求
められ、その統計量に基づいて決定手段により明るさが
適当な領域と明るすぎる領域、または明るさが適当な領
域と暗すぎる領域とを分離する画素信号レベルが自動的
に決定され、その決定された画素信号レベルを境に合成
手段により露光量の異なる画像が合成されるので、画像
データの輝度分布に拘わらず、またユーザに多大な労力
や時間の消費を強いることなく、不自然な境界などの影
響が少ない高精度な合成画像を得ることができる。
なくとも2枚の画像から、広ダイナミックレンジの画像
を合成する画像合成装置において、適切な露光量で撮影
された適正露光画像、および該適正露光画像とは異なる
露光量で撮影された異露光画像を撮影する撮影手段と、
上記適正露光画像の周波数情報に基づいて上記適正露光
画像から低周波領域を分割する分割手段と、上記低周波
領域に対応する上記異露光画像内の領域において、画素
信号の輝度値が所定の値よりも低い画素あるいは高い画
素が含まれないように領域を分割する画素信号レベルの
範囲を求める限定手段と、上記適正露光画像と上記異露
光画像とを露光量比に合わせて階調補正して、上記画素
信号レベルの範囲内で設定される分割レベルを境として
合成する合成手段と、を備えることを特徴とするもので
ある。
より露光量の異なる複数枚の画像が撮影され、そのうち
の適正な露光量の画像に対して分割手段により画像中の
周波数成分の低い領域が検出され、その低周波領域に対
応する異露光画像の領域に対して限定手段により黒つぶ
れまたは白飛びの画素が含まれないような画素信号レベ
ル範囲が求められるので、その範囲内で分割レベルを設
定することにより、設定された分割レベルを境として合
成手段により適正露光画像と異露光画像とを合成するこ
とができる。したがって、ユーザの経験や勘、熟練など
を要することなく、入力画像の画素信号レベルの分布に
依存しない高精度な合成画像を簡単に得ることができ
る。
なくとも2枚の画像から、広ダイナミックレンジの画像
を合成する画像合成装置において、適切な露光量で撮影
された適正露光画像、および該適正露光画像とは異なる
露光量で撮影された異露光画像を撮影する撮影手段と、
上記適正露光画像の周波数情報に基づいて上記適正露光
画像から低周波領域を分割する分割手段と、上記低周波
領域に対応する上記異露光画像内の領域において、画素
信号の輝度値が所定の値よりも低い画素あるいは高い画
素が含まれないように領域を分割する画素信号レベルの
範囲を求める限定手段と、上記低周波領域における画素
信号の特徴量に関する統計量を求める統計手段と、上記
画素信号レベルの範囲内で、上記統計量に基づいて、上
記適正露光画像の画素信号を、適正領域と明領域あるい
は暗領域とに分割する画素信号レベルを決定する決定手
段と、上記適正露光画像と上記異露光画像とを露光量比
に合わせて階調補正して、上記画素信号レベルを境とし
て合成する合成手段と、を備えることを特徴とするもの
である。
より露光量の異なる複数枚の画像が撮影され、そのうち
の適正な露光量の画像に対して分割手段により画像中の
周波数成分の低い領域が検出され、その低周波領域に対
応する異露光画像の領域に対して限定手段により黒つぶ
れまたは白飛びの画素が含まれないような画素信号レベ
ル範囲が求められ、さらに統計手段により低周波領域に
おける画素信号の特徴量に関する統計量が求められ、こ
れら画素信号レベル範囲および統計量に基づいて、決定
手段により画素信号レベルの範囲内で適正露光画像の画
素信号を適正領域と明領域あるいは暗領域とに分割する
画素信号レベルが自動的に決定されて、その決定された
画素信号レベルを境に合成手段により露光量の異なる画
像が合成される。したがって、請求項1に係る発明と同
様に、画像データの輝度分布に拘わらず、またユーザに
多大な労力や時間の消費を強いることなく、不自然な境
界などの影響が少ない高精度な合成画像を得ることがで
きる。
は3に記載の画像合成装置において、上記分割手段は、
上記適正露光画像の画素信号を求める画素信号算出手段
と、上記画素信号に基づいてエッジ強度を計算するエッ
ジ抽出手段と、上記エッジ強度と所定の値との比較に基
づいてエッジの存在しない領域を抽出する領域抽出手段
と、を備えることを特徴とするものである。
像の画素信号からエッジを抽出し、その強度に基づいて
エッジの存在しない領域を抽出するので、画像中の画素
信号の周波数成分が低い領域、つまり人物や建造物など
の被写体を除くような領域を検出することができる。
に記載の画像合成装置において、上記統計手段は、上記
分割手段により抽出された上記適正露光画像の低周波領
域内の画素信号を読み取る画素抽出手段と、読み取った
画素信号に関する頻度から画素信号のヒストグラム分布
を計算する加算手段と、上記ヒストグラム分布を近傍の
階級間で平均化する平滑手段と、を備えることを特徴と
するものである。
像の低周波領域内の画素信号を読み取り、そのヒストグ
ラム分布を計算して平滑化するので、周波数成分の低い
領域、つまり被写体が除かれた背景などの領域の画素信
号分布を求めることができる。
画像合成装置において、上記決定手段は、上記画素信号
のヒストグラム分布を微分して極大値および極小値を検
出する極値検出手段と、上記極小値と隣り合う極大値と
の頻度値の差を検出する差検出手段と、各極小値に対す
る上記頻度値の差を比較して、最大値を示す極小値を選
択する比較手段と、を備えることを特徴とするものであ
る。
より計算された画素信号のヒストグラム分布内の極小値
を検出し、検出されたそれぞれの極小値の中で隣り合う
極大値との頻度値の差が最大である場合の極小値を切替
えレベルとして選択するので、出現頻度が少ない輝度レ
ベルを境に合成画像を生成でき、不自然な合成境目や擬
似輪郭の影響を抑制した合成画像を得ることができる。
に記載の画像合成装置において、上記限定手段は、上記
分割手段により抽出された上記適正露光画像の低周波領
域において、領域を分割する画素信号レベルを設定する
設定手段と、分割された領域に対応する上記異露光画像
の領域内に含まれる画素で、画素信号の輝度値が所定の
値よりも低い画素または高い画素の数を加算する加算手
段と、該加算手段により加算された画素数が所定の許容
範囲内であるかどうかを判定する判定手段と、を備え、
上記判定手段での判定結果に基づいて上記設定手段で設
定する画素信号レベルを変更しながら、上記低周波領域
に対応する上記異露光画像内の領域において、画素信号
の輝度値が所定の値よりも低い画素あるいは高い画素が
含まれないように領域を分割する画素信号レベルの範囲
を求めるよう構成したことを特徴とするものである。
の判定結果に基づいて設定手段で設定する画素信号レベ
ルを変更しながら、適正画像の低周波領域に対応する異
露光画像内の領域において、画素信号の輝度値が所定の
値よりも低い画素あるいは高い画素が含まれないように
領域を分割する画素信号レベルの範囲を求めるので、画
像の画素信号の分布にかかわらず、高精度な合成画像を
得ることができる。
の実施の形態について、図面を参照して説明する。
すもので、図1は画像合成装置の全体の構成を示すブロ
ック図、図2は図1に示す分割部の一例の構成を示すブ
ロック図、図3は図2に示すエッジ抽出部で用いるエッ
ジ検出フィルタの二つの例を示す図、図4は図1に示す
統計部の一例の構成を示すブロック図、図5は同じく決
定部の一例の構成を示すブロック図、図6は図5に示す
決定部の動作を説明するための図である。
成装置は、撮像部10、A/D変換器15、画像バッフ
ァ16、合成制御部17、合成部18、出力部19、補
間部20、入出力制御部21、および閾値演算部26を
有している。撮像部10は、適切な露光量で撮影された
適正露光画像および該適正露光画像とは異なる露光量で
撮影された異露光画像を撮影する撮影手段を構成するも
ので、レンズ系11、ローパスフィルタ12、CCD
(撮像素子)13および撮像素子制御部14を有してい
る。また、閾値演算部26は、分割部22、統計部23
および決定部24を有している。
を押すことにより撮影モードとなり、この撮影モードに
おいて、撮像部10により撮像素子制御部14の制御に
基づいて、レンズ系11およびローパスフィルタ12を
経てCCD13より露光量の異なる複数枚の画像、ここ
では露光量が適切な適正露光画像と、適切な露光量より
も少ない露光量の短時間露光画像との2枚の画像を撮影
する。
枚の画像データは、それぞれA/D変換器15でディジ
タル信号に変換して画像バッファ16に取り込んで、画
像バッファ16から合成制御部17を経て合成部18に
供給すると共に、画像バッファ16に取り込まれた適正
露光画像データおよび短時間露光画像データのうち、適
正露光画像データは補間部20に供給する。補間部20
では、単板の適正露光画像データを補間してR(赤色信
号),G(緑色信号),B(青色信号)の三板の適正露
光画像データを、これらの適正露光画像データを入出力
制御部21の制御に基づいて閾値演算部26の分割部2
2および統計部23にそれぞれ供給する。なお、補間部
20での補間処理は、例えば線形演算やその他公知の演
算法を用いる。
に基づいて、該適正露光画像から低周波領域を分割する
分割手段を構成するもので、図2に示すように、画素信
号算出部31、エッジ抽出部32および領域抽出部33
を有して構成する。画素信号算出部31は、適正露光画
像の画素信号を求める画素信号算出手段を構成するもの
で、入出力制御部21の制御のもとに送られた適正露光
の画像データに対し、例えば下記の(1)式によりR,
G,Bの各色信号を用いて各画素の輝度値Yを演算して
エッジ抽出部32に供給する。
の各色信号を用いて輝度値Yを算出する代わりに、例え
ばG信号等の単一の色信号を輝度信号としても構わな
い。
からの輝度信号に基づいてエッジ強度を計算するエッジ
抽出手段を構成するもので、画素信号算出部31からの
輝度信号に対して、図3(a)に示すようなプルウィッ
ト(Prewitt)フィルタや、図3(b)に示すようなソ
ーベル(Sobel)フィルタ、あるいはその他の公知のフ
ィルタを用いてエッジを抽出し、その結果を領域抽出部
33に供給する。
との比較に基づいてエッジの存在しない領域を抽出する
領域抽出手段を構成するもので、エッジ抽出部32で抽
出したエッジに対して、その強度を所定の値と比較し、
エッジが存在するかどうかを判別する。例えば、求めら
れたエッジ強度が所定の値よりも大きい場合には、その
画素位置に識別子「0」を代入し、エッジ強度が小さい
場合にはその画素位置に識別子「1」を代入する。な
お、この値はエッジの有無が判別できるような識別子で
あれば、任意の値で構わない。すべての画素に対して同
様の判定を繰り返し、画素位置に対応した識別子の集合
を統計部23へと出力する。
正露光画像の低周波領域における画素信号の特徴量に関
する統計量を求める統計手段を構成するもので、図4に
示すように、画素抽出部41、加算部42および平滑部
43を有して構成する。画素抽出部41は、分割部22
により抽出された適正露光画像の低周波領域内の画素信
号を読み取る画素抽出手段を構成するもので、分割部2
2からの出力に基づいて、入出力制御部21の制御のも
とに送られる適正露光の画像データから、エッジ強度が
小さく、エッジがないと判定された領域における画素の
輝度信号を抽出して加算部42に供給する。例えば、分
割部22が出力する画素位置に対応した識別子の集合デ
ータを読み取り、エッジが存在しないことを示す識別子
「1」を検出した場合に限り、対応する位置の三板画像
データからR,G,Bの画素信号を読み取って、上記の
(1)式により輝度信号を演算するか、あるいは輝度信
号を演算する代わりに対応する位置のG信号などの色信
号を輝度信号として抽出して加算部42に供給する。
画素抽出部41からの輝度信号を受けてレベル別に頻度
を計算して輝度ヒストグラムを算出し、その輝度ヒスト
グラムを平滑部43に供給する。
加算部42からの輝度ヒストグラムを受け、その分布に
ついて隣接する階級の値を平均、メディアン、モードな
ど公知の方法を用いて平滑化して決定部24へと出力す
る。
計量に基づいて、適正露光画像の画素信号を、適正領域
と明領域あるいは暗領域とに分割する画素信号レベルを
決定する決定手段を構成するもので、図5に示すよう
に、極値検出部51、差検出部52および比較部53を
有して構成する。極値検出部51は極値検出手段を構成
するもので、統計部23からの平滑化されたヒストグラ
ム分布を関数とみなして微分し、その微分値の符号がプ
ラスからマイナス、あるいはマイナスからプラスへと変
化している点を探索して、ヒストグラム分布の極大値お
よび極小値を検出して差検出部52に供給する。この
際、数階級で符号の変化が発生しているような点は省く
ことで、微小な極大値または極小値を除くようにする。
で、極値検出部51の出力に基づいて、統計部23から
のヒストグラム分布の極小値とその極小値と隣り合う極
大値との頻度値の差を計算して、その結果を比較部53
に供給する。例えば、図6に示すようなヒストグラム分
布の場合には、各極小値I1,I2,I3,・・・と、
隣り合う極大値との頻度差di(i = 1,2,3,・
・・)を求める。
差検出部52からの頻度差を比較してその最大値を探索
し、そのときの極小値を選択して合成制御部7へ出力す
る。例えば、図6に示したヒストグラム分布の場合に
は、検出された頻度差di(i= 1,2,・・・,8)
のうち、d3が最大となるため、そのときの極小値I2
を出力する。
成するもので、適正露光画像と短時間露光画像とを露光
量比に応じて階調補正し、合成制御部17の制御に基づ
いて、適正露光画像に対して閾値演算部26の決定部2
4から出力される画素信号レベルを越える画素を、対応
する短時間露光画像の画素と置き換えることにより、露
光量の異なる2枚の画像を、決定部24からの画素信号
レベルを境として合成して1枚の画像を生成し、その合
成画像を出力部19に供給する。
像に対して公知の出力処理を施して保存する。
0で露光量の異なる複数枚の画像を撮影し、そのうちの
適正露光画像に対して分割部22で画像中の周波数成分
の低い領域を検出し、その低周波領域に対して統計部2
3で画素信号の特徴量に関する統計量を求め、その統計
量に基づいて決定部24で明るさが適当な領域と明るす
ぎる領域、または明るさが適当な領域と暗すぎる領域と
を分離する画素信号レベルを自動的に決定して、その決
定された画素信号レベルを境に合成部18で露光量の異
なる画像を合成するようにしたので、画像データの輝度
分布に拘わらず、またユーザに多大な労力や時間の消費
を強いることなく、不自然な境界などの影響が少ない高
精度な合成画像を得ることができる。
示すもので、図7は画像合成装置の全体の構成を示すブ
ロック図、図8は図7に示す限定部の一例の構成を示す
ブロック図、図9は図8に示す加算部の動作を説明する
ための図、図10は限定部の動作を示すフローチャート
である。
成装置の閾値演算部26に代えて範囲演算部27を設け
ると共に、画像バッファ16から露光量が適切な適正露
光画像と適切な露光量とは異なる露光量の異露光画像と
を補間部20に供給してそれぞれの単板画像をR,G,
Bの三板画像に補間し、それらの画像データを入出力制
御部21を経て範囲演算部27に供給するようにしたも
ので、その他の構成は第1実施の形態と同様であるの
で、第1実施の形態と同様の作用を行なう構成要素には
同一参照符号を付して、その説明を省略する。
5とを有して構成する。分割部22は、第1実施の形態
と同様に構成して、入出力制御部21の制御に基づいて
供給される適正露光画像のエッジ強度の小さい領域を抽
出し、その結果を限定部25に供給する。
正露光画像の低周波領域の位置に対応する異露光画像内
の領域において、画素信号の輝度値が所定の値よりも低
い画素あるいは高い画素が含まれないように領域を分割
する画素信号レベルの範囲を求める限定手段を構成する
もので、図8に示すように、設定部61、加算部62お
よび判定部63を有して構成する。設定部61は設定手
段を構成するもので、分割部22からの出力を受けてエ
ッジ強度の小さい領域の輝度レベルを設定し、その輝度
レベルに基づいて、入出力制御部23を経て供給される
適正露光画像の領域を分割し、その結果を加算部62に
供給する。
ルは、適正露光画像に対して少ない露光量の異露光画像
を合成する場合には、画像のビット幅の最大値(入力画
像が10ビットの場合には1023)に初期設定し、適
正露光画像に対して多い露光量の異露光画像を合成する
場合には、画像のビット幅の最小値(入力画像が10ビ
ットの場合には0)に初期設定する。
入出力制御部23を経て異露光画像を供給し、設定部6
1からの分割された適正露光画像の2つの画像領域のう
ち、画像合成を行う際に画像の置き換えを行なう領域に
対応する異露光画像の領域内に含まれる黒つぶれレベル
または白飛びレベルの画素数を加算し、その結果を判定
部63に供給する。
じめ設定した所定の値よりも輝度値が小さい画素とし、
白飛びレベルの画素は、所定の値よりも輝度値が大きい
画素とする。例えば、適正露光画像と、それよりも少な
い露光量の短時間露光画像とを合成する場合には、適正
露光画像における白飛びレベルの画素を短時間露光画像
と置き換えることから、置き換えられる短時間露光画像
の対応する領域における黒つぶれレベルの画素を数え
る。
すもので、横軸は置き換え基準となる画素信号レベルを
示し、縦軸は設定された画素信号レベルを境として置き
換えられる短時間露光画像の対応する領域内に含まれる
黒つぶれレベルの画素数を示している。
加算部62からの黒つぶれレベルの画素数が、設定した
所定の許容数を越えているかどうかを判定する。ここ
で、黒つぶれレベルの画素数が所定の許容数を越えてい
ない場合には、設定部61の輝度レベルを「1」小さく
した値に再設定し、設定部61に制御を戻して同様の処
理を繰り返す。これに対し、黒つぶれレベルの画素数が
所定の許容数を超えた場合には、そのときの輝度レベル
を限界値として設定可能範囲を求め、合成制御部17へ
出力する。これにより、図9に示すように、黒つぶれレ
ベルの画素数の総和が所定の基準以内である画素信号レ
ベルの限界が求められる。
素信号レベル範囲内で、ユーザにより任意の分割レベル
を設定させ、合成部18において適正露光画像と異露光
画像とを露光量比に合わせて階調補正して、それらの画
像を合成制御部17で設定された分割レベルを境として
合成して出力部19へ出力する。
しながら限定部25の動作を説明する。本実施の形態で
は、入力映像信号の階調幅を10ビットとし、適正露光
画像に短時間露光画像を合成するものとする。
て、分割輝度レベルthを階調幅の最大値(10ビット
の場合は1023)に設定し、黒つぶれレベル画素数s
umを0に設定する。次に、ステップS2において、入
力された適正露光画像の低周波領域を、設定された分割
輝度レベルthにて領域分割した後、ステップS3にお
いて分割輝度レベルthよりも高い領域に対応する短時
間露光画像の輝度信号を読み取る。その後、ステップS
4において、読み取った輝度信号が黒つぶれレベルであ
るかどうかを判定し、黒つぶれレベルの場合には、ステ
ップS5において黒つぶれレベル画素数sumに1を加
算する。
ータを読み取ったかどうかを判定し、読み取っていない
場合には、ステップS3に戻って同様の処理を繰り返
し、すべてのデータを読み取った場合には、ステップS
7において黒つぶれレベル画素数の総和sumが所定の
基準を越えているかどうかを判定し、越えていない場合
には、ステップS8にて輝度レベルを「1」減算し、黒
つぶれレベル画素数の総和sumを0に初期化してステ
ップS2へ戻る。
ベルの画素数の総和sumが所定の基準を越えるまで同
様の処理を繰り返し、基準を越えた場合には、許容範囲
までの画素信号レベルを設定可能範囲として出力する。
0で露光量の異なる複数枚の画像を撮影し、そのうちの
適正露光画像に対して分割部22で画像中の周波数成分
の低い領域を検出し、その低周波領域に対応する異露光
画像の領域に対して限定部25で黒つぶれまたは白飛び
の画素が含まれないような画素信号レベル範囲を求める
ようにしたので、その範囲内で分割レベルを設定するこ
とにより、設定された分割レベルを境として合成部18
で適正露光画像と異露光画像とを合成することができ
る。したがって、ユーザの経験や勘、熟練などを要する
ことなく、入力画像の画素信号レベルの分布に依存しな
い高精度な合成画像を簡単に得ることができる。
画像合成装置の全体の構成を示すブロック図である。本
実施の形態は、第2実施の形態の画像合成装置の範囲演
算部27に代えて、第1実施の形態で説明した閾値演算
部26と第2実施の形態で説明した範囲演算部27とを
組み合わせてなる閾値演算部28を設けたもので、その
他の構成は第1、第2実施の形態と同様であるので、同
様の作用を行なう構成要素には同一参照符号を付して、
その説明を省略する。
28を、第1実施の形態で説明した分割部22、統計部
23、決定部24と、第2実施の形態で説明した限定部
25とを有して構成し、入出力制御部21の制御に従っ
て、分割部22において適正露光画像のエッジ強度の小
さい領域を抽出し、その出力を統計部23および限定部
25にそれぞれ供給して、統計部23において適正露光
画像のエッジ強度の小さい領域の輝度ヒストグラムを計
算し、限定部25において適正露光画像と異なる露光量
の異露光画像を切替える画素信号レベルの設定可能範囲
を求める。
出力は決定部24に供給し、ここで限定部25からの切
替え画素信号レベルの設定可能範囲内で画素信号レベル
を決定し、その結果に基づいて合成制御部17により合
成部18を制御して、露光量の異なる2枚の画像を合成
し、その合成画像を出力部19で出力処理する。
部10で露光量の異なる複数枚の画像を撮影し、そのう
ちの適正露光画像に対して分割部10で画像中の周波数
成分の低い領域を検出し、その低周波領域に対応する異
露光画像の領域に対して限定部25で黒つぶれまたは白
飛びの画素が含まれないような画素信号レベル範囲を求
め、さらに統計部23で低周波領域における画素信号の
特徴量に関する統計量を求め、これら画素信号レベル範
囲および統計量に基づいて、決定部24で画素信号レベ
ル範囲内で適正露光画像の画素信号を適正領域と明領域
あるいは暗領域とに分割する画素信号レベルを自動的に
決定し、その決定した画素信号レベルを境に合成部18
で露光量の異なる画像を合成するようにしたので、第1
実施の形態と同様に、画像データの輝度分布に拘わら
ず、またユーザに多大な労力や時間の消費を強いること
なく、不自然な境界などの影響が少ない高精度な合成画
像を得ることができる。
定されるものではなく、幾多の変形または変更が可能で
ある。例えば、上記実施の形態では、露光量が適切な適
正露光画像とそれよりも少ない露光量の異露光画像とを
合成する場合を例示したが、本発明は適正露光画像とそ
れよりも多い露光量の異露光画像とを合成する場合にも
同様に適用することができる。また、本発明は2枚の画
像を合成する場合に限らず、露光量の異なる3枚以上の
画像を合成する場合にも同様に適用することができると
共に、静止画像に限らず、動画像の場合にも同様に適用
することができる。
の全体の構成を示すブロック図である。
ク図である。
フィルタの二つの例を示す図である。
ク図である。
ク図である。
である。
の全体の構成を示すブロック図である。
ク図である。
である。
ートである。
態の全体の構成を示すブロック図である。
Claims (7)
- 【請求項1】 露光量の異なる少なくとも2枚の画像か
ら、広ダイナミックレンジの画像を合成する画像合成装
置において、 適切な露光量で撮影された適正露光画像、および該適正
露光画像とは異なる露光量で撮影された異露光画像を撮
影する撮影手段と、 上記適正露光画像の周波数情報に基づいて上記適正露光
画像から低周波領域を分割する分割手段と、 上記低周波領域における画素信号の特徴量に関する統計
量を求める統計手段と、 上記統計量に基づいて、上記適正露光画像の画素信号
を、適正領域と明領域あるいは暗領域とに分割する画素
信号レベルを決定する決定手段と、 上記適正露光画像と上記異露光画像とを露光量比に合わ
せて階調補正して、上記画素信号レベルを境として合成
する合成手段と、 を備えることを特徴とする画像合成装置。 - 【請求項2】 露光量の異なる少なくとも2枚の画像か
ら、広ダイナミックレンジの画像を合成する画像合成装
置において、 適切な露光量で撮影された適正露光画像、および該適正
露光画像とは異なる露光量で撮影された異露光画像を撮
影する撮影手段と、 上記適正露光画像の周波数情報に基づいて上記適正露光
画像から低周波領域を分割する分割手段と、 上記低周波領域に対応する上記異露光画像内の領域にお
いて、画素信号の輝度値が所定の値よりも低い画素ある
いは高い画素が含まれないように領域を分割する画素信
号レベルの範囲を求める限定手段と、 上記適正露光画像と上記異露光画像とを露光量比に合わ
せて階調補正して、上記画素信号レベルの範囲内で設定
される分割レベルを境として合成する合成手段と、 を備えることを特徴とする画像合成装置。 - 【請求項3】 露光量の異なる少なくとも2枚の画像か
ら、広ダイナミックレンジの画像を合成する画像合成装
置において、 適切な露光量で撮影された適正露光画像、および該適正
露光画像とは異なる露光量で撮影された異露光画像を撮
影する撮影手段と、 上記適正露光画像の周波数情報に基づいて上記適正露光
画像から低周波領域を分割する分割手段と、 上記低周波領域に対応する上記異露光画像内の領域にお
いて、画素信号の輝度値が所定の値よりも低い画素ある
いは高い画素が含まれないように領域を分割する画素信
号レベルの範囲を求める限定手段と、 上記低周波領域における画素信号の特徴量に関する統計
量を求める統計手段と、 上記画素信号レベルの範囲内で、上記統計量に基づい
て、上記適正露光画像の画素信号を、適正領域と明領域
あるいは暗領域とに分割する画素信号レベルを決定する
決定手段と、 上記適正露光画像と上記異露光画像とを露光量比に合わ
せて階調補正して、上記画素信号レベルを境として合成
する合成手段と、 を備えることを特徴とする画像合成装置。 - 【請求項4】 上記分割手段は、上記適正露光画像の画
素信号を求める画素信号算出手段と、 上記画素信号に基づいてエッジ強度を計算するエッジ抽
出手段と、 上記エッジ強度と所定の値との比較に基づいてエッジの
存在しない領域を抽出する領域抽出手段と、 を備えることを特徴とする請求項1、2または3に記載
の画像合成装置。 - 【請求項5】 上記統計手段は、 上記分割手段により抽出された上記適正露光画像の低周
波領域内の画素信号を読み取る画素抽出手段と、 読み取った画素信号に関する頻度から画素信号のヒスト
グラム分布を計算する加算手段と、 上記ヒストグラム分布を近傍の階級間で平均化する平滑
手段と、 を備えることを特徴とする請求項1または3に記載の画
像合成装置。 - 【請求項6】 上記決定手段は、 上記画素信号のヒストグラム分布を微分して極大値およ
び極小値を検出する極値検出手段と、 上記極小値と隣り合う極大値との頻度値の差を検出する
差検出手段と、 各極小値に対する上記頻度値の差を比較して、最大値を
示す極小値を選択する比較手段と、 を備えることを特徴とする請求項5に記載の画像合成装
置。 - 【請求項7】 上記限定手段は、 上記分割手段により抽出された上記適正露光画像の低周
波領域において、領域を分割する画素信号レベルを設定
する設定手段と、 分割された領域に対応する上記異露光画像の領域内に含
まれる画素で、画素信号の輝度値が所定の値よりも低い
画素または高い画素の数を加算する加算手段と、 該加算手段により加算された画素数が所定の許容範囲内
であるかどうかを判定する判定手段と、 を備え、上記判定手段での判定結果に基づいて上記設定
手段で設定する画素信号レベルを変更しながら、上記低
周波領域に対応する上記異露光画像内の領域において、
画素信号の輝度値が所定の値よりも低い画素あるいは高
い画素が含まれないように領域を分割する画素信号レベ
ルの範囲を求めるよう構成したことを特徴とする請求項
2または3に記載の画像合成装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002120261A JP4097980B2 (ja) | 2002-04-23 | 2002-04-23 | 画像合成装置 |
US10/412,875 US7158687B2 (en) | 2002-04-23 | 2003-04-14 | Image combination device |
US11/586,264 US20070040929A1 (en) | 2002-04-23 | 2006-10-25 | Image combination device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002120261A JP4097980B2 (ja) | 2002-04-23 | 2002-04-23 | 画像合成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003319263A true JP2003319263A (ja) | 2003-11-07 |
JP4097980B2 JP4097980B2 (ja) | 2008-06-11 |
Family
ID=29536537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002120261A Expired - Fee Related JP4097980B2 (ja) | 2002-04-23 | 2002-04-23 | 画像合成装置 |
Country Status (2)
Country | Link |
---|---|
US (2) | US7158687B2 (ja) |
JP (1) | JP4097980B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007221447A (ja) * | 2006-02-16 | 2007-08-30 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム |
JP2008205935A (ja) * | 2007-02-21 | 2008-09-04 | National Univ Corp Shizuoka Univ | 画像合成における露光比決定方法 |
JP2009017477A (ja) * | 2007-07-09 | 2009-01-22 | Canon Inc | 撮像装置及び撮像方法 |
JP2010238006A (ja) * | 2009-03-31 | 2010-10-21 | Mitsubishi Electric Corp | 画像処理プログラムおよび画像処理装置 |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4097980B2 (ja) * | 2002-04-23 | 2008-06-11 | オリンパス株式会社 | 画像合成装置 |
US7317843B2 (en) | 2004-04-01 | 2008-01-08 | Microsoft Corporation | Luminance correction |
JP4062291B2 (ja) * | 2004-09-01 | 2008-03-19 | セイコーエプソン株式会社 | 自動画像補正回路 |
JP4247691B2 (ja) * | 2006-05-17 | 2009-04-02 | ソニー株式会社 | 登録装置、照合装置、登録方法、照合方法及びプログラム |
DE102006046720A1 (de) * | 2006-10-02 | 2008-04-03 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Digitale Laufbildkamera |
US7949182B2 (en) * | 2007-01-25 | 2011-05-24 | Hewlett-Packard Development Company, L.P. | Combining differently exposed images of the same object |
US20090059039A1 (en) * | 2007-08-31 | 2009-03-05 | Micron Technology, Inc. | Method and apparatus for combining multi-exposure image data |
EP2404209A4 (en) * | 2009-03-04 | 2012-10-17 | Paul A Wagner | TEMPORAL ALIGNMENT EXPOSURE SHIFTING FOR HIGH DYNAMIC RANGE IMAGING |
JP4818393B2 (ja) * | 2009-05-07 | 2011-11-16 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
TWI469631B (zh) * | 2010-11-05 | 2015-01-11 | Inst Information Industry | 影像處理裝置及影像處理方法 |
CN102479321B (zh) * | 2010-11-26 | 2016-10-26 | 罗普特(厦门)科技集团有限公司 | 差异影像自动识别***及方法 |
TWI485634B (zh) * | 2010-11-30 | 2015-05-21 | Hon Hai Prec Ind Co Ltd | 差異影像自動識別系統及方法 |
US9762794B2 (en) | 2011-05-17 | 2017-09-12 | Apple Inc. | Positional sensor-assisted perspective correction for panoramic photography |
US10306140B2 (en) | 2012-06-06 | 2019-05-28 | Apple Inc. | Motion adaptive image slice selection |
US9832378B2 (en) * | 2013-06-06 | 2017-11-28 | Apple Inc. | Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure |
JP6521776B2 (ja) * | 2015-07-13 | 2019-05-29 | オリンパス株式会社 | 画像処理装置、画像処理方法 |
CN109634027B (zh) * | 2019-01-04 | 2020-11-10 | 广东智媒云图科技股份有限公司 | 一种光源亮度及位置的调节方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04172086A (ja) * | 1990-11-06 | 1992-06-19 | Canon Inc | 撮像装置 |
JPH09200617A (ja) * | 1996-01-12 | 1997-07-31 | Nikon Corp | 撮像装置 |
JP2000228747A (ja) * | 1998-12-03 | 2000-08-15 | Olympus Optical Co Ltd | 画像処理装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5239383A (en) * | 1989-05-10 | 1993-08-24 | Canon Kabushiki Kaisha | Image processing apparatus capable of image editing |
US5381248A (en) * | 1990-05-04 | 1995-01-10 | Canon Kabushiki Kaisha | Image processing apparatus |
US5294989A (en) * | 1991-09-17 | 1994-03-15 | Moore Color, Inc. | Saturable smoothing grid for image processing |
US5982951A (en) * | 1996-05-28 | 1999-11-09 | Canon Kabushiki Kaisha | Apparatus and method for combining a plurality of images |
US6864916B1 (en) * | 1999-06-04 | 2005-03-08 | The Trustees Of Columbia University In The City Of New York | Apparatus and method for high dynamic range imaging using spatially varying exposures |
JP4097980B2 (ja) * | 2002-04-23 | 2008-06-11 | オリンパス株式会社 | 画像合成装置 |
-
2002
- 2002-04-23 JP JP2002120261A patent/JP4097980B2/ja not_active Expired - Fee Related
-
2003
- 2003-04-14 US US10/412,875 patent/US7158687B2/en not_active Expired - Fee Related
-
2006
- 2006-10-25 US US11/586,264 patent/US20070040929A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04172086A (ja) * | 1990-11-06 | 1992-06-19 | Canon Inc | 撮像装置 |
JPH09200617A (ja) * | 1996-01-12 | 1997-07-31 | Nikon Corp | 撮像装置 |
JP2000228747A (ja) * | 1998-12-03 | 2000-08-15 | Olympus Optical Co Ltd | 画像処理装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007221447A (ja) * | 2006-02-16 | 2007-08-30 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム |
JP4760434B2 (ja) * | 2006-02-16 | 2011-08-31 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
JP2008205935A (ja) * | 2007-02-21 | 2008-09-04 | National Univ Corp Shizuoka Univ | 画像合成における露光比決定方法 |
JP2009017477A (ja) * | 2007-07-09 | 2009-01-22 | Canon Inc | 撮像装置及び撮像方法 |
JP2010238006A (ja) * | 2009-03-31 | 2010-10-21 | Mitsubishi Electric Corp | 画像処理プログラムおよび画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4097980B2 (ja) | 2008-06-11 |
US7158687B2 (en) | 2007-01-02 |
US20040001639A1 (en) | 2004-01-01 |
US20070040929A1 (en) | 2007-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4097980B2 (ja) | 画像合成装置 | |
CN111028189B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN107451969B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
TWI389559B (zh) | 前景影像分離方法 | |
US6366680B1 (en) | Adjusting an electronic camera to acquire a watermarked image | |
US5557339A (en) | Screen filtering boundary detection for noise filtering prior to image compositing | |
US20070071316A1 (en) | Image correcting method and image correcting system | |
JP2007087253A (ja) | 画像補正方法および装置 | |
US8059187B2 (en) | Image capturing apparatus | |
US20120127336A1 (en) | Imaging apparatus, imaging method and computer program | |
CN107395991B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
JP2003179756A (ja) | デジタル画像由来のデータを処理する方法及びプログラム製品 | |
JP2009177472A (ja) | 画像処理方法、画像処理装置及び撮像装置 | |
US10091422B2 (en) | Image processing device and recording medium | |
JP6083974B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20060177128A1 (en) | White balance with zone weighting | |
JP2002271638A (ja) | ホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体 | |
JP2005025448A (ja) | 信号処理装置、信号処理プログラム、および電子カメラ | |
JP2003333616A (ja) | ホワイトバランス調整方法及び撮像装置及びプログラム及び記憶媒体 | |
JP2007201963A (ja) | 撮像装置 | |
JP2003209856A (ja) | ホワイトバランス補正方法 | |
JP2004229259A (ja) | カラ−画像処理装置および処理方法 | |
JP2013192057A (ja) | 撮像装置、その制御方法、および制御プログラム | |
EP3972243B1 (en) | A computer implemented method for temporally stabilizing white point information in an auto white balance process, a data processing apparatus, a computer program product, and a computer-readable storage medium | |
JP4857856B2 (ja) | 彩度調整機能を有する電子カメラ、および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050404 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080229 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080312 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4097980 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120321 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120321 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130321 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140321 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |