JP3515019B2 - 画像補正方法及びその装置及びその方法を記録した記録媒体及びその装置を組み込んだ画像撮影装置及びその装置を組み込んだ画像表示装置 - Google Patents
画像補正方法及びその装置及びその方法を記録した記録媒体及びその装置を組み込んだ画像撮影装置及びその装置を組み込んだ画像表示装置Info
- Publication number
- JP3515019B2 JP3515019B2 JP21015299A JP21015299A JP3515019B2 JP 3515019 B2 JP3515019 B2 JP 3515019B2 JP 21015299 A JP21015299 A JP 21015299A JP 21015299 A JP21015299 A JP 21015299A JP 3515019 B2 JP3515019 B2 JP 3515019B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- edge
- pixel
- probability
- preserving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003702 image correction Methods 0.000 title claims description 207
- 238000000034 method Methods 0.000 title claims description 198
- 238000006243 chemical reaction Methods 0.000 claims description 235
- 230000008569 process Effects 0.000 claims description 60
- 230000006870 function Effects 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 44
- 238000012937 correction Methods 0.000 claims description 41
- 238000004364 calculation method Methods 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 34
- 230000002194 synthesizing effect Effects 0.000 claims description 34
- 238000009499 grossing Methods 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 13
- 230000003321 amplification Effects 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 238000004321 preservation Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims 8
- 230000001131 transforming effect Effects 0.000 claims 4
- 230000002708 enhancing effect Effects 0.000 claims 2
- 230000010354 integration Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 29
- 230000003628 erosive effect Effects 0.000 description 6
- 230000006866 deterioration Effects 0.000 description 4
- 238000005315 distribution function Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000010790 dilution Methods 0.000 description 2
- 239000012895 dilution Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- UPSLECAHIMQGDX-UHFFFAOYSA-N 2h-pyran-6-carboxamide Chemical compound NC(=O)C1=CC=CCO1 UPSLECAHIMQGDX-UHFFFAOYSA-N 0.000 description 1
- 101100061188 Drosophila melanogaster dila gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
Description
空写真等をデジタル化した、カラーや白黒の多階調の画
像に対して、影の領域の明るさとコントラストを上げる
ことで、画像の画質を改善する画像補正方法と装置及び
その装置を組み込んだ画像撮影装置や画像表示装置に関
するものである。
見やすく補正する従来技術としては、異なった日時に同
一の場所で同一対象物を撮影した複数の画像の情報を統
合して、日向の領域だけを統合して影の領域の無い画像
を合成する技術があった(特開平10−269347
号)。
影の部分を見やすくする技術としては、画像の輝度に対
して対数関数で変換して暗い部分のダイナミックレンジ
を上げ、その後で画像の高周波成分を強調する高域強調
フィルターかける技術があった(T.G.Stockh
am,Jr.,Image Processingin
the Context of a visual
model,Proc.IEEE60,1972,82
8−842)。
では、一枚の画像から影の部分を補正することができな
いという問題があった。
体に対して対数関数で変換するために、暗い部分のダイ
ナミックレンジは上がるが、逆に明るい部分、すなわち
影の外側の日向の部分のダイナミックレンジが下がり、
画質が劣化するという問題があった。また、カラーの航
空写真を扱う場合、日向の領域は太陽の白色光と青空か
らの散乱光を受けているのに対して影の領域は青空から
の散乱光しか受けていないため、影の領域は日向の領域
に比べて青みがかかっている。これは影の領域の輝度が
低い時には見た目には気にならないが、この技術によっ
て輝度が上げられると、影の領域が鮮やかな青みを帯
び、見た目に違和感を感じるようになる問題点があっ
た。
域の補正による画質の向上を可能とし、また、日向の領
域には画像の品質にあまり悪影響を及ぼさないことが可
能となり、また、カラーの画像を扱う際に影の領域を補
正した時に鮮やかな青色になることを防ぐことを可能と
する技術を提供することである。
以下に列記する手段により解決される。
判読性を高める画像補正方法において、前記原画像から
エッジを抽出するとともに前記原画像を平滑化して平滑
化画像を生成し、前記エッジと前記平滑化画像を加算し
てエッジ保存平滑化画像を作成するエッジ保存平滑化画
像作成段階と、前記エッジ保存平滑化画像に対して輝度
の定義域を複数のクラスに分類し、各クラス別に輝度階
調変換を加えるエッジ保存平滑化画像輝度階調変換段階
と、前記原画像の単数もしくは複数の周波数の高周波成
分を抽出する高周波成分抽出段階と、前記抽出した各周
波数の高周波成分に対して、前記エッジ保存平滑化画像
をクラスに分類した結果を用いて各クラス別に高周波成
分を増幅する変換を行う高周波成分変換段階と、前記輝
度階調変換したエッジ保存平滑化画像と前記高周波成分
変換段階の変換結果を統合して画像を作成する画像合成
段階とを、有することを特徴とする画像補正方法であ
る。
画像合成段階では、輝度階調変換したエッジ保存平滑化
画像と高周波成分変換段階の変換結果の個別の要素の値
を加算することで、両者を統合することを特徴とする画
像補正方法である。
エッジ保存平滑化画像作成段階では、原画像に対して平
滑化の周波数に相当するサイズの構造要素を用いてモフ
ォロジーのopeningとclosingを組み合わ
せた処理を行う方法を用いて、エッジ保存平滑化画像を
作成することを特徴とする画像補正方法である。
高周波成分抽出段階では、最も高い周波数の高周波成分
に対しては、原画像と原画像から前記最も高い周波数の
高周波成分を削除した画像との差分を求めることで、そ
れ以外の周波数の高周波成分に対しては、当該周波数よ
りも高い高周波成分を全て原画像から削除した画像と該
画像から当該周波数の高周波成分を削除した画像との差
分を求めることで、個別の周波数の高周波成分を抽出す
ることを特徴とする画像補正方法である。
高周波成分抽出段階では、画像から個別の周波数の高周
波成分を削除する方法として、該画像に対して周波数に
相当するサイズの構造要素を用いてモフォロジーのop
eningとclosingを組み合わせた処理を行う
方法を用いることを特徴とする画像補正方法である。
エッジ保存平滑化画像輝度階調変換段階では、エッジ保
存平滑化画像の各画素を輝度値の大小によって少なくと
も暗い画素のクラスと明るい画素のクラスの2つのクラ
スに分類し、各々のクラスの画素について別々の関数に
より輝度階調変換を加えることを特徴とする画像補正方
法である。
エッジ保存平滑化画像輝度階調変換段階では、輝度階調
変換の関数のパラメータ値の決定方法として、パラメー
タ値をあらかじめ決められた定義域の中で変化させ、各
パラメータ値を用いた時のエッジ保存平滑化画像におけ
る明るい画素のクラスに属する画素の輝度の変化値の合
計値と、暗い画素のクラスに属する画素の輝度の変化値
の合計値とを変数とする関数で表される評価値を算出
し、最大の評価値が得られたパラメータ値を採用する方
法を用いることを特徴とする画像補正方法である。
高周波成分変換段階では、関数を用いて変換を行い、該
関数を、エッジ保存平滑化画像輝度階調変換段階におい
てエッジ保存平滑化画像の対応する画素をクラスに分類
した結果によって変更することを特徴とする画像補正方
法である。
して判読性を高める画像補正方法において、原画像の各
画素の持つ色表示の情報から輝度を抽出してモノクロの
濃淡画像を作成する濃淡画像作成段階と、前記濃淡画像
作成段階で作成されたモノクロの濃淡画像を上記の画像
補正方法によって補正する濃淡画像補正段階と、前記濃
淡画像補正段階で補正された補正後濃淡画像を構成する
各画素に対して、対応する原画像の画素の色表示の情報
から彩度と色相を抽出し、前記補正後濃淡画像における
画素の輝度と組み合わせて補正後の表示色の情報とする
ことで補正後のカラー画像を作成する色補正段階とを、
有することを特徴とする画像補正方法である。
して判読性を高める画像補正方法において、原画像の各
画素の持つ色表示の情報から輝度を抽出してモノクロの
濃淡画像を作成する濃淡画像作成段階と、前記濃淡画像
作成段階で作成されたモノクロの濃淡画像を上記の画像
補正方法によって補正する濃淡画像補正段階と、前記濃
淡画像補正段階で補正された補正後濃淡画像を構成する
各画素に対して、前記濃淡画像補正段階で用いた画像補
正方法におけるエッジ保存平滑化画像輝度階調変換段階
の処理において暗い画素のクラスと判定されたか否かを
チェックし、暗い画素のクラスと判定された場合には、
対応する原画像の画素の色表示の情報から彩度と色相を
抽出し、前記抽出した彩度を削減してから、前記抽出し
た色相と前記補正後濃淡画像における画素の輝度と組み
合わせて補正後の表示色の情報とし、明るい画素のクラ
スと判定された場合には、対応する原画像の画素の色表
示の情報から彩度と色相を抽出し、前記補正後濃淡画像
における画素の輝度と組み合わせて補正後の表示色の情
報とすることで、補正後のカラー画像を作成する色補正
段階とを、有することを特徴とする画像補正方法であ
る。
性を高める画像補正装置において、前記原画像からエッ
ジを抽出するとともに前記原画像を平滑化して平滑化画
像を生成し、前記エッジと前記平滑化画像を加算してエ
ッジ保存平滑化画像を作成するエッジ保存平滑化画像作
成手段と、前記エッジ保存平滑化画像に対して輝度の定
義域を複数のクラスに分類し、各クラス別に輝度階調変
換を加えるエッジ保存平滑化画像輝度階調変換手段と、
前記原画像の単数もしくは複数の周波数の高周波成分を
抽出する高周波成分抽出手段と、前記抽出した各周波数
の高周波成分に対して、前記エッジ保存平滑化画像のク
ラスに分類した結果を用いて各クラス別に高周波成分を
増幅する変換を行う高周波成分変換手段と、前記輝度階
調変換したエッジ保存平滑化画像と前記高周波成分変換
手段の変換結果を統合して画像を作成する画像合成手段
とを、具備することを特徴とする画像補正装置である。
画像合成手段は、輝度階調変換したエッジ保存平滑化画
像と高周波成分変換手段の変換結果の個別の要素の値を
加算することで、両者を統合するものであること特徴と
する画像補正装置である。
エッジ保存平滑化画像作成手段は、原画像に対して平滑
化の周波数に相当するサイズの構造要素を用いてモフォ
ロジーのopeningとclosingを組み合わせ
た処理を行う手段を用いて、エッジ保存平滑化画像を作
成するものであること特徴とする画像補正装置である。
高周波成分抽出手段は、最も高い周波数の高周波成分に
対しては、原画像と原画像から前記最も高い周波数の高
周波成分を削除した画像との差分を求めることで、それ
以外の周波数の高周波成分に対しては、当該周波数より
も高い高周波成分を全て原画像から削除した画像と該画
像から当該周波数の高周波成分を削除した画像との差分
を求めることで、個別の周波数の高周波成分を抽出する
ものであることを特徴とする画像補正装置である。
高周波成分抽出手段は、画像から個別の周波数の高周波
成分を削除する手段として、該画像に対して周波数に相
当するサイズの構造要素を用いてモフォロジーのope
ningとclosingを組み合わせた処理を行う手
段を用いるものであること特徴とする画像補正装置であ
る。
エッジ保存平滑化画像輝度階調変換手段は、エッジ保存
平滑化画像の各画素を輝度値の大小によって少なくとも
暗い画素のクラスと明るい画素のクラスの2つのクラス
に分類し、各々のクラスの画素について別々の関数によ
り輝度階調変換を加えるものであること特徴とする画像
補正装置である。
エッジ保存平滑化画像輝度階調変換手段は、輝度階調変
換の関数のパラメータ値を決定する手段として、パラメ
ータ値をあらかじめ決められた定義域の中で変化させ、
各パラメータ値を用いた時のエッジ保存平滑化画像にお
ける明るい画素のクラスに属する画素の輝度の変化値の
合計値と、暗い画素のクラスに属する画素の輝度の変化
値の合計値とを変数とする関数で表される評価値を算出
し、最大の評価値が得られたパラメータ値を採用する手
段を用いるものであること特徴とする画像補正装置であ
る。
高周波成分変換手段は、関数を用いて変換を行い、該関
数を、エッジ保存平滑化画像輝度階調変換手段において
エッジ保存平滑化画像の対応する画素をクラスに分類し
た結果によって変更するものであること特徴とする画像
補正装置である。
して判読性を高める画像補正装置において、原画像の各
画素の持つ色表示の情報から輝度を抽出してモノクロの
濃淡画像を作成する濃淡画像作成手段と、前記濃淡画像
作成手段で作成されたモノクロの濃淡画像を上記の画像
補正装置によって補正する濃淡画像補正手段と、前記濃
淡画像補正手段で補正された補正後濃淡画像を構成する
各画素に対して、対応する原画像の画素の色表示の情報
から彩度と色相を抽出し、前記補正後濃淡画像における
画素の輝度と組み合わせて補正後の表示色の情報とする
ことで補正後のカラー画像を作成する色補正手段とを、
具備することを特徴とする画像補正装置である。
して判読性を高める画像補正装置において、原画像の各
画素の持つ色表示の情報から輝度を抽出してモノクロの
濃淡画像を作成する濃淡画像作成手段と、前記濃淡画像
作成手段で作成されたモノクロの濃淡画像を上記の画像
補正装置によって補正する濃淡画像補正手段と、前記濃
淡画像補正手段で補正された補正後濃淡画像を構成する
各画素に対して、前記濃淡画像補正手段で用いた画像補
正装置におけるエッジ保存平滑化画像輝度階調変換手段
の処理において暗い画素のクラスと判定されたか否かを
チェックし、暗い画素のクラスと判定された場合には、
対応する原画像の画素の色表示の情報から彩度と色相を
抽出し、前記抽出した彩度を削減してから、前記抽出し
た色相と前記補正後濃淡画像における画素の輝度と組み
合わせて補正後の表示色の情報とし、明るい画素のクラ
スと判定された場合には、対応する原画像の画素の色表
示の情報から彩度と色相を抽出し、前記補正後濃淡画像
における画素の輝度と組み合わせて補正後の表示色の情
報とすることで、補正後のカラー画像を作成する色補正
手段とを、具備することを特徴とする画像補正装置であ
る。
性を高める画像補正方法において、前記原画像からエッ
ジを抽出するとともに前記原画像を平滑化して平滑化画
像を生成し、前記エッジと前記平滑化画像を加算してエ
ッジ保存平滑化画像を作成するエッジ保存平滑化画像作
成段階と、前記原画像の単数もしくは複数の周波数の高
周波成分を抽出する高周波成分抽出段階と、前記原画像
の各画素が日向の領域に属する確率と該画素が影の領域
に属する確率を、該画素に該当する前記エッジ保存平滑
化画像の画素の情報から算出する確率算出段階と、前記
エッジ保存平滑化画像に対して、各画素が影の領域に属
すると仮定して輝度階調変換を行って出力し、かつ各画
素が日向の領域に属すると仮定して輝度階調変換を行っ
て出力するかもしくはそのままのエッジ保存平滑化画像
を出力するエッジ保存平滑化画像輝度階調変換段階と、
前記抽出した各周波数の高周波成分に対して、全て影の
領域に属すると仮定して増幅する変換を行って出力し、
かつ全て日向の領域に属すると仮定して増幅する変換を
行って出力するかもしくはそのままの高周波成分を出力
する高周波成分変換段階と、前記確率算出段階で算出し
た各領域に属する確率を用いて、前記エッジ保存平滑化
画像輝度階調変換段階から出力された仮定の領域別の2
種類の出力と、前記高周波成分変換段階から出力された
仮定の領域別の2種類の出力を統合して画像を作成する
画像合成段階とを、有することを特徴とする画像補正方
法である。
て判読性を高める画像補正方法において、前記原画像の
各画素の情報から彩度と色相を抽出する彩度・色相抽出
段階と、前記原画像からエッジを抽出するとともに前記
原画像を平滑化して平滑化画像を生成し、前記エッジと
前記平滑化画像を加算してエッジ保存平滑化画像を作成
するエッジ保存平滑化画像作成段階と、前記原画像の単
数もしくは複数の周波数の高周波成分を抽出する高周波
成分抽出段階と、前記原画像の各画素が日向の領域に属
する確率と該画素が影の領域に属する確率を、該画素に
該当する前記エッジ保存平滑化画像の画素の情報から算
出する確率算出段階と、前記原画像の各画素から抽出し
た彩度に対して、前記算出した各領域に属する確率を用
いて削減する変換を加える彩度変換段階と、前記エッジ
保存平滑化画像に対して、各画素が影の領域に属すると
仮定して輝度階調変換を行って出力し、かつ各画素が日
向め領域に属すると仮定して輝度階調変換を行って出力
するかもしくはそのままのエッジ保存平滑化画像を出力
するエッジ保存平滑化画像輝度階調変換段階と、前記抽
出した各周波数の高周波成分に対して、全て影の領域に
属すると仮定して増幅する変換を行って出力し、かつ全
て日向の領域に属すると仮定して増幅する変換を行って
出力するかもしくはそのままの高周波成分を出力する高
周波成分変換段階と、前記確率算出段階で算出した各領
域に属する確率を用いて、前記エッジ保存平滑化画像輝
度階調変換段階からの2種類の出力と高周波成分変換段
階からの2種類の出力を統合して画像を作成し、それに
前記彩度・色相抽出段階から出力された原画像の色相の
情報と、前記彩度変換段階から出力された変換後の彩度
の情報を統合して画像を作成する画像合成段階とを、有
することを特徴とする画像補正方法である。
彩度変換段階では、確率算出段階で算出した各領域に属
する確率を用いて統合する方法として、原画像の各画素
から抽出した彩度に対して、対応する原画像の画素が影
の領域に属すると仮定して彩度の削減処理を行い、その
結果に該画素が影の領域に属する確率を乗じた値を算出
し、その値と、元の彩度に対して該画素が日向に属する
確率を乗じた値を加算することを特徴とする画像補正方
法である。
画像合成段階では、確率算出段階で算出した各領域に属
する確率を用いて、エッジ保存平滑化画像輝度階調変換
段階からの2種類の出力と、高周波成分変換段階からの
2種類の出力を統合して画像を作成する処理として、前
記エッジ保存平滑化画像輝度階調変換段階からの、エッ
ジ保存平滑化画像に対して各画素が影の領域に属すると
仮定して輝度階調変換を行った出力に対して各画素が影
の領域に属する確率を乗じた値を算出し、前記エッジ保
存平滑化画像輝度階調変換段階からの、エッジ保存平滑
化画像に対して各画素が日向の領域に属すると仮定して
輝度階調変換を行った出力もしくはそのままのエッジ保
存平滑化画像の出力に対して各画素が日向の領域に属す
る確率を乗じた値を算出し、前記高周波成分変換段階か
らの各周波数の高周波成分に対して全て影の領域に属す
ると仮定して変換を行った出力に対して、対応するエッ
ジ保存平滑化画像の画素が影の領域に属する確率を乗じ
た値を算出し、前記高周波成分変換段階からの各周波数
の高周波成分に対して全て日向の領域に属すると仮定し
て変換を行った出力に対して、対応するエッジ保存平滑
化画像の画素が日向の領域に属する確率を乗じた値を算
出し、前記算出した4種類の値を加算することを特徴と
する画像補正方法である。
画像合成段階では、確率算出段階で算出した各領域に属
する確率を用いて、エッジ保存平滑化画像輝度階調変換
段階からの2種類の出力と、高周波成分変換段階からの
2種類の出力を統合して画像を作成する処理として、前
記エッジ保存平滑化画像輝度階調変換段階からの、エッ
ジ保存平滑化画像に対して各画素が影の領域に属すると
仮定して輝度階調変換を行った出力と、前記高周波成分
変換段階からの、各周波数の高周波成分に対して全て影
の領域に属すると仮定して変換を行った出力を、対応す
る要素毎に加算して、その値に、対応するエッジ保存平
滑化画像の画素が影の領域に属する確率を乗じた値を算
出し、前記エッジ保存平滑化画像輝度階調変換段階から
の、エッジ保存平滑化画像に対して各画素が日向の領域
に属すると仮定して輝度階調変換を行った出力もしくは
そのままのエッジ保存平滑化画像の出力と、前記高周波
成分変換段階からの、各周波数の高周波成分に対して全
て日向の領域に属すると仮定して変換を行った出力もし
くはそのままの出力を、対応する要素毎に加算して、そ
の値に、対応するエッジ保存平滑化画像の画素が日向の
領域に属する確率を乗じた値を算出し、前記算出された
4種類の値を加算することを特徴とする画像補正方法で
ある。
確率算出段階では、原画像の各画素が日向の領域に属す
る確率を算出する処理として、エッジ保存平滑化画像に
おける該当する画素の情報が日向の領域から発生する確
率を算出し、その値と、事前に投入された値である、エ
ッジ保存平滑化画像における平均的な日向の領域の画素
数の比率とを乗じる処理を行い、かつ、原画像の各画素
が影の領域に属する確率を算出する方法として、エッジ
保存平滑化画像における該当する画素の情報が影の領域
から発生する確率を算出し、その値と、事前に投入され
た値である、エッジ保存平滑化画像における平均的な影
の領域の画素数の比率とを乗じる処理を行うことを特徴
とする画像補正方法である。
エッジ保存平滑化画像における該当する画素の情報が日
向の領域から発生する確率を算出するための情報と、前
記エッジ保存平滑化画像における該当する画素の情報が
影の領域から発生する確率を算出するための情報を事前
に学習する学習段階を備えることを特徴とする画像補正
方法である。
確率の代わりに確率密度、もしくは確率に変換を加えた
値、もしくは確率密度に変換を加えた値を使用すること
を特徴とする画像補正方法である。
確率算出段階では、確率の代わりに確率密度、もしくは
確率密度に変換を加えたを使用する場合、エッジ保存平
滑化画像における画素の情報が日向の領域から発生する
確率密度の算出処理と、エッジ保存平滑化画像における
画素の情報が影の領域から発生する確率密度の算出処理
として、画素の情報を表す次元数を持つ1次元もしくは
多次元の正規分布の確率密度関数による確率密度の算出
を行うことを特徴とする画像補正方法である。
高周波成分抽出段階では、個別の周波数の高周波成分を
抽出する処理として、最も高い周波数の高周波成分に対
しては、原画像と、原画像から該最も高い周波数の高周
波成分を削除した画像との差分を求めることで抽出し、
それ以外の周波数の高周波成分に対しては、該周波数よ
りも高い高周波成分を全て原画像から削除された画像
と、該画像から該周波数の高周波成分を削除した画像と
の差分を求めることで抽出する処理を行うことを特徴と
する画像補正方法である。
エッジ保存平滑化画像作成段階では、画像に対して平滑
化の周波数に相当するサイズの構造要素を用いてモフォ
ロジーのopeningとclosingを組み合わせ
た処理を行う方法を用いることを特徴とする画像補正方
法である。
高周波成分抽出段階では、個別の周波数の高周波成分を
抽出する処理における、画像から個別の周波数の高周波
成分を削除する方法として、該画像に対して該周波数に
相当するサイズの構造要素を用いてモフォロジーのop
eningとclosingを組み合わせた処理を行う
方法を用いることを特徴とする画像補正方法である。
エッジ保存平滑化画像作成段階では、該画像から各周波
数の高周波成分を削除した画像を作成するだけではな
く、原画像に対してエッジを保存しない平滑化を行って
エッジ非保存平滑化画像を作成し、エッジ保存平滑化画
像とエッジ非保存平滑化画像の対応する各画素について
照合して後者の輝度を前者の輝度に合致するように後者
の輝度を変換して新たなエッジ保存平滑化画像として出
力する方法を用いることを特徴とする画像補正方法であ
る。
性を高める画像補正装置において、前記原画像からエッ
ジを抽出するとともに前記原画像を平滑化して平滑化画
像を生成し、前記エッジと前記平滑化画像を加算してエ
ッジ保存平滑化画像を作成するエッジ保存平滑化画像作
成手段と、前記原画像の単数もしくは複数の周波数の高
周波成分を抽出する高周波成分抽出手段と、前記原画像
の各画素が日向の領域に属する確率と該画素が影の領域
に属する確率を、該画素に該当する前記エッジ保存平滑
化画像の画素の情報から算出する確率算出手段と、前記
エッジ保存平滑化画像に対して、各画素が影の領域に属
すると仮定して輝度階調変換を行って出力し、かつ各画
素が日向の領域に属すると仮定して輝度階調変換を行っ
て出力するかもしくはそのままのエッジ保存平滑化画像
を出力するエッジ保存平滑化画像輝度階調変換手段と、
前記抽出した各周波数の高周波成分に対して、全て影の
領域に属すると仮定して増幅する変換を行って出力し、
かつ全て日向の領域に属すると仮定して増幅する変換を
行って出力するかもしくはそのままの高周波成分を出力
する高周波成分変換手段と、前記確率算出手段で算出し
た各領域に属する確率を用いて、前記エッジ保存平滑化
画像輝度階調変換手段から出力された仮定の領域別の2
種類の出力と、前記高周波成分変換手段から出力された
仮定の領域別の2種類の出力を統合して画像を作成する
画像合成手段とを、具備することを特徴とする画像補正
装置である。
て判読性を高める画像補正装置において、前記原画像の
各画素の情報から彩度と色相を抽出する彩度・色相抽出
手段と、前記原画像からエッジを抽出するとともに前記
原画像を平滑化して平滑化画像を生成し、前記エッジと
前記平滑化画像を加算してエッジ保存平滑化画像を作成
するエッジ保存平滑化画像作成手段と、前記原画像の単
数もしくは複数の周波数の高周波成分を抽出する高周波
成分抽出手段と、前記原画像の各画素が日向の領域に属
する確率と該画素が影の領域に属する確率を、該画素に
該当する前記エッジ保存平滑化画像の画素の情報から算
出する確率算出手段と、前記原画像の各画素から抽出し
た彩度に対して、前記算出した各領域に属する確率を用
いて削減する変換を加える彩度変換手段と、前記エッジ
保存平滑化画像に対して、各画素が影の領域に属すると
仮定して輝度階調変換を行って出力し、かつ各画素が日
向め領域に属すると仮定して輝度階調変換を行って出力
するかもしくはそのままのエッジ保存平滑化画像を出力
するエッジ保存平滑化画像輝度階調変換手段と、前記抽
出した各周波数の高周波成分に対して、全て影の領域に
属すると仮定して増幅する変換を行って出力し、かつ全
て日向の領域に属すると仮定して増幅する変換を行って
出力するかもしくはそのままの高周波成分を出力する高
周波成分変換手段と、前記確率算出手段で算出した各領
域に属する確率を用いて、前記エッジ保存平滑化画像輝
度階調変換手段からの2種類の出力と高周波成分変換手
段からの2種類の出力を統合して画像を作成し、それに
前記彩度・色相抽出手段から出力された原画像の色相の
情報と、前記彩度変換手段から出力された変換後の彩度
の情報を統合して画像を作成する画像合成手段とを、具
備することを特徴とする画像補正装置である。
彩度変換手段は、確率算出手段で算出した各領域に属す
る確率を用いて統合する手段として、原画像の各画素か
ら抽出した彩度に対して、対応する原画像の画素が影の
領域に属すると仮定して彩度の削減処理を行い、その結
果に該画素が影の領域に属する確率を乗じた値を算出
し、その値と、元の彩度に対して該画素が日向に属する
確率を乗じた値を加算するものであることを特徴とする
画像補正装置である。
画像合成手段は、確率算出手段で算出した各領域に属す
る確率を用いて、エッジ保存平滑化画像輝度階調変換手
段からの2種類の出力と、高周波成分変換手段からの2
種類の出力を統合して画像を作成する処理として、前記
エッジ保存平滑化画像輝度階調変換手段からの、エッジ
保存平滑化画像に対して各画素が影の領域に属すると仮
定して輝度階調変換を行った出力に対して各画素が影の
領域に属する確率を乗じた値を算出し、前記エッジ保存
平滑化画像輝度階調変換手段からの、エッジ保存平滑化
画像に対して各画素が日向の領域に属すると仮定して輝
度階調変換を行った出力もしくはそのままのエッジ保存
平滑化画像の出力に対して各画素が日向の領域に属する
確率を乗じた値を算出し、前記高周波成分変換手段から
の各周波数の高周波成分に対して全て影の領域に属する
と仮定して変換を行った出力に対して、対応するエッジ
保存平滑化画像の画素が影の領域に属する確率を乗じた
値を算出し、前記高周波成分変換手段からの各周波数の
高周波成分に対して全て日向の領域に属すると仮定して
変換を行った出力に対して、対応するエッジ保存平滑化
画像の画素が日向の領域に属する確率を乗じた値を算出
し、前記算出した4種類の値を加算するものであること
を特徴とする画像補正装置である。
画像合成手段は、確率算出手段で算出した各領域に属す
る確率を用いて、エッジ保存平滑化画像輝度階調変換手
段からの2種類の出力と、高周波成分変換手段からの2
種類の出力を統合して画像を作成する処理として、前記
エッジ保存平滑化画像輝度階調変換手段からの、エッジ
保存平滑化画像に対して各画素が影の領域に属すると仮
定して輝度階調変換を行った出力と、前記高周波成分変
換手段からの、各周波数の高周波成分に対して全て影の
領域に属すると仮定して変換を行った出力を、対応する
要素毎に加算して、その値に、対応するエッジ保存平滑
化画像の画素が影の領域に属する確率を乗じた値を算出
し、前記エッジ保存平滑化画像輝度階調変換手段から
の、エッジ保存平滑化画像に対して各画素が日向の領域
に属すると仮定して輝度階調変換を行った出力もしくは
そのままのエッジ保存平滑化画像の出力と、前記高周波
成分変換手段からの、各周波数の高周波成分に対して全
て日向の領域に属すると仮定して変換を行った出力もし
くはそのままの出力を、対応する要素毎に加算して、そ
の値に、対応するエッジ保存平滑化画像の画素が日向の
領域に属する確率を乗じた値を算出し、前記算出された
4種類の値を加算するものであることを特徴とする画像
補正装置である。
確率算出手段は、原画像の各画素が日向の領域に属する
確率を算出する処理として、エッジ保存平滑化画像にお
ける該当する画素の情報が日向の領域から発生する確率
を算出し、その値と、事前に投入された値である、エッ
ジ保存平滑化画像における平均的な日向の領域の画素数
の比率とを乗じる処理を行い、かつ、原画像の各画素が
影の領域に属する確率を算出する手段として、エッジ保
存平滑化画像における該当する画素の情報が影の領域か
ら発生する確率を算出し、その値と、事前に投入された
値である、エッジ保存平滑化画像における平均的な影の
領域の画素数の比率とを乗じる処理を行うものであるこ
とを特徴とする画像補正装置である。
エッジ保存平滑化画像における該当する画素の情報が日
向の領域から発生する確率を算出するための情報と、前
記エッジ保存平滑化画像における該当する画素の情報が
影の領域から発生する確率を算出するための情報を事前
に学習する学習手段を備えることを特徴とする画像補正
装置である。
確率の代わりに確率密度、もしくは確率に変換を加えた
値、もしくは確率密度に変換を加えた値を使用すること
を特徴とする画像補正装置である。
確率算出手段は、確率の代わりに確率密度、もしくは確
率密度に変換を加えたを使用する場合、エッジ保存平滑
化画像における画素の情報が日向の領域から発生する確
率密度の算出処理と、エッジ保存平滑化画像における画
素の情報が影の領域から発生する確率密度の算出処理と
して、画素の情報を表す次元数を持つ1次元もしくは多
次元の正規分布の確率密度関数による確率密度の算出を
行うものであることを特徴とする画像補正装置である。
高周波成分抽出手段は、個別の周波数の高周波成分を抽
出する処理として、最も高い周波数の高周波成分に対し
ては、原画像と、原画像から該最も高い周波数の高周波
成分を削除した画像との差分を求めることで抽出し、そ
れ以外の周波数の高周波成分に対しては、該周波数より
も高い高周波成分を全て原画像から削除された画像と、
該画像から該周波数の高周波成分を削除した画像との差
分を求めることで抽出する処理を行うものであることを
特徴とする画像補正装置である。
エッジ保存平滑化画像作成手段は、画像に対して平滑化
の周波数に相当するサイズの構造要素を用いてモフォロ
ジーのopeningとclosingを組み合わせた
処理を行う手段を用いるものであることを特徴とする画
像補正装置である。
高周波成分抽出手段は、個別の周波数の高周波成分を抽
出する処理における、画像から個別の周波数の高周波成
分を削除する手段として、該画像に対して該周波数に相
当するサイズの構造要素を用いてモフォロジーのope
ningとclosingを組み合わせた処理を行う手
段を用いるものであることを特徴とする画像補正装置で
ある。
エッジ保存平滑化画像作成手段は、該画像から各周波数
の高周波成分を削除した画像を作成するだけではなく、
原画像に対してエッジを保存しない平滑化を行ってエッ
ジ非保存平滑化画像を作成し、エッジ保存平滑化画像と
エッジ非保存平滑化画像の対応する各画素について照合
して後者の輝度を前者の輝度に合致するように後者の輝
度を変換して新たなエッジ保存平滑化画像として出力す
る手段を用いるものであることを特徴とする画像補正装
置である。
階をコンピュータに実行させるためのプログラムを、前
記コンピュータが読み取り可能な記録媒体に記録したこ
とを特徴とする画像補正方法を記録した記録媒体であ
る。
だことを特徴とする画像撮影装置である。
だことを特徴とする画像表示装置である。
って影の領域と日向の領域に分けて処理を施すことによ
り、異なった日時の同一場所での同一被写体の複数の撮
影画像の統合処理を必要とすることなく、一枚の画像だ
けで影の領域の補正が可能となり、また、日向の領域に
は画像の品質にあまり悪影響を及ぼさないことが可能と
なる。また、カラーの画像を扱う際に影の領域の彩度を
削減する処理を施すことにより、影の領域を補正した時
に鮮やかな青色になることを防ぐことが可能となる。
形態例を説明する。
る処理ブロック図である。図1において、1は濃淡画像
作成手段、2は、濃度補正手段、3はエッジ保存平滑化
画像作成手段、4は高周波成分抽出手段、5はエッジ保
存平滑化画像輝度階調変換手段、6は高周波成分変換手
段、7は画像合成手段、8は色補正手段である。
例の詳細な動作について説明する。
多階調画像とし、個々の画素の表色情報はRGB値で表
されるものとする。また、高周波成分の周波数は、説明
の簡単化のために1つとする。
て、原画像の各画素のRGB値を、輝度、彩度、色相の
3値に変換する。RGB値と輝度・彩度・色相の相互の
変換の具体的な方法としては、例えばHSI6角錐カラ
ーモデルによる変換方法がある(「画像解析ハンドブッ
ク(監修 青木幹雄、下田陽久:東京大学出版会)の4
86〜489頁を参照)。そして各画素の輝度値を集め
て画像を作成し(これを濃淡画像と呼ぶ)、濃度補正手
段2に送る。
入射光の強度と画像の輝度が比例関係となるようにガン
マ補正を行い、結果の画像を高周波成分抽出手段4に送
る(ガンマ補正の具体的な方法は、「画像処理工学基礎
編(谷口慶治著:共立出版株式会社)」の39〜40頁
を参照)。
フォロジーのclosingと、openingを用い
た画像の平滑化を行う。以降の説明では、説明の簡単化
のために、画像を一次元的な説明図で表す。濃淡画像の
例を図2(a)に示し、これを関数I(x)で表す。
ついて簡単に説明する。両者は共にdilationと
erosionの組み合わせであり、closingは
dilationを行った後でerosionを行い、
openingはerosionを行った後でdila
tionを行う。用いる構造要素としては様々なものが
考えられるが、本実施形態例では説明の簡単のために、
図3の太線に示す、定義域内で0の関数を用いる。この
場合、dilationは構造要素の定義域を連続的に
移動させた時にその定義域の中でI(x)の最大値を求
めていく処理となり、erosionは構造要素の定義
域を連続的に移動させた時にその定義域の中でI(x)
の最小値を求めていく処理となる(「モルフォロジー
(小畑秀文著:コロナ社)の75〜77頁を参照)。こ
の構造要素の定義域のサイズを調整することで、平滑化
の周波数を設定できる。すなわち、定義域を大きくすれ
ば周波数が下がり、定義域を小さくすれば周波数が上が
る。
いてdilationを行った結果を図2(b)に、そ
の結果に対してerosionを行った結果を図2
(c)に示す。すなわち、図2(a)のデータにclo
singを行った結果が図2(c)である。これによ
り、幅の狭い凹部が消される。
素を用いてerosionを行った結果を図2(d)
に、その結果に対してdilationを行った結果を
図2(e)に示す。すなわち、図2(c)のデータにo
peningを行った結果が図2(e)である。これに
より、幅の狭い凸部が消され、エッジ保存平滑化画像が
得られる。
に移る。ここでもエッジ保存平滑化画像作成手段3と同
様に、closingとopeningを組み合わせた
処理を行う。本発明では、抽出対象とする周波数の成分
は単数もしくは複数であるが、本実施形態例では説明の
簡単化のために1つの周波数とし、使用する構造要素と
して、エッジ保存平滑化画像作成手段3の上記の説明で
使用したものと同一の、図3の太線に示す、定義域内で
0の関数を用いる。
正手段2から出力された画像(図2(a))に対してc
losingを行ってからopeningを行い、エッ
ジを保存しつつ平滑化された画像を作成するが、本実施
形態例で用いる構造要素がエッジ保存平滑化画像作成手
段3の説明で用いた関数と同一であるので、処理の経過
も、エッジを保存しつつ平滑化された画像も、エッジ保
存平滑化画像作成手段3の場合と同一となる。従って、
処理の経過は図2(a)〜(e)で示され、結果は図2
(e)である。次に、濃度補正手段2から出力された画
像の個々の画素の輝度値から、エッジ保存平滑化画像作
成手段3から出力された画像における対応する画素の輝
度値を引いた値を2次元の配列(輝度差分値配列)に格
納する。すなわち、図2(a)の画像と、図2(e)の
画像との差分が図2(f)となり、これが高周波成分で
ある。
で抽出する高周波成分が1種類で、かつ使用する構造要
素がエッジ保存平滑化画像作成手段3で使用するものと
同一の場合には、画像の平滑化までの処理を、両者の中
で片方だけで行なわせ、その結果をもう片方に流用させ
ることができる。
手段5の動作に移る。ここでは、エッジ保存平滑化画像
の個々の画素の輝度を、輝度の変換関数を用いて変換す
る。この輝度の変換関数には様々なものが考えられる
が、本実施形態例では図4に示した関数を用いる。これ
は、輝度の定義域を暗い区間と明るい区間にしきい値I
sで分け、それぞれの区間の中で別々の処理を行うもの
である。この暗い区間が画像における影の領域に該当
し、明るい区間が画像における日向の区間に該当する。
小さい区間を区間0と命名し、この中における輝度Iに
対する変換をf(I)と表記する。本実施形態例では、
f(I)=aIを用いる。ここでaは1より大きい定数
であり、この変換により区間0におけるダイナミックレ
ンジを拡大する。これにより、変換後の輝度I’は、
I’=aIとなる。f(I)としては、aIの他にも他
の関数、例えば対数関数や原点を通らない直線f(I)
=aI+b(a,bは定数)等を用いることもできる。
における輝度Iに対する変換をg(I)と表記する。こ
の区間は画像における日向の領域に相当するため、全区
間において輝度を変えないことが望ましく、すなわちg
(I)=Iが望ましいが、これを全区間において用いる
と、画像における影の領域と日向の領域の間で輝度の不
連続が生じる問題が発生する。そこで、g(I)として
はI=aIsの点においてf(I)と連続し、Iが増加
するにつれて単調増加して関数g(I)=Iに近づく関
数を用いる。このような関数には様々なものが考えられ
るが、本実施形態例では、I軸に対して平行な直線I’
=aIsと原点を通り傾き1の直線I’=Iの交点のI
値であるImとした時,Imを境界として暗い区間を、暗
い側の区間(区間1)と明るい側の区間(区間2)に分
け、区間1では輝度Iに対して変換後の輝度I’を、
I’=aIsとし、区間2では輝度I対して変換後の輝
度I’を、I’=Iとして輝度は変えない構成とする。
すなわち、g(I)は式(1)で表される。
ずれが生じ、それが日向の領域の画質劣化となる。明る
い区間の変換方法は、上記の方法以外にも、直線I’=
aIs、と原点を通り傾き1の直線I’=Iの交点を通
る他の関数を用いることもできる。
像における影の領域と日向の領域の輝度値の境界である
ので、まず図5(a)に例を示すエッジ保存平滑化画像
の輝度のヒストグラムを作成し、次に輝度が低い方の山
(影領域の輝度の分布)と高い方の山(日向領域の輝度
の分布)との間の谷を探し、これをIsとする(図5
(b))。この、ヒストグラムから谷を見つける方法と
しては、例えば、判別分析を用いたしきい値決定方法が
ある(大津:“判別および最小2乗規準に基づく自動し
きい値選定法”、電子通信学会論文誌Vol.J63−
D,No.4,pp349−356(1980.
4))。
の設定方法を説明する。影の領域におけるダイナミック
レンジの拡大の度合いと日向における画質の低下は、こ
れらの関数のパラメータによって変化する。パラメータ
を適切な値に設定するために、本実施形態例では、f
(I)とg(I)によるエッジ保存平滑化画像における
輝度の変換による影領域の画質向上と日向領域の画質劣
化の効果を、各々の領域におけるIの変化量の合計によ
って表し、画像全体の画質向上の効果を両者の重み付き
の和で表した式(2)の評価尺度Fにより評価し、Fが
最大となるパラメータを求める方法を用いる。
す。
平滑化画像の中の輝度がIに等しい画素の個数、係数α
は影領域の画質向上を重視する度合いを表す重みであ
り、利用者により設定される。さて、既に述べたよう
に、本実施形態例では、区間0ではf(I)=aI、区
間0以外の区間では式(1)のg(I)を用いるので、
両者のパラメータはaだけであり、Fは式(3)で表さ
れるようにaだけの関数となる。
(b)により説明する。図6(a)はエッジ保存平滑化
画像作成手段3で作成されたエッジ保存平滑化画像の例
である。この画像に対して、しきい値IsとImを用い
て、各画素の輝度がどの区間にあるかを調べると、図6
(a)における区間0で示した箇所の画素が全て区間
0、区間2で示した画素が全て区間2に属することがわ
かったとする。
輝度の変更はなく、区間0に属する画素に対してはa倍
される。例としてa=2と算出されたとした時のこの輝
度の変換の様子を図6(b)に示す。このように、画像
中の影の領域における輝度が平均的に上がって明るくな
り、かつダイナミックレンジが広がるためコントラスト
が増す。この2つは、共に見やすくなる要因である。そ
れに対し、画像中の日向の領域は影響を受けずに済む。
る。ここでは、輝度差分値配列の個々の要素の値iに対
して、絶対値を増幅して新しい輝度値i’を得る変換処
理を行う。この変換関数には様々なものがあるが、本実
施形態例では下式の変換を用いる。
高めるために乗じる重みである。また、Iは輝度差分値
配列の個々の要素に対応するエッジ保存平滑化画像の輝
度である。また、エッジ保存平滑化画像における区間1
においては画質が劣化しており、それを補うために、 とすることもできる。式(5)において、γはエッジ保
存平滑化画像の区間1における画質劣化を補うためにコ
ントラストを高めるための重みである。
(4)を用いて処理を加える様子の例を図6の(a)と
(c)に示す。この例では、a=2、β=1を用いてい
る。このようにして、図6(c)の増幅結果が得られ、
日向の領域では振幅は変わらずに、影の領域では振幅は
増幅され、影の領域でのコントラストが増す。
存平滑化画像輝度階調変換手段5で作成された画像(例
を図7(a)に示す)と高周波成分変換手段6で作成さ
れた輝度差分値配列(例を図7(b)に示す)の個別の
要素の値が加算される。加算結果の例を図7(c)に示
す。この場合には、結果として、画像中の日向の領域は
影響を受けず(すなわち画質の低下が生じず)、影の領
域は明るさとコントラストが向上した画像が得られる。
は、濃淡画像作成手段1から原画像の各画素についての
彩度と色相の情報が送られ、またエッジ保存平滑化画像
輝度階調変換手段5から各画素が区間0に属するか否か
という情報が送られ、また画像合成手段7からは輝度が
補正された濃淡画像が送られてくる。色補正手段8は、
輝度が補正された濃淡画像の個々の画素について、エッ
ジ保存平滑化画像輝度階調変換手段5から送られてきた
対応する座標の画素が区間0に属するか否かを調べ、区
間0に属する場合には、彩度を削減し、その削減された
彩度と、色相、及び輝度が補正された濃淡画像の着目し
ている画素の輝度を組み合わせてRGB値に変換する。
これにより、暗い領域については原画像よりも彩度が低
い最終的な補正画像が得られる。彩度の削減は、例えば
1より小さい一定数をかけることで実行できる。これに
より、影の領域を補正した結果は鮮やかさが減り、より
灰色に近い青色となることで見た目の違和感が減少す
る。
態例を説明する。
ク図である。図8において、11は色情報変換手段、1
2は濃度補正手段、13はエッジ保存平滑化画像作成手
段、14は高周波成分抽出手段、15はエッジ保存平滑
化画像輝度階調変換手段、16は高周波成分変換手段、
17は画像合成手段、18は事前学習手段、19は確率
算出手段、20は彩度変換手段である。
て説明する。本実施形態例における原画像は、カラーの
多階調画像とし、個々の画素の表色情報はRGB値で表
されるものとする。また、高周波成分の周波数は、説明
の簡単化のために1つとする。
ドと画像補正のモードの2つがある。まず事前学習のモ
ードについて説明する。
換手段11に入力する。色情報変換手段11は、濃淡画
像作成手段1における処理と同様に、原画像の各画素の
RGB値を、輝度、彩度、色相の3値に変換する。そし
て、その結果を濃度補正手段12でガンマ補正を行う
(これは濃度補正手段2の動作と同じ)。ガンマ補正の
具体的な方法は、「画像処理工学基礎編(共立出版株式
会社、谷口慶治著)」pp65〜67に記載されてい
る。そして、エッジ保存平滑化画像作成手段13でモフ
ォロジーのclosingとopeningを用いた画
像の平滑化を行う(これはエッジ保存平滑化画像作成手
段3の動作と同じ)。そしてエッジ保存平滑化画像を事
前学習手段18に送る。
手段と、表示手段に表示された画像の領域を操作者が指
定する電子ペンやマウス、キーボード等の領域指定手段
を有するものとする。事前学習手段18は、まず受け取
ったエッジ保存平滑化画像をディスプレイ等の表示手段
に表示する。それに対して、操作者が日向の領域と影の
領域を指定する。そして、事前学習手段18は、操作者
から指定された日向の領域と影の領域の各々について、
画素の色情報の発生確率もしくは発生確率密度を算出す
るための情報を求める。本実施形態例では、画素の色情
報の発生確率密度を採用する。そしてこの場合の色情報
をRGB値の3次元の値で表し、その発生確率密度の算
出を3次元の正規分布関数で算出するものとする。そし
て、事前学習手段18では、日向の領域と影の領域の各
々について、画素のRGB値の集合から、3次元の正規
分布関数の計算に必要なパラメータである、3変数
(R,G,B)の各々の平均値、3変数(R,G,B)
の各々の標準偏差、3変数(R,G,B)の全ての2変
数の組み合わせ間の相関係数、を算出し、確率算出手段
19に送る。また、操作者は影の領域と日向の領域の画
素の比率を、画面に表示された画像の目視による計測等
の手段で調べ、その値を事前学習手段18に入力し、事
前学習手段18はそれを確率算出手段19に送る。事前
学習のモードの動作はここまでである。
る。
手段11に入力する。色情報変換手段11は、事前学習
のモードにおける処理と同様に、原画像の各画素のRG
B値を、輝度、彩度、色相の3値に変換する。そして、
その結果を彩度変換手段20と画像合成手段17と濃度
補正手段12に送る。彩度変換手段20と画像合成手段
17における処理内容は後述する。濃度補正手段12で
はガンマ補正を行う(これは濃度補正手段2の動作と同
じ)。その結果を濃度補正手段12はエッジ保存平滑化
画像作成手段13と高周波成分抽出手段14に送る。
が動作する。処理内容はエッジ保存平滑化画像作成手段
3と同じである。そしてその結果であるエッジ保存平滑
化画像を、確率算出手段19とエッジ保存平滑化画像輝
度階調変換手段15に送る。なお、エッジ保存平滑化画
像作成手段13は、原画像から各周波数の高周波成分を
削除した画像を作成するだけではなく、原画像に対して
エッジを保存しない平滑化を行ってエッジ非保存平滑化
画像を作成し、エッジ保存平滑化画像とエッジ非保存平
滑化画像の対応する各画素について照合して後者の輝度
を前者の輝度に合致するように後者の輝度を変換し、こ
れを新たなエッジ保存平滑化画像として出力するものを
用いることができる。この新たなエッジ保存平滑化画像
は、元のエッジ保存平滑化画像の輝度の情報と、エッジ
非保存平滑化画像の彩度、色相の情報とを有している。
エッジ非保存平滑化画像は、画像のR,G,Bについて
局所平均フィルター(「画像解析ハンドブック(監修
青木幹雄、下田陽久:東京大学出版会)の595頁を参
照)を適用することにより、生成することができる。
算出手段19は、事前学習モードで事前学習手段18か
ら送られてきた、3変数(R,G,B)の各々の平均
値、3変数(R,G,B)の各々の標準偏差、3変数
(R,G,B)の全ての2変数の組み合わせ間の相関係
数、影の領域と日向の領域の画素の比率を用いて、エッ
ジ保存平滑化画像の各画素のRGB値について、それら
が日向の領域に属する確率密度と影の領域に属する確率
密度を以下のように算出する。
表す。そして、画素が影の領域に属する事象をA、日向
の領域に属する事象をBで表し、影の領域と日向の領域
の画素の比率を各々P(A)、P(B)とし、ベクトル
Xが影の領域に属する確率密度をP(A|X)、ベクト
ルXが日向の領域に属する確率密度をP(B|X)で表
す。そして、P(A|X)とP(B|X)を次の式で計
算する。
B)はR,G,Bについての3次元の正規分布関数で算
出する。3次元の正規分布関数の算出方法については、
「確率・統計ハンドブック(森北出版株式会社 R.
S。バーリントン、D.C.メイ著)」のpp.130
〜131に記載されている。そして、全画素についての
P(A|X)とP(B|X)の値を、画像合成手段1
7、彩度変換手段20に送る。
る。処理内容は高周波成分抽出手段4と同じであり、結
果を高周波成分変換手段16に送る。ここで、色情報変
換手段11と濃度補正手段12の処理以降のここまでの
処理過程を図で説明する。
の模式図、図10は原画像の1次元的な彩度の輝度値の
分布の模式図、図11は図9に対してエッジ保存平滑化
画像作成手段13が処理を行った結果の輝度値の分布の
模式図、図12は高周波成分抽出手段14により抽出さ
れた高周波成分の1次元的な模式図、図13はエッジ保
存平滑化画像の各画素のRGB値を用いて各々のP(X
|A)とP(X|B)の算出結果の模式図である。
手段15の動作に移る。エッジ保存平滑化画像輝度階調
変換手段15では、まずエッジ保存平滑化画像の各画素
に対してそれらが影の領域に属していることを前提とし
た処理を行って画像合成手段17に出力する。輝度Iに
対する変換をf(I)と表記すると、本実施形態例で
は、f(I)=aIを用いる。ここでaは1より大きい
定数である。そして、日向の領域に属していることを前
提とした場合には、本実施形態例では変換を行わず、I
は元のまま画像合成手段17に出力する。これをエッジ
保存平滑化画像の全画素について行う。
る。ここでは、まず輝度差分値配列の個々の要素の値i
に対して、それらが影の領域に属していることを前提と
して、絶対値を増幅して新しい輝度値i’を得る変換処
理を行う。この変換関数には様々なものがあるが、本実
施形態例では下式の変換を用いる。
高めるために乗じる重みである。そして、日向の領域に
属していることを前提とした場合には、本実施形態例で
は変換を行わず、iは元のまま画像合成手段17に出力
する。これを輝度差分値配列の全要素について行う。
こでは、まず原画像の各画素の彩度Sについて、それら
が影の領域に属していることを前提として、絶対値を削
減して新しい彩度S’を得る変換処理を行う。削減処理
としては、例えば式(9)のように一定比率K(Kは1
より小さい数)を乗じることで行える。
ように、P(X|A)と影領域を前提とした時の変換後
のS’の積と、P(X|B)と元のSの積との和を算出
する。
彩度の集合を作成し、画像合成手段17に送る。
手段15から送られてきた2種類のデータを統合する。
これは新しい輝度I”として、式(11)のように、P
(X|A)と影領域を前提とした時の変換後の輝度aI
の積と、P(X|B)と元の輝度Iの積との和を算出す
ることで行う。
たなエッジ保存平滑化画像を作成する。図11の画像に
対して本処理を行った過程の模式図を図14〜図16に
示す。図14はP(X|A)・aIの作成過程、図15
はP(X|B)・Iの作成過程、図16はP(X|A)
・aIとP(X|B)・Iの加算の過程を示す。
てきた2種類のデータを統合する。これは新しい高周波
成分i”として、式(12)のように、P(X|A)と
影領域を前提とした時の変換後のi’の積と、P(X|
B)と元のiの積との和を算出することで行う。
な輝度差分値配列を作成する。図12のデータに対して
本処理を行った結果の模式図を図17に示す。考え方
は、図14〜図16に示した、式(11)に従った作成
過程と同様である。
(12)で計算されたi”を加算し、新しい輝度を持つ
画像を作成する。この処理を図14〜図16と図17の
データに対して行った結果の模式図を図18に示す。さ
らに、その画像の個々の画素について、色情報変換手段
11から送られた原画像の各画素の色相の値と、彩度変
換手段20から送られた式(10)で算出された新しい
彩度S”を組み合わせ、RGB値に変換することで最終
的な画像を作成する。
のデータに対して処理を行った結果の模式図を図19に
示す。考え方は、図14〜図16に示した、画像合成手
段17の処理過程の例と同様である。
画像撮影装置に組み込んで、画像撮影装置による撮影画
像を画像補正装置を通して出力すれば、影の領域を補正
して画質を向上させた補正画像を出力することができ
る。また、以上のような本発明による画像補正装置を画
像表示装置に組み込んで、入力画像を画像補正装置を通
して画像表示装置に入力すれば、影の領域を補正して画
質を向上させた補正画像を表示することができる。
クの一部もしくは全部の機能を、コンピュータを用いて
実現することができることは言うまでもなく、コンピュ
ータでその各ブロックの機能を実現するためのプログラ
ムを、そのコンピュータが読み取り可能な記憶媒体、例
えば、FD(フロッピーディスク)や、MO、ROM、
メモリカード、CD、DVD、リムーバブルディスクな
どに記録し、提供し、配布することが可能である。
れば、異なった日時に同一の場所で同一対象物を撮影し
た複数の画像は必要なく、一枚の画像だけで影の領域の
補正が可能となる。
悪影響を及ぼさないことと、カラーの画像を扱う際に影
の領域を補正した時に鮮やかな青色になることを防ぐこ
とが可能となるという顕著な効果を奏するものである。
図である。
osingとopeningを用いた画像の平滑化と原
画像との差分値の配列を作成する過程を示す図である。
osingとopeningで使用する構造要素の例を
示す図である。
像の個々の画素の輝度の変換関数の説明図である。
エッジ保存平滑化画像輝度階調変換における影の区間と
日向の区間のしきい値を求める過程の説明図である。
像輝度階調変換手段と高周波成分変換手段の動作を示す
図である。
における画像合成手段の動作を示す図である。
図である。
輝度値の分布の模式図である。
な彩度の輝度値の分布の模式図である。
ジ保存平滑化画像作成手段が処理を行った結果の輝度値
の分布の模式図である。
段により抽出された高周波成分の1次元的な模式図であ
る。
例におけるエッジ保存平滑化画像の各画素のRGB値を
用いて各々のP(X|A)とP(X|B)の算出結果の
模式図である。
例におけるエッジ保存平滑化画像輝度階調変換手段での
処理(P(X|A)・aIの作成)過程の例を示す模式
図である。
例におけるエッジ保存平滑化画像輝度階調変換手段での
処理(P(X|B)・Iの作成)過程の例を示す模式図
である。
例におけるエッジ保存平滑化画像輝度階調変換手段での
処理(P(X|A)・aIとP(X|B)・Iの加算)
過程の例を示す模式図である。
段の処理結果の例を示す模式図である。
る、エッジ保存平滑化画像輝度階調変換手段で作成され
た画像と高周波成分変換手段で作成された輝度差分値配
列の個別の要素の値を加算する処理の過程を示す模式図
である。
理結果の例を示す模式図である。
Claims (49)
- 【請求項1】 多階調の原画像を変換して判読性を高め
る画像補正方法において、 前記原画像からエッジを抽出するとともに前記原画像を
平滑化して平滑化画像を生成し、前記エッジと前記平滑
化画像を加算してエッジ保存平滑化画像を作成するエッ
ジ保存平滑化画像作成段階と、 前記エッジ保存平滑化画像に対して輝度の定義域を複数
のクラスに分類し、各クラス別に輝度階調変換を加える
エッジ保存平滑化画像輝度階調変換段階と、 前記原画像の単数もしくは複数の周波数の高周波成分を
抽出する高周波成分抽出段階と、 前記抽出した各周波数の高周波成分に対して、前記エッ
ジ保存平滑化画像をクラスに分類した結果を用いて各ク
ラス別に高周波成分を増幅する変換を行う高周波成分変
換段階と、 前記輝度階調変換したエッジ保存平滑化画像と前記高周
波成分変換段階の変換結果を統合して画像を作成する画
像合成段階とを、 有することを特徴とする画像補正方法。 - 【請求項2】 請求項1記載の画像補正方法において、 画像合成段階では、輝度階調変換したエッジ保存平滑化
画像と高周波成分変換段階の変換結果の個別の要素の値
を加算することで、両者を統合することを特徴とする画
像補正方法。 - 【請求項3】 請求項1又は請求項2記載の画像補正方
法において、 エッジ保存平滑化画像作成段階では、原画像に対して平
滑化の周波数に相当するサイズの構造要素を用いてモフ
ォロジーのopeningとclosingを組み合わ
せた処理を行う方法を用いて、エッジ保存平滑化画像を
作成することを特徴とする画像補正方法。 - 【請求項4】 請求項1乃至請求項3のうちいずれか1
項記載の画像補正方法において、 高周波成分抽出段階では、最も高い周波数の高周波成分
に対しては、原画像と原画像から前記最も高い周波数の
高周波成分を削除した画像との差分を求めることで、そ
れ以外の周波数の高周波成分に対しては、当該周波数よ
りも高い高周波成分を全て原画像から削除した画像と該
画像から当該周波数の高周波成分を削除した画像との差
分を求めることで、個別の周波数の高周波成分を抽出す
ることを特徴とする画像補正方法。 - 【請求項5】 請求項4記載の画像補正方法において、 高周波成分抽出段階では、画像から個別の周波数の高周
波成分を削除する方法として、該画像に対して周波数に
相当するサイズの構造要素を用いてモフォロジーのop
eningとclosingを組み合わせた処理を行う
方法を用いることを特徴とする画像補正方法。 - 【請求項6】 請求項1乃至請求項5のうちいずれか1
項記載の画像補正方法において、 エッジ保存平滑化画像輝度階調変換段階では、エッジ保
存平滑化画像の各画素を輝度値の大小によって少なくと
も暗い画素のクラスと明るい画素のクラスの2つのクラ
スに分類し、各々のクラスの画素について別々の関数に
より輝度階調変換を加えることを特徴とする画像補正方
法。 - 【請求項7】 請求項6記載の画像補正方法において、 エッジ保存平滑化画像輝度階調変換段階では、輝度階調
変換の関数のパラメータ値の決定方法として、パラメー
タ値をあらかじめ決められた定義域の中で変化させ、各
パラメータ値を用いた時のエッジ保存平滑化画像におけ
る明るい画素のクラスに属する画素の輝度の変化値の合
計値と、暗い画素のクラスに属する画素の輝度の変化値
の合計値とを変数とする関数で表される評価値を算出
し、最大の評価値が得られたパラメータ値を採用する方
法を用いることを特徴とする画像補正方法。 - 【請求項8】 請求項1乃至請求項7のうちいずれか1
項記載の画像補正方法において、 高周波成分変換段階では、関数を用いて変換を行い、該
関数を、エッジ保存平滑化画像輝度階調変換段階におい
てエッジ保存平滑化画像の対応する画素をクラスに分類
した結果によって変更することを特徴とする画像補正方
法。 - 【請求項9】 カラーの多階調の原画像を変換して判読
性を高める画像補正方法において、 原画像の各画素の持つ色表示の情報から輝度を抽出して
モノクロの濃淡画像を作成する濃淡画像作成段階と、 前記濃淡画像作成段階で作成されたモノクロの濃淡画像
を請求項1乃至請求項8のうちいずれか1項記載の画像
補正方法によって補正する濃淡画像補正段階と、 前記濃淡画像補正段階で補正された補正後濃淡画像を構
成する各画素に対して、対応する原画像の画素の色表示
の情報から彩度と色相を抽出し、前記補正後濃淡画像に
おける画素の輝度と組み合わせて補正後の表示色の情報
とすることで補正後のカラー画像を作成する色補正段階
とを、 有することを特徴とする画像補正方法。 - 【請求項10】 カラーの多階調の原画像を変換して判
読性を高める画像補正方法において、 原画像の各画素の持つ色表示の情報から輝度を抽出して
モノクロの濃淡画像を作成する濃淡画像作成段階と、 前記濃淡画像作成段階で作成されたモノクロの濃淡画像
を請求項6乃至請求項8のうちいずれか1項記載の画像
補正方法によって補正する濃淡画像補正段階と、 前記濃淡画像補正段階で補正された補正後濃淡画像を構
成する各画素に対して、前記濃淡画像補正段階で用いた
画像補正方法におけるエッジ保存平滑化画像輝度階調変
換段階の処理において暗い画素のクラスと判定されたか
否かをチェックし、暗い画素のクラスと判定された場合
には、対応する原画像の画素の色表示の情報から彩度と
色相を抽出し、前記抽出した彩度を削減してから、前記
抽出した色相と前記補正後濃淡画像における画素の輝度
と組み合わせて補正後の表示色の情報とし、明るい画素
のクラスと判定された場合には、対応する原画像の画素
の色表示の情報から彩度と色相を抽出し、前記補正後濃
淡画像における画素の輝度と組み合わせて補正後の表示
色の情報とすることで、補正後のカラー画像を作成する
色補正段階とを、 有することを特徴とする画像補正方法。 - 【請求項11】 多階調の原画像を変換して判読性を高
める画像補正装置において、 前記原画像からエッジを抽出するとともに前記原画像を
平滑化して平滑化画像を生成し、前記エッジと前記平滑
化画像を加算してエッジ保存平滑化画像を作成するエッ
ジ保存平滑化画像作成手段と、 前記エッジ保存平滑化画像に対して輝度の定義域を複数
のクラスに分類し、各クラス別に輝度階調変換を加える
エッジ保存平滑化画像輝度階調変換手段と、 前記原画像の単数もしくは複数の周波数の高周波成分を
抽出する高周波成分抽出手段と、 前記抽出した各周波数の高周波成分に対して、前記エッ
ジ保存平滑化画像のクラスに分類した結果を用いて各ク
ラス別に高周波成分を増幅する変換を行う高周波成分変
換手段と、 前記輝度階調変換したエッジ保存平滑化画像と前記高周
波成分変換手段の変換結果を統合して画像を作成する画
像合成手段とを、 具備することを特徴とする画像補正装置。 - 【請求項12】 請求項11記載の画像補正装置におい
て、 画像合成手段は、輝度階調変換したエッジ保存平滑化画
像と高周波成分変換手段の変換結果の個別の要素の値を
加算することで、両者を統合するものであること特徴と
する画像補正装置。 - 【請求項13】 請求項11又は請求項12記載の画像
補正装置において、 エッジ保存平滑化画像作成手段は、原画像に対して平滑
化の周波数に相当するサイズの構造要素を用いてモフォ
ロジーのopeningとclosingを組み合わせ
た処理を行う手段を用いて、エッジ保存平滑化画像を作
成するものであること特徴とする画像補正装置。 - 【請求項14】 請求項11乃至請求項13のうちいず
れか1項記載の画像補正装置において、 高周波成分抽出手段は、最も高い周波数の高周波成分に
対しては、原画像と原画像から前記最も高い周波数の高
周波成分を削除した画像との差分を求めることで、それ
以外の周波数の高周波成分に対しては、当該周波数より
も高い高周波成分を全て原画像から削除した画像と該画
像から当該周波数の高周波成分を削除した画像との差分
を求めることで、個別の周波数の高周波成分を抽出する
ものであることを特徴とする画像補正装置。 - 【請求項15】 請求項14記載の画像補正装置におい
て、 高周波成分抽出手段は、画像から個別の周波数の高周波
成分を削除する手段として、該画像に対して周波数に相
当するサイズの構造要素を用いてモフォロジーのope
ningとclosingを組み合わせた処理を行う手
段を用いるものであること特徴とする画像補正装置。 - 【請求項16】 請求項11乃至請求項15のうちいず
れか1項記載の画像補正装置において、 エッジ保存平滑化画像輝度階調変換手段は、エッジ保存
平滑化画像の各画素を輝度値の大小によって少なくとも
暗い画素のクラスと明るい画素のクラスの2つのクラス
に分類し、各々のクラスの画素について別々の関数によ
り輝度階調変換を加えるものであること特徴とする画像
補正装置。 - 【請求項17】 請求項16記載の画像補正装置におい
て、 エッジ保存平滑化画像輝度階調変換手段は、輝度階調変
換の関数のパラメータ値を決定する手段として、パラメ
ータ値をあらかじめ決められた定義域の中で変化させ、
各パラメータ値を用いた時のエッジ保存平滑化画像にお
ける明るい画素のクラスに属する画素の輝度の変化値の
合計値と、暗い画素のクラスに属する画素の輝度の変化
値の合計値とを変数とする関数で表される評価値を算出
し、最大の評価値が得られたパラメータ値を採用する手
段を用いるものであること特徴とする画像補正装置。 - 【請求項18】 請求項11乃至請求項17のうちいず
れか1項記載の画像補正装置において、 高周波成分変換手段は、関数を用いて変換を行い、該関
数を、エッジ保存平滑化画像輝度階調変換手段において
エッジ保存平滑化画像の対応する画素をクラスに分類し
た結果によって変更するものであること特徴とする画像
補正装置。 - 【請求項19】 カラーの多階調の原画像を変換して判
読性を高める画像補正装置において、 原画像の各画素の持つ色表示の情報から輝度を抽出して
モノクロの濃淡画像を作成する濃淡画像作成手段と、 前記濃淡画像作成手段で作成されたモノクロの濃淡画像
を請求項11乃至請求項18のうちいずれか1項記載の
画像補正装置によって補正する濃淡画像補正手段と、 前記濃淡画像補正手段で補正された補正後濃淡画像を構
成する各画素に対して、対応する原画像の画素の色表示
の情報から彩度と色相を抽出し、前記補正後濃淡画像に
おける画素の輝度と組み合わせて補正後の表示色の情報
とすることで補正後のカラー画像を作成する色補正手段
とを、 具備することを特徴とする画像補正装置。 - 【請求項20】 カラーの多階調の原画像を変換して判
読性を高める画像補正装置において、 原画像の各画素の持つ色表示の情報から輝度を抽出して
モノクロの濃淡画像を作成する濃淡画像作成手段と、 前記濃淡画像作成手段で作成されたモノクロの濃淡画像
を請求項16乃至請求項18のうちいずれか1項記載の
画像補正装置によって補正する濃淡画像補正手段と、 前記濃淡画像補正手段で補正された補正後濃淡画像を構
成する各画素に対して、前記濃淡画像補正手段で用いた
画像補正装置におけるエッジ保存平滑化画像輝度階調変
換手段の処理において暗い画素のクラスと判定されたか
否かをチェックし、暗い画素のクラスと判定された場合
には、対応する原画像の画素の色表示の情報から彩度と
色相を抽出し、前記抽出した彩度を削減してから、前記
抽出した色相と前記補正後濃淡画像における画素の輝度
と組み合わせて補正後の表示色の情報とし、明るい画素
のクラスと判定された場合には、対応する原画像の画素
の色表示の情報から彩度と色相を抽出し、前記補正後濃
淡画像における画素の輝度と組み合わせて補正後の表示
色の情報とすることで、補正後のカラー画像を作成する
色補正手段とを、 具備することを特徴とする画像補正装置。 - 【請求項21】 多階調の原画像を変換して判読性を高
める画像補正方法において、 前記原画像からエッジを抽出するとともに前記原画像を
平滑化して平滑化画像を生成し、前記エッジと前記平滑
化画像を加算してエッジ保存平滑化画像を作成するエッ
ジ保存平滑化画像作成段階と、 前記原画像の単数もしくは複数の周波数の高周波成分を
抽出する高周波成分抽出段階と、 前記原画像の各画素が日向の領域に属する確率と該画素
が影の領域に属する確率を、該画素に該当する前記エッ
ジ保存平滑化画像の画素の情報から算出する確率算出段
階と、 前記エッジ保存平滑化画像に対して、各画素が影の領域
に属すると仮定して輝度階調変換を行って出力し、かつ
各画素が日向の領域に属すると仮定して輝度階調変換を
行って出力するかもしくはそのままのエッジ保存平滑化
画像を出力するエッジ保存平滑化画像輝度階調変換段階
と、 前記抽出した各周波数の高周波成分に対して、全て影の
領域に属すると仮定して増幅する変換を行って出力し、
かつ全て日向の領域に属すると仮定して増幅する変換を
行って出力するかもしくはそのままの高周波成分を出力
する高周波成分変換段階と、 前記確率算出段階で算出した各領域に属する確率を用い
て、前記エッジ保存平滑化画像輝度階調変換段階から出
力された仮定の領域別の2種類の出力と、前記高周波成
分変換段階から出力された仮定の領域別の2種類の出力
を統合して画像を作成する画像合成段階とを、 有することを特徴とする画像補正方法。 - 【請求項22】 カラー多階調の原画像を変換して判読
性を高める画像補正方法において、 前記原画像の各画素の情報から彩度と色相を抽出する彩
度・色相抽出段階と、 前記原画像からエッジを抽出するとともに前記原画像を
平滑化して平滑化画像を生成し、前記エッジと前記平滑
化画像を加算してエッジ保存平滑化画像を作成するエッ
ジ保存平滑化画像作成段階と、 前記原画像の単数もしくは複数の周波数の高周波成分を
抽出する高周波成分抽出段階と、 前記原画像の各画素が日向の領域に属する確率と該画素
が影の領域に属する確率を、該画素に該当する前記エッ
ジ保存平滑化画像の画素の情報から算出する確率算出段
階と、 前記原画像の各画素から抽出した彩度に対して、前記算
出した各領域に属する確率を用いて削減する変換を加え
る彩度変換段階と、 前記エッジ保存平滑化画像に対して、各画素が影の領域
に属すると仮定して輝度階調変換を行って出力し、かつ
各画素が日向め領域に属すると仮定して輝度階調変換を
行って出力するかもしくはそのままのエッジ保存平滑化
画像を出力するエッジ保存平滑化画像輝度階調変換段階
と、 前記抽出した各周波数の高周波成分に対して、全て影の
領域に属すると仮定して増幅する変換を行って出力し、
かつ全て日向の領域に属すると仮定して増幅する変換を
行って出力するかもしくはそのままの高周波成分を出力
する高周波成分変換段階と、 前記確率算出段階で算出した各領域に属する確率を用い
て、前記エッジ保存平滑化画像輝度階調変換段階からの
2種類の出力と高周波成分変換段階からの2種類の出力
を統合して画像を作成し、それに前記彩度・色相抽出段
階から出力された原画像の色相の情報と、前記彩度変換
段階から出力された変換後の彩度の情報を統合して画像
を作成する画像合成段階とを、 有することを特徴とする画像補正方法。 - 【請求項23】 請求項22記載の画像補正方法におい
て、 彩度変換段階では、確率算出段階で算出した各領域に属
する確率を用いて統合する方法として、原画像の各画素
から抽出した彩度に対して、対応する原画像の画素が影
の領域に属すると仮定して彩度の削減処理を行い、その
結果に該画素が影の領域に属する確率を乗じた値を算出
し、その値と、元の彩度に対して該画素が日向に属する
確率を乗じた値を加算することを特徴とする画像補正方
法。 - 【請求項24】 請求項21乃至請求項23のうちいず
れか1項記載の画像補正方法において、 画像合成段階では、確率算出段階で算出した各領域に属
する確率を用いて、エッジ保存平滑化画像輝度階調変換
段階からの2種類の出力と、高周波成分変換段階からの
2種類の出力を統合して画像を作成する処理として、前
記エッジ保存平滑化画像輝度階調変換段階からの、エッ
ジ保存平滑化画像に対して各画素が影の領域に属すると
仮定して輝度階調変換を行った出力に対して各画素が影
の領域に属する確率を乗じた値を算出し、前記エッジ保
存平滑化画像輝度階調変換段階からの、エッジ保存平滑
化画像に対して各画素が日向の領域に属すると仮定して
輝度階調変換を行った出力もしくはそのままのエッジ保
存平滑化画像の出力に対して各画素が日向の領域に属す
る確率を乗じた値を算出し、前記高周波成分変換段階か
らの各周波数の高周波成分に対して全て影の領域に属す
ると仮定して変換を行った出力に対して、対応するエッ
ジ保存平滑化画像の画素が影の領域に属する確率を乗じ
た値を算出し、前記高周波成分変換段階からの各周波数
の高周波成分に対して全て日向の領域に属すると仮定し
て変換を行った出力に対して、対応するエッジ保存平滑
化画像の画素が日向の領域に属する確率を乗じた値を算
出し、前記算出した4種類の値を加算することを特徴と
する画像補正方法。 - 【請求項25】 請求項21乃至請求項23のうちいず
れか1項記載の画像補正方法において、 画像合成段階では、確率算出段階で算出した各領域に属
する確率を用いて、エッジ保存平滑化画像輝度階調変換
段階からの2種類の出力と、高周波成分変換段階からの
2種類の出力を統合して画像を作成する処理として、前
記エッジ保存平滑化画像輝度階調変換段階からの、エッ
ジ保存平滑化画像に対して各画素が影の領域に属すると
仮定して輝度階調変換を行った出力と、前記高周波成分
変換段階からの、各周波数の高周波成分に対して全て影
の領域に属すると仮定して変換を行った出力を、対応す
る要素毎に加算して、その値に、対応するエッジ保存平
滑化画像の画素が影の領域に属する確率を乗じた値を算
出し、前記エッジ保存平滑化画像輝度階調変換段階から
の、エッジ保存平滑化画像に対して各画素が日向の領域
に属すると仮定して輝度階調変換を行った出力もしくは
そのままのエッジ保存平滑化画像の出力と、前記高周波
成分変換段階からの、各周波数の高周波成分に対して全
て日向の領域に属すると仮定して変換を行った出力もし
くはそのままの出力を、対応する要素毎に加算して、そ
の値に、対応するエッジ保存平滑化画像の画素が日向の
領域に属する確率を乗じた値を算出し、前記算出された
4種類の値を加算することを特徴とする画像補正方法。 - 【請求項26】 請求項21乃至請求項25のうちいず
れか1項記載の画像補正方法において、 確率算出段階では、原画像の各画素が日向の領域に属す
る確率を算出する処理として、エッジ保存平滑化画像に
おける該当する画素の情報が日向の領域から発生する確
率を算出し、その値と、事前に投入された値である、エ
ッジ保存平滑化画像における平均的な日向の領域の画素
数の比率とを乗じる処理を行い、かつ、原画像の各画素
が影の領域に属する確率を算出する方法として、エッジ
保存平滑化画像における該当する画素の情報が影の領域
から発生する確率を算出し、その値と、事前に投入され
た値である、エッジ保存平滑化画像における平均的な影
の領域の画素数の比率とを乗じる処理を行うことを特徴
とする画像補正方法。 - 【請求項27】 請求項26記載の画像補正方法におい
て、 エッジ保存平滑化画像における該当する画素の情報が日
向の領域から発生する確率を算出するための情報と、前
記エッジ保存平滑化画像における該当する画素の情報が
影の領域から発生する確率を算出するための情報を事前
に学習する学習段階を備えることを特徴とする画像補正
方法。 - 【請求項28】 請求項21乃至請求項27のうちいず
れか1項記載の画像補正方法において、 確率の代わりに確率密度、もしくは確率に変換を加えた
値、もしくは確率密度に変換を加えた値を使用すること
を特徴とする画像補正方法。 - 【請求項29】 請求項28記載の画像補正方法におい
て、 確率算出段階では、確率の代わりに確率密度、もしくは
確率密度に変換を加えたを使用する場合、エッジ保存平
滑化画像における画素の情報が日向の領域から発生する
確率密度の算出処理と、エッジ保存平滑化画像における
画素の情報が影の領域から発生する確率密度の算出処理
として、画素の情報を表す次元数を持つ1次元もしくは
多次元の正規分布の確率密度関数による確率密度の算出
を行うことを特徴とする画像補正方法。 - 【請求項30】 請求項21乃至請求項29のうちいず
れか1項記載の画像補正方法において、 高周波成分抽出段階では、個別の周波数の高周波成分を
抽出する処理として、最も高い周波数の高周波成分に対
しては、原画像と、原画像から該最も高い周波数の高周
波成分を削除した画像との差分を求めることで抽出し、
それ以外の周波数の高周波成分に対しては、該周波数よ
りも高い高周波成分を全て原画像から削除された画像
と、該画像から該周波数の高周波成分を削除した画像と
の差分を求めることで抽出する処理を行うことを特徴と
する画像補正方法。 - 【請求項31】 請求項21乃至請求項30のうちいず
れか1項記載の画像補正方法において、 エッジ保存平滑化画像作成段階では、画像に対して平滑
化の周波数に相当するサイズの構造要素を用いてモフォ
ロジーのopeningとclosingを組み合わせ
た処理を行う方法を用いることを特徴とする画像補正方
法。 - 【請求項32】 請求項21乃至請求項31のうちいず
れか1項記載の画像補正方法において、 高周波成分抽出段階では、個別の周波数の高周波成分を
抽出する処理における、画像から個別の周波数の高周波
成分を削除する方法として、該画像に対して該周波数に
相当するサイズの構造要素を用いてモフォロジーのop
eningとclosingを組み合わせた処理を行う
方法を用いることを特徴とする画像補正方法。 - 【請求項33】 請求項31又は請求項32記載の画像
補正方法において、 エッジ保存平滑化画像作成段階では、該画像から各周波
数の高周波成分を削除した画像を作成するだけではな
く、原画像に対してエッジを保存しない平滑化を行って
エッジ非保存平滑化画像を作成し、エッジ保存平滑化画
像とエッジ非保存平滑化画像の対応する各画素について
照合して後者の輝度を前者の輝度に合致するように後者
の輝度を変換して新たなエッジ保存平滑化画像として出
力する方法を用いることを特徴とする画像補正方法。 - 【請求項34】 多階調の原画像を変換して判読性を高
める画像補正装置において、 前記原画像からエッジを抽出するとともに前記原画像を
平滑化して平滑化画像を生成し、前記エッジと前記平滑
化画像を加算してエッジ保存平滑化画像を作成するエッ
ジ保存平滑化画像作成手段と、 前記原画像の単数もしくは複数の周波数の高周波成分を
抽出する高周波成分抽出手段と、 前記原画像の各画素が日向の領域に属する確率と該画素
が影の領域に属する確率を、該画素に該当する前記エッ
ジ保存平滑化画像の画素の情報から算出する確率算出手
段と、 前記エッジ保存平滑化画像に対して、各画素が影の領域
に属すると仮定して輝度階調変換を行って出力し、かつ
各画素が日向の領域に属すると仮定して輝度階調変換を
行って出力するかもしくはそのままのエッジ保存平滑化
画像を出力するエッジ保存平滑化画像輝度階調変換手段
と、 前記抽出した各周波数の高周波成分に対して、全て影の
領域に属すると仮定して増幅する変換を行って出力し、
かつ全て日向の領域に属すると仮定して増幅する変換を
行って出力するかもしくはそのままの高周波成分を出力
する高周波成分変換手段と、 前記確率算出手段で算出した各領域に属する確率を用い
て、前記エッジ保存平滑化画像輝度階調変換手段から出
力された仮定の領域別の2種類の出力と、前記高周波成
分変換手段から出力された仮定の領域別の2種類の出力
を統合して画像を作成する画像合成手段とを、 具備することを特徴とする画像補正装置。 - 【請求項35】 カラー多階調の原画像を変換して判読
性を高める画像補正装置において、 前記原画像の各画素の情報から彩度と色相を抽出する彩
度・色相抽出手段と、 前記原画像からエッジを抽出するとともに前記原画像を
平滑化して平滑化画像を生成し、前記エッジと前記平滑
化画像を加算してエッジ保存平滑化画像を作成するエッ
ジ保存平滑化画像作成手段と、 前記原画像の単数もしくは複数の周波数の高周波成分を
抽出する高周波成分抽出手段と、 前記原画像の各画素が日向の領域に属する確率と該画素
が影の領域に属する確率を、該画素に該当する前記エッ
ジ保存平滑化画像の画素の情報から算出する確率算出手
段と、 前記原画像の各画素から抽出した彩度に対して、前記算
出した各領域に属する確率を用いて削減する変換を加え
る彩度変換手段と、 前記エッジ保存平滑化画像に対して、各画素が影の領域
に属すると仮定して輝度階調変換を行って出力し、かつ
各画素が日向め領域に属すると仮定して輝度階調変換を
行って出力するかもしくはそのままのエッジ保存平滑化
画像を出力するエッジ保存平滑化画像輝度階調変換手段
と、 前記抽出した各周波数の高周波成分に対して、全て影の
領域に属すると仮定して増幅する変換を行って出力し、
かつ全て日向の領域に属すると仮定して増幅する変換を
行って出力するかもしくはそのままの高周波成分を出力
する高周波成分変換手段と、 前記確率算出手段で算出した各領域に属する確率を用い
て、前記エッジ保存平滑化画像輝度階調変換手段からの
2種類の出力と高周波成分変換手段からの2種類の出力
を統合して画像を作成し、それに前記彩度・色相抽出手
段から出力された原画像の色相の情報と、前記彩度変換
手段から出力された変換後の彩度の情報を統合して画像
を作成する画像合成手段とを、 具備することを特徴とする画像補正装置。 - 【請求項36】 請求項35記載の画像補正装置におい
て、 彩度変換手段は、確率算出手段で算出した各領域に属す
る確率を用いて統合する手段として、原画像の各画素か
ら抽出した彩度に対して、対応する原画像の画素が影の
領域に属すると仮定して彩度の削減処理を行い、その結
果に該画素が影の領域に属する確率を乗じた値を算出
し、その値と、元の彩度に対して該画素が日向に属する
確率を乗じた値を加算するものであることを特徴とする
画像補正装置。 - 【請求項37】 請求項34乃至請求項36のうちいず
れか1項記載の画像補正装置において、 画像合成手段は、確率算出手段で算出した各領域に属す
る確率を用いて、エッジ保存平滑化画像輝度階調変換手
段からの2種類の出力と、高周波成分変換手段からの2
種類の出力を統合して画像を作成する処理として、前記
エッジ保存平滑化画像輝度階調変換手段からの、エッジ
保存平滑化画像に対して各画素が影の領域に属すると仮
定して輝度階調変換を行った出力に対して各画素が影の
領域に属する確率を乗じた値を算出し、前記エッジ保存
平滑化画像輝度階調変換手段からの、エッジ保存平滑化
画像に対して各画素が日向の領域に属すると仮定して輝
度階調変換を行った出力もしくはそのままのエッジ保存
平滑化画像の出力に対して各画素が日向の領域に属する
確率を乗じた値を算出し、前記高周波成分変換手段から
の各周波数の高周波成分に対して全て影の領域に属する
と仮定して変換を行った出力に対して、対応するエッジ
保存平滑化画像の画素が影の領域に属する確率を乗じた
値を算出し、前記高周波成分変換手段からの各周波数の
高周波成分に対して全て日向の領域に属すると仮定して
変換を行った出力に対して、対応するエッジ保存平滑化
画像の画素が日向の領域に属する確率を乗じた値を算出
し、前記算出した4種類の値を加算するものであること
を特徴とする画像補正装置。 - 【請求項38】 請求項34乃至請求項36のうちいず
れか1項記載の画像補正装置において、 画像合成手段は、確率算出手段で算出した各領域に属す
る確率を用いて、エッジ保存平滑化画像輝度階調変換手
段からの2種類の出力と、高周波成分変換手段からの2
種類の出力を統合して画像を作成する処理として、前記
エッジ保存平滑化画像輝度階調変換手段からの、エッジ
保存平滑化画像に対して各画素が影の領域に属すると仮
定して輝度階調変換を行った出力と、前記高周波成分変
換手段からの、各周波数の高周波成分に対して全て影の
領域に属すると仮定して変換を行った出力を、対応する
要素毎に加算して、その値に、対応するエッジ保存平滑
化画像の画素が影の領域に属する確率を乗じた値を算出
し、前記エッジ保存平滑化画像輝度階調変換手段から
の、エッジ保存平滑化画像に対して各画素が日向の領域
に属すると仮定して輝度階調変換を行った出力もしくは
そのままのエッジ保存平滑化画像の出力と、前記高周波
成分変換手段からの、各周波数の高周波成分に対して全
て日向の領域に属すると仮定して変換を行った出力もし
くはそのままの出力を、対応する要素毎に加算して、そ
の値に、対応するエッジ保存平滑化画像の画素が日向の
領域に属する確率を乗じた値を算出し、前記算出された
4種類の値を加算するものであることを特徴とする画像
補正装置。 - 【請求項39】 請求項34乃至請求項38のうちいず
れか1項記載の画像補正装置において、 確率算出手段は、原画像の各画素が日向の領域に属する
確率を算出する処理として、エッジ保存平滑化画像にお
ける該当する画素の情報が日向の領域から発生する確率
を算出し、その値と、事前に投入された値である、エッ
ジ保存平滑化画像における平均的な日向の領域の画素数
の比率とを乗じる処理を行い、かつ、原画像の各画素が
影の領域に属する確率を算出する手段として、エッジ保
存平滑化画像における該当する画素の情報が影の領域か
ら発生する確率を算出し、その値と、事前に投入された
値である、エッジ保存平滑化画像における平均的な影の
領域の画素数の比率とを乗じる処理を行うものであるこ
とを特徴とする画像補正装置。 - 【請求項40】 請求項39記載の画像補正装置におい
て、 エッジ保存平滑化画像における該当する画素の情報が日
向の領域から発生する確率を算出するための情報と、前
記エッジ保存平滑化画像における該当する画素の情報が
影の領域から発生する確率を算出するための情報を事前
に学習する学習手段を備えることを特徴とする画像補正
装置。 - 【請求項41】 請求項34乃至請求項40のうちいず
れか1項記載の画像補正装置において、 確率の代わりに確率密度、もしくは確率に変換を加えた
値、もしくは確率密度に変換を加えた値を使用すること
を特徴とする画像補正装置。 - 【請求項42】 請求項41記載の画像補正装置におい
て、 確率算出手段は、確率の代わりに確率密度、もしくは確
率密度に変換を加えたを使用する場合、エッジ保存平滑
化画像における画素の情報が日向の領域から発生する確
率密度の算出処理と、エッジ保存平滑化画像における画
素の情報が影の領域から発生する確率密度の算出処理と
して、画素の情報を表す次元数を持つ1次元もしくは多
次元の正規分布の確率密度関数による確率密度の算出を
行うものであることを特徴とする画像補正装置。 - 【請求項43】 請求項34乃至請求項42のうちいず
れか1項記載の画像補正装置において、 高周波成分抽出手段は、個別の周波数の高周波成分を抽
出する処理として、最も高い周波数の高周波成分に対し
ては、原画像と、原画像から該最も高い周波数の高周波
成分を削除した画像との差分を求めることで抽出し、そ
れ以外の周波数の高周波成分に対しては、該周波数より
も高い高周波成分を全て原画像から削除された画像と、
該画像から該周波数の高周波成分を削除した画像との差
分を求めることで抽出する処理を行うものであることを
特徴とする画像補正装置。 - 【請求項44】 請求項34乃至請求項43のうちいず
れか1項記載の画像補正装置において、 エッジ保存平滑化画像作成手段は、画像に対して平滑化
の周波数に相当するサイズの構造要素を用いてモフォロ
ジーのopeningとclosingを組み合わせた
処理を行う手段を用いるものであることを特徴とする画
像補正装置。 - 【請求項45】 請求項34乃至請求項44のうちいず
れか1項記載の画像補正装置において、 高周波成分抽出手段は、個別の周波数の高周波成分を抽
出する処理における、画像から個別の周波数の高周波成
分を削除する手段として、該画像に対して該周波数に相
当するサイズの構造要素を用いてモフォロジーのope
ningとclosingを組み合わせた処理を行う手
段を用いるものであることを特徴とする画像補正装置。 - 【請求項46】 請求項44又は請求項45記載の画像
補正装置において、 エッジ保存平滑化画像作成手段は、該画像から各周波数
の高周波成分を削除した画像を作成するだけではなく、
原画像に対してエッジを保存しない平滑化を行ってエッ
ジ非保存平滑化画像を作成し、エッジ保存平滑化画像と
エッジ非保存平滑化画像の対応する各画素について照合
して後者の輝度を前者の輝度に合致するように後者の輝
度を変換して新たなエッジ保存平滑化画像として出力す
る手段を用いるものであることを特徴とする画像補正装
置。 - 【請求項47】 請求項1乃至請求項10及び請求項2
1乃至請求項33のうちいずれか1項記載の画像補正方
法における段階をコンピュータに実行させるためのプロ
グラムを、前記コンピュータが読み取り可能な記録媒体
に記録したことを特徴とする画像補正方法を記録した記
録媒体。 - 【請求項48】 請求項11乃至請求項20及び請求項
34乃至請求項46のうちいずれか1項記載の画像補正
装置を組み込んだことを特徴とする画像撮影装置。 - 【請求項49】 請求項11乃至請求項20及び請求項
34乃至請求項46のうちいずれか1項記載の画像補正
装置を組み込んだことを特徴とする画像表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21015299A JP3515019B2 (ja) | 1999-07-26 | 1999-07-26 | 画像補正方法及びその装置及びその方法を記録した記録媒体及びその装置を組み込んだ画像撮影装置及びその装置を組み込んだ画像表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21015299A JP3515019B2 (ja) | 1999-07-26 | 1999-07-26 | 画像補正方法及びその装置及びその方法を記録した記録媒体及びその装置を組み込んだ画像撮影装置及びその装置を組み込んだ画像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001034748A JP2001034748A (ja) | 2001-02-09 |
JP3515019B2 true JP3515019B2 (ja) | 2004-04-05 |
Family
ID=16584638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP21015299A Expired - Fee Related JP3515019B2 (ja) | 1999-07-26 | 1999-07-26 | 画像補正方法及びその装置及びその方法を記録した記録媒体及びその装置を組み込んだ画像撮影装置及びその装置を組み込んだ画像表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3515019B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4649781B2 (ja) * | 2001-06-20 | 2011-03-16 | ソニー株式会社 | 画像処理方法および装置 |
JP4756316B2 (ja) * | 2005-03-11 | 2011-08-24 | アイシン精機株式会社 | 広域画像生成装置及びこれを用いた車両の周辺監視装置並びに広域画像生成方法 |
JP2007300559A (ja) * | 2006-05-02 | 2007-11-15 | Alpine Electronics Inc | 車両周辺画像提供装置及び車両周辺画像における影補正方法 |
KR100809347B1 (ko) | 2006-07-31 | 2008-03-05 | 삼성전자주식회사 | 쉐도우 영역 보상 방법 및 장치 |
KR100849845B1 (ko) | 2006-09-05 | 2008-08-01 | 삼성전자주식회사 | 영상 보정 방법 및 장치 |
JP4978697B2 (ja) | 2007-11-06 | 2012-07-18 | 富士通株式会社 | 画像補正装置、画像補正方法および画像補正プログラム |
JP5435307B2 (ja) * | 2011-06-16 | 2014-03-05 | アイシン精機株式会社 | 車載カメラ装置 |
JP6119719B2 (ja) * | 2014-02-05 | 2017-04-26 | カシオ計算機株式会社 | 医療用皮膚検査装置、皮膚病変を検査する方法並びにプログラム |
KR102310279B1 (ko) * | 2014-09-23 | 2021-10-07 | 현대모비스 주식회사 | 차선 검출 장치 및 차선 검출 방법 |
JP6908013B2 (ja) * | 2018-10-11 | 2021-07-21 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
KR102428049B1 (ko) * | 2020-11-30 | 2022-08-03 | (주) 지오씨엔아이 | 위성영상을 활용한 도엽영상 생성 시스템 및 그 생성 방법 |
CN113825281A (zh) * | 2021-09-13 | 2021-12-21 | 萤火虫(深圳)灯光科技有限公司 | 灯光控制方法、灯光控制器、设备及存储介质 |
-
1999
- 1999-07-26 JP JP21015299A patent/JP3515019B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001034748A (ja) | 2001-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wong et al. | Histogram equalization and optimal profile compression based approach for colour image enhancement | |
US7646931B2 (en) | Automatic analysis and adjustment of digital images with exposure problems | |
US7650045B2 (en) | Image processing apparatus and method | |
JP4542528B2 (ja) | 画像のコントラスト強調方法及び画像のコントラスト強調システム | |
US6343158B1 (en) | Apparatus for converting gray levels of an image, a method thereof, a program storage device thereof, and an infrared camera | |
JP3078844B2 (ja) | 文書中の前景情報を背景情報から分離する方法 | |
US7447377B2 (en) | Image processing method and apparatus, and image processing program | |
KR100925419B1 (ko) | 라플라시안 피라미드를 이용한 컬러 영상의 화질 개선 장치및 그 방법 | |
EP0933924A2 (en) | Image processing apparatus | |
JP3515019B2 (ja) | 画像補正方法及びその装置及びその方法を記録した記録媒体及びその装置を組み込んだ画像撮影装置及びその装置を組み込んだ画像表示装置 | |
JP2004030670A (ja) | デジタル画像の色調特徴の強調方法 | |
US7471847B2 (en) | Image processing method and apparatus for correcting image brightness distribution | |
JP2002300402A (ja) | 画像処理装置、方法及び記録媒体 | |
US20060013503A1 (en) | Methods of preventing noise boost in image contrast enhancement | |
JP5024574B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP4441300B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体 | |
Kim | Low-light image enhancement by diffusion pyramid with residuals | |
US20020021839A1 (en) | Image processing method, relative density detecting method and image processing apparatus | |
JP2001045303A (ja) | 画像2値化方法 | |
CN113658118A (zh) | 图像噪声程度估计方法、装置、电子设备及存储介质 | |
Agarwal et al. | Analysis of conventional and modern contrast enhancement mechanisms | |
Jawad et al. | Color Image Enhancement Depending on Fuzzy Logic and Nonlinear Transform | |
JPH11167633A (ja) | 画像解析方法およびその装置 | |
Ojo et al. | Colour-preserving contrast enhancement algorithm for images | |
Várkonyi-Kóczy et al. | Fuzzy information measure for improving HDR imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040114 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080123 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090123 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090123 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100123 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110123 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |