JP2004200971A - 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ - Google Patents
画像処理装置、画像処理プログラム、画像処理方法および電子カメラ Download PDFInfo
- Publication number
- JP2004200971A JP2004200971A JP2002366299A JP2002366299A JP2004200971A JP 2004200971 A JP2004200971 A JP 2004200971A JP 2002366299 A JP2002366299 A JP 2002366299A JP 2002366299 A JP2002366299 A JP 2002366299A JP 2004200971 A JP2004200971 A JP 2004200971A
- Authority
- JP
- Japan
- Prior art keywords
- image
- evaluation value
- image information
- image processing
- small region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 238000011156 evaluation Methods 0.000 claims abstract description 104
- 238000000034 method Methods 0.000 claims description 39
- 238000005375 photometry Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6083—Colour correction or control controlled by factors external to the apparatus
- H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
【解決手段】処理対象の画像を複数の小領域に分割し、小領域ごとに、画像の特性を示す画像情報を生成する画像情報生成手段と、各小領域ごとに生成された各画像情報と、各小領域ごとに隣接する小領域ごとに生成された各画像情報とに基づいて、画像を構成する各々の画素ごとの明るさを示す評価値を算出する評価値算出手段と、評価値算出手段により算出された評価値に基づき、画像に対する画像処理を画素ごとに行う画像処理手段とを備える。
【選択図】 図2
Description
【発明の属する技術分野】
本発明は、処理対象の画像の輝度レベルを補正する画像処理装置、画像処理プログラム、画像処理方法および電子カメラに関する。
【0002】
【従来の技術】
電子カメラには、生成した画像データに対して種々の画像処理を施すことにより、画像処理装置の機能を実現するものがある。
画像処理には、ホワイトバランス調整、補間処理、色補正処理、階調補正処理などがあり、階調補正処理は、一般的にガンマ処理を行うことにより実現される(例えば、特許文献1参照)。
【0003】
【特許文献1】
特開2001−54014号公報
【0004】
【発明が解決しようとする課題】
しかし、従来のガンマ処理では、処理対象の画像(電子カメラにより生成された画像)に対して、一様な処理を行うため、処理対象の画像が輝度差の大きい画像である場合、ガンマ処理により、画像の明部および暗部に階調のツブレが生じ、画像の細部の特徴が失われてしまうことがある。また、処理対象の画像が輝度差の小さい画像である場合、ガンマ処理により、画像全体のメリハリがなくなり、画像が軟調になることがある。
【0005】
本発明の目的は、処理対象の画像に合わせて、階調を適切に補正することができる画像処理装置、電子カメラ、画像処理プログラムおよび画像処理方法を提供することである。
【0006】
【課題を解決するための手段】
請求項1に記載の画像処理装置は、処理対象の画像を複数の小領域に分割し、該小領域ごとに、該画像の特性を示す画像情報を生成する画像情報生成手段と、前記各小領域ごとに生成された前記各画像情報と、該各小領域ごとに隣接する前記小領域ごとに生成された前記各画像情報とに基づいて、前記画像を構成する各々の画素ごとの明るさを示す評価値を算出する評価値算出手段と、前記評価値算出手段により算出された前記評価値に基づき、前記画像に対する画像処理を画素ごとに行う画像処理手段とを備えたことを特徴とする。
【0007】
請求項2に記載の画像処理装置は、請求項1に記載の画像処理装置において、前記画像処理手段は、前記画像の輝度レベルを補正する輝度レベル補正手段を有し、前記輝度レベル補正手段は、前記評価値算出手段により画素ごとに算出された前記評価値に基づいて、前記輝度レベル補正に用いる輝度レベル補正係数を算出し、該輝度レベル補正係数を用いて輝度レベル補正処理を画素ごとに行うことを特徴とする。
【0008】
請求項3に記載の画像処理装置は、請求項1に記載の画像処理装置において、前記評価値算出手段は、前記画像情報生成手段により小領域ごとに生成された画像情報に対して平坦化処理を行い、該平坦化処理後の小領域ごとの画像情報に基づき、前記評価値を算出することを特徴とする。
請求項4に記載の画像処理装置は、請求項1に記載の画像処理装置において、前記評価値算出手段は、前記画像情報生成手段により小領域ごとに生成された画像情報に対して、前記画像が生成された際に用いられた撮影レンズの特性に応じた予備補正処理を行い、該予備補正処理後の小領域ごとの画像情報に基づき、前記評価値を算出することを特徴とする。
【0009】
請求項5に記載の画像処理装置は、請求項1に記載の画像処理装置において、前記評価値算出手段は、前記評価値の算出対象となる画素から、該評価値を算出する際に画像情報を参照すべき各小領域内の所定の位置までの距離の比率に応じて、各小領域における前記画像情報に加重をかけて該評価値を算出することを特徴とする。
【0010】
請求項6に記載の電子カメラは、被写体像を撮像して画像を生成する撮像手段と、前記撮像手段により生成された画像を複数の小領域に分割し、該小領域ごとに、該画像の特性を示す画像情報を生成する画像情報生成手段と、前記各小領域ごとに生成された前記各画像情報と、該各小領域ごとに隣接する前記小領域ごとに生成された前記各画像情報とに基づいて、前記画像を構成する各々の画素ごとの明るさを示す評価値を算出する評価値算出手段と、前記評価値算出手段により算出された前記評価値に基づき、前記画像に対する画像処理を画素ごとに行う画像処理手段とを備えたことを特徴とする。
【0011】
請求項7に記載の電子カメラは、請求項6に記載の電子カメラにおいて、被写界を複数の測光領域に分割して各測光領域ごとに測光を行う分割測光手段を備え、前記画像情報生成手段は、前記分割測光手段から得られる情報をもとに、前記画像情報を生成することを特徴とする。
請求項8に記載のプログラムは、画像処理装置に対する制御をコンピュータで実現するためのプログラムであって、処理対象の画像を複数の小領域に分割し、該小領域ごとに、該画像の特性を示す画像情報を生成する画像情報生成手順と、前記各小領域ごとに生成された前記各画像情報と、該各小領域ごとに隣接する前記小領域ごとに生成された前記各画像情報とに基づいて、前記画像を構成する各々の画素ごとの明るさを示す評価値を算出する評価値算出手順と、前記評価値算出手順により算出された前記評価値に基づき、前記画像に対する画像処理を画素ごとに行う画像処理手順とをコンピュータで実現させることを特徴とする。
【0012】
請求項9に記載の画像処理方法は、処理対象の画像を複数の小領域に分割し、該小領域ごとに、該画像の特性を示す画像情報を生成する画像情報生成工程と、前記各小領域ごとに生成された前記各画像情報と、該各小領域ごとに隣接する前記小領域ごとに生成された前記各画像情報とに基づいて、前記画像を構成する各々の画素ごとの明るさを示す評価値を算出する評価値算出工程と、前記評価値算出工程により算出された前記評価値に基づき、前記画像に対する画像処理を画素ごとに行う画像処理工程とを備えたことを特徴とする。
【0013】
【発明の実施の形態】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
なお、以下の各実施形態では、本発明の画像処理装置が行う画像処理の機能を有する電子カメラを用いて説明を行う。
《第1実施形態》
以下、図面を用いて本発明の第1実施形態について説明する。
【0014】
図1は、第1実施形態の電子カメラの概略構成を示す図である。
図1において、電子カメラ1は、撮影レンズ10、撮像素子11、A/D変換器12、画像処理部13、圧縮部14および記録部15を備えている。
撮影レンズ10および撮像素子11により得られた画像データは、A/D変換器12でディジタル信号に変換され、画像処理部13において、画像処理が行われる。そして、画像処理が完了すると、画像処理後の画像データは、圧縮部14を介して記録部15へ出力される。
【0015】
ここで、本実施形態において行われる画像処理は、ホワイトバランス調整、補間処理、色補正処理、ガンマ処理、および本実施形態の特徴である輝度レベル補正処理である。
【0016】
電子カメラ1内には、各部の動作内容を示すプログラムが予め記録されている。プログラムは、記録媒体に記録されたものでも良いし、インターネットを介して伝送波としてダウンロードされたものでも良い。
図2は、第1実施形態の電子カメラ1における画像処理部13の機能ブロック図である。
【0017】
図2において、画像処理部13には、ホワイトバランス調整部16、メモリバッファ部17、輝度レベル補正処理部18、補間処理部19、色補正処理部20およびガンマ処理部21が設けられている。また、画像処理部13には、輝度レベル補正処理部18で用いられる輝度レベル補正係数を決定するために、小領域画像情報生成部22、画素評価値算出部23および輝度レベル補正係数決定部24が設けられている。
【0018】
以下、画像処理部13の動作について説明する。
画像処理部13において、ホワイトバランス調整部16は、A/D変換器12から出力された画像データに対して、ホワイトバランス調整を行う。そして、ホワイトバランス調整後の画像データを、メモリバッファ部17に出力する。
メモリバッファ部17は、ホワイトバランス調整後の画像データを蓄積し、xyアドレス信号と同期して輝度レベル補正処理部18と小領域画像情報生成部22とにそれぞれ出力する。なお、メモリバッファ部17は、輝度レベル補正処理部18と小領域画像情報生成部22とのそれぞれに適切な時期に画像データを出力できるように、xyアドレス信号に基づいてタイミングを制御する機能を備える。
【0019】
小領域画像情報生成部22は、まず、図3(A)に示すようなホワイトバランス調整後の画像を図3(B)に示すような小領域に分割する。図3(B)には、縦方向に10分割、横方向に16分割した例を示す。次に、分割した各小領域ごとに、小領域内の画像データに所定の重み付け加算処理を行って小領域を代表する輝度情報を示す値(以下、輝度値と称する)を算出する。
【0020】
小領域ごとに算出された輝度値を図4に示す。図4において、数値が大きいほど、その小領域の輝度が高いことを示し、数値が小さいほど、その小領域の輝度が低いことを示す。小領域画像情報生成部22は、算出した輝度値を画素評価値算出部23に通知する。
画素評価値算出部23は、小領域画像情報生成部22により算出された小領域ごとの輝度値に基づいて、画素ごとの評価値を算出する。
【0021】
図5は、評価値の算出方法を説明する図である。
図5(A)に示す任意の画素Xの評価値を求める場合、画素評価値算出部23は、画素Xから近傍の小領域(画素Xが存在する小領域を含む)の中心までの距離を求め、距離が短い順から4つの小領域を選択する。
そして、画素評価値算出部23は、選択した4つの小領域のそれぞれにおける輝度値(図5(B)p1〜p4)と、図5(C)に示す式とに基づいて、画素Xの評価値(Px)を算出する。なお、図5(C)に示す式は、画素Xから各小領域の中心までの距離に応じて各小領域の輝度値に加重をかけて評価値を算出する式である。
【0022】
以上説明したように、画素ごとの評価値は、近傍の小領域の輝度値に基づいて算出されるので、近接する画素では略同様な評価値が算出される。
画素評価値算出部23は、以上説明したようにして、画像を構成する全ての画素について評価値(P)を算出し、輝度レベル補正係数算出部24に通知する。
輝度レベル補正係数算出部24は、輝度レベル補正係数算出部24内に予め記録されたグラフを用いて、画素ごとに輝度レベル補正係数を決定し、決定した輝度レベル補正係数を、輝度レベル補正処理部18に通知する。
【0023】
図6は、輝度レベル補正係数決定の際に用いるグラフであり、横軸は評価値(P)を、縦軸はそれぞれの評価値に対応付けられた輝度レベル補正係数(Kt)を示している。輝度レベル補正係数(Kt)の値は、評価値(P)が大きいほど小さく、評価値(P)が小さいほど大きくなるよう対応付けられている。
なお、近接した画素では、前述したように略同様の評価値が算出されるので、略同様の輝度レベル補正係数が決定されることになる。
【0024】
輝度レベル補正処理部18は、輝度レベル補正係数決定部24により決定された輝度レベル補正係数を用いて、メモリバッファ部17から出力された画像データに対して、画素ごとに輝度レベル補正処理を行う。輝度レベル補正処理は、輝度レベル補正係数(Kt)を用いて以下の演算を行うことにより実現される。
R’=Kt×R・・・(式1)
G’=Kt×G・・・(式2)
B’=Kt×B・・・(式3)
ただし、R,G,Bはメモリバッファ部17から出力された各色の画像データを示し、R’,G’,B’は輝度レベル補正処理後の各色の画像データを示す。
【0025】
このような輝度レベル補正処理により、評価値が大きい画素ほど小さいゲインが乗じられ、評価値が小さい画素ほど大きいゲインが乗じられることになる。したがって、後述するガンマ処理によって明部および暗部に階調のツブレが生じるのを防ぐことができる。
また、前述したように近接した画素では略同様の輝度レベル補正係数が決定される。そのため、近接した画素では略同様のゲインが乗じられるので、細部の特徴を保ちつつ輝度レベル補正処理を行うことができる。
【0026】
そして、輝度レベル補正処理部18は、輝度レベル補正後の画像データを補間処理部19に出力する。
補間処理部19は、輝度レベル補正後の画像データをエッジ部や平坦部に分類して補間処理を行い、補間処理後の画像データを色補正処理部20に出力する。
色補正処理部20は、補間処理後の画像データに対して、所定の色補正係数を用いて色補正処理を行い、色補正処理後の画像データをガンマ処理部21に出力する。
【0027】
ガンマ処理部21は、色補正処理後の画像データに対して、所定のガンマカーブを用いてガンマ処理を行い、ガンマ処理後の画像データを圧縮部14を介して記録部15に出力する。
なお、補間処理、色補正処理およびガンマ処理の具体的な方法は公知技術と同様であるため、詳細な説明を省略する。
【0028】
以上説明したように、第1実施形態によれば、ガンマ補正処理の前に、輝度レベル補正処理を行うので、ガンマ処理によって明部および暗部に階調のツブレが発生するのを防ぐことができる。
また、画素ごとに輝度レベル補正処理を行う際に、その画素の周辺の輝度分布を加味した輝度レベル補正係数を用いるので、細部の特徴を保ちつつ、輝度レベル補正処理を行うことができる。
【0029】
《第2実施形態》
以下、図面を用いて、本発明の第2実施形態について説明する。なお、第2実施形態では、第1実施形態と異なる部分についてのみ説明を行い、第1実施形態と共通の部分の説明は省略する。
第2実施形態の電子カメラ2は、第1実施形態の電子カメラ1の画像処理部13に代えて画像処理部25を備えている。なお、その他の構成については、第1実施形態と同様であるため、説明および図示を省略し、以下、図1と同様の符号を用いて説明する。
【0030】
なお、電子カメラ2内には、電子カメラ1と同様に、各部の動作内容を示すプログラムが予め記録されている。
図7は、第2実施形態の電子カメラ2における画像処理部25の機能ブロック図である。
【0031】
図7において、画像処理部25には、第1実施形態の画像処理部13の輝度レベル補正処理部18および輝度レベル補正係数決定部24が削除され、ガンマカーブ選択部26が新たに設けられている。その他の部分については、第1実施形態と同様であるため、第1実施形態と同様の符号を付してある。
以下、画像処理部25の動作について説明する。
【0032】
画像処理部25において、ホワイトバランス調整部16は、第1実施形態と同様にホワイトバランス調整を行い、ホワイトバランス調整後の画像データをメモリバッファ部17に出力する。メモリバッファ部17は、ホワイトバランス調整後の画像データを蓄積し、xyアドレス信号と同期して補間処理部19と小領域画像情報生成部22とにそれぞれ出力する。
【0033】
また、第1実施形態と同様に、小領域画像情報生成部22は、小領域ごとに輝度値を算出し、画素評価値算出部23は、画素ごとに評価値を算出する。そして、画素評価値算出部23は、算出した評価値をガンマカーブ選択部26に通知する。
ガンマカーブ選択部26は、画素評価値算出部23により算出された評価値に対応付けられたガンマカーブを画素ごとに選択し、選択したガンマカーブをガンマ処理部21に通知する。
【0034】
図8は、評価値(P)に対応付けられたガンマカーブを示す図である。
ガンマ処理部21は、第1実施形態と同様に補間処理および色補正処理が施された画像データに対して、ガンマ処理を行う。ここで、ガンマ処理部21は、ガンマカーブ選択部26により通知されたガンマカーブを用いて、画素ごとにガンマ処理を行う。そして、ガンマ処理部21は、ガンマ処理後の画像データを圧縮部14を介して記録部15に出力する。
【0035】
以上説明したように、第2実施形態によれば、画像の輝度情報に基づいて画素ごとの評価値を算出し、算出した評価値に対応付けられたガンマカーブを用いて画素ごとにガンマ処理を行うので、第1実施形態と同様の効果を得ることができる。
【0036】
また、第1実施形態で行われていた輝度レベル補正処理が不要であるため、一連の処理をより速やかに行うことができる。
《第3実施形態》
以下、図面を用いて、本発明の第3実施形態について説明する。なお、第3実施形態では、第2実施形態と同様に、第1実施形態と異なる部分についてのみ説明を行い、第1実施形態と共通の部分の説明は省略する。
【0037】
第3実施形態の電子カメラ3は、第1実施形態の電子カメラ1の画像処理部13に代えて画像処理部27を備えている。なお、その他の構成については、第1実施形態と同様であるため、説明および図示を省略し、以下、図1と同様の符号を用いて説明する。
なお、電子カメラ3内には、電子カメラ1と同様に、各部の動作内容を示すプログラムが予め記録されている。
【0038】
図9は、第3実施形態の電子カメラ3における画像処理部27の機能ブロック図である。
図9において、画像処理部27には、第1実施形態の画像処理部13の輝度レベル補正処理部18および輝度レベル補正係数決定部24が削除され、色補正係数決定部28が新たに設けられている。その他の部分については、第1実施形態と同様であるため、第1実施形態と同様の符号を付してある。
【0039】
以下、画像処理部27の動作について説明する。
画像処理部27において、ホワイトバランス調整部16は、第1実施形態と同様にホワイトバランス調整を行い、ホワイトバランス調整後の画像データをメモリバッファ部に出力する。メモリバッファ部17は、ホワイトバランス調整後の画像データを蓄積し、xyアドレス信号と同期して補間処理部19と小領域画像情報生成部22とにそれぞれ出力する。
【0040】
また、第1実施形態と同様に、小領域画像情報生成部22は、小領域ごとに輝度値を算出し、画素評価値算出部23は、画素ごとに評価値を算出する。そして、画素評価値算出部23は、算出した評価値を色補正係数決定部28に通知する。
色補正係数決定部28は、画素評価値算出部23により算出された評価値に対応付けられた色補正係数を画素ごとに選択し、選択した色補正係数を色補正処理部20に通知する。
【0041】
図10は、評価値(P)に対応付けられた色補正係数を示す表である。図10において、色補正係数は、Kc1〜Kc9までの9つの数値から成り、これらの係数を用いてマトリックス演算を行うことにより色補正処理が実現される。
色補正処理部20は、第1実施形態と同様に補間処理が施された画像データに対して、色補正処理を行う。ここで、色補正処理部20は、色補正係数決定部29により通知された色補正係数に基づき、以下の式を用いて、画素ごとに色補正処理を行う。
【0042】
R’=Kc1×R+Kc2×G+Kc3×B・・・(式4)
G’=Kc4×R+Kc5×G+Kc6×B・・・(式5)
B’=Kc7×R+Kc8×G+Kc9×B・・・(式6)
ただし、R,G,Bは補間処理部19から出力された各色の画像データを示し、R’,G’,B’は色補正処理後の各色の画像データを示す。
【0043】
そして、色補正処理部20は、色補正処理後の画像データをガンマ処理部21に出力する。
ガンマ処理部21は、第1実施形態と同様に、色補正処理後の画像データに対して、所定のガンマカーブを用いてガンマ処理を行い、ガンマ処理後の画像データを圧縮部14を介して記録部15に出力する。
【0044】
以上説明したように、第3実施形態によれば、画像の輝度情報に基づいて画素ごとの評価値を算出し、算出した評価値に対応付けられた色補正係数を用いて画素ごとに色補正処理を行うので、第1実施形態と同様の効果を得ることができる。
また、第1実施形態で行われていた輝度レベル補正処理が不要であるため、一連の処理をより速やかに行うことができる。
【0045】
さらに、画素ごとに色補正処理係数を決定して色補正処理を行うので、画像全体に対して同一の色補正係数を用いて処理を行う場合に比べて、より適切な色補正処理を行うことができる。
《第4実施形態》
以下、図面を用いて、本発明の第4実施形態について説明する。なお、第4実施形態では、第2実施形態および第3実施形態と同様に、第1実施形態と異なる部分についてのみ説明を行い、第1実施形態と共通の部分の説明は省略する。
【0046】
第4実施形態の電子カメラ4は、第1実施形態の電子カメラ1の画像処理部13に代えて画像処理部29を備えている。なお、その他の構成については、第1実施形態と同様であるため、説明および図示を省略し、以下、図1と同様の符号を用いて説明する。
なお、電子カメラ4内には、電子カメラ1と同様に、各部の動作内容を示すプログラムが予め記録されている。
【0047】
図11は、第4実施形態の電子カメラ4における画像処理部29の機能ブロック図である。
図11において、画像処理部29には、平坦化処理部30および周辺光量補正部31が新たに設けられている。その他の部分については、第1実施形態と同様であるため、第1実施形態と同様の符号を付してある。
【0048】
以下、画像処理部29の動作について説明する。
画像処理部29において、第1実施形態と同様に、ホワイトバランス調整部16はホワイトバランス調整を行い、ホワイトバランス調整後の画像データをメモリバッファ部17に出力する。メモリバッファ部17は、ホワイトバランス調整後の画像データを蓄積し、xyアドレス信号と同期して輝度レベル補正処理部18と小領域画像情報生成部22とにそれぞれ出力する。
【0049】
また、第1実施形態と同様に、小領域画像情報生成部22は、小領域ごとに輝度値を算出する。そして小領域画像情報生成部22は、それぞれの小領域を代表する輝度値を平坦化処理部30に通知する。
平坦化処理部30は、小領域ごとに算出された輝度値に対して、所定の平坦化処理を行う。本実施形態では、近傍8小領域の輝度値に所定の加重をかけることによって、平坦化を実現する。そして、平坦化処理部30は、平坦化処理後の小領域ごとの輝度値を、周辺光量補正部31に通知する。
【0050】
周辺光量補正部31は、平坦化処理後の小領域ごとの輝度値に、予め周辺光量補正部31内に記録された周辺光量補正係数をそれぞれ加算して周辺光量補正を行う。このような周辺光量補正により、レンズの中央から離れているために減光している部分の輝度を補正することができる。
そして、周辺光量補正部31は、周辺光量補正後の小領域ごとの輝度値を画素評価値算出部23に通知する。
【0051】
図12は、周辺光量補正の際に用いられる各小領域ごとの周辺光量補正係数を示す表である。
画素評価値算出部23は、平坦化処理および周辺光量補正処理後の小領域ごとの輝度値に基づいて、第1実施形態と同様に、画素ごとに評価値を算出して、輝度レベル補正係数決定部24に通知する。
【0052】
そして、輝度レベル補正係数算出部24、輝度レベル補正処理部18、補間処理部19、色補正処理部20、ガンマ処理部21、圧縮部14および記録部15は第1実施形態と同様の処理を行う。
【0053】
以上説明したように、第4実施形態によれば、小領域画像情報生成部22により算出された小領域ごとの輝度値に対して平坦化処理を行うので、輝度レベル補正処理によって隣接する小領域の境界に偽輪郭が発生するのを防ぐことができる。
また、小領域画像情報生成部22により算出された小領域ごとの輝度値に対して、周辺光量補正処理を行うので、第1実施形態の効果に加えて、処理対象の画像撮影時に使用された撮影レンズに応じた周辺光量補正効果を得ることができる。
【0054】
なお、本実施形態で説明した平坦化処理および周辺光量補正処理を、第2実施形態および第3実施形態の電子カメラに適用しても良い。
また、本実施形態では、平坦化処理として、近傍8小領域の輝度値に所定の加重をかけ、平坦化を行う例を示したが、他の平坦化方法を用いても良い。
なお、上記各実施形態では、小領域画像情報生成部22が画像を縦に10分割、横に16分割する例を示したが、分割数を別の数にしても良いし、ユーザにより設定可能にしても良い。
【0055】
【発明の効果】
以上説明したように、本発明によれば、処理対象の画像の輝度情報に基づいて画素ごとの評価値を算出し、算出した評価値に基づき、処理対象の画像を構成する画素ごとに画像処理を行うので、階調のツブレが発生したり、細部の特徴が失われること無く、階調を適切に補正することができる。
【図面の簡単な説明】
【図1】第1実施形態の電子カメラの概略構成を示す図である。
【図2】第1実施形態の電子カメラにおける画像処理部の機能ブロック図である。
【図3】処理対象の画像を小領域に分割する例を示す図である。
【図4】小領域ごとの輝度値を示す図である。
【図5】評価値の算出方法を説明する図である。
【図6】輝度レベル補正係数決定の際に用いるグラフである。
【図7】第2実施形態の電子カメラにおける画像処理部の機能ブロック図である。
【図8】評価値に対応付けられたガンマカーブを示す図である。
【図9】第3実施形態の電子カメラにおける画像処理部の機能ブロック図である。
【図10】評価値に対応付けられた色補正係数を示す表である。
【図11】第4実施形態の電子カメラにおける画像処理部の機能ブロック図である。
【図12】周辺光量補正の際に用いられる各小領域ごとの周辺光量補正係数を示す表である。
【符号の説明】
1,2,3,4 電子カメラ
10 撮影レンズ
11 撮像素子
12 A/D変換器
13,25,27,29 画像処理部
14 圧縮部
15 記録部
16 ホワイトバランス調整部
17 メモリバッファ部
18 輝度レベル補正処理部
19 補間処理部
20 色補正処理部
21 ガンマ処理部
22 小領域画像情報生成部
23 画素評価値算出部
24 輝度レベル補正係数決定部
26 ガンマカーブ選択部
28 色補正係数決定部
30 平坦化処理部
31 周辺光量補正部
Claims (9)
- 処理対象の画像を複数の小領域に分割し、該小領域ごとに、該画像の特性を示す画像情報を生成する画像情報生成手段と、
前記各小領域ごとに生成された前記各画像情報と、該各小領域ごとに隣接する前記小領域ごとに生成された前記各画像情報とに基づいて、前記画像を構成する各々の画素ごとの明るさを示す評価値を算出する評価値算出手段と、
前記評価値算出手段により算出された前記評価値に基づき、前記画像に対する画像処理を画素ごとに行う画像処理手段と
を備えたことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記画像処理手段は、前記画像の輝度レベルを補正する輝度レベル補正手段を有し、
前記輝度レベル補正手段は、前記評価値算出手段により画素ごとに算出された前記評価値に基づいて、前記輝度レベル補正に用いる輝度レベル補正係数を算出し、該輝度レベル補正係数を用いて輝度レベル補正処理を画素ごとに行う
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記評価値算出手段は、前記画像情報生成手段により小領域ごとに生成された画像情報に対して平坦化処理を行い、該平坦化処理後の小領域ごとの画像情報に基づき、前記評価値を算出する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記評価値算出手段は、前記画像情報生成手段により小領域ごとに生成された画像情報に対して、前記画像が生成された際に用いられた撮影レンズの特性に応じた予備補正処理を行い、該予備補正処理後の小領域ごとの画像情報に基づき、前記評価値を算出する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記評価値算出手段は、前記評価値の算出対象となる画素から、該評価値を算出する際に画像情報を参照すべき各小領域内の所定の位置までの距離の比率に応じて、各小領域における前記画像情報に加重をかけて該評価値を算出する
ことを特徴とする画像処理装置。 - 被写体像を撮像して画像を生成する撮像手段と、
前記撮像手段により生成された画像を複数の小領域に分割し、該小領域ごとに、該画像の特性を示す画像情報を生成する画像情報生成手段と、
前記各小領域ごとに生成された前記各画像情報と、該各小領域ごとに隣接する前記小領域ごとに生成された前記各画像情報とに基づいて、前記画像を構成する各々の画素ごとの明るさを示す評価値を算出する評価値算出手段と、
前記評価値算出手段により算出された前記評価値に基づき、前記画像に対する画像処理を画素ごとに行う画像処理手段と
を備えたことを特徴とする電子カメラ。 - 請求項6に記載の電子カメラにおいて、
被写界を複数の測光領域に分割して各測光領域ごとに測光を行う分割測光手段を備え、
前記画像情報生成手段は、前記分割測光手段から得られる情報をもとに、前記画像情報を生成する
ことを特徴とする電子カメラ。 - 画像処理装置に対する制御をコンピュータで実現するためのプログラムであって、
処理対象の画像を複数の小領域に分割し、該小領域ごとに、該画像の特性を示す画像情報を生成する画像情報生成手順と、
前記各小領域ごとに生成された前記各画像情報と、該各小領域ごとに隣接する前記小領域ごとに生成された前記各画像情報とに基づいて、前記画像を構成する各々の画素ごとの明るさを示す評価値を算出する評価値算出手順と、
前記評価値算出手順により算出された前記評価値に基づき、前記画像に対する画像処理を画素ごとに行う画像処理手順と
をコンピュータで実現させることを特徴とするプログラム。 - 処理対象の画像を複数の小領域に分割し、該小領域ごとに、該画像の特性を示す画像情報を生成する画像情報生成工程と、
前記各小領域ごとに生成された前記各画像情報と、該各小領域ごとに隣接する前記小領域ごとに生成された前記各画像情報とに基づいて、前記画像を構成する各々の画素ごとの明るさを示す評価値を算出する評価値算出工程と、
前記評価値算出工程により算出された前記評価値に基づき、前記画像に対する画像処理を画素ごとに行う画像処理工程と
を備えたことを特徴とする画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002366299A JP4066803B2 (ja) | 2002-12-18 | 2002-12-18 | 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ |
US10/733,264 US8059904B2 (en) | 2002-12-18 | 2003-12-12 | Image-processing device, electronic camera, image-processing program, and image-processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002366299A JP4066803B2 (ja) | 2002-12-18 | 2002-12-18 | 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004200971A true JP2004200971A (ja) | 2004-07-15 |
JP4066803B2 JP4066803B2 (ja) | 2008-03-26 |
Family
ID=32763545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002366299A Expired - Fee Related JP4066803B2 (ja) | 2002-12-18 | 2002-12-18 | 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ |
Country Status (2)
Country | Link |
---|---|
US (1) | US8059904B2 (ja) |
JP (1) | JP4066803B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006084863A (ja) * | 2004-09-16 | 2006-03-30 | Nikon Corp | 電子カメラおよび画像処理プログラム |
JP2008252227A (ja) * | 2007-03-29 | 2008-10-16 | Nikon Corp | 画像処理装置、撮像装置、および画像処理プログラム |
JP2009059118A (ja) * | 2007-08-31 | 2009-03-19 | Casio Comput Co Ltd | 階調補正装置、階調補正方法、階調補正プログラム |
JP2010117229A (ja) * | 2008-11-12 | 2010-05-27 | Olympus Corp | 高さ情報取得装置、高さ情報取得方法、及びプログラム |
US8009927B2 (en) | 2007-08-31 | 2011-08-30 | Casio Computer Co., Ltd. | Tone correcting apparatus providing improved tone correction on image |
JP2013050962A (ja) * | 2006-06-08 | 2013-03-14 | Panasonic Corp | 画像処理装置、画像処理方法、画像処理プログラムおよび集積回路 |
WO2023144894A1 (ja) * | 2022-01-25 | 2023-08-03 | 株式会社ソシオネクスト | 画像処理装置および画像処理方法 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005244559A (ja) * | 2004-02-26 | 2005-09-08 | Sanyo Electric Co Ltd | 画像信号処理装置 |
US7426312B2 (en) * | 2005-07-05 | 2008-09-16 | Xerox Corporation | Contrast enhancement of images |
US8374458B2 (en) * | 2005-12-21 | 2013-02-12 | Nec Corporation | Tone correcting method, tone correcting apparatus, tone correcting program, and image equipment |
KR101244912B1 (ko) * | 2006-05-29 | 2013-03-18 | 삼성전자주식회사 | 디지털 영상 처리기에서 감마 보정 장치 및 방법 |
JP2009177472A (ja) * | 2008-01-24 | 2009-08-06 | Panasonic Corp | 画像処理方法、画像処理装置及び撮像装置 |
US8860838B2 (en) * | 2008-09-24 | 2014-10-14 | Nikon Corporation | Automatic illuminant estimation and white balance adjustment based on color gamut unions |
JP2011055398A (ja) * | 2009-09-04 | 2011-03-17 | Sony Corp | 撮像装置および方法、画像処理装置および方法、並びにプログラム |
CN102968767A (zh) * | 2012-11-26 | 2013-03-13 | 中国科学院长春光学精密机械与物理研究所 | 带有白平衡校正的雾天降质图像实时复原方法 |
US9897792B2 (en) | 2012-11-30 | 2018-02-20 | L&T Technology Services Limited | Method and system for extended depth of field calculation for microscopic images |
WO2014083574A2 (en) * | 2012-11-30 | 2014-06-05 | Larsen & Toubro Limited | A method and system for extended depth of field calculation for microscopic images |
US8958658B1 (en) * | 2013-09-10 | 2015-02-17 | Apple Inc. | Image tone adjustment using local tone curve computation |
US11128764B2 (en) * | 2018-05-17 | 2021-09-21 | Canon Kabushiki Kaisha | Imaging apparatus, control method, and non-transitory computer readable medium |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4677576A (en) * | 1983-06-27 | 1987-06-30 | Grumman Aerospace Corporation | Non-edge computer image generation system |
US6005984A (en) * | 1991-12-11 | 1999-12-21 | Fujitsu Limited | Process and apparatus for extracting and recognizing figure elements using division into receptive fields, polar transformation, application of one-dimensional filter, and correlation between plurality of images |
GB2278524B (en) * | 1993-05-28 | 1997-12-10 | Nihon Unisys Ltd | Method and apparatus for rendering visual images employing area calculation and blending of fractional pixel lists for anti-aliasing and transparency |
DE69428838T2 (de) * | 1993-06-29 | 2002-07-18 | Sanyo Electric Co | Videokamera mit elektronischer Bildstabilisierung und Erzeugung von Additionsdaten |
US5768438A (en) * | 1994-10-19 | 1998-06-16 | Matsushita Electric Industrial Co., Ltd. | Image encoding/decoding device |
US6388709B1 (en) * | 1995-04-21 | 2002-05-14 | Canon Kabushiki Kaisha | Image sensing apparatus with optical modulation elements having transmission characteristics controllable by pixel |
JP3568279B2 (ja) | 1995-06-30 | 2004-09-22 | 富士写真フイルム株式会社 | 画像再生方法および装置 |
US5710877A (en) * | 1995-12-29 | 1998-01-20 | Xerox Corporation | User-directed interaction with an image structure map representation of an image |
JP3667025B2 (ja) * | 1997-02-28 | 2005-07-06 | キヤノン株式会社 | 解像度変換モジュールとそれが組み込まれたプリンタドライバ、及びその画像解像度変換方法 |
EP0891075A3 (en) * | 1997-06-09 | 2002-03-06 | Seiko Epson Corporation | An image processing apparatus and method, and an image evaluation device and method |
JPH11164190A (ja) * | 1997-11-28 | 1999-06-18 | Matsushita Electric Ind Co Ltd | 自動露出制御方法 |
JP4045645B2 (ja) * | 1998-05-19 | 2008-02-13 | 株式会社ニコン | 補間処理装置および補間処理プログラムを記録した記録媒体 |
US6927874B1 (en) * | 1999-04-02 | 2005-08-09 | Canon Kabushiki Kaisha | Image processing method, apparatus and storage medium therefor |
JP4269421B2 (ja) | 1999-08-11 | 2009-05-27 | 株式会社ニコン | 電子カメラ |
JP3478769B2 (ja) | 1999-11-05 | 2003-12-15 | キヤノン株式会社 | 撮像装置及び方法、並びにコンピュータ読み取り可能な記録媒体 |
JP4374121B2 (ja) * | 1999-12-09 | 2009-12-02 | Hoya株式会社 | 測光装置 |
JP3726653B2 (ja) * | 2000-07-27 | 2005-12-14 | ノーリツ鋼機株式会社 | 画像処理方法、画像処理装置および画像処理方法を実行するプログラムを記録した記録媒体 |
JP3543103B2 (ja) | 2000-11-02 | 2004-07-14 | 学校法人慶應義塾 | カラー画像処理方法および処理装置 |
JP4443784B2 (ja) * | 2000-12-07 | 2010-03-31 | 株式会社エヌ・ティ・ティ・ドコモ | 画像符号化・復号方法、画像符号化装置及び画像復号装置 |
JP3625775B2 (ja) | 2001-01-31 | 2005-03-02 | 三洋電機株式会社 | 異常検出装置 |
JP3490069B2 (ja) | 2001-05-25 | 2004-01-26 | 松下電器産業株式会社 | 画像処理装置 |
JP4043280B2 (ja) * | 2002-05-10 | 2008-02-06 | チノンテック株式会社 | 投影画面の評価方法、投影画面の評価装置、投影画面の評価プログラム、および投影画面の評価プログラムを記録したコンピュータ読み取り可能な記録媒体 |
CN1300744C (zh) * | 2003-12-09 | 2007-02-14 | 香港中文大学 | 对数字图像曝光不足的缺陷进行自动修正的方法和*** |
JP2005293555A (ja) * | 2004-03-10 | 2005-10-20 | Seiko Epson Corp | 画像における肌領域の特定 |
US8184923B2 (en) * | 2004-04-19 | 2012-05-22 | Semiconductor Energy Laboratory Co., Ltd. | Image analysis method, image analysis program, pixel evaluation system having the image analysis method, and pixel evaluation system having the image analysis program |
US20060078217A1 (en) * | 2004-05-20 | 2006-04-13 | Seiko Epson Corporation | Out-of-focus detection method and imaging device control method |
JP4487805B2 (ja) * | 2004-11-16 | 2010-06-23 | セイコーエプソン株式会社 | 画像評価方法、画像評価装置、及び印刷装置 |
JP4711987B2 (ja) * | 2007-03-14 | 2011-06-29 | 株式会社リコー | 撮像装置および自動露出制御方法 |
-
2002
- 2002-12-18 JP JP2002366299A patent/JP4066803B2/ja not_active Expired - Fee Related
-
2003
- 2003-12-12 US US10/733,264 patent/US8059904B2/en not_active Expired - Fee Related
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006084863A (ja) * | 2004-09-16 | 2006-03-30 | Nikon Corp | 電子カメラおよび画像処理プログラム |
JP4539254B2 (ja) * | 2004-09-16 | 2010-09-08 | 株式会社ニコン | 電子カメラおよび画像処理プログラム |
JP2013050962A (ja) * | 2006-06-08 | 2013-03-14 | Panasonic Corp | 画像処理装置、画像処理方法、画像処理プログラムおよび集積回路 |
US8606008B2 (en) | 2006-06-08 | 2013-12-10 | Panasonic Corporation | Image processing device, image processing method, image processing program, and integrated circuit |
JP2008252227A (ja) * | 2007-03-29 | 2008-10-16 | Nikon Corp | 画像処理装置、撮像装置、および画像処理プログラム |
JP2009059118A (ja) * | 2007-08-31 | 2009-03-19 | Casio Comput Co Ltd | 階調補正装置、階調補正方法、階調補正プログラム |
JP4525719B2 (ja) * | 2007-08-31 | 2010-08-18 | カシオ計算機株式会社 | 階調補正装置、階調補正方法、及び、プログラム |
US8009927B2 (en) | 2007-08-31 | 2011-08-30 | Casio Computer Co., Ltd. | Tone correcting apparatus providing improved tone correction on image |
US8126285B2 (en) | 2007-08-31 | 2012-02-28 | Casio Computer Co., Ltd. | Tone correcting apparatus providing improved tone correction on image |
US8160383B2 (en) | 2007-08-31 | 2012-04-17 | Casio Computer Co., Ltd. | Tone correcting apparatus providing improved tone correction on image |
JP2010117229A (ja) * | 2008-11-12 | 2010-05-27 | Olympus Corp | 高さ情報取得装置、高さ情報取得方法、及びプログラム |
WO2023144894A1 (ja) * | 2022-01-25 | 2023-08-03 | 株式会社ソシオネクスト | 画像処理装置および画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4066803B2 (ja) | 2008-03-26 |
US8059904B2 (en) | 2011-11-15 |
US20040234155A1 (en) | 2004-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4066803B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ | |
CN110505459B (zh) | 适用于内窥镜的图像颜色校正方法、装置和存储介质 | |
JP5398156B2 (ja) | ホワイトバランス制御装置およびその制御方法並びに撮像装置 | |
JP3892648B2 (ja) | 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体 | |
EP2426928B1 (en) | Image processing apparatus, image processing method and program | |
JP6282156B2 (ja) | 画像装置、画像処理方法、制御プログラム及び記憶媒体 | |
JP5767485B2 (ja) | 画像処理装置及び制御方法 | |
JP5672796B2 (ja) | 画像処理装置、画像処理方法 | |
JP2006134157A (ja) | シェーディング補正装置、シェーディング補正値演算装置及び撮像装置 | |
JP4217041B2 (ja) | フィルタ処理 | |
JP2014179756A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP5358344B2 (ja) | 撮像装置及び撮像方法 | |
JP2011086976A (ja) | 画像処理装置および画像処理方法 | |
JP2019047169A (ja) | ハイダイナミックレンジ画像を作成する装置、方法、及びプログラム | |
JP5225137B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
JP2018182376A (ja) | 画像処理装置 | |
JP5952574B2 (ja) | 画像処理装置およびその制御方法 | |
JP2013179485A (ja) | 画像処理装置及びその制御方法 | |
JP2003230052A (ja) | 電子カメラ、画像処理プログラムおよび画像処理方法 | |
JP5365881B2 (ja) | 画像処理装置、画像処理方法 | |
JP2003162715A (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体、並びに画像入力装置および画像出力装置 | |
JP2007306083A (ja) | 撮像装置および信号処理装置 | |
JP2005072694A (ja) | 撮像装置 | |
JP2004260835A (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 | |
JP2005347935A (ja) | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051101 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071001 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071231 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110118 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4066803 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110118 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140118 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140118 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140118 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |