JP2004200971A - 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ - Google Patents

画像処理装置、画像処理プログラム、画像処理方法および電子カメラ Download PDF

Info

Publication number
JP2004200971A
JP2004200971A JP2002366299A JP2002366299A JP2004200971A JP 2004200971 A JP2004200971 A JP 2004200971A JP 2002366299 A JP2002366299 A JP 2002366299A JP 2002366299 A JP2002366299 A JP 2002366299A JP 2004200971 A JP2004200971 A JP 2004200971A
Authority
JP
Japan
Prior art keywords
image
evaluation value
image information
image processing
small region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002366299A
Other languages
English (en)
Other versions
JP4066803B2 (ja
Inventor
Hideo Hojuyama
秀雄 宝珠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2002366299A priority Critical patent/JP4066803B2/ja
Priority to US10/733,264 priority patent/US8059904B2/en
Publication of JP2004200971A publication Critical patent/JP2004200971A/ja
Application granted granted Critical
Publication of JP4066803B2 publication Critical patent/JP4066803B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6083Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

【課題】処理対象の画像に合わせて、階調を適切に補正することができる画像処理装置、電子カメラ、画像処理プログラムおよび画像処理方法を提供することを目的とする。
【解決手段】処理対象の画像を複数の小領域に分割し、小領域ごとに、画像の特性を示す画像情報を生成する画像情報生成手段と、各小領域ごとに生成された各画像情報と、各小領域ごとに隣接する小領域ごとに生成された各画像情報とに基づいて、画像を構成する各々の画素ごとの明るさを示す評価値を算出する評価値算出手段と、評価値算出手段により算出された評価値に基づき、画像に対する画像処理を画素ごとに行う画像処理手段とを備える。
【選択図】 図2

Description

【0001】
【発明の属する技術分野】
本発明は、処理対象の画像の輝度レベルを補正する画像処理装置、画像処理プログラム、画像処理方法および電子カメラに関する。
【0002】
【従来の技術】
電子カメラには、生成した画像データに対して種々の画像処理を施すことにより、画像処理装置の機能を実現するものがある。
画像処理には、ホワイトバランス調整、補間処理、色補正処理、階調補正処理などがあり、階調補正処理は、一般的にガンマ処理を行うことにより実現される(例えば、特許文献1参照)。
【0003】
【特許文献1】
特開2001−54014号公報
【0004】
【発明が解決しようとする課題】
しかし、従来のガンマ処理では、処理対象の画像(電子カメラにより生成された画像)に対して、一様な処理を行うため、処理対象の画像が輝度差の大きい画像である場合、ガンマ処理により、画像の明部および暗部に階調のツブレが生じ、画像の細部の特徴が失われてしまうことがある。また、処理対象の画像が輝度差の小さい画像である場合、ガンマ処理により、画像全体のメリハリがなくなり、画像が軟調になることがある。
【0005】
本発明の目的は、処理対象の画像に合わせて、階調を適切に補正することができる画像処理装置、電子カメラ、画像処理プログラムおよび画像処理方法を提供することである。
【0006】
【課題を解決するための手段】
請求項1に記載の画像処理装置は、処理対象の画像を複数の小領域に分割し、該小領域ごとに、該画像の特性を示す画像情報を生成する画像情報生成手段と、前記各小領域ごとに生成された前記各画像情報と、該各小領域ごとに隣接する前記小領域ごとに生成された前記各画像情報とに基づいて、前記画像を構成する各々の画素ごとの明るさを示す評価値を算出する評価値算出手段と、前記評価値算出手段により算出された前記評価値に基づき、前記画像に対する画像処理を画素ごとに行う画像処理手段とを備えたことを特徴とする。
【0007】
請求項2に記載の画像処理装置は、請求項1に記載の画像処理装置において、前記画像処理手段は、前記画像の輝度レベルを補正する輝度レベル補正手段を有し、前記輝度レベル補正手段は、前記評価値算出手段により画素ごとに算出された前記評価値に基づいて、前記輝度レベル補正に用いる輝度レベル補正係数を算出し、該輝度レベル補正係数を用いて輝度レベル補正処理を画素ごとに行うことを特徴とする。
【0008】
請求項3に記載の画像処理装置は、請求項1に記載の画像処理装置において、前記評価値算出手段は、前記画像情報生成手段により小領域ごとに生成された画像情報に対して平坦化処理を行い、該平坦化処理後の小領域ごとの画像情報に基づき、前記評価値を算出することを特徴とする。
請求項4に記載の画像処理装置は、請求項1に記載の画像処理装置において、前記評価値算出手段は、前記画像情報生成手段により小領域ごとに生成された画像情報に対して、前記画像が生成された際に用いられた撮影レンズの特性に応じた予備補正処理を行い、該予備補正処理後の小領域ごとの画像情報に基づき、前記評価値を算出することを特徴とする。
【0009】
請求項5に記載の画像処理装置は、請求項1に記載の画像処理装置において、前記評価値算出手段は、前記評価値の算出対象となる画素から、該評価値を算出する際に画像情報を参照すべき各小領域内の所定の位置までの距離の比率に応じて、各小領域における前記画像情報に加重をかけて該評価値を算出することを特徴とする。
【0010】
請求項6に記載の電子カメラは、被写体像を撮像して画像を生成する撮像手段と、前記撮像手段により生成された画像を複数の小領域に分割し、該小領域ごとに、該画像の特性を示す画像情報を生成する画像情報生成手段と、前記各小領域ごとに生成された前記各画像情報と、該各小領域ごとに隣接する前記小領域ごとに生成された前記各画像情報とに基づいて、前記画像を構成する各々の画素ごとの明るさを示す評価値を算出する評価値算出手段と、前記評価値算出手段により算出された前記評価値に基づき、前記画像に対する画像処理を画素ごとに行う画像処理手段とを備えたことを特徴とする。
【0011】
請求項7に記載の電子カメラは、請求項6に記載の電子カメラにおいて、被写界を複数の測光領域に分割して各測光領域ごとに測光を行う分割測光手段を備え、前記画像情報生成手段は、前記分割測光手段から得られる情報をもとに、前記画像情報を生成することを特徴とする。
請求項8に記載のプログラムは、画像処理装置に対する制御をコンピュータで実現するためのプログラムであって、処理対象の画像を複数の小領域に分割し、該小領域ごとに、該画像の特性を示す画像情報を生成する画像情報生成手順と、前記各小領域ごとに生成された前記各画像情報と、該各小領域ごとに隣接する前記小領域ごとに生成された前記各画像情報とに基づいて、前記画像を構成する各々の画素ごとの明るさを示す評価値を算出する評価値算出手順と、前記評価値算出手順により算出された前記評価値に基づき、前記画像に対する画像処理を画素ごとに行う画像処理手順とをコンピュータで実現させることを特徴とする。
【0012】
請求項9に記載の画像処理方法は、処理対象の画像を複数の小領域に分割し、該小領域ごとに、該画像の特性を示す画像情報を生成する画像情報生成工程と、前記各小領域ごとに生成された前記各画像情報と、該各小領域ごとに隣接する前記小領域ごとに生成された前記各画像情報とに基づいて、前記画像を構成する各々の画素ごとの明るさを示す評価値を算出する評価値算出工程と、前記評価値算出工程により算出された前記評価値に基づき、前記画像に対する画像処理を画素ごとに行う画像処理工程とを備えたことを特徴とする。
【0013】
【発明の実施の形態】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
なお、以下の各実施形態では、本発明の画像処理装置が行う画像処理の機能を有する電子カメラを用いて説明を行う。
《第1実施形態》
以下、図面を用いて本発明の第1実施形態について説明する。
【0014】
図1は、第1実施形態の電子カメラの概略構成を示す図である。
図1において、電子カメラ1は、撮影レンズ10、撮像素子11、A/D変換器12、画像処理部13、圧縮部14および記録部15を備えている。
撮影レンズ10および撮像素子11により得られた画像データは、A/D変換器12でディジタル信号に変換され、画像処理部13において、画像処理が行われる。そして、画像処理が完了すると、画像処理後の画像データは、圧縮部14を介して記録部15へ出力される。
【0015】
ここで、本実施形態において行われる画像処理は、ホワイトバランス調整、補間処理、色補正処理、ガンマ処理、および本実施形態の特徴である輝度レベル補正処理である。
【0016】
電子カメラ1内には、各部の動作内容を示すプログラムが予め記録されている。プログラムは、記録媒体に記録されたものでも良いし、インターネットを介して伝送波としてダウンロードされたものでも良い。
図2は、第1実施形態の電子カメラ1における画像処理部13の機能ブロック図である。
【0017】
図2において、画像処理部13には、ホワイトバランス調整部16、メモリバッファ部17、輝度レベル補正処理部18、補間処理部19、色補正処理部20およびガンマ処理部21が設けられている。また、画像処理部13には、輝度レベル補正処理部18で用いられる輝度レベル補正係数を決定するために、小領域画像情報生成部22、画素評価値算出部23および輝度レベル補正係数決定部24が設けられている。
【0018】
以下、画像処理部13の動作について説明する。
画像処理部13において、ホワイトバランス調整部16は、A/D変換器12から出力された画像データに対して、ホワイトバランス調整を行う。そして、ホワイトバランス調整後の画像データを、メモリバッファ部17に出力する。
メモリバッファ部17は、ホワイトバランス調整後の画像データを蓄積し、xyアドレス信号と同期して輝度レベル補正処理部18と小領域画像情報生成部22とにそれぞれ出力する。なお、メモリバッファ部17は、輝度レベル補正処理部18と小領域画像情報生成部22とのそれぞれに適切な時期に画像データを出力できるように、xyアドレス信号に基づいてタイミングを制御する機能を備える。
【0019】
小領域画像情報生成部22は、まず、図3(A)に示すようなホワイトバランス調整後の画像を図3(B)に示すような小領域に分割する。図3(B)には、縦方向に10分割、横方向に16分割した例を示す。次に、分割した各小領域ごとに、小領域内の画像データに所定の重み付け加算処理を行って小領域を代表する輝度情報を示す値(以下、輝度値と称する)を算出する。
【0020】
小領域ごとに算出された輝度値を図4に示す。図4において、数値が大きいほど、その小領域の輝度が高いことを示し、数値が小さいほど、その小領域の輝度が低いことを示す。小領域画像情報生成部22は、算出した輝度値を画素評価値算出部23に通知する。
画素評価値算出部23は、小領域画像情報生成部22により算出された小領域ごとの輝度値に基づいて、画素ごとの評価値を算出する。
【0021】
図5は、評価値の算出方法を説明する図である。
図5(A)に示す任意の画素Xの評価値を求める場合、画素評価値算出部23は、画素Xから近傍の小領域(画素Xが存在する小領域を含む)の中心までの距離を求め、距離が短い順から4つの小領域を選択する。
そして、画素評価値算出部23は、選択した4つの小領域のそれぞれにおける輝度値(図5(B)p1〜p4)と、図5(C)に示す式とに基づいて、画素Xの評価値(Px)を算出する。なお、図5(C)に示す式は、画素Xから各小領域の中心までの距離に応じて各小領域の輝度値に加重をかけて評価値を算出する式である。
【0022】
以上説明したように、画素ごとの評価値は、近傍の小領域の輝度値に基づいて算出されるので、近接する画素では略同様な評価値が算出される。
画素評価値算出部23は、以上説明したようにして、画像を構成する全ての画素について評価値(P)を算出し、輝度レベル補正係数算出部24に通知する。
輝度レベル補正係数算出部24は、輝度レベル補正係数算出部24内に予め記録されたグラフを用いて、画素ごとに輝度レベル補正係数を決定し、決定した輝度レベル補正係数を、輝度レベル補正処理部18に通知する。
【0023】
図6は、輝度レベル補正係数決定の際に用いるグラフであり、横軸は評価値(P)を、縦軸はそれぞれの評価値に対応付けられた輝度レベル補正係数(Kt)を示している。輝度レベル補正係数(Kt)の値は、評価値(P)が大きいほど小さく、評価値(P)が小さいほど大きくなるよう対応付けられている。
なお、近接した画素では、前述したように略同様の評価値が算出されるので、略同様の輝度レベル補正係数が決定されることになる。
【0024】
輝度レベル補正処理部18は、輝度レベル補正係数決定部24により決定された輝度レベル補正係数を用いて、メモリバッファ部17から出力された画像データに対して、画素ごとに輝度レベル補正処理を行う。輝度レベル補正処理は、輝度レベル補正係数(Kt)を用いて以下の演算を行うことにより実現される。
R’=Kt×R・・・(式1)
G’=Kt×G・・・(式2)
B’=Kt×B・・・(式3)
ただし、R,G,Bはメモリバッファ部17から出力された各色の画像データを示し、R’,G’,B’は輝度レベル補正処理後の各色の画像データを示す。
【0025】
このような輝度レベル補正処理により、評価値が大きい画素ほど小さいゲインが乗じられ、評価値が小さい画素ほど大きいゲインが乗じられることになる。したがって、後述するガンマ処理によって明部および暗部に階調のツブレが生じるのを防ぐことができる。
また、前述したように近接した画素では略同様の輝度レベル補正係数が決定される。そのため、近接した画素では略同様のゲインが乗じられるので、細部の特徴を保ちつつ輝度レベル補正処理を行うことができる。
【0026】
そして、輝度レベル補正処理部18は、輝度レベル補正後の画像データを補間処理部19に出力する。
補間処理部19は、輝度レベル補正後の画像データをエッジ部や平坦部に分類して補間処理を行い、補間処理後の画像データを色補正処理部20に出力する。
色補正処理部20は、補間処理後の画像データに対して、所定の色補正係数を用いて色補正処理を行い、色補正処理後の画像データをガンマ処理部21に出力する。
【0027】
ガンマ処理部21は、色補正処理後の画像データに対して、所定のガンマカーブを用いてガンマ処理を行い、ガンマ処理後の画像データを圧縮部14を介して記録部15に出力する。
なお、補間処理、色補正処理およびガンマ処理の具体的な方法は公知技術と同様であるため、詳細な説明を省略する。
【0028】
以上説明したように、第1実施形態によれば、ガンマ補正処理の前に、輝度レベル補正処理を行うので、ガンマ処理によって明部および暗部に階調のツブレが発生するのを防ぐことができる。
また、画素ごとに輝度レベル補正処理を行う際に、その画素の周辺の輝度分布を加味した輝度レベル補正係数を用いるので、細部の特徴を保ちつつ、輝度レベル補正処理を行うことができる。
【0029】
《第2実施形態》
以下、図面を用いて、本発明の第2実施形態について説明する。なお、第2実施形態では、第1実施形態と異なる部分についてのみ説明を行い、第1実施形態と共通の部分の説明は省略する。
第2実施形態の電子カメラ2は、第1実施形態の電子カメラ1の画像処理部13に代えて画像処理部25を備えている。なお、その他の構成については、第1実施形態と同様であるため、説明および図示を省略し、以下、図1と同様の符号を用いて説明する。
【0030】
なお、電子カメラ2内には、電子カメラ1と同様に、各部の動作内容を示すプログラムが予め記録されている。
図7は、第2実施形態の電子カメラ2における画像処理部25の機能ブロック図である。
【0031】
図7において、画像処理部25には、第1実施形態の画像処理部13の輝度レベル補正処理部18および輝度レベル補正係数決定部24が削除され、ガンマカーブ選択部26が新たに設けられている。その他の部分については、第1実施形態と同様であるため、第1実施形態と同様の符号を付してある。
以下、画像処理部25の動作について説明する。
【0032】
画像処理部25において、ホワイトバランス調整部16は、第1実施形態と同様にホワイトバランス調整を行い、ホワイトバランス調整後の画像データをメモリバッファ部17に出力する。メモリバッファ部17は、ホワイトバランス調整後の画像データを蓄積し、xyアドレス信号と同期して補間処理部19と小領域画像情報生成部22とにそれぞれ出力する。
【0033】
また、第1実施形態と同様に、小領域画像情報生成部22は、小領域ごとに輝度値を算出し、画素評価値算出部23は、画素ごとに評価値を算出する。そして、画素評価値算出部23は、算出した評価値をガンマカーブ選択部26に通知する。
ガンマカーブ選択部26は、画素評価値算出部23により算出された評価値に対応付けられたガンマカーブを画素ごとに選択し、選択したガンマカーブをガンマ処理部21に通知する。
【0034】
図8は、評価値(P)に対応付けられたガンマカーブを示す図である。
ガンマ処理部21は、第1実施形態と同様に補間処理および色補正処理が施された画像データに対して、ガンマ処理を行う。ここで、ガンマ処理部21は、ガンマカーブ選択部26により通知されたガンマカーブを用いて、画素ごとにガンマ処理を行う。そして、ガンマ処理部21は、ガンマ処理後の画像データを圧縮部14を介して記録部15に出力する。
【0035】
以上説明したように、第2実施形態によれば、画像の輝度情報に基づいて画素ごとの評価値を算出し、算出した評価値に対応付けられたガンマカーブを用いて画素ごとにガンマ処理を行うので、第1実施形態と同様の効果を得ることができる。
【0036】
また、第1実施形態で行われていた輝度レベル補正処理が不要であるため、一連の処理をより速やかに行うことができる。
《第3実施形態》
以下、図面を用いて、本発明の第3実施形態について説明する。なお、第3実施形態では、第2実施形態と同様に、第1実施形態と異なる部分についてのみ説明を行い、第1実施形態と共通の部分の説明は省略する。
【0037】
第3実施形態の電子カメラ3は、第1実施形態の電子カメラ1の画像処理部13に代えて画像処理部27を備えている。なお、その他の構成については、第1実施形態と同様であるため、説明および図示を省略し、以下、図1と同様の符号を用いて説明する。
なお、電子カメラ3内には、電子カメラ1と同様に、各部の動作内容を示すプログラムが予め記録されている。
【0038】
図9は、第3実施形態の電子カメラ3における画像処理部27の機能ブロック図である。
図9において、画像処理部27には、第1実施形態の画像処理部13の輝度レベル補正処理部18および輝度レベル補正係数決定部24が削除され、色補正係数決定部28が新たに設けられている。その他の部分については、第1実施形態と同様であるため、第1実施形態と同様の符号を付してある。
【0039】
以下、画像処理部27の動作について説明する。
画像処理部27において、ホワイトバランス調整部16は、第1実施形態と同様にホワイトバランス調整を行い、ホワイトバランス調整後の画像データをメモリバッファ部に出力する。メモリバッファ部17は、ホワイトバランス調整後の画像データを蓄積し、xyアドレス信号と同期して補間処理部19と小領域画像情報生成部22とにそれぞれ出力する。
【0040】
また、第1実施形態と同様に、小領域画像情報生成部22は、小領域ごとに輝度値を算出し、画素評価値算出部23は、画素ごとに評価値を算出する。そして、画素評価値算出部23は、算出した評価値を色補正係数決定部28に通知する。
色補正係数決定部28は、画素評価値算出部23により算出された評価値に対応付けられた色補正係数を画素ごとに選択し、選択した色補正係数を色補正処理部20に通知する。
【0041】
図10は、評価値(P)に対応付けられた色補正係数を示す表である。図10において、色補正係数は、Kc1〜Kc9までの9つの数値から成り、これらの係数を用いてマトリックス演算を行うことにより色補正処理が実現される。
色補正処理部20は、第1実施形態と同様に補間処理が施された画像データに対して、色補正処理を行う。ここで、色補正処理部20は、色補正係数決定部29により通知された色補正係数に基づき、以下の式を用いて、画素ごとに色補正処理を行う。
【0042】
R’=Kc1×R+Kc2×G+Kc3×B・・・(式4)
G’=Kc4×R+Kc5×G+Kc6×B・・・(式5)
B’=Kc7×R+Kc8×G+Kc9×B・・・(式6)
ただし、R,G,Bは補間処理部19から出力された各色の画像データを示し、R’,G’,B’は色補正処理後の各色の画像データを示す。
【0043】
そして、色補正処理部20は、色補正処理後の画像データをガンマ処理部21に出力する。
ガンマ処理部21は、第1実施形態と同様に、色補正処理後の画像データに対して、所定のガンマカーブを用いてガンマ処理を行い、ガンマ処理後の画像データを圧縮部14を介して記録部15に出力する。
【0044】
以上説明したように、第3実施形態によれば、画像の輝度情報に基づいて画素ごとの評価値を算出し、算出した評価値に対応付けられた色補正係数を用いて画素ごとに色補正処理を行うので、第1実施形態と同様の効果を得ることができる。
また、第1実施形態で行われていた輝度レベル補正処理が不要であるため、一連の処理をより速やかに行うことができる。
【0045】
さらに、画素ごとに色補正処理係数を決定して色補正処理を行うので、画像全体に対して同一の色補正係数を用いて処理を行う場合に比べて、より適切な色補正処理を行うことができる。
《第4実施形態》
以下、図面を用いて、本発明の第4実施形態について説明する。なお、第4実施形態では、第2実施形態および第3実施形態と同様に、第1実施形態と異なる部分についてのみ説明を行い、第1実施形態と共通の部分の説明は省略する。
【0046】
第4実施形態の電子カメラ4は、第1実施形態の電子カメラ1の画像処理部13に代えて画像処理部29を備えている。なお、その他の構成については、第1実施形態と同様であるため、説明および図示を省略し、以下、図1と同様の符号を用いて説明する。
なお、電子カメラ4内には、電子カメラ1と同様に、各部の動作内容を示すプログラムが予め記録されている。
【0047】
図11は、第4実施形態の電子カメラ4における画像処理部29の機能ブロック図である。
図11において、画像処理部29には、平坦化処理部30および周辺光量補正部31が新たに設けられている。その他の部分については、第1実施形態と同様であるため、第1実施形態と同様の符号を付してある。
【0048】
以下、画像処理部29の動作について説明する。
画像処理部29において、第1実施形態と同様に、ホワイトバランス調整部16はホワイトバランス調整を行い、ホワイトバランス調整後の画像データをメモリバッファ部17に出力する。メモリバッファ部17は、ホワイトバランス調整後の画像データを蓄積し、xyアドレス信号と同期して輝度レベル補正処理部18と小領域画像情報生成部22とにそれぞれ出力する。
【0049】
また、第1実施形態と同様に、小領域画像情報生成部22は、小領域ごとに輝度値を算出する。そして小領域画像情報生成部22は、それぞれの小領域を代表する輝度値を平坦化処理部30に通知する。
平坦化処理部30は、小領域ごとに算出された輝度値に対して、所定の平坦化処理を行う。本実施形態では、近傍8小領域の輝度値に所定の加重をかけることによって、平坦化を実現する。そして、平坦化処理部30は、平坦化処理後の小領域ごとの輝度値を、周辺光量補正部31に通知する。
【0050】
周辺光量補正部31は、平坦化処理後の小領域ごとの輝度値に、予め周辺光量補正部31内に記録された周辺光量補正係数をそれぞれ加算して周辺光量補正を行う。このような周辺光量補正により、レンズの中央から離れているために減光している部分の輝度を補正することができる。
そして、周辺光量補正部31は、周辺光量補正後の小領域ごとの輝度値を画素評価値算出部23に通知する。
【0051】
図12は、周辺光量補正の際に用いられる各小領域ごとの周辺光量補正係数を示す表である。
画素評価値算出部23は、平坦化処理および周辺光量補正処理後の小領域ごとの輝度値に基づいて、第1実施形態と同様に、画素ごとに評価値を算出して、輝度レベル補正係数決定部24に通知する。
【0052】
そして、輝度レベル補正係数算出部24、輝度レベル補正処理部18、補間処理部19、色補正処理部20、ガンマ処理部21、圧縮部14および記録部15は第1実施形態と同様の処理を行う。
【0053】
以上説明したように、第4実施形態によれば、小領域画像情報生成部22により算出された小領域ごとの輝度値に対して平坦化処理を行うので、輝度レベル補正処理によって隣接する小領域の境界に偽輪郭が発生するのを防ぐことができる。
また、小領域画像情報生成部22により算出された小領域ごとの輝度値に対して、周辺光量補正処理を行うので、第1実施形態の効果に加えて、処理対象の画像撮影時に使用された撮影レンズに応じた周辺光量補正効果を得ることができる。
【0054】
なお、本実施形態で説明した平坦化処理および周辺光量補正処理を、第2実施形態および第3実施形態の電子カメラに適用しても良い。
また、本実施形態では、平坦化処理として、近傍8小領域の輝度値に所定の加重をかけ、平坦化を行う例を示したが、他の平坦化方法を用いても良い。
なお、上記各実施形態では、小領域画像情報生成部22が画像を縦に10分割、横に16分割する例を示したが、分割数を別の数にしても良いし、ユーザにより設定可能にしても良い。
【0055】
【発明の効果】
以上説明したように、本発明によれば、処理対象の画像の輝度情報に基づいて画素ごとの評価値を算出し、算出した評価値に基づき、処理対象の画像を構成する画素ごとに画像処理を行うので、階調のツブレが発生したり、細部の特徴が失われること無く、階調を適切に補正することができる。
【図面の簡単な説明】
【図1】第1実施形態の電子カメラの概略構成を示す図である。
【図2】第1実施形態の電子カメラにおける画像処理部の機能ブロック図である。
【図3】処理対象の画像を小領域に分割する例を示す図である。
【図4】小領域ごとの輝度値を示す図である。
【図5】評価値の算出方法を説明する図である。
【図6】輝度レベル補正係数決定の際に用いるグラフである。
【図7】第2実施形態の電子カメラにおける画像処理部の機能ブロック図である。
【図8】評価値に対応付けられたガンマカーブを示す図である。
【図9】第3実施形態の電子カメラにおける画像処理部の機能ブロック図である。
【図10】評価値に対応付けられた色補正係数を示す表である。
【図11】第4実施形態の電子カメラにおける画像処理部の機能ブロック図である。
【図12】周辺光量補正の際に用いられる各小領域ごとの周辺光量補正係数を示す表である。
【符号の説明】
1,2,3,4 電子カメラ
10 撮影レンズ
11 撮像素子
12 A/D変換器
13,25,27,29 画像処理部
14 圧縮部
15 記録部
16 ホワイトバランス調整部
17 メモリバッファ部
18 輝度レベル補正処理部
19 補間処理部
20 色補正処理部
21 ガンマ処理部
22 小領域画像情報生成部
23 画素評価値算出部
24 輝度レベル補正係数決定部
26 ガンマカーブ選択部
28 色補正係数決定部
30 平坦化処理部
31 周辺光量補正部

Claims (9)

  1. 処理対象の画像を複数の小領域に分割し、該小領域ごとに、該画像の特性を示す画像情報を生成する画像情報生成手段と、
    前記各小領域ごとに生成された前記各画像情報と、該各小領域ごとに隣接する前記小領域ごとに生成された前記各画像情報とに基づいて、前記画像を構成する各々の画素ごとの明るさを示す評価値を算出する評価値算出手段と、
    前記評価値算出手段により算出された前記評価値に基づき、前記画像に対する画像処理を画素ごとに行う画像処理手段と
    を備えたことを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記画像処理手段は、前記画像の輝度レベルを補正する輝度レベル補正手段を有し、
    前記輝度レベル補正手段は、前記評価値算出手段により画素ごとに算出された前記評価値に基づいて、前記輝度レベル補正に用いる輝度レベル補正係数を算出し、該輝度レベル補正係数を用いて輝度レベル補正処理を画素ごとに行う
    ことを特徴とする画像処理装置。
  3. 請求項1に記載の画像処理装置において、
    前記評価値算出手段は、前記画像情報生成手段により小領域ごとに生成された画像情報に対して平坦化処理を行い、該平坦化処理後の小領域ごとの画像情報に基づき、前記評価値を算出する
    ことを特徴とする画像処理装置。
  4. 請求項1に記載の画像処理装置において、
    前記評価値算出手段は、前記画像情報生成手段により小領域ごとに生成された画像情報に対して、前記画像が生成された際に用いられた撮影レンズの特性に応じた予備補正処理を行い、該予備補正処理後の小領域ごとの画像情報に基づき、前記評価値を算出する
    ことを特徴とする画像処理装置。
  5. 請求項1に記載の画像処理装置において、
    前記評価値算出手段は、前記評価値の算出対象となる画素から、該評価値を算出する際に画像情報を参照すべき各小領域内の所定の位置までの距離の比率に応じて、各小領域における前記画像情報に加重をかけて該評価値を算出する
    ことを特徴とする画像処理装置。
  6. 被写体像を撮像して画像を生成する撮像手段と、
    前記撮像手段により生成された画像を複数の小領域に分割し、該小領域ごとに、該画像の特性を示す画像情報を生成する画像情報生成手段と、
    前記各小領域ごとに生成された前記各画像情報と、該各小領域ごとに隣接する前記小領域ごとに生成された前記各画像情報とに基づいて、前記画像を構成する各々の画素ごとの明るさを示す評価値を算出する評価値算出手段と、
    前記評価値算出手段により算出された前記評価値に基づき、前記画像に対する画像処理を画素ごとに行う画像処理手段と
    を備えたことを特徴とする電子カメラ。
  7. 請求項6に記載の電子カメラにおいて、
    被写界を複数の測光領域に分割して各測光領域ごとに測光を行う分割測光手段を備え、
    前記画像情報生成手段は、前記分割測光手段から得られる情報をもとに、前記画像情報を生成する
    ことを特徴とする電子カメラ。
  8. 画像処理装置に対する制御をコンピュータで実現するためのプログラムであって、
    処理対象の画像を複数の小領域に分割し、該小領域ごとに、該画像の特性を示す画像情報を生成する画像情報生成手順と、
    前記各小領域ごとに生成された前記各画像情報と、該各小領域ごとに隣接する前記小領域ごとに生成された前記各画像情報とに基づいて、前記画像を構成する各々の画素ごとの明るさを示す評価値を算出する評価値算出手順と、
    前記評価値算出手順により算出された前記評価値に基づき、前記画像に対する画像処理を画素ごとに行う画像処理手順と
    をコンピュータで実現させることを特徴とするプログラム。
  9. 処理対象の画像を複数の小領域に分割し、該小領域ごとに、該画像の特性を示す画像情報を生成する画像情報生成工程と、
    前記各小領域ごとに生成された前記各画像情報と、該各小領域ごとに隣接する前記小領域ごとに生成された前記各画像情報とに基づいて、前記画像を構成する各々の画素ごとの明るさを示す評価値を算出する評価値算出工程と、
    前記評価値算出工程により算出された前記評価値に基づき、前記画像に対する画像処理を画素ごとに行う画像処理工程と
    を備えたことを特徴とする画像処理方法。
JP2002366299A 2002-12-18 2002-12-18 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ Expired - Fee Related JP4066803B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002366299A JP4066803B2 (ja) 2002-12-18 2002-12-18 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ
US10/733,264 US8059904B2 (en) 2002-12-18 2003-12-12 Image-processing device, electronic camera, image-processing program, and image-processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002366299A JP4066803B2 (ja) 2002-12-18 2002-12-18 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ

Publications (2)

Publication Number Publication Date
JP2004200971A true JP2004200971A (ja) 2004-07-15
JP4066803B2 JP4066803B2 (ja) 2008-03-26

Family

ID=32763545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002366299A Expired - Fee Related JP4066803B2 (ja) 2002-12-18 2002-12-18 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ

Country Status (2)

Country Link
US (1) US8059904B2 (ja)
JP (1) JP4066803B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006084863A (ja) * 2004-09-16 2006-03-30 Nikon Corp 電子カメラおよび画像処理プログラム
JP2008252227A (ja) * 2007-03-29 2008-10-16 Nikon Corp 画像処理装置、撮像装置、および画像処理プログラム
JP2009059118A (ja) * 2007-08-31 2009-03-19 Casio Comput Co Ltd 階調補正装置、階調補正方法、階調補正プログラム
JP2010117229A (ja) * 2008-11-12 2010-05-27 Olympus Corp 高さ情報取得装置、高さ情報取得方法、及びプログラム
US8009927B2 (en) 2007-08-31 2011-08-30 Casio Computer Co., Ltd. Tone correcting apparatus providing improved tone correction on image
JP2013050962A (ja) * 2006-06-08 2013-03-14 Panasonic Corp 画像処理装置、画像処理方法、画像処理プログラムおよび集積回路
WO2023144894A1 (ja) * 2022-01-25 2023-08-03 株式会社ソシオネクスト 画像処理装置および画像処理方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244559A (ja) * 2004-02-26 2005-09-08 Sanyo Electric Co Ltd 画像信号処理装置
US7426312B2 (en) * 2005-07-05 2008-09-16 Xerox Corporation Contrast enhancement of images
US8374458B2 (en) * 2005-12-21 2013-02-12 Nec Corporation Tone correcting method, tone correcting apparatus, tone correcting program, and image equipment
KR101244912B1 (ko) * 2006-05-29 2013-03-18 삼성전자주식회사 디지털 영상 처리기에서 감마 보정 장치 및 방법
JP2009177472A (ja) * 2008-01-24 2009-08-06 Panasonic Corp 画像処理方法、画像処理装置及び撮像装置
US8860838B2 (en) * 2008-09-24 2014-10-14 Nikon Corporation Automatic illuminant estimation and white balance adjustment based on color gamut unions
JP2011055398A (ja) * 2009-09-04 2011-03-17 Sony Corp 撮像装置および方法、画像処理装置および方法、並びにプログラム
CN102968767A (zh) * 2012-11-26 2013-03-13 中国科学院长春光学精密机械与物理研究所 带有白平衡校正的雾天降质图像实时复原方法
US9897792B2 (en) 2012-11-30 2018-02-20 L&T Technology Services Limited Method and system for extended depth of field calculation for microscopic images
WO2014083574A2 (en) * 2012-11-30 2014-06-05 Larsen & Toubro Limited A method and system for extended depth of field calculation for microscopic images
US8958658B1 (en) * 2013-09-10 2015-02-17 Apple Inc. Image tone adjustment using local tone curve computation
US11128764B2 (en) * 2018-05-17 2021-09-21 Canon Kabushiki Kaisha Imaging apparatus, control method, and non-transitory computer readable medium

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4677576A (en) * 1983-06-27 1987-06-30 Grumman Aerospace Corporation Non-edge computer image generation system
US6005984A (en) * 1991-12-11 1999-12-21 Fujitsu Limited Process and apparatus for extracting and recognizing figure elements using division into receptive fields, polar transformation, application of one-dimensional filter, and correlation between plurality of images
GB2278524B (en) * 1993-05-28 1997-12-10 Nihon Unisys Ltd Method and apparatus for rendering visual images employing area calculation and blending of fractional pixel lists for anti-aliasing and transparency
DE69428838T2 (de) * 1993-06-29 2002-07-18 Sanyo Electric Co Videokamera mit elektronischer Bildstabilisierung und Erzeugung von Additionsdaten
US5768438A (en) * 1994-10-19 1998-06-16 Matsushita Electric Industrial Co., Ltd. Image encoding/decoding device
US6388709B1 (en) * 1995-04-21 2002-05-14 Canon Kabushiki Kaisha Image sensing apparatus with optical modulation elements having transmission characteristics controllable by pixel
JP3568279B2 (ja) 1995-06-30 2004-09-22 富士写真フイルム株式会社 画像再生方法および装置
US5710877A (en) * 1995-12-29 1998-01-20 Xerox Corporation User-directed interaction with an image structure map representation of an image
JP3667025B2 (ja) * 1997-02-28 2005-07-06 キヤノン株式会社 解像度変換モジュールとそれが組み込まれたプリンタドライバ、及びその画像解像度変換方法
EP0891075A3 (en) * 1997-06-09 2002-03-06 Seiko Epson Corporation An image processing apparatus and method, and an image evaluation device and method
JPH11164190A (ja) * 1997-11-28 1999-06-18 Matsushita Electric Ind Co Ltd 自動露出制御方法
JP4045645B2 (ja) * 1998-05-19 2008-02-13 株式会社ニコン 補間処理装置および補間処理プログラムを記録した記録媒体
US6927874B1 (en) * 1999-04-02 2005-08-09 Canon Kabushiki Kaisha Image processing method, apparatus and storage medium therefor
JP4269421B2 (ja) 1999-08-11 2009-05-27 株式会社ニコン 電子カメラ
JP3478769B2 (ja) 1999-11-05 2003-12-15 キヤノン株式会社 撮像装置及び方法、並びにコンピュータ読み取り可能な記録媒体
JP4374121B2 (ja) * 1999-12-09 2009-12-02 Hoya株式会社 測光装置
JP3726653B2 (ja) * 2000-07-27 2005-12-14 ノーリツ鋼機株式会社 画像処理方法、画像処理装置および画像処理方法を実行するプログラムを記録した記録媒体
JP3543103B2 (ja) 2000-11-02 2004-07-14 学校法人慶應義塾 カラー画像処理方法および処理装置
JP4443784B2 (ja) * 2000-12-07 2010-03-31 株式会社エヌ・ティ・ティ・ドコモ 画像符号化・復号方法、画像符号化装置及び画像復号装置
JP3625775B2 (ja) 2001-01-31 2005-03-02 三洋電機株式会社 異常検出装置
JP3490069B2 (ja) 2001-05-25 2004-01-26 松下電器産業株式会社 画像処理装置
JP4043280B2 (ja) * 2002-05-10 2008-02-06 チノンテック株式会社 投影画面の評価方法、投影画面の評価装置、投影画面の評価プログラム、および投影画面の評価プログラムを記録したコンピュータ読み取り可能な記録媒体
CN1300744C (zh) * 2003-12-09 2007-02-14 香港中文大学 对数字图像曝光不足的缺陷进行自动修正的方法和***
JP2005293555A (ja) * 2004-03-10 2005-10-20 Seiko Epson Corp 画像における肌領域の特定
US8184923B2 (en) * 2004-04-19 2012-05-22 Semiconductor Energy Laboratory Co., Ltd. Image analysis method, image analysis program, pixel evaluation system having the image analysis method, and pixel evaluation system having the image analysis program
US20060078217A1 (en) * 2004-05-20 2006-04-13 Seiko Epson Corporation Out-of-focus detection method and imaging device control method
JP4487805B2 (ja) * 2004-11-16 2010-06-23 セイコーエプソン株式会社 画像評価方法、画像評価装置、及び印刷装置
JP4711987B2 (ja) * 2007-03-14 2011-06-29 株式会社リコー 撮像装置および自動露出制御方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006084863A (ja) * 2004-09-16 2006-03-30 Nikon Corp 電子カメラおよび画像処理プログラム
JP4539254B2 (ja) * 2004-09-16 2010-09-08 株式会社ニコン 電子カメラおよび画像処理プログラム
JP2013050962A (ja) * 2006-06-08 2013-03-14 Panasonic Corp 画像処理装置、画像処理方法、画像処理プログラムおよび集積回路
US8606008B2 (en) 2006-06-08 2013-12-10 Panasonic Corporation Image processing device, image processing method, image processing program, and integrated circuit
JP2008252227A (ja) * 2007-03-29 2008-10-16 Nikon Corp 画像処理装置、撮像装置、および画像処理プログラム
JP2009059118A (ja) * 2007-08-31 2009-03-19 Casio Comput Co Ltd 階調補正装置、階調補正方法、階調補正プログラム
JP4525719B2 (ja) * 2007-08-31 2010-08-18 カシオ計算機株式会社 階調補正装置、階調補正方法、及び、プログラム
US8009927B2 (en) 2007-08-31 2011-08-30 Casio Computer Co., Ltd. Tone correcting apparatus providing improved tone correction on image
US8126285B2 (en) 2007-08-31 2012-02-28 Casio Computer Co., Ltd. Tone correcting apparatus providing improved tone correction on image
US8160383B2 (en) 2007-08-31 2012-04-17 Casio Computer Co., Ltd. Tone correcting apparatus providing improved tone correction on image
JP2010117229A (ja) * 2008-11-12 2010-05-27 Olympus Corp 高さ情報取得装置、高さ情報取得方法、及びプログラム
WO2023144894A1 (ja) * 2022-01-25 2023-08-03 株式会社ソシオネクスト 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
JP4066803B2 (ja) 2008-03-26
US8059904B2 (en) 2011-11-15
US20040234155A1 (en) 2004-11-25

Similar Documents

Publication Publication Date Title
JP4066803B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ
CN110505459B (zh) 适用于内窥镜的图像颜色校正方法、装置和存储介质
JP5398156B2 (ja) ホワイトバランス制御装置およびその制御方法並びに撮像装置
JP3892648B2 (ja) 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体
EP2426928B1 (en) Image processing apparatus, image processing method and program
JP6282156B2 (ja) 画像装置、画像処理方法、制御プログラム及び記憶媒体
JP5767485B2 (ja) 画像処理装置及び制御方法
JP5672796B2 (ja) 画像処理装置、画像処理方法
JP2006134157A (ja) シェーディング補正装置、シェーディング補正値演算装置及び撮像装置
JP4217041B2 (ja) フィルタ処理
JP2014179756A (ja) 画像処理装置、その制御方法、および制御プログラム
JP5358344B2 (ja) 撮像装置及び撮像方法
JP2011086976A (ja) 画像処理装置および画像処理方法
JP2019047169A (ja) ハイダイナミックレンジ画像を作成する装置、方法、及びプログラム
JP5225137B2 (ja) 撮像装置、画像処理方法及びプログラム
JP2018182376A (ja) 画像処理装置
JP5952574B2 (ja) 画像処理装置およびその制御方法
JP2013179485A (ja) 画像処理装置及びその制御方法
JP2003230052A (ja) 電子カメラ、画像処理プログラムおよび画像処理方法
JP5365881B2 (ja) 画像処理装置、画像処理方法
JP2003162715A (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体、並びに画像入力装置および画像出力装置
JP2007306083A (ja) 撮像装置および信号処理装置
JP2005072694A (ja) 撮像装置
JP2004260835A (ja) 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体
JP2005347935A (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071231

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110118

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4066803

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110118

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140118

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140118

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140118

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees