JP3733873B2 - 写真画像処理装置、方法及び写真処理装置 - Google Patents

写真画像処理装置、方法及び写真処理装置 Download PDF

Info

Publication number
JP3733873B2
JP3733873B2 JP2001172954A JP2001172954A JP3733873B2 JP 3733873 B2 JP3733873 B2 JP 3733873B2 JP 2001172954 A JP2001172954 A JP 2001172954A JP 2001172954 A JP2001172954 A JP 2001172954A JP 3733873 B2 JP3733873 B2 JP 3733873B2
Authority
JP
Japan
Prior art keywords
rgb data
feature
image
value
density correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001172954A
Other languages
English (en)
Other versions
JP2002369020A (ja
Inventor
規之 西
寿一 倉本
祥一 出立
▲恵▼司 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Koki Co Ltd
Original Assignee
Noritsu Koki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noritsu Koki Co Ltd filed Critical Noritsu Koki Co Ltd
Priority to JP2001172954A priority Critical patent/JP3733873B2/ja
Priority to US10/162,110 priority patent/US7221476B2/en
Priority to EP02012384A priority patent/EP1265436B1/en
Priority to DE60207785T priority patent/DE60207785T2/de
Priority to CNB021218943A priority patent/CN1165016C/zh
Publication of JP2002369020A publication Critical patent/JP2002369020A/ja
Application granted granted Critical
Publication of JP3733873B2 publication Critical patent/JP3733873B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、スキャナやディジタルカメラにより得られたディジタル画像データを、特にその主要被写体が適正な濃度になるように補正する技術に関するものである。
【0002】
【従来の技術】
スキャナやディジタルカメラにより得られたディジタル画像をモニタやプリンタ等に出力する場合に、出力される画像(特に主要被写体)の濃度を適正な濃度とするために、濃度補正を可能にする機能を備えたものが知られている。
【0003】
この濃度補正の方法として、ディジタル画像データのRGB各色について、全画像データの濃度の平均値を求め、この濃度平均値が予め設定された濃度基準値と一致するように、RGB各色成分のヒストグラムを補正する方法が知られている。
【0004】
【発明が解決しようとする課題】
しかし、明るい背景の下でフラッシュを用いずに主要被写体である人物を撮影した画像や、暗い背景の下でフラッシュを用いて主要被写体である人物を撮影した画像等の、画面全体での濃度分布に偏りがある画像を、上記方法により濃度補正した場合には、背景の影響を受けて主要被写体である人物の濃度が適正に補正されないという課題を有していた。
【0005】
例えば、暗い背景の下でフラッシュを用いて人物を撮影した画像データは、濃度平均値が大きいため、この画像データを上記方法により濃度補正した場合には、全体の濃度を低くする濃度補正が行なわれるため、主要被写体である人物の濃度が低くなりすぎ、適正な濃度の出力画像が得られなかった。
【0006】
本発明は上記課題に鑑みてなされたもので、画像中の主要被写体の濃度を適正に補正することが可能な写真画像処理方法及び装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
請求項1に記載の写真画像処理装置は、撮影された画像からRGBの色成分に分離して得られたRGBデータを画素毎に格納する画像記憶手段と、前記RGBデータから画素毎に色相を算出する色相算出手段と、前記RGBデータの中から肌色に相当する色相を有する画素を抽出する第1抽出手段と、前記第1抽出手段によって抽出された画素のRGBデータの特徴を、横軸をRGBデータの値とし縦軸を画素数とするヒストグラムの、標準撮影された画像のRGBデータの平均値を基準とする偏りとして表わす第1特徴量を算出する第1特徴量算出手段と、画像領域の中央部にある画素を抽出する第2抽出手段と、前記第2抽出手段によって抽出された画素のRGBデータの特徴を表わすべく、RGBデータの内、Rデータの平均値を第2特徴量として算出する第2特徴量を算出する第2特徴量算出手段と、複数の標準撮影された各画像のRGBデータの第1特徴量の群と第2特徴量の群とをそれぞれ正規化して得られた平均値、標準偏差及び各特徴量と、これら正規化された2つの群にシュミットの直交化を施して得られた各特徴量及び直交化係数と、直交化された2つの群をそれぞれ再度正規化して得られた第1特徴量及び第2特徴量の分散とを用いて、前記第1特徴量算出手段及び第2特徴量算出手段で算出された第1特徴量及び前記第2特徴量である変数を正規化し、直交化し、さらに再度正規化した後、シュミット距離を求め、このシュミット距離から濃度補正量を算出する補正量算出手段と、前記濃度補正量を用いてRGBデータの濃度補正を行なう濃度補正手段とを備えることを特徴としている。
【0008】
また、請求項に記載の写真画像処理方法は、撮影された画像からRGBの色成分に分離して得られた、画素毎に記憶手段に格納されたRGBデータから画素毎に色相を算出し、前記RGBデータの中から肌色に相当する色相を有する画素を抽出する第1抽出処理を行ない、前記第1抽出手段によって抽出された画素のRGBデータの特徴を、横軸をRGBデータの値とし縦軸を画素数とするヒストグラムの、標準撮影された画像のRGBデータの平均値を基準とする偏りとして表わす第1特徴量を算出し、画像領域の中央部にある画素を抽出する第2抽出処理を行ない、前記第2抽出手段によって抽出された画素のRGBデータの特徴を表わすべく、RGBデータの内、Rデータの平均値を第2特徴量として算出する第2特徴量を算出し、複数の標準撮影された各画像のRGBデータの第1特徴量の群と第2特徴量の群とをそれぞれ正規化して得られた平均値、標準偏差及び各特徴量と 、これら正規化された2つの群にシュミットの直交化を施して得られた各特徴量及び直交化係数と、直交化された2つの群をそれぞれ再度正規化して得られた第1特徴量及び第2特徴量の分散とを用いて、前記第1特徴量算出手段及び第2特徴量算出手段で算出された第1特徴量及び前記第2特徴量である変数を正規化し、直交化し、さらに再度正規化した後、シュミット距離を求め、このシュミット距離から濃度補正量を算出し、この濃度補正量を用いてRGBデータの濃度補正を行なうことを特徴としている。
【0009】
上記の発明によれば、撮影された画像からRGBの色成分に分離して得られたRGBデータが画素毎に格納され、このRGBデータから画素毎に色相が算出される。また、RGBデータの中から肌色に相当する色相を有する画素が第1抽出処理として抽出され、この第1抽出処理にて抽出された画素のRGBデータの特徴を、横軸をRGBデータの値とし縦軸を画素数とするヒストグラムの、標準撮影された画像のRGBデータの平均値を基準とする偏りとして表わす第1特徴量が算出される。また、RGBデータの中から画像領域の中央部にある画素が抽出され抽出された画素のRGBデータの特徴を表わすべく、RGBデータの内、Rデータの平均値が第2特徴量として算出される。そして、複数の標準撮影された各画像のRGBデータの第1特徴量の群と第2特徴量の群とをそれぞれ正規化して得られた平均値、標準偏差及び各特徴量と、これら正規化された2つの群にシュミットの直交化を施して得られた各特徴量及び直交化係数と、直交化された2つの群をそれぞれ再度正規化して得られた第1特徴量及び第2特徴量の分散とが用いられて、前記第1特徴量及び前記第2特徴量である変数が正規化され、直交化され、さらに再度正規化された後、シュミット距離が求められ、このシュミット距離から濃度補正量が算出される。この濃度補正量を用いてRGBデータの濃度補正が行なわれる。このように、主要被写体である人物の肌色に相当する色相を有する画素のRGBデータの特徴量と主要被写体である人物が含まれている可能性の高い画素のRGBデータの特徴量とに基づいて濃度補正が行なわれることにより、主要被写体である人物の濃度が適正に補正される。また、RGBデータの内、Rデータの平均値が第2特徴量として算出されるため、主要被写体である人物が含まれている可能性の高い画素のRGBデータの特徴量の算出が容易に行なわれる。また、シュミットの直交化法を用いることによって、第1特徴量と第2特徴量との濃度補正量への影響係数が的確に設定されると共に、標準撮影された画像のRGBデータに基づいて前記影響係数が決定されるため、影響係数の設定のためにデータを収集する作業が容易となる。
【0010】
請求項に記載の写真画像処理装置は、前記濃度補正手段が、RGBデータに濃度補正量を加えることにより濃度補正を行なうことを特徴としている。上記の発明によれば、濃度補正手段によって、RGBデータに濃度補正量を加えることにより濃度補正が行なわれるため、容易に濃度補正が行なわれる。
【0011】
請求項に記載の写真処理装置は、請求項1又は2に記載の写真画像処理装置と、RGBデータを光信号に変換して印画紙を露光する画像露光ヘッドを含む画像露光装置とを備えたことを特徴としている。
【0012】
上記の発明によれば、請求項1又は2に記載の写真画像処理装置と、RGBデータを光信号に変換して印画紙を露光する画像露光ヘッドを含む画像露光装置とを備えているため、主要被写体である人物の濃度が適正に補正される写真処理装置が実現される。
【0013】
【発明の実施の形態】
図1は、本発明に係る写真画像処理方法が適用される写真処理装置の概略構成を示す図である。この図において、写真処理装置は、ポジフィルムから画像を読み取ってメモリに記憶するRGBデータ取込部10と、RGBデータ取込部10で取り込まれたRGBデータに対して所定のデータ処理や画像編集を行なう画像データ処理部20と、データ処理や画像編集したRGBデータを光信号に変換して印画紙を露光する画像露光ヘッドを含む画像露光部30と、露光された印画紙を現像する現像処理部40と、現像され、乾燥された印画紙を1コマ毎にカットするカット部50と、システム全体の動作を制御するシステムコントローラ60とから構成されている。
【0014】
RGBデータ取込部10は、現像済みのフィルム11の各コマを読み取り位置に移送するフィルム移送部12と、フィルム11の各コマの画像を読み取る画像読取部13とから構成されている。
【0015】
フィルム移送部12は、巻取ローラ121と、巻取ローラ121を回転駆動する駆動モータ122と、駆動モータ122の駆動を制御するフィルム移送制御部123と、フィルム11の下部に配設された光源用のランプ124と、ランプ124の発光量を制御するランプ制御部125等とから構成されており、フィルム移送制御部123からの制御信号に基づき駆動モータ122を回転させ、巻取ローラ121によりフィルム11をコマ寸法分ずつ間欠的に移送し、各コマとランプ124とを順次対向させる。
【0016】
画像読取部13は、フィルムの各コマの画像を読み取るためにマトリクス状に配列されたCCD等からなる撮像素子131と、、撮像素子131による画像の読み取りを制御する読取制御部132と、フィルム11の各コマの画像を撮像素子131の受光面に結像させるレンズ133と、フィルム11とレンズ133との間に挿入され、フィルム11の画像をR、G、Bの3色に分離する光学フィルタ134と、光学フィルタ134の位置を移動させるフィルタ駆動モータ135と、フィルタ駆動モータ135の駆動を制御するフィルタ送り制御部136と、撮像素子131で読み取った画像信号を取り込む記憶部137等とから構成されている。
【0017】
記憶部137は、撮像素子131で読み取ったアナログの画像信号を、例えば12ビットの階調レベルでデジタルのRGBデータに変換するA/D変換器138と、A/D変換器138から出力されるRGBデータを記憶するRAM等からなる画像メモリ139とから構成されている。この画像メモリ139は、R、G、Bの3色分からなり、図略のアドレスコントローラにより指定されたアドレスに各コマのRGBデータをR、G、Bの各色について、画素ごとにそれぞれ記憶する。例えば、各コマの画像を構成する画素数は6291456(3072×2048)である。
【0018】
画像データ処理部20は、露光すべき各コマの画像のレイアウト、プリント倍率等の編集情報その他の情報が収納されたテーブルメモリ21と、テーブルメモリ21の編集情報に基づき上記画像メモリ139に格納されているRGBデータを読み出して所定の処理、例えばRGBデータの圧縮、伸長処理ないしは割り付けのためのアドレス指定を行なうと共に、後述するフィルム特性変換部221とガンマ変換部222と画像処理部220と(図2)を有する処理部22と、処理部22での所定の処理に基づき露光すべきコマのRGBデータをR、G、Bの各色毎に対応するメモリエリアに記憶する処理画像メモリ23と、露光すべき画像の1ライン分のRGBデータを一時記憶するラインバッファ24等とから構成されている。
【0019】
画像露光部30は、後述する露光ヘッドを駆動する露光制御部35、露光制御部35により駆動される露光ヘッド33と、ロールRに巻回されている長尺状のロール印画紙31を露光ヘッド33に移送する印画紙移送部32とから構成されている。露光ヘッド部33は、RGBデータを光信号に変換してロール印画紙31上に出力するものである。露光ヘッド制御部34は、露光ヘッド部33の駆動を制御するものである。露光制御部35は、ラインバッファ24から送出されてきたR、G、Bの3色のRGBデータに基づいて印画紙移送部32と露光ヘッド制御部34を同期制御し、ロール印画紙31に各コマの画像がR、G、Bの各色毎に正確に露光されるように制御する。
【0020】
現像処理部40は、現像液の充填された液槽41を備えており、露光ヘッド部33で露光されたロール印画紙31が液槽41の下流側に配設された図略の露光済印画紙移送部により移送されて液槽41内の現像液に浸漬されることにより、ロール印画紙31への露光により形成された潜像を顕在化させる。
【0021】
カット部50は、現像処理部40で現像され、その後に乾燥されたロール印画紙31を幅方向にカットするカッター51から構成されており、カッター51の上流側に配設された図略の現像済印画紙移送部によりカット部50に移送されたロール印画紙31を1コマ単位に分割する。
【0022】
システムコントローラ60は、図略のCPUや制御用のプログラムを記憶したROM等を備えており、この制御プログラムに基づき各制御部に指令を与えて各制御部の動作を集中制御する。
【0023】
図2は、本発明に係る写真画像処理方法が適用される処理部22の要部構成図である。処理部22は、画像メモリ139に格納された12ビットのRGBデータを読み出して、フィルム11の特性に応じた画像の補正を行ない、例えば16ビットのRGBデータに変換するフィルム特性変換部221と、フィルム特性変換部221によって得られた16ビットのRGBデータに階調変換処理を施し、例えば8ビットのRGBデータに変換するガンマ変換部222と、ガンマ変換部222に対して濃度補正量を与える画像処理部220とを備えている。なお、フィルム特性変換部221とガンマ変換部222と画像処理部220とによる処理は、処理部22によりRGBデータの圧縮、伸長処理ないしは割り付けのためのアドレス指定等の処理の前に実行されるようにしてある。
【0024】
図3は、フィルム特性変換部221とガンマ変換部222との処理の概要を示すグラフである。(a)は、フィルム特性変換部221の処理の概要を示すグラフである。グラフの横軸は、フィルム特性変換部221への入力である12ビットのRGBデータの値であり、縦軸は、フィルム特性変換部221からの出力である16ビットのRGBデータの値である。例えば、12ビットのRGBデータの値がXAである場合には、フィルム特性変換部221によって値がXBである16ビットのRGBデータに変換される。
【0025】
(b)は、ガンマ変換部222の処理の概要を示すグラフである。グラフの横軸は、ガンマ変換部222への入力である16ビットのRGBデータの値であり、縦軸は、ガンマ変換部222からの出力である8ビットのRGBデータの値である。例えば、16ビットのRGBデータの値がXBである場合には、ガンマ変換部222によって値がXCである8ビットのRGBデータに変換される。上述のフィルム特性変換部221及びガンマ変換部222での処理は、例えば、テーブルルックアップ方式で行なわれる。
【0026】
図4は、本発明の適用される画像処理部220の処理の概要を示すグラフである。グラフの横軸は、ガンマ変換部222への入力である16ビットのRGBデータの値であり、縦軸は、ガンマ変換部222からの出力である8ビットのRGBデータの値である。標準曲線GAは、濃度補正を行なわない場合の変換条件を決定する基準点CAを中心とする曲線であって、画像処理部220によって標準曲線GAが選択された場合には、16ビットのRGBデータの入力範囲RIに対して、8ビットのRGBデータの出力の範囲は、標準出力範囲ROAとなる。
【0027】
低濃度曲線GBは、濃度を低くする濃度補正を行なう場合の変換条件を決定する基準点CBを中心とする曲線であって、画像処理部220によって低濃度曲線GBが選択された場合には、16ビットのRGBデータの入力範囲RIに対して、8ビットのRGBデータの出力の範囲は、低濃度出力範囲ROBとなる。高濃度曲線GCは、濃度を高くする濃度補正を行なう場合の変換条件を決定する基準点CCを中心とする曲線であって、画像処理部220によって低濃度曲線GCが選択された場合には、16ビットのRGBデータの入力範囲RIに対して、8ビットのRGBデータの出力の範囲は、低濃度出力範囲ROCとなる。なお、画像処理部220は、変換条件を決定する曲線の基準点の位置を与えることによって濃度補正を行なうものである。すなわち、標準曲線GAの基準点CAの座標値に後述する濃度補正量ΔCを減算した値を座標値とする点を基準点とする濃度曲線を選択することによって濃度補正を行なうものである。上記処理によって、16ビットのRGBデータに濃度補正量ΔCが加算されることになる。
【0028】
図5は、本発明の画像処理部220のブロック図である。画像処理部220は、RGBデータから画素毎に色相を算出する色相算出部2201と、RGBデータの中から肌色に相当する色相を有する画素を抽出する第1抽出部2202と、第1抽出部2202によって抽出された画素のRGBデータの特徴を表わす第1特徴量を算出する第1特徴量算出部2203と、画像領域の中央部にある画素を抽出する第2抽出部2204と、第2抽出部2204によって抽出された画素のRGBデータの特徴を表わす第2特徴量を算出する第2特徴量算出部2205と、第1特徴量と第2特徴量とを用いて濃度補正量を算出する補正量算出部2206と、濃度補正量を用いてRGBデータの濃度補正を行なう濃度補正部2207とを備えている。
【0029】
色相算出部2201は、図4に示す標準曲線GAを選択して(濃度補正を行なわずに)ガンマ変換部222から出力された8ビットのRGBデータを、数1のマル1式を用いてY、C1、C2データに変換し、数1のマル2式を用いて色相Hueを算出するものである。ここで、Yデータは輝度を表わすデータであって、C1、C2データは色を表わすデータである。
【0030】
【数1】
Figure 0003733873
【0031】
第1抽出部2202は、色相算出部2201によって算出された色相Hueの値が所定の範囲(ここでは、270°〜360°)である画素を抽出するものである。図6は、第1抽出部2202によって抽出される画素のC1、C2データの領域を示すグラフである。グラフの横軸は色C1の値であって、縦軸は色C2のデータである。ここでは、色相Hueの値が270°〜360°の領域である第4象限SCAに、C1、C2データに対応する座標点が存在する画素が抽出される。すなわち、C1データの値が正で、C2データの値が負である画素が抽出される。
【0032】
第1特徴量算出部2203は、第1抽出部2202によって抽出された画素に対応する12ビットのRGBデータ(画像メモリ139に格納されているRGBデータ)について、横軸をRGBデータの値として、縦軸を画素数とするヒストグラムの、標準撮影された画像のRGBデータの平均値DEFCを基準とする偏りを第1特徴量として算出するものである。
【0033】
具体的には、まず、12ビットのRGBデータ値i(0〜4095)と、RGBデータ値がiである画素数hist[i]と、標準撮影された画像のRGBデータの平均値DEFC(例えば、1000)とから、数2のマル1式によって定義される色毎のパラメータPA1の値を求める。パラメータPA1の値は、横軸をRGBデータの値として、縦軸を画素数とするヒストグラムが、標準撮影された画像のRGBデータの平均値DEFCを基準として、離れている程度(乖離度という)を定量化したものである。なお、ここでは、数2のマル1式において、(i−DEFC)の指数として、人間の視覚による差異の認識に近づけるために「2」を選択している。
【0034】
つぎに、パラメータPA1の値が最大となる色(すなわち、ヒストグラムの偏りの最も大きな色)について、数2のマル2式によって定義されるパラメータPA2の値を求める。パラメータPA2の値は、横軸をRGBデータの値として、縦軸を画素数とするヒストグラムが、標準撮影された画像のRGBデータの平均値DEFCを基準として、離れている程度(乖離度)と離れている方向(乖離方向という)を定量化したものである。なお、パラメータPA2は離隔方向を表わすパラメータとするために、数2のマル2式における(i−DEFC)の指数は奇数である必要がある。ここでは、数2のマル1式において、(i−DEFC)の指数として「2」を選択しているため、数2のマル2式における(i−DEFC)の指数は「3」を選択している。そして、パラメータPA1及びPA2の値を用いて、数2のマル3式によって第1特徴量T1を算出する。すなわち、第1特徴量T1は、乖離度の最も大きい色成分の乖離方向と乖離度とを表わす特徴量である。
【0035】
【数2】
Figure 0003733873
【0036】
第2抽出部2204は、主要被写体が画像領域の中央部にある場合が多いため、画像領域の中央部にある画素を抽出するものである。図7は、第2抽出部2204によって抽出される画素の範囲の一例を示す図である。ここでは、縦方向長さMH及び横方向長さMLの画像領域AGAの画素(すなわち全画素)から、上端又は下端から所定の領域(例えば、距離MH/8の領域)と、左端又は右端から所定の領域(例えば、距離ML/8の領域)とを除く、図の斜線部の中央部領域SGAにある画素を第2抽出部2204によって抽出される画素として抽出する。
【0037】
第2特徴量算出部2205は、第2抽出部2204によって抽出された画素に対応する12ビットのRGBデータ(画像メモリ139に格納されているRGBデータ)について、主要被写体として想定している人物の肌の色に近いRデータの平均値を、第2特徴量T2として算出するものである。
【0038】
補正量算出部2206は、複数の標準撮影された各画像のRGBデータの第1特徴量の群と第2特徴量の群とをそれぞれ正規化し、正規化された2つの群にシュミットの直交化を施し、直交化された2つの群をそれぞれ再度正規化することによって求められた係数と、前記第1特徴量及び前記第2特徴量からなる変数とにより定義される式によって濃度補正量を算出するものである。具体的な算出方法については、図10のフローチャートを用いて後述する。
【0039】
濃度補正部2207は、RGBデータに補正量算出部2206によって算出された濃度補正量を加えることにより濃度補正を行なうものである。具体的には、図4に示す、標準曲線GAの基準点CAの座標値に後述する濃度補正量ΔCを減算した値を座標値とする点を基準点とする濃度曲線を選択することによって濃度補正を行なうものである。上記処理によって、16ビットのRGBデータに濃度補正量ΔCが加算されることになる。
【0040】
図8は、本発明の画像処理部220によって行なわれる処理の手順を示すフローチャートである。まず、色相算出部2201によって色相Hueが計算される(ステップS1)。つぎに、第1抽出部2202によって肌色に相当する色相Hueを有する画素が抽出される(ステップS3)。そして、第1特徴量算出部2203によって、第1抽出部2202により抽出された画素のRGBデータの特徴を表わす第1特徴量が算出される(ステップS5)。
【0041】
ついで、第2抽出部2204によって、画像領域の中央部にある画素が抽出される(ステップS7)。そして、第2特徴量算出部2205によって、第2抽出部2204により抽出された画素のRGBデータの特徴を表わす第2特徴量が算出される(ステップS9)。つぎに、補正量算出部2206によって、第1特徴量算出部2203により算出された第1特徴量と、第2特徴量算出部2205により算出された第2特徴量とを用いて濃度補正量が算出される(ステップS11)。ついで、濃度補正部2207によって、補正量算出部2206により算出された濃度補正量を用いてRGBデータの濃度補正が行なわれる(ステップS13)。
【0042】
図9は、後述するシュミットの直交化を行なう対象である第1特徴量YS1の群と第2特徴量YS2の群とを示す図表である。n組(nは少なくとも2以上であって、例えば212)の第1特徴量YS1と第2特徴量YS2とによって、上記シュミットの直交化を行なう対象である2つの群が構成されている。第j組の第1特徴量YS1と第2特徴量YS2とを、それぞれYS1j、YS2jと記述する。なお、ここでは、予めn組の第1特徴量YS1と第2特徴量YS2とが求められて記憶手段に格納されているものとする。また、上記n組の第1特徴量YS1と第2特徴量YS2とは、図8に示すフローチャートのステップS1〜ステップS9の処理を、標準撮影されたn組の画像のRGBデータに対して行なうことによって算出されるものである。
【0043】
更に、ここでは、図9に示すn組の第1特徴量YS1と第2特徴量YS2とに対して、予め下記の処理が行なわれて、後述する平均値MIDi、標準偏差SIGi、直交化係数b21、分散V1及びV2が算出されて、記憶手段に格納されているものとする。
【0044】
まず、n組の第1特徴量YS1と第2特徴量YS2とが正規化される。具体的には、数3のマル1式によって平均値MIDi(i=1,2)が算出され、数3のマル2式によって標準偏差SIGiが算出され、平均値MIDiと標準偏差SIGiとを用いて数3のマル3式によって正規化された特徴量YSNij(j=1,2,…,n)が算出される。
【0045】
【数3】
Figure 0003733873
【0046】
つぎに、正規化された特徴量YSNijがシュミットの直交化法を用いて直交化される。具体的には、直交化後の第1特徴量XS1jが数4のマル1式によって算出され、直交化係数b21が数4のマル2式によって算出され、直交化後の第1特徴量XS1jと直交化係数b21とを用いて直交化後の第2特徴量XS2jが数4のマル3式を用いて算出される。
【0047】
【数4】
Figure 0003733873
【0048】
そして、直交化後の特徴量が正規化するための分散が算出される。具体的には、数5のマル1式によって、第1特徴量XS1jの分散V1が算出され、数5のマル2式によって、第1特徴量XS1jの分散V2が算出される。
【0049】
【数5】
Figure 0003733873
【0050】
図10は、図8のフローチャートにおける濃度補正量が算出されるステップS11の処理の詳細フローチャートである。以下の処理は全て、補正量算出部2206によって行なわれる。
【0051】
まず、濃度補正を行なう対象画像のRGBデータにおける第1特徴量Y1と第2特徴量Y2とが数6に示す式によって正規化され、正規化された特徴量YNi(i=1,2)が算出される(ステップS15)。
【0052】
【数6】
Figure 0003733873
【0053】
つぎに、正規化された特徴量YNiがシュミットの直交化法を用いて、数7に示すマル1式及びマル2式によって直交化され、直交化後の特徴量XSiが算出される(ステップS17)。
【0054】
【数7】
Figure 0003733873
【0055】
そして、直交化後の特徴量が数8に示す式によって正規化され、正規化後の特徴量XNIが算出される(ステップS19)。
【0056】
【数8】
Figure 0003733873
【0057】
ついで、正規化後の特徴量XNIを用いて数9に示す式で定義されるシュミットの距離DSが算出される(ステップS21)。
【0058】
【数9】
Figure 0003733873
【0059】
そして、シュミットの距離DSに必要に応じて所定の定数βを乗じることによって、濃度補正量ΔCが算出される。
【0060】
上述のように、シュミットの直交化法を用いることによって、第1特徴量Y1と第2特徴量Y2との濃度補正量ΔCへの影響係数が的確に設定されると共に、標準撮影された画像のRGBデータに基づいて前記影響係数が決定されるため、影響係数の設定のためにデータを収集する作業が容易となる。
【0061】
次に、上記写真処理装置の動作の概略について説明する。まず、システムコントローラ60からの指令に基づき、RGBデータ取込部10のフィルム移送部12により移送されたフィルム11の各画像を順次R、G、Bの色分離された3枚のRGBデータとして画像読取部13の撮像素子131で読み取り、A/D変換器138でデジタルデータに変換して画像メモリ139に記憶させる。このとき、フィルム11はその移送がフィルム移送制御部123により制御され、光学フィルタ134は各画像をR、G、Bの3色に分離して取り込めるようにその位置がフィルタ送り制御部136により順に切り替えられる。
【0062】
次に、テーブルメモリ21から、ロール印画紙31に露光すべきコマの画像のレイアウト、プリント倍率等の予め指定された処理乃至は編集情報が読み出される。そして、その処理ないしは編集情報に基づいて処理部22により画像メモリ139からRGBデータが読み出され、露光すべきコマのRGBデータとして処理ないしは編集されると共に、フィルム11の特性に応じた画像の補正及び本発明の濃度補正処理を含む階調変換処理が施され、処理されたRGBデータが処理画像メモリ23に記録される。この処理画像メモリ23に記録されるRGBデータは、各コマの画像についてR、G、Bの色分離された3枚のRGBデータとして記録される。
【0063】
続いて、処理画像メモリ23から露光すべきコマのRGBデータが読み出され、そのRGBデータがR、G、Bの各色について1ライン分毎にラインバッファ24に送出される。露光制御部35は、R、G、Bの各色、例えばB色についてラインバッファ24から1ライン分毎のRGBデータを読み出し、その読み出したB色のRGBデータを露光ヘッド制御部34に送出する。露光ヘッド制御部34は、色フィルタ制御部341で円板状色フィルタ333を回転させて、B色領域が白色光源332と対向する位置にくるように制御する。また、露光ヘッド制御部34は、シャッタアレイ331を駆動制御し、ロール印画紙31を露光する。
【0064】
露光の終了したロール印画紙31は、順に現像処理部40に送り込まれて所定の現像液により現像処理が行なわれ、乾燥したロール印画紙31はカット部50に送り込まれる。カット部50では、カッター51で幅方向にロール印画紙31がカットされて露光前には長尺状であったロール印画紙31が1コマ単位に分割される。
【0065】
なお、本発明は以下の形態をとることができる。
(A)本実施形態においては、シュミットの直交化法を用いて濃度補正量を算出する場合について説明したが、他の方法、例えば、重回帰法、判別分析法等を用いる形態でもよい。
(B)本実施形態においては、第1特徴量Y1を数2に示す式を用いて算出したが、横軸をRGBデータの値とし縦軸を画素数とするヒストグラムの面積を2分する縦軸と平行な直線と横軸との交点の座標を用いて第1特徴量Y1を算出する方法でもよい。この場合には、処理が簡単になる。
【0066】
【発明の効果】
請求項1,3に記載の発明によれば、主要被写体である人物の肌色に相当する色相を有する画素のRGBデータの特徴量と主要被写体である人物が含まれている可能性の高い画素のRGBデータの特徴量とに基づいて濃度補正が行なわれることにより、主要被写体である人物の濃度が適正に補正することができる。また、RGBデータの内、Rデータの平均値が第2特徴量として算出されるため、主要被写体である人物が含まれている可能性の高い画素のRGBデータの特徴量の算出が容易に行なわれる。また、シュミットの直交化法を用いることによって、第1特徴量Y1と第2特徴量Y2との濃度補正量ΔCへの影響係数が的確に設定されると共に、標準撮影された画像のRGBデータに基づいて前記影響係数が決定されるため、影響係数の設定のためにデータを収集する作業が容易となる。
【0067】
請求項に記載の発明によれば、濃度補正手段によって、RGBデータに濃度補正量を加えることにより濃度補正が行なわれるため、容易に濃度補正を行なうことができる。
【0068】
請求項に記載の発明によれば、請求項1又は2に記載の写真画像処理装置と、RGBデータを光信号に変換して印画紙を露光する画像露光ヘッドを含む画像露光装置とを備えているため、主要被写体である人物の濃度が適正に補正される写真処理装置を実現できる。
【図面の簡単な説明】
【図1】 本発明に係る写真画像処理方法が適用される写真処理装置の概略構成を示す図である。
【図2】 本発明に係る写真画像処理方法が適用される処理部22の要部構成図である。
【図3】 フィルム特性変換部221とガンマ変換部222との処理の概要を示すグラフである。
【図4】 本発明の適用される画像処理部220の処理の概要を示すグラフである。
【図5】 本発明の画像処理部220のブロック図である。
【図6】 第1抽出部2202によって抽出される画素のC1、C2データの領域を示すグラフである。
【図7】 第2抽出部2204によって抽出される画素の範囲の一例を示す図である。
【図8】 本発明の画像処理部220によって行なわれるの処理の手順を示すフローチャートである。
【図9】 シュミットの直交化を行なう対象である基準事象群を構成する第1特徴量YS1と第2特徴量YS2とを示す図表である。
【図10】 濃度補正量が算出される処理の詳細フローチャートである。
【符号の説明】
10 RGBデータ取込部
139 画像メモリ
20 画像データ処理部
21 テーブルメモリ
22 処理部
220 画像処理部(画像処理装置)
221 フィルム特性変換部
222 ガンマ変換部
2201 色相算出部(色相算出手段)
2202 第1抽出部(第1抽出手段)
2203 第1特徴量算出部(第1特徴量算出手段)
2204 第2抽出部(第2抽出手段)
2205 第2特徴量算出部(第2特徴量算出手段)
2206 補正量算出部(補正量算出手段)
2207 濃度補正部(濃度補正手段)
23 処理画像メモリ
30 画像露光部
40 現像処理部
50 カット部
60 コントローラ

Claims (4)

  1. 撮影された画像からRGBの色成分に分離して得られたRGBデータを画素毎に格納する画像記憶手段と、前記RGBデータから画素毎に色相を算出する色相算出手段と、前記RGBデータの中から肌色に相当する色相を有する画素を抽出する第1抽出手段と、前記第1抽出手段によって抽出された画素のRGBデータの特徴を、横軸をRGBデータの値とし縦軸を画素数とするヒストグラムの、標準撮影された画像のRGBデータの平均値を基準とする偏りとして表わす第1特徴量を算出する第1特徴量算出手段と、画像領域の中央部にある画素を抽出する第2抽出手段と、前記第2抽出手段によって抽出された画素のRGBデータの特徴を表わすべく、RGBデータの内、Rデータの平均値を第2特徴量として算出する第2特徴量を算出する第2特徴量算出手段と、複数の標準撮影された各画像のRGBデータの第1特徴量の群と第2特徴量の群とをそれぞれ正規化して得られた平均値、標準偏差及び各特徴量と、これら正規化された2つの群にシュミットの直交化を施して得られた各特徴量及び直交化係数と、直交化された2つの群をそれぞれ再度正規化して得られた第1特徴量及び第2特徴量の分散とを用いて、前記第1特徴量算出手段及び第2特徴量算出手段で算出された第1特徴量及び前記第2特徴量である変数を正規化し、直交化し、さらに再度正規化した後、シュミット距離を求め、このシュミット距離から濃度補正量を算出する補正量算出手段と、前記濃度補正量を用いてRGBデータの濃度補正を行なう濃度補正手段とを備えることを特徴とする写真画像処理装置。
  2. 前記濃度補正手段は、RGBデータに前記濃度補正量を加えることにより濃度補正を行なうことを特徴とする請求項1記載の写真画像処理装置。
  3. 撮影された画像からRGBの色成分に分離して得られた、画素毎に記憶手段に格納されたRGBデータから画素毎に色相を算出し、前記RGBデータの中から肌色に相当する色相を有する画素を抽出する第1抽出処理を行ない、前記第1抽出手段によって抽出された画素のRGBデータの特徴を、横軸をRGBデータの値とし縦軸を画素数とするヒストグラムの、標準撮影された画像のRGBデータの平均値を基準とする偏りとして表わす第1特徴量を算出し、画像領域の中央部にある画素を抽出する第2抽出処理を行ない、前記第2抽出手段によって抽出された画素のRGBデータの特徴を表わすべく、RGBデータの内、Rデータの平均値を第2特徴量として算出する第2特徴量を算出し、複数の標準撮影された各画像のRGBデータの第1特徴量の群と第2特徴量の群とをそれぞれ正規化して得られた平均値、標準偏差及び各特徴量と、これら正規化された2つの群にシュミットの直交化を施して得られた各特徴量及び直交化係数と、直交化された2つの群をそれぞれ再度正規化して得られた第1特徴量及び第2特徴量の分散とを用いて、前記第1特徴量算出手段及び第2特徴量算出手段で算出された第1特徴量及び前記第2特徴量である変数を正規化し、直交化し、さらに再度正規化した後、シュミット距離を求め、このシュミット距離から濃度補正量を算出し、この濃度補正量を用いてRGBデータの濃度補正を行なうことを特徴とする写真画像処理方法。
  4. 請求項1又は2に記載の写真画像処理装置と、RGBデータを光信号に変換して印画紙を露光する画像露光ヘッドを含む画像露光装置とを備えたことを特徴とする写真処理装置。
JP2001172954A 2001-06-07 2001-06-07 写真画像処理装置、方法及び写真処理装置 Expired - Lifetime JP3733873B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2001172954A JP3733873B2 (ja) 2001-06-07 2001-06-07 写真画像処理装置、方法及び写真処理装置
US10/162,110 US7221476B2 (en) 2001-06-07 2002-06-05 Picture image processing apparatus and method, and picture processing system
EP02012384A EP1265436B1 (en) 2001-06-07 2002-06-06 Picture image processing apparatus and method, and picture processing system
DE60207785T DE60207785T2 (de) 2001-06-07 2002-06-06 Verfahren zur Extraktion von Gegenständen und dieses Verfahren verwendendes Bildaufnahmegerät
CNB021218943A CN1165016C (zh) 2001-06-07 2002-06-07 相片图像处理装置、方法以及相片处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001172954A JP3733873B2 (ja) 2001-06-07 2001-06-07 写真画像処理装置、方法及び写真処理装置

Publications (2)

Publication Number Publication Date
JP2002369020A JP2002369020A (ja) 2002-12-20
JP3733873B2 true JP3733873B2 (ja) 2006-01-11

Family

ID=19014499

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001172954A Expired - Lifetime JP3733873B2 (ja) 2001-06-07 2001-06-07 写真画像処理装置、方法及び写真処理装置

Country Status (5)

Country Link
US (1) US7221476B2 (ja)
EP (1) EP1265436B1 (ja)
JP (1) JP3733873B2 (ja)
CN (1) CN1165016C (ja)
DE (1) DE60207785T2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050134722A1 (en) * 2003-12-17 2005-06-23 Hofer Gregory V. System and method for indicating exposure information during image capture
JP2005295508A (ja) * 2004-03-08 2005-10-20 Seiko Epson Corp カラー画像のモノクローム画像化
US7751643B2 (en) * 2004-08-12 2010-07-06 Semiconductor Insights Inc. Method and apparatus for removing uneven brightness in an image
US7869630B2 (en) 2005-03-29 2011-01-11 Seiko Epson Corporation Apparatus and method for processing image
JP4844331B2 (ja) * 2005-10-31 2011-12-28 コニカミノルタビジネステクノロジーズ株式会社 画像データの処理方法および装置
GB2437338A (en) 2006-04-21 2007-10-24 Snell & Wilcox Ltd Detecting monochrome images from the skew of a statistical distribution of pixel values
DE102006053187A1 (de) * 2006-11-09 2008-05-15 Leica Microsystems Cms Gmbh Akustooptisches Bauteil
US20120026518A1 (en) * 2010-07-30 2012-02-02 Kyocera Mita Corporation Image Forming Apparatus, Toner Usage Evaluation Method, and Computer-Readable Non-Transitory Recording Medium Storing a Toner Usage Evaluation Program
JP5630174B2 (ja) * 2010-09-15 2014-11-26 セイコーエプソン株式会社 記録装置および記録・カット制御方法
CN102479382A (zh) * 2010-11-23 2012-05-30 鸿富锦精密工业(深圳)有限公司 拍摄影像优化***及方法
JP2011061868A (ja) * 2010-12-16 2011-03-24 Seiko Epson Corp 画像処理装置、印刷装置、画像処理方法、および、画像処理プログラム
JP5885422B2 (ja) * 2011-08-11 2016-03-15 キヤノン株式会社 画像処理装置および画像処理方法
KR101308656B1 (ko) 2012-06-29 2013-09-13 한밭대학교 산학협력단 컬러 증명용 사진의 얼굴후보영역 또는 피부영역 검색 방법
CN104360829B (zh) * 2014-11-07 2017-06-30 努比亚技术有限公司 调节屏幕色温的方法和装置
JP6863281B2 (ja) * 2015-07-16 2021-04-21 ソニーグループ株式会社 撮像装置、および情報処理システム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62111570A (ja) * 1985-11-09 1987-05-22 Fuji Photo Film Co Ltd 画像入出力システムにおける出力信号処理条件の自動設定方法
JP2613311B2 (ja) * 1990-09-03 1997-05-28 富士写真フイルム株式会社 写真プリント方法
JP3346862B2 (ja) 1993-12-21 2002-11-18 株式会社リコー 画像処理装置
JP3507549B2 (ja) * 1994-05-02 2004-03-15 富士写真フイルム株式会社 露光量決定方法
US5528339A (en) 1994-08-26 1996-06-18 Eastman Kodak Company Color image reproduction of scenes with color enhancement and preferential tone mapping
US5724456A (en) * 1995-03-31 1998-03-03 Polaroid Corporation Brightness adjustment of images using digital scene analysis
JP3652417B2 (ja) * 1995-10-19 2005-05-25 富士写真フイルム株式会社 画像処理装置
EP0769869B1 (en) * 1995-10-20 2007-09-26 FUJIFILM Corporation System for generating proof
JPH09171220A (ja) * 1995-12-20 1997-06-30 Fuji Photo Film Co Ltd 露光量決定方法
GB9619119D0 (en) * 1996-09-12 1996-10-23 Discreet Logic Inc Processing image
JP2830871B2 (ja) * 1996-11-18 1998-12-02 日本電気株式会社 画像の色補正装置及び色補正プログラムを記録した記録媒体
DE69827703T2 (de) * 1997-06-17 2005-05-25 Seiko Epson Corp. Verfahren und Vorrichtung zum Einstellen der Farbe
JPH1191169A (ja) * 1997-09-19 1999-04-06 Fuji Photo Film Co Ltd 画像処理装置
JP2000152018A (ja) * 1998-08-31 2000-05-30 Canon Inc 画像処理装置及びその方法、及び記録媒体
JP2000242775A (ja) * 1999-02-19 2000-09-08 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
US6393148B1 (en) * 1999-05-13 2002-05-21 Hewlett-Packard Company Contrast enhancement of an image using luminance and RGB statistical metrics
JP4244105B2 (ja) * 1999-11-15 2009-03-25 富士フイルム株式会社 画像処理方法および装置並びに記録媒体
EP1126410A1 (en) 2000-02-14 2001-08-22 Koninklijke Philips Electronics N.V. Picture signal enhancement
JP2002016818A (ja) * 2000-04-28 2002-01-18 Fuji Photo Film Co Ltd 色補正方法および装置並びに記録媒体

Also Published As

Publication number Publication date
CN1165016C (zh) 2004-09-01
EP1265436A1 (en) 2002-12-11
EP1265436B1 (en) 2005-12-07
DE60207785T2 (de) 2006-08-17
CN1391192A (zh) 2003-01-15
US20020191204A1 (en) 2002-12-19
DE60207785D1 (de) 2006-01-12
US7221476B2 (en) 2007-05-22
JP2002369020A (ja) 2002-12-20

Similar Documents

Publication Publication Date Title
JP3733873B2 (ja) 写真画像処理装置、方法及び写真処理装置
US7289664B2 (en) Method of detecting and correcting the red eye
US20050286793A1 (en) Photographic image processing method and equipment
US20050117173A1 (en) Image processing method and appparatus for red eye correction
US7460707B2 (en) Image processing method and apparatus for red eye correction
JP4978378B2 (ja) 画像処理装置
JPH07159904A (ja) 写真画像プリント装置
US6834127B1 (en) Method of adjusting output image areas
JP2695067B2 (ja) 人物の顔のデータの抽出方法及び露光量決定方法
JP2848749B2 (ja) 特徴画像データの抽出方法
JP2638691B2 (ja) 露光量決定方法
JP4210995B2 (ja) 輝点検出方法及び輝点検出プログラム
JP2005148915A (ja) 適正顔判別方法及びこの方法を実施する装置
JP4049986B2 (ja) 出力画像領域調整方法
US20040114189A1 (en) Image correction device and image correction program storage medium
JP4482307B2 (ja) 画像処理装置
JP2638693B2 (ja) 特徴画像データの抽出方法
JP2006279460A (ja) 画像処理装置、印刷装置、画像処理方法、および、画像処理プログラム
JP2006146646A (ja) 写真画像処理方法及びその装置
JP4834899B2 (ja) 写真画像処理方法及び装置
JP4207124B2 (ja) 輝線描画処理方法及び輝線描画処理プログラム
JP2638701B2 (ja) 特徴画像データの抽出方法
JP2004328534A (ja) 画像形成方法、画像処理装置及び画像記録装置
JP2638692B2 (ja) 人物の顔のデータの抽出方法及び露光量決定方法
JP4496856B2 (ja) 写真画像処理方法及びその装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051010

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111028

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111028

Year of fee payment: 6

S801 Written request for registration of abandonment of right

Free format text: JAPANESE INTERMEDIATE CODE: R311801

ABAN Cancellation due to abandonment
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111028

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350