JP4055126B2 - 人物画像処理方法及び装置 - Google Patents
人物画像処理方法及び装置 Download PDFInfo
- Publication number
- JP4055126B2 JP4055126B2 JP2003035949A JP2003035949A JP4055126B2 JP 4055126 B2 JP4055126 B2 JP 4055126B2 JP 2003035949 A JP2003035949 A JP 2003035949A JP 2003035949 A JP2003035949 A JP 2003035949A JP 4055126 B2 JP4055126 B2 JP 4055126B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- boundary line
- background
- line portion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 13
- 238000012545 processing Methods 0.000 claims description 49
- 238000012937 correction Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 27
- 239000002131 composite material Substances 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 12
- 238000003702 image correction Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 239000000203 mixture Substances 0.000 description 9
- 238000004891 communication Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 210000003128 head Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
- H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
- H04N1/00137—Transmission
- H04N1/0014—Transmission via e-mail
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
- H04N1/00143—Ordering
- H04N1/00145—Ordering from a remote location
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
- H04N1/00167—Processing or editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
- H04N1/00185—Image output
- H04N1/00196—Creation of a photo-montage, e.g. photoalbum
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
- H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は人物画像処理方法及び装置に係り、特に原画像から人物画像を抽出し、この抽出した人物画像と予め準備された背景画像とを合成する技術に関する。
【０００２】
【従来の技術】
従来、原画像から人物画像を抽出する場合には、青色スクリーンを背景（ブルーバック）にして人物を撮影して原画像を取得し、色（クロマ）の違いを利用して、原画像から人物画像を抽出して別の画像に嵌め込む手法（クロマキー）が知られている。
【０００３】
また、特許文献１には、撮像画像をマトリクス状の複数のブロックに分割し、各ブロックごとにフレーム間の動きの大きさに応じて、動きの小さい背景ブロックと、動きの大きな対象ブロック（人物画像を含むブロック）とに選別する技術が開示されている。
【０００４】
【特許文献１】
特開平１０−１３７９９号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、ブルーバックのような単純な背景で撮影された原画像の場合には、人物画像を抽出しやすいが、複雑な背景で撮影された原画像からは人物画像を良好に抽出することができないという問題がある。
【０００６】
一方、引用文献１に記載の人物画像と背景画像との選別方法は、撮像画像の各ブロックごとのフレーム間の動きの大きさを利用しているため、静止画又は人物が動かない場合には、人物画像（人物を含むブロック）と背景画像との選別ができないという問題がある。
【０００７】
本発明はこのような事情に鑑みてなされたもので、原画像から人物画像の抽出が正確に行われない場合でも、その抽出した人物画像と背景画像とを合成した画像を自然な画像にすることができる人物画像処理方法及び装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
前記目的を達成するために請求項１に係る人物画像処理方法は、人物と背景とを含む原画像から人物画像を抽出する工程と、前記抽出した人物画像と予め準備された背景画像とを合成して合成画像を作成する工程と、前記原画像から人物と背景との境界線を検出する工程と、前記検出した境界線が人物の正規の輪郭か否かを前記境界線の各部分ごとに判断する工程と、前記作成した合成画像における人物と背景との境界線に対し、前記人物の正規の輪郭でないと判断された境界線部分を隠すための修正処理を行う工程と、を含むことを特徴としている。
【０００９】
原画像から人物画像の抽出が正確に行われない場合（即ち、原画像から検出される人物と背景との境界線が人物の正規の輪郭と一致しない場合）でも、その境界線の全てが不正確であるわけではなく、人物の輪郭として確信度の高い境界線部分と、確信度の低い境界線部分とを含んでいる。請求項１に係る発明では、抽出した人物画像と背景画像とを合成する際に、確信度の低い境界線部分に関しては、その境界線部分を隠す画像処理を行い、これにより自然な合成画像が得られるようにしている。
【００１０】
請求項２に示すように、請求項１の人物画像処理方法において、前記修正処理は、前記人物の正規の輪郭でないと判断された境界線部分に他の画像を上書きする画像処理であることを特徴としている。
【００１１】
請求項３に示すように、請求項１又は２の人物画像処理方法において、前記修正処理は、前記人物の正規の輪郭でないと判断された境界線部分が合成画像の枠外となるように前記人物画像をシフトする画像処理であることを特徴としている。
【００１２】
請求項４に係る人物画像処理装置は、人物と背景とを含む原画像から人物画像を抽出する人物画像抽出手段と、人物画像の背景となる背景画像を記憶する背景画像記録手段と、前記抽出した人物画像と前記背景画像記録手段から読み出した背景画像とを合成して合成画像を作成する画像合成手段と、前記原画像から人物と背景との境界線を検出する境界線検出手段と、前記検出した境界線が人物の正規の輪郭か否かを前記境界線の各部分ごとに判断する判断手段と、前記作成した合成画像における人物と背景との境界線に対し、前記人物の正規の輪郭でないと判断された境界線部分を隠すための修正処理を行う画像修正手段と、を備えたことを特徴としている。
【００１３】
請求項５に示すように、請求項４の人物画像処理装置において、前記画像修正手段は、前記人物の正規の輪郭でないと判断された境界線部分に他の画像を上書きする画像処理であることを特徴としている。
【００１４】
請求項６に示すように、請求項４又は５の人物画像処理装置において、前記画像修正手段は、前記人物の正規の輪郭でないと判断された境界線部分が合成画像の枠外となるように前記人物画像をシフトする画像処理であることを特徴としている。
【００１５】
【発明の実施の形態】
以下添付図面に従って本発明に係る人物画像処理方法及び装置の好ましい実施の形態について詳説する。
【００１６】
図１は本発明に係る人物画像処理装置の要部を示す機能ブロック図である。
【００１７】
同図に示すように、この人物画像処理装置１０は、例えば、パーソナルコンピュータ等によって構成することができ、画像データ入力部１２と、人物画像抽出部１４と、合成処理部１６と、背景画像記憶部１８と、修正処理部２０と、修正画像記憶部２２と、画像データ出力部２４とから構成されている。
【００１８】
デジタルスチルカメラ（以下ＤＳＣと記載）等により撮影された原画像データは、画像データ入力部１２を介して画像処理装置１０に入力される。尚、この原画像データは、図２（Ａ）に示すように人物を任意の背景のもとで撮影して得られた人物画像データである。画像データ入力部１２には、ＤＳＣメディアのメディアインターフェイスの他にＵＳＢインターフェイス、赤外線通信（ＩｒＤＡ）インターフェイス、イーサネットインターフェイスおよび無線通信インターフェイスを用いてもよく、何れのインターフェイスを適用するかは、原画像データが記録されている媒体や原画像データの記録形式により、ユーザによって適宜選択される。
【００１９】
画像処理装置１０に入力された原画像データは、人物領域抽出部１４に加えられ、ここで人物領域が背景領域から区別して抽出される（図２（Ｂ）参照）。
【００２０】
原画像からの人物領域の抽出方法としては、例えば、原画像内の目、鼻、口等の顔パーツを抽出するために特徴抽出処理を行う。特徴抽出処理では、ウェーブレット変換を行い適切な位置と周波数のウェーブレット係数を取り出して量子化する。予め多数のサンプル画像から同様の特徴抽出処理を行い作成しておいた顔パーツ辞書データとの間でマッチング処理を行い、顔パーツを抽出する。
【００２１】
顔パーツが抽出された位置を顔と判定し、色、テクスチャによる分割処理が施される。これは、似た色やテクスチャの領域をまとめて分割する処理を行い、例えば、目の座標を含む肌色領域を顔領域としたり、目の座標のやや上にあり黒、茶色の領域を髪領域としたりして人物領域を抽出する。また、目の位置および人物と背景の境界線の平均的な位置関係を示す人物領域辞書データと、原画像から得られた人物領域と背景領域との境界線とのマッチング処理を行い、人物領域と背景領域との境界線を求める。
【００２２】
また、原画像内の高周波成分から人物と背景の境界線を抽出するフィルタ処理を施し、原画像から人物領域を抽出する方法や、原画像内の肌色を抽出し、その肌色の領域のある点から同一領域に属すると思われる連結領域に対して順次領域拡張を行い、このようにして抽出された領域の形状が顔の形状か否かによって顔領域を抽出し、同様にして顔領域の上部の髪領域、顔の下部の首及び胸部領域等を抽出することで、人物領域を抽出する方法等がある。尚、原画像から人物領域を抽出する方法は、種々の方法が考えられ、上記の方法に限定されない。
【００２３】
人物領域抽出部１４によって抽出された人物領域の画像データ（人物画像データ）は、合成処理部１６に出力される。合成処理部１６は、人物領域抽出部１４から入力する人物画像データと、背景画像記憶部１８から読み出した背景画像データとを合成し、その合成した合成画像データを修正処理部２０に出力する。
【００２４】
図２（Ｃ）は人物画像を背景画像に合成した合成画像を示している。尚、背景画像は、予め背景画像記憶部１８に記憶されている複数の背景画像から人物画像と合成する所望の背景画像を選択してもよいし、人物画像と合成する背景画像を別途入力するようにしてもよく、背景画像の取得方法はこの実施の形態に限定されない。
【００２５】
修正処理部２０は、まず、人物領域抽出部１４での人物領域の抽出に使用した人物領域と背景領域との境界線、又は抽出された人物領域の外周から検出された境界線から、人物の輪郭として確信度の高い境界線部分と、確信度の低い境界線部分とを判別する。
【００２６】
図３は人物領域と背景領域との境界線のうちの人物の輪郭として確信度の高い境界線部分と、確信度の低い境界線部分とを示す図であり、丸印で示した境界線部分は確信度が低いと判別された部分を示している。
【００２７】
確信度の低い境界線部分は、例えば、境界線上の座標点間の長さが、境界線の凹凸によって部分的に規定値よりも長くなっている部分や、多数の人物の輪郭から収集した基準の輪郭線（頭、首、肩等を含む人物の基準の輪郭線）に所定のマージンを加えた範囲から外れている境界線部分、あるいは境界線の各部分毎の形状が基準の輪郭線の形状から大きく外れている境界線部分などが該当する。
【００２８】
尚、人物が単一色で均一の濃度のスクリーン等を背景に撮影されている場合には、原画像から検出された人物と背景との境界線は、ほとんど人物の正規の輪郭と一致するが、複雑な模様や色などの背景のもとで撮影されている場合には、原画像から人物と背景との境界線を正確に検出することができず、人物と背景との境界線は、人物の正規の輪郭と一致しない部分が発生する。
【００２９】
前記修正処理部２０は、上記のようにして人物の輪郭として確信度の低い境界線部分を検出すると、その境界線部分を隠す画像処理を行う。即ち、修正処理部２０は、修正画像記憶部２２から適宜の修正画像を読み出し、この修正画像を確信度の低い境界線部分上に上書きする。
【００３０】
図２（Ｄ）は前記修正処理部２０によって修正画像を確信度の低い境界線部分上に上書きした修正後の合成画像を示している。図２（Ｄ）に示した実施の形態では、修正画像として葉の画像を使用しているが、背景画像と違和感のない適宜の修正画像を、修正画像記憶部２２から選択することが好ましい。また、確信度の低い境界線部分が、頭頂部にある場合には、帽子を修正画像としたり、肩にある場合には肩掛けを修正画像として上書き処理してもよい。
【００３１】
修正処理部２０によって修正された合成画像データは、画像データ出力部２４を介して背景が合成された画像データとして出力される。出力形態には、モニタ装置やプリンタに画像を出力する形態、ＰＣカードやＣＤ−ＲＯＭ等の外部記録媒体及び画像処理装置１０の内蔵ハードディスクにファイル形式で記録する形態がある。また、通信手段を介して他の装置に転送する形態も考えられる。接続形態は有線、無線を問わない。
【００３２】
図４は前記修正処理部２０による修正処理の他の実施の形態を示す図である。
【００３３】
図４（Ａ）は人物領域と背景領域との境界線のうちの人物の輪郭として確信度の高い境界線部分と、確信度の低い境界線部分とを示す図であり、丸印で示した境界線部分は確信度が低いと判別された部分を示しており、同図に示すように境界線のうちの左側部分Ａに確信度の低い境界線部分が集中している。
【００３４】
前記修正処理部２０は、図４（Ａ）に示すように人物領域と背景領域との境界線のうちの一部のみに確信度の低い境界線部分が集中している場合には、図４（Ｂ）に示すように確信度の低い境界線部分（左側部分Ａ）が合成画像の枠外となるように人物画像をシフトする。
【００３５】
尚、修正処理部２０は、図２（Ｄ）に示した修正画像による上書き処理と、図４（Ｂ）に示した人物画像のシフトとを組み合わせた修正処理を行うようにしてもよい。
【００３６】
上述した画像処理装置１０は、パーソナルコンピュータで実現できるが、これに限らず、ネットワーク上の画像加工用のサービスサーバ等によって実現してもよい。
【００３７】
図５は本発明に係る人物画像処理方法が適用されたネットワークシステムの構成図である。
【００３８】
図５において、３０はインターネット等のネットワーク４０に接続可能なカメラ付き携帯電話であり、５０はネットワーク４０に接続可能な利用者のコンピュータ（ＰＣ）である。尚、このＰＣ５０は、ＵＳＢ等のインターフェースを介してＤＳＣ５２が接続され、ＤＳＣ５２から画像を取り込むことができるようになっている。
【００３９】
また、ネットワーク４０には、前述した人物画像処理装置１０での画像加工と同様な画像処理を行うサービスサーバ６０や、サービスサーバ６０で処理された合成画像をプリント出力するプリントサーバ７０等が接続されている。
【００４０】
カメラ付き携帯電話３０やＰＣ５０にて、サービスサーバ６０が提供する背景画像の合成処理サービスを利用する場合には、サービスサーバ６０のホームページにアクセスし、背景画像の合成処理を依頼する画像をサービスサーバ６０にアップロードする。また、サービスサーバ６０は、背景画像の一覧等を利用者に提示し、利用者に背景画像を選択させることができる。
【００４１】
サービスサーバ６０は、図１に示した人物画像処理装置１０と同様な機能と、通信機能を有するサーバコンピュータ６２と、利用者からアップロードされた画像を保管したり、ユーザＩＤ、メールアドレス等のユーザ情報を管理する大容量記録装置（ストレージ）６４とから構成されている。このサービスサーバ６０は、利用者からアップロードされた原画像に対する背景画像の合成処理の依頼を受け付けると、原画像から人物画像を抽出し、この人物画像と予め選択された背景画像との合成処理を行い、更に人物領域と背景領域との境界線のうちの人物の輪郭として確信度の低い境界線部分を修正処理する。そして、このようにして作成した背景画像が合成された画像を、メールに添付して利用者のカメラ付き携帯電話３０やＰＣ５０に配信し、又は画像ダウンロード用ＵＲＬを添付したメールを配信する。
【００４２】
また、サービスサーバ６０は、利用者から合成画像のプリント注文を受け付けた場合には、上記合成画像をプリントサーバ７０に転送する。プリントサーバ７０は、サーバコンピュータ７２と、プリント装置７４とを備えており、サービスサーバ６０から受信した合成画像に基づいてプリント装置７４により背景が合成された合成画像をプリント出力する。尚、プリント出力された写真プリントは、利用者が指定したコンビニエンス・ストアや写真店などの受取先に配送されたり、直接利用者の自宅に配送される。
【００４３】
【発明の効果】
以上説明したように本発明によれば、原画像から抽出した人物画像と適宜の背景画像とを合成する際に、原画像が複雑な背景画像を含んでいて原画像から人物画像の抽出が正確に行われない場合（即ち、原画像から検出される人物と背景との境界線が人物の正規の輪郭と一致しない場合）でも、その境界線としての確信度の低い境界線部分に関しては、その境界線部分を隠す画像処理を行うようにしたため、自然な合成画像を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る人物画像処理装置の要部を示す機能ブロック図
【図２】本発明に係る人物画像処理方法の実施の形態を説明するために用いた図
【図３】原画像の人物領域と背景領域との境界線のうちの人物の輪郭として確信度の高い境界線部分と確信度の低い境界線部分とを示す図
【図４】本発明に係る人物画像処理方法における修正処理の他の実施の形態を示す図
【図５】本発明に係る人物画像処理方法が適用されたネットワークシステムの構成図
【符号の説明】
１０…人物画像処理装置、１２…画像データ入力部、１４…人物領域抽出部、１６…合成処理部、１８…背景画像記憶部、２０…修正処理部、２２…修正画像記憶部、２４…画像データ出力部、３０…カメラ付き携帯電話、４０…ネットワーク、５０…パーソナルコンピュータ、５２…デジタルカメラ、６０…サービスサーバ、７０…プリントサーバ
【発明の属する技術分野】
本発明は人物画像処理方法及び装置に係り、特に原画像から人物画像を抽出し、この抽出した人物画像と予め準備された背景画像とを合成する技術に関する。
【０００２】
【従来の技術】
従来、原画像から人物画像を抽出する場合には、青色スクリーンを背景（ブルーバック）にして人物を撮影して原画像を取得し、色（クロマ）の違いを利用して、原画像から人物画像を抽出して別の画像に嵌め込む手法（クロマキー）が知られている。
【０００３】
また、特許文献１には、撮像画像をマトリクス状の複数のブロックに分割し、各ブロックごとにフレーム間の動きの大きさに応じて、動きの小さい背景ブロックと、動きの大きな対象ブロック（人物画像を含むブロック）とに選別する技術が開示されている。
【０００４】
【特許文献１】
特開平１０−１３７９９号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、ブルーバックのような単純な背景で撮影された原画像の場合には、人物画像を抽出しやすいが、複雑な背景で撮影された原画像からは人物画像を良好に抽出することができないという問題がある。
【０００６】
一方、引用文献１に記載の人物画像と背景画像との選別方法は、撮像画像の各ブロックごとのフレーム間の動きの大きさを利用しているため、静止画又は人物が動かない場合には、人物画像（人物を含むブロック）と背景画像との選別ができないという問題がある。
【０００７】
本発明はこのような事情に鑑みてなされたもので、原画像から人物画像の抽出が正確に行われない場合でも、その抽出した人物画像と背景画像とを合成した画像を自然な画像にすることができる人物画像処理方法及び装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
前記目的を達成するために請求項１に係る人物画像処理方法は、人物と背景とを含む原画像から人物画像を抽出する工程と、前記抽出した人物画像と予め準備された背景画像とを合成して合成画像を作成する工程と、前記原画像から人物と背景との境界線を検出する工程と、前記検出した境界線が人物の正規の輪郭か否かを前記境界線の各部分ごとに判断する工程と、前記作成した合成画像における人物と背景との境界線に対し、前記人物の正規の輪郭でないと判断された境界線部分を隠すための修正処理を行う工程と、を含むことを特徴としている。
【０００９】
原画像から人物画像の抽出が正確に行われない場合（即ち、原画像から検出される人物と背景との境界線が人物の正規の輪郭と一致しない場合）でも、その境界線の全てが不正確であるわけではなく、人物の輪郭として確信度の高い境界線部分と、確信度の低い境界線部分とを含んでいる。請求項１に係る発明では、抽出した人物画像と背景画像とを合成する際に、確信度の低い境界線部分に関しては、その境界線部分を隠す画像処理を行い、これにより自然な合成画像が得られるようにしている。
【００１０】
請求項２に示すように、請求項１の人物画像処理方法において、前記修正処理は、前記人物の正規の輪郭でないと判断された境界線部分に他の画像を上書きする画像処理であることを特徴としている。
【００１１】
請求項３に示すように、請求項１又は２の人物画像処理方法において、前記修正処理は、前記人物の正規の輪郭でないと判断された境界線部分が合成画像の枠外となるように前記人物画像をシフトする画像処理であることを特徴としている。
【００１２】
請求項４に係る人物画像処理装置は、人物と背景とを含む原画像から人物画像を抽出する人物画像抽出手段と、人物画像の背景となる背景画像を記憶する背景画像記録手段と、前記抽出した人物画像と前記背景画像記録手段から読み出した背景画像とを合成して合成画像を作成する画像合成手段と、前記原画像から人物と背景との境界線を検出する境界線検出手段と、前記検出した境界線が人物の正規の輪郭か否かを前記境界線の各部分ごとに判断する判断手段と、前記作成した合成画像における人物と背景との境界線に対し、前記人物の正規の輪郭でないと判断された境界線部分を隠すための修正処理を行う画像修正手段と、を備えたことを特徴としている。
【００１３】
請求項５に示すように、請求項４の人物画像処理装置において、前記画像修正手段は、前記人物の正規の輪郭でないと判断された境界線部分に他の画像を上書きする画像処理であることを特徴としている。
【００１４】
請求項６に示すように、請求項４又は５の人物画像処理装置において、前記画像修正手段は、前記人物の正規の輪郭でないと判断された境界線部分が合成画像の枠外となるように前記人物画像をシフトする画像処理であることを特徴としている。
【００１５】
【発明の実施の形態】
以下添付図面に従って本発明に係る人物画像処理方法及び装置の好ましい実施の形態について詳説する。
【００１６】
図１は本発明に係る人物画像処理装置の要部を示す機能ブロック図である。
【００１７】
同図に示すように、この人物画像処理装置１０は、例えば、パーソナルコンピュータ等によって構成することができ、画像データ入力部１２と、人物画像抽出部１４と、合成処理部１６と、背景画像記憶部１８と、修正処理部２０と、修正画像記憶部２２と、画像データ出力部２４とから構成されている。
【００１８】
デジタルスチルカメラ（以下ＤＳＣと記載）等により撮影された原画像データは、画像データ入力部１２を介して画像処理装置１０に入力される。尚、この原画像データは、図２（Ａ）に示すように人物を任意の背景のもとで撮影して得られた人物画像データである。画像データ入力部１２には、ＤＳＣメディアのメディアインターフェイスの他にＵＳＢインターフェイス、赤外線通信（ＩｒＤＡ）インターフェイス、イーサネットインターフェイスおよび無線通信インターフェイスを用いてもよく、何れのインターフェイスを適用するかは、原画像データが記録されている媒体や原画像データの記録形式により、ユーザによって適宜選択される。
【００１９】
画像処理装置１０に入力された原画像データは、人物領域抽出部１４に加えられ、ここで人物領域が背景領域から区別して抽出される（図２（Ｂ）参照）。
【００２０】
原画像からの人物領域の抽出方法としては、例えば、原画像内の目、鼻、口等の顔パーツを抽出するために特徴抽出処理を行う。特徴抽出処理では、ウェーブレット変換を行い適切な位置と周波数のウェーブレット係数を取り出して量子化する。予め多数のサンプル画像から同様の特徴抽出処理を行い作成しておいた顔パーツ辞書データとの間でマッチング処理を行い、顔パーツを抽出する。
【００２１】
顔パーツが抽出された位置を顔と判定し、色、テクスチャによる分割処理が施される。これは、似た色やテクスチャの領域をまとめて分割する処理を行い、例えば、目の座標を含む肌色領域を顔領域としたり、目の座標のやや上にあり黒、茶色の領域を髪領域としたりして人物領域を抽出する。また、目の位置および人物と背景の境界線の平均的な位置関係を示す人物領域辞書データと、原画像から得られた人物領域と背景領域との境界線とのマッチング処理を行い、人物領域と背景領域との境界線を求める。
【００２２】
また、原画像内の高周波成分から人物と背景の境界線を抽出するフィルタ処理を施し、原画像から人物領域を抽出する方法や、原画像内の肌色を抽出し、その肌色の領域のある点から同一領域に属すると思われる連結領域に対して順次領域拡張を行い、このようにして抽出された領域の形状が顔の形状か否かによって顔領域を抽出し、同様にして顔領域の上部の髪領域、顔の下部の首及び胸部領域等を抽出することで、人物領域を抽出する方法等がある。尚、原画像から人物領域を抽出する方法は、種々の方法が考えられ、上記の方法に限定されない。
【００２３】
人物領域抽出部１４によって抽出された人物領域の画像データ（人物画像データ）は、合成処理部１６に出力される。合成処理部１６は、人物領域抽出部１４から入力する人物画像データと、背景画像記憶部１８から読み出した背景画像データとを合成し、その合成した合成画像データを修正処理部２０に出力する。
【００２４】
図２（Ｃ）は人物画像を背景画像に合成した合成画像を示している。尚、背景画像は、予め背景画像記憶部１８に記憶されている複数の背景画像から人物画像と合成する所望の背景画像を選択してもよいし、人物画像と合成する背景画像を別途入力するようにしてもよく、背景画像の取得方法はこの実施の形態に限定されない。
【００２５】
修正処理部２０は、まず、人物領域抽出部１４での人物領域の抽出に使用した人物領域と背景領域との境界線、又は抽出された人物領域の外周から検出された境界線から、人物の輪郭として確信度の高い境界線部分と、確信度の低い境界線部分とを判別する。
【００２６】
図３は人物領域と背景領域との境界線のうちの人物の輪郭として確信度の高い境界線部分と、確信度の低い境界線部分とを示す図であり、丸印で示した境界線部分は確信度が低いと判別された部分を示している。
【００２７】
確信度の低い境界線部分は、例えば、境界線上の座標点間の長さが、境界線の凹凸によって部分的に規定値よりも長くなっている部分や、多数の人物の輪郭から収集した基準の輪郭線（頭、首、肩等を含む人物の基準の輪郭線）に所定のマージンを加えた範囲から外れている境界線部分、あるいは境界線の各部分毎の形状が基準の輪郭線の形状から大きく外れている境界線部分などが該当する。
【００２８】
尚、人物が単一色で均一の濃度のスクリーン等を背景に撮影されている場合には、原画像から検出された人物と背景との境界線は、ほとんど人物の正規の輪郭と一致するが、複雑な模様や色などの背景のもとで撮影されている場合には、原画像から人物と背景との境界線を正確に検出することができず、人物と背景との境界線は、人物の正規の輪郭と一致しない部分が発生する。
【００２９】
前記修正処理部２０は、上記のようにして人物の輪郭として確信度の低い境界線部分を検出すると、その境界線部分を隠す画像処理を行う。即ち、修正処理部２０は、修正画像記憶部２２から適宜の修正画像を読み出し、この修正画像を確信度の低い境界線部分上に上書きする。
【００３０】
図２（Ｄ）は前記修正処理部２０によって修正画像を確信度の低い境界線部分上に上書きした修正後の合成画像を示している。図２（Ｄ）に示した実施の形態では、修正画像として葉の画像を使用しているが、背景画像と違和感のない適宜の修正画像を、修正画像記憶部２２から選択することが好ましい。また、確信度の低い境界線部分が、頭頂部にある場合には、帽子を修正画像としたり、肩にある場合には肩掛けを修正画像として上書き処理してもよい。
【００３１】
修正処理部２０によって修正された合成画像データは、画像データ出力部２４を介して背景が合成された画像データとして出力される。出力形態には、モニタ装置やプリンタに画像を出力する形態、ＰＣカードやＣＤ−ＲＯＭ等の外部記録媒体及び画像処理装置１０の内蔵ハードディスクにファイル形式で記録する形態がある。また、通信手段を介して他の装置に転送する形態も考えられる。接続形態は有線、無線を問わない。
【００３２】
図４は前記修正処理部２０による修正処理の他の実施の形態を示す図である。
【００３３】
図４（Ａ）は人物領域と背景領域との境界線のうちの人物の輪郭として確信度の高い境界線部分と、確信度の低い境界線部分とを示す図であり、丸印で示した境界線部分は確信度が低いと判別された部分を示しており、同図に示すように境界線のうちの左側部分Ａに確信度の低い境界線部分が集中している。
【００３４】
前記修正処理部２０は、図４（Ａ）に示すように人物領域と背景領域との境界線のうちの一部のみに確信度の低い境界線部分が集中している場合には、図４（Ｂ）に示すように確信度の低い境界線部分（左側部分Ａ）が合成画像の枠外となるように人物画像をシフトする。
【００３５】
尚、修正処理部２０は、図２（Ｄ）に示した修正画像による上書き処理と、図４（Ｂ）に示した人物画像のシフトとを組み合わせた修正処理を行うようにしてもよい。
【００３６】
上述した画像処理装置１０は、パーソナルコンピュータで実現できるが、これに限らず、ネットワーク上の画像加工用のサービスサーバ等によって実現してもよい。
【００３７】
図５は本発明に係る人物画像処理方法が適用されたネットワークシステムの構成図である。
【００３８】
図５において、３０はインターネット等のネットワーク４０に接続可能なカメラ付き携帯電話であり、５０はネットワーク４０に接続可能な利用者のコンピュータ（ＰＣ）である。尚、このＰＣ５０は、ＵＳＢ等のインターフェースを介してＤＳＣ５２が接続され、ＤＳＣ５２から画像を取り込むことができるようになっている。
【００３９】
また、ネットワーク４０には、前述した人物画像処理装置１０での画像加工と同様な画像処理を行うサービスサーバ６０や、サービスサーバ６０で処理された合成画像をプリント出力するプリントサーバ７０等が接続されている。
【００４０】
カメラ付き携帯電話３０やＰＣ５０にて、サービスサーバ６０が提供する背景画像の合成処理サービスを利用する場合には、サービスサーバ６０のホームページにアクセスし、背景画像の合成処理を依頼する画像をサービスサーバ６０にアップロードする。また、サービスサーバ６０は、背景画像の一覧等を利用者に提示し、利用者に背景画像を選択させることができる。
【００４１】
サービスサーバ６０は、図１に示した人物画像処理装置１０と同様な機能と、通信機能を有するサーバコンピュータ６２と、利用者からアップロードされた画像を保管したり、ユーザＩＤ、メールアドレス等のユーザ情報を管理する大容量記録装置（ストレージ）６４とから構成されている。このサービスサーバ６０は、利用者からアップロードされた原画像に対する背景画像の合成処理の依頼を受け付けると、原画像から人物画像を抽出し、この人物画像と予め選択された背景画像との合成処理を行い、更に人物領域と背景領域との境界線のうちの人物の輪郭として確信度の低い境界線部分を修正処理する。そして、このようにして作成した背景画像が合成された画像を、メールに添付して利用者のカメラ付き携帯電話３０やＰＣ５０に配信し、又は画像ダウンロード用ＵＲＬを添付したメールを配信する。
【００４２】
また、サービスサーバ６０は、利用者から合成画像のプリント注文を受け付けた場合には、上記合成画像をプリントサーバ７０に転送する。プリントサーバ７０は、サーバコンピュータ７２と、プリント装置７４とを備えており、サービスサーバ６０から受信した合成画像に基づいてプリント装置７４により背景が合成された合成画像をプリント出力する。尚、プリント出力された写真プリントは、利用者が指定したコンビニエンス・ストアや写真店などの受取先に配送されたり、直接利用者の自宅に配送される。
【００４３】
【発明の効果】
以上説明したように本発明によれば、原画像から抽出した人物画像と適宜の背景画像とを合成する際に、原画像が複雑な背景画像を含んでいて原画像から人物画像の抽出が正確に行われない場合（即ち、原画像から検出される人物と背景との境界線が人物の正規の輪郭と一致しない場合）でも、その境界線としての確信度の低い境界線部分に関しては、その境界線部分を隠す画像処理を行うようにしたため、自然な合成画像を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る人物画像処理装置の要部を示す機能ブロック図
【図２】本発明に係る人物画像処理方法の実施の形態を説明するために用いた図
【図３】原画像の人物領域と背景領域との境界線のうちの人物の輪郭として確信度の高い境界線部分と確信度の低い境界線部分とを示す図
【図４】本発明に係る人物画像処理方法における修正処理の他の実施の形態を示す図
【図５】本発明に係る人物画像処理方法が適用されたネットワークシステムの構成図
【符号の説明】
１０…人物画像処理装置、１２…画像データ入力部、１４…人物領域抽出部、１６…合成処理部、１８…背景画像記憶部、２０…修正処理部、２２…修正画像記憶部、２４…画像データ出力部、３０…カメラ付き携帯電話、４０…ネットワーク、５０…パーソナルコンピュータ、５２…デジタルカメラ、６０…サービスサーバ、７０…プリントサーバ
Claims (6)
- 人物と背景とを含む原画像から人物画像を抽出する工程と、前記抽出した人物画像と予め準備された背景画像とを合成して合成画像を作成する工程と、
前記原画像から人物と背景との境界線を検出する工程と、
前記検出した境界線が人物の正規の輪郭か否かを前記境界線の各部分ごとに判断する工程と、
前記作成した合成画像における人物と背景との境界線に対し、前記人物の正規の輪郭でないと判断された境界線部分を隠すための修正処理を行う工程と、
を含むことを特徴とする人物画像処理方法。 - 前記修正処理は、前記人物の正規の輪郭でないと判断された境界線部分に他の画像を上書きする画像処理である請求項１の人物画像処理方法。
- 前記修正処理は、前記人物の正規の輪郭でないと判断された境界線部分が合成画像の枠外となるように前記人物画像をシフトする画像処理である請求項１又は２の人物画像処理方法。
- 人物と背景とを含む原画像から人物画像を抽出する人物画像抽出手段と、
人物画像の背景となる背景画像を記憶する背景画像記録手段と、
前記抽出した人物画像と前記背景画像記録手段から読み出した背景画像とを合成して合成画像を作成する画像合成手段と、
前記原画像から人物と背景との境界線を検出する境界線検出手段と、
前記検出した境界線が人物の正規の輪郭か否かを前記境界線の各部分ごとに判断する判断手段と、
前記作成した合成画像における人物と背景との境界線に対し、前記人物の正規の輪郭でないと判断された境界線部分を隠すための修正処理を行う画像修正手段と、
を備えたことを特徴とする人物画像処理装置。 - 前記画像修正手段は、前記人物の正規の輪郭でないと判断された境界線部分に他の画像を上書きする画像処理である請求項４の人物画像処理装置。
- 前記画像修正手段は、前記人物の正規の輪郭でないと判断された境界線部分が合成画像の枠外となるように前記人物画像をシフトする画像処理である請求項４又は５の人物画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003035949A JP4055126B2 (ja) | 2003-02-14 | 2003-02-14 | 人物画像処理方法及び装置 |
| US10/776,534 US20040161163A1 (en) | 2003-02-14 | 2004-02-12 | Portrait image processing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003035949A JP4055126B2 (ja) | 2003-02-14 | 2003-02-14 | 人物画像処理方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004246635A JP2004246635A (ja) | 2004-09-02 |
| JP4055126B2 true JP4055126B2 (ja) | 2008-03-05 |
Family
ID=32844412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003035949A Expired - Fee Related JP4055126B2 (ja) | 2003-02-14 | 2003-02-14 | 人物画像処理方法及び装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20040161163A1 (ja) |
| JP (1) | JP4055126B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060197851A1 (en) * | 2005-03-07 | 2006-09-07 | Paul Vlahos | Positioning a subject with respect to a background scene in a digital camera |
| US7936484B2 (en) | 2006-06-14 | 2011-05-03 | Ronald Gabriel Roncal | Internet-based synchronized imaging |
| JP4934843B2 (ja) * | 2006-11-29 | 2012-05-23 | 株式会社リコー | 情報処理装置、画像登録方法、およびプログラム |
| JP4289415B2 (ja) * | 2007-03-27 | 2009-07-01 | セイコーエプソン株式会社 | 画像変形のための画像処理 |
| US20090131103A1 (en) * | 2007-11-15 | 2009-05-21 | Sony Ericsson Mobile Communications Ab | Method and System for Producing Digital Souvenirs |
| JP2010183317A (ja) | 2009-02-05 | 2010-08-19 | Olympus Imaging Corp | 撮像装置、画像合成表示装置、画像合成表示方法、およびプログラム |
| US20130113814A1 (en) * | 2011-11-04 | 2013-05-09 | KLEA, Inc. | Matching Based on a Created Image |
| JP6709507B2 (ja) * | 2016-11-29 | 2020-06-17 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置および画像形成装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5577179A (en) * | 1992-02-25 | 1996-11-19 | Imageware Software, Inc. | Image editing system |
| US5345313A (en) * | 1992-02-25 | 1994-09-06 | Imageware Software, Inc | Image editing system for taking a background and inserting part of an image therein |
| US5630037A (en) * | 1994-05-18 | 1997-05-13 | Schindler Imaging, Inc. | Method and apparatus for extracting and treating digital images for seamless compositing |
| JP3490559B2 (ja) * | 1995-11-14 | 2004-01-26 | 富士写真フイルム株式会社 | 画像の主要部判定方法及び複写条件決定方法 |
| US5914748A (en) * | 1996-08-30 | 1999-06-22 | Eastman Kodak Company | Method and apparatus for generating a composite image using the difference of two images |
| US6618444B1 (en) * | 1997-02-14 | 2003-09-09 | At&T Corp. | Scene description nodes to support improved chroma-key shape representation of coded arbitrary images and video objects |
| US7003061B2 (en) * | 2000-12-21 | 2006-02-21 | Adobe Systems Incorporated | Image extraction from complex scenes in digital video |
| KR100516638B1 (ko) * | 2001-09-26 | 2005-09-22 | 엘지전자 주식회사 | 화상 통신 시스템 |
| US7324246B2 (en) * | 2001-09-27 | 2008-01-29 | Fujifilm Corporation | Apparatus and method for image processing |
-
2003
- 2003-02-14 JP JP2003035949A patent/JP4055126B2/ja not_active Expired - Fee Related
-
2004
- 2004-02-12 US US10/776,534 patent/US20040161163A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20040161163A1 (en) | 2004-08-19 |
| JP2004246635A (ja) | 2004-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7840087B2 (en) | Image processing apparatus and method therefor | |
| JP5880182B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
| JP4277534B2 (ja) | 画像編集装置および画像編集方法 | |
| KR100572227B1 (ko) | 얼굴화상 보정방법, 장치 및 얼굴화상 보정 프로그램이 기록된 기록매체 | |
| US7773782B2 (en) | Image output apparatus, image output method and image output program | |
| JP4795718B2 (ja) | 画像処理装置および方法並びにプログラム | |
| JP2004062651A (ja) | 画像処理装置、画像処理方法、その記録媒体およびそのプログラム | |
| US20050129326A1 (en) | Image processing apparatus and print system | |
| JP2006350498A (ja) | 画像処理装置および方法並びにプログラム | |
| JP2005086516A (ja) | 撮像装置、印刷装置、画像処理装置およびプログラム | |
| JP5527789B2 (ja) | 撮影装置、撮影装置付き携帯端末、人物撮影画像処理方法、人物撮影画像処理プログラムおよび記録媒体 | |
| JP4183536B2 (ja) | 人物画像処理方法及び装置並びにシステム | |
| JP4055126B2 (ja) | 人物画像処理方法及び装置 | |
| US20070274592A1 (en) | Method of generating image provided with face object information, method of correcting color, and apparatus operable to execute the methods | |
| JP2001209802A (ja) | 顔抽出方法および装置並びに記録媒体 | |
| JP2005005960A (ja) | 画像処理装置および画像処理システム並びに画像処理方法 | |
| JP2004246673A (ja) | 顔画像処理装置及びシステム | |
| US7609425B2 (en) | Image data processing apparatus, method, storage medium and program | |
| JP2004288082A (ja) | 似顔絵作成方法および似顔絵作成装置ならびにプログラム | |
| JP4164809B2 (ja) | 画像合成処理方法及び装置並びにプログラム | |
| JP2004104426A (ja) | 撮像装置 | |
| JP2008258830A (ja) | 画像処理装置、撮像装置およびプログラム | |
| JP2003244627A (ja) | 画像処理方法、画像処理プログラム、該画像処理プログラムを記録した記録媒体、画像処理装置及び画像記録装置 | |
| JP4424072B2 (ja) | 写真サービスシステム | |
| JP2004248020A (ja) | 画像処理装置および画像処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050330 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071113 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071129 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121221 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121221 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131221 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |