JP4241763B2 - 人物認識装置及びその方法 - Google Patents
人物認識装置及びその方法 Download PDFInfo
- Publication number
- JP4241763B2 JP4241763B2 JP2006147850A JP2006147850A JP4241763B2 JP 4241763 B2 JP4241763 B2 JP 4241763B2 JP 2006147850 A JP2006147850 A JP 2006147850A JP 2006147850 A JP2006147850 A JP 2006147850A JP 4241763 B2 JP4241763 B2 JP 4241763B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- image
- face image
- face
- fragment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Collating Specific Patterns (AREA)
Description
具体的な実施形態を述べる前に、その概念について説明する。
以下、本発明の第1の実施形態の人物認識装置100について図1と図2に基づいて説明する。本実施形態の人物認識装置100では、図6に示すように、廊下に複数台(例えば、3台)のカメラを設置し、これらカメラで1箇所を監視する。そして、この監視範囲を複数の歩行者(例えば、男性と女性が1人づつ)が通過する場合に、これら歩行者の個人識別を行うものである。そのために、図7の丸数字1に示すように、3台のカメラにおいて顔画像を人物毎にカメラ内で対応付けし断片動画像をそれぞれ生成する。次に、図7の丸数字2に示すように、カメラ間で断片動画像を対応付ける。最後に、図7の丸数字3に示すように、個人識別を行う。
図1は、人物認識装置100の構成を示す。
図2は、人物認識装置100の処理のフローチャートを示す。
顔画像獲得部101は、カメラ(例えば、ビデオカメラ)から出力された時系列の画像から顔領域を検出し、正規化した時系列の顔画像xを生成する(図2のステップ201)。なお、顔画像獲得部101はカメラの個数だけ存在する。
顔画像対応付け部102は、顔画像獲得部101から出力された現時刻の顔画像xを、現時刻までに蓄積されたカメラ内の断片動画像と対応付け、新たな断片動画像を生成する(図2のステップ202)。なお、顔画像対応付け部102はカメラの個数だけ存在する。
断片動画像対応付け部103は、カメラ内の顔画像対応付け部102から出力された断片動画像Xと、現時刻までに蓄積された各カメラの断片動画像をカメラ間で対応付け、統合動画像を生成する(図2のステップ204)。
S´=cos2θ (4)
閾値S2を越え最も高いS´が算出された断片動画像のラベルを返す。また、算出された全てのS´がS2未満の場合は、新たなラベルを返す。
個人識別部104は、カメラ間の断片動画像対応付け部103から出力された統合動画像Xと辞書動画像格納部106に格納されている各人物の辞書動画像(すなわち、辞書画像列)とを、OMSMを用いて比較し、個人識別を行う(図2のステップ206)。
人物認識装置100は、画像間のパターンマッチングに基づく顔認識の方法のみで行う。これは、厳密なカメラキャリブレーションを行い、人物の3次元位置を追跡し対応付けを行う従来方法と比べて、キャリブレーションが必要ないためシステムを導入するための時間や費用を抑えることができる。
以下、本発明の第2の実施形態の人物認識装置300について図3に基づいて説明する。本実施形態は、各カメラにおいて断片動画像を対応付ける処理を第1の実施形態に加えたものである。同一人物であるにも関わらず、顔の見え方の変動に影響され対応付けが失敗し、同一カメラ内で複数の断片動画像が発生する場合がある。そのような発生を防止するために、この断片動画像をカメラ間の対応付けの前にカメラ内で対応付けることにある。
以下、本発明の第3の実施形態の人物認識装置400について図4に基づいて説明する。本実施形態は、性別など人物属性を抽出する処理を第1の実施形態に加えた装置について述べる。この処理の目的は、顔画像を辞書としてシステムに登録していない歩行者が通過した場合に、どのような属性(例えば、性別、年齢)をもつ人物であったかの履歴を残すことにある。
以下、本発明の第4の実施形態の人物認識装置500について図5に基づいて説明する。本実施形態は、歩行者がどのカメラの前を通過したかという歩行者の行動履歴を残す処理を第1の実施形態に加えた装置について述べる。
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
102 カメラ内の顔画像対応付け部
103 カメラ間の断片動画像対応付け部
104 個人識別部
105 辞書動画像格納部
Claims (9)
- 複数台のカメラで、複数の人物を時系列に撮影して、前記各人物の個人識別を行う人物認識装置において、
前記人物毎の時系列の顔画像を前記カメラ毎に獲得する顔画像獲得手段と、
前記カメラ毎に前記複数の人物の顔画像を、人物毎に対応付けした断片画像列に加えるものであって、前記獲得した顔画像と前記断片画像に属する最新の顔画像との間の単純類似度を、前記獲得した顔画像の獲得時間と前記最新の顔画像の獲得時間との差分時間で割った類似度を求め、前記獲得した画像と最も前記類似度が高い前記人物の前記断片画像に加えるカメラ内顔画像対応付け手段と、
前記カメラ毎の断片画像列を前記複数のカメラ間で人物毎に対応付けして、前記人物毎の統合画像列を生成するカメラ間断片画像列対応付け手段と、
個人識別を行うために予め獲得された人物の顔画像に関する辞書画像列を格納する辞書画像列格納手段と、
前記人物毎の統合画像列と前記辞書画像列とを比較して、前記人物を識別する個人識別手段と、
を具備することを特徴とする人物認識装置。 - 前記カメラ間断片画像列対応付け手段は、前記顔画像間のパターンマッチングで前記対応付けをそれぞれ行う
ことを特徴とする請求項1記載の人物認識装置。 - 前記顔画像獲得手段は、前記顔画像における顔の大きさ、顔向き、または、照明条件を正規化して、正規化した顔画像を生成する
ことを特徴とする請求項2記載の人物認識装置。 - 前記顔画像に時間情報が付加され、
前記カメラ間の断片画像列対応付け手段は、この時間情報に基づいて、新たに獲得された断片画像列とこれまで蓄積された断片画像列とを、前記人物毎に対応付けする
ことを特徴とする請求項2記載の人物認識装置。 - 前記カメラ内顔画像対応付け手段は、前記複数の人物の顔画像を人物毎に対応付けて断片画像列を生成した後、さらに、これら生成した人物毎の断片画像列の間で類似度が高い断片画像列を一人の人物の断片画像列として対応付ける
ことを特徴とする請求項1記載の人物認識装置。 - 前記統合画像列を用いて前記人物の属性情報を抽出して記憶する属性判定手段と、
前記属性判定手段に記憶されている属性情報を検索する人物属性探索手段と、
を具備したことを特徴とする請求項1記載の人物認識装置。 - 前記統合画像列を用いて前記人物の行動履歴を抽出して記憶する行動履歴抽出手段と、
前記行動履歴抽出手段に記憶されている行動履歴を検索する行動履歴検索手段と、
を具備したことを特徴とする請求項1記載の人物認識装置。 - 複数台のカメラで、複数の人物を時系列に撮影して、前記各人物の個人識別を行う人物認識方法において、
前記人物毎の時系列の顔画像を前記カメラ毎に獲得する顔画像獲得ステップと、
前記カメラ毎に前記複数の人物の顔画像を、人物毎に対応付けした断片画像列に加えるものであって、前記獲得した顔画像と前記断片画像に属する最新の顔画像との間の単純類似度を、前記獲得した顔画像の獲得時間と前記最新の顔画像の獲得時間との差分時間で割った類似度を求め、前記獲得した画像と最も前記類似度が高い前記人物の前記断片画像に加えるカメラ内顔画像対応付けステップと、
前記カメラ毎の断片画像列を前記複数のカメラ間で人物毎に対応付けして、前記人物毎の統合画像列を生成するカメラ間断片画像列対応付け手段と、
個人識別を行うために予め獲得された人物の顔画像に関する辞書画像列を格納する辞書画像列格納ステップと、
前記人物毎の統合画像列と前記辞書画像列とを比較して、前記人物を識別する個人識別ステップと、
ことを特徴とする人物認識方法。 - 複数台のカメラで、複数の人物を時系列に撮影して、前記各人物の個人識別をコンピュータによって行う人物認識プログラムにおいて、
前記人物毎の時系列の顔画像を前記カメラ毎に獲得する顔画像獲得機能と、
前記カメラ毎に前記複数の人物の顔画像を、人物毎に対応付けした断片画像列に加えるものであって、前記獲得した顔画像と前記断片画像に属する最新の顔画像との間の単純類似度を、前記獲得した顔画像の獲得時間と前記最新の顔画像の獲得時間との差分時間で割った類似度を求め、前記獲得した画像と最も前記類似度が高い前記人物の前記断片画像に加えるカメラ内顔画像対応付け機能と、
個人識別を行うために予め獲得された人物の顔画像に関する辞書画像列を格納する辞書画像列格納機能と、
前記人物毎の統合画像列と前記辞書画像列とを比較して、前記人物を識別する個人識別機能と、
をコンピュータに実現させるための人物認識プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006147850A JP4241763B2 (ja) | 2006-05-29 | 2006-05-29 | 人物認識装置及びその方法 |
US11/754,030 US8116534B2 (en) | 2006-05-29 | 2007-05-25 | Face recognition apparatus and face recognition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006147850A JP4241763B2 (ja) | 2006-05-29 | 2006-05-29 | 人物認識装置及びその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007317062A JP2007317062A (ja) | 2007-12-06 |
JP4241763B2 true JP4241763B2 (ja) | 2009-03-18 |
Family
ID=38850848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006147850A Active JP4241763B2 (ja) | 2006-05-29 | 2006-05-29 | 人物認識装置及びその方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8116534B2 (ja) |
JP (1) | JP4241763B2 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8131022B2 (en) * | 2004-08-31 | 2012-03-06 | Panasonic Corporation | Surveillance recorder and its method |
US8452058B2 (en) * | 2008-03-04 | 2013-05-28 | International Business Machines Corporation | Method and apparatus for repeatable facial distortion |
JP2009245338A (ja) * | 2008-03-31 | 2009-10-22 | Secom Co Ltd | 顔画像照合装置 |
KR100958379B1 (ko) * | 2008-07-09 | 2010-05-17 | (주)지아트 | 복수 객체 추적 방법과 장치 및 저장매체 |
CN101639891B (zh) * | 2008-07-28 | 2012-05-02 | 汉王科技股份有限公司 | 一种双摄像头人脸识别装置和方法 |
JP2010231350A (ja) * | 2009-03-26 | 2010-10-14 | Toshiba Corp | 人物識別装置、そのプログラム、及び、その方法 |
JP5614014B2 (ja) | 2009-09-04 | 2014-10-29 | ソニー株式会社 | 情報処理装置、表示制御方法及び表示制御プログラム |
JP5917017B2 (ja) * | 2011-05-11 | 2016-05-11 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びにプログラム |
US11914674B2 (en) | 2011-09-24 | 2024-02-27 | Z Advanced Computing, Inc. | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
US11195057B2 (en) | 2014-03-18 | 2021-12-07 | Z Advanced Computing, Inc. | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
US9916538B2 (en) | 2012-09-15 | 2018-03-13 | Z Advanced Computing, Inc. | Method and system for feature detection |
US8873813B2 (en) | 2012-09-17 | 2014-10-28 | Z Advanced Computing, Inc. | Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities |
US11074495B2 (en) | 2013-02-28 | 2021-07-27 | Z Advanced Computing, Inc. (Zac) | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
US9678713B2 (en) | 2012-10-09 | 2017-06-13 | At&T Intellectual Property I, L.P. | Method and apparatus for processing commands directed to a media center |
US9589326B2 (en) * | 2012-11-29 | 2017-03-07 | Korea Institute Of Science And Technology | Depth image processing apparatus and method based on camera pose conversion |
JP6273685B2 (ja) * | 2013-03-27 | 2018-02-07 | パナソニックIpマネジメント株式会社 | 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法 |
CN103325251B (zh) * | 2013-05-30 | 2016-02-03 | 安科智慧城市技术(中国)有限公司 | 一种基于行人闯红灯的图像快速识别方法及其*** |
JP6481249B2 (ja) * | 2013-07-29 | 2019-03-13 | オムロン株式会社 | プログラマブル表示器、制御方法、およびプログラム |
JP6295534B2 (ja) * | 2013-07-29 | 2018-03-20 | オムロン株式会社 | プログラマブル表示器、制御方法、およびプログラム |
JP6448223B2 (ja) | 2014-06-12 | 2019-01-09 | キヤノン株式会社 | 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム |
CN104166694B (zh) * | 2014-07-31 | 2018-12-14 | 联想(北京)有限公司 | 一种图像分类存储方法和电子设备 |
US10043058B2 (en) * | 2016-03-09 | 2018-08-07 | International Business Machines Corporation | Face detection, representation, and recognition |
US10325351B2 (en) * | 2016-03-11 | 2019-06-18 | Qualcomm Technologies, Inc. | Systems and methods for normalizing an image |
US10497014B2 (en) * | 2016-04-22 | 2019-12-03 | Inreality Limited | Retail store digital shelf for recommending products utilizing facial recognition in a peer to peer network |
FR3060170B1 (fr) * | 2016-12-14 | 2019-05-24 | Smart Me Up | Systeme de reconnaissance d'objets base sur un modele generique 3d adaptatif |
US10297059B2 (en) | 2016-12-21 | 2019-05-21 | Motorola Solutions, Inc. | Method and image processor for sending a combined image to human versus machine consumers |
US10891502B1 (en) * | 2017-01-19 | 2021-01-12 | State Farm Mutual Automobile Insurance Company | Apparatuses, systems and methods for alleviating driver distractions |
US10924670B2 (en) | 2017-04-14 | 2021-02-16 | Yang Liu | System and apparatus for co-registration and correlation between multi-modal imagery and method for same |
CN107729815B (zh) * | 2017-09-15 | 2020-01-14 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
JP6921694B2 (ja) * | 2017-09-21 | 2021-08-18 | 株式会社東芝 | 監視システム |
JP6764012B1 (ja) * | 2019-11-19 | 2020-09-30 | 株式会社ARISE analytics | 画像処理装置、画像処理方法、及びプログラム |
JP7157784B2 (ja) * | 2020-09-10 | 2022-10-20 | 株式会社ARISE analytics | 画像処理装置、画像処理方法、及びプログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000259814A (ja) | 1999-03-11 | 2000-09-22 | Toshiba Corp | 画像処理装置及びその方法 |
JP3578321B2 (ja) | 1999-03-16 | 2004-10-20 | 日本ビクター株式会社 | 画像正規化装置 |
JP2003204541A (ja) | 2001-12-28 | 2003-07-18 | Nippon Signal Co Ltd:The | 映像処理方法及び映像処理装置 |
JP2003242486A (ja) | 2002-02-21 | 2003-08-29 | Japan Science & Technology Corp | 人物属性推定装置 |
JP2004094518A (ja) | 2002-08-30 | 2004-03-25 | Oki Electric Ind Co Ltd | 人物追跡装置、人物追跡方法及びプログラム |
JP3954484B2 (ja) | 2002-12-12 | 2007-08-08 | 株式会社東芝 | 画像処理装置およびプログラム |
JP3998628B2 (ja) | 2003-11-05 | 2007-10-31 | 株式会社東芝 | パターン認識装置及びその方法 |
EP1566788A3 (en) * | 2004-01-23 | 2017-11-22 | Sony United Kingdom Limited | Display |
JP2005227957A (ja) | 2004-02-12 | 2005-08-25 | Mitsubishi Electric Corp | 最適顔画像記録装置及び最適顔画像記録方法 |
US7697026B2 (en) * | 2004-03-16 | 2010-04-13 | 3Vr Security, Inc. | Pipeline architecture for analyzing multiple video streams |
JP4343125B2 (ja) | 2005-02-10 | 2009-10-14 | 株式会社東芝 | パターン認識装置及びその方法 |
JP4653606B2 (ja) | 2005-05-23 | 2011-03-16 | 株式会社東芝 | 画像認識装置、方法およびプログラム |
JP4459137B2 (ja) | 2005-09-07 | 2010-04-28 | 株式会社東芝 | 画像処理装置及びその方法 |
-
2006
- 2006-05-29 JP JP2006147850A patent/JP4241763B2/ja active Active
-
2007
- 2007-05-25 US US11/754,030 patent/US8116534B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20070297652A1 (en) | 2007-12-27 |
JP2007317062A (ja) | 2007-12-06 |
US8116534B2 (en) | 2012-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4241763B2 (ja) | 人物認識装置及びその方法 | |
JP6013241B2 (ja) | 人物認識装置、及び方法 | |
US7693310B2 (en) | Moving object recognition apparatus for tracking a moving object based on photographed image | |
JP5642410B2 (ja) | 顔認識装置及び顔認識方法 | |
Kamgar-Parsi et al. | Toward development of a face recognition system for watchlist surveillance | |
JP6494253B2 (ja) | 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム | |
JP6268960B2 (ja) | 画像認識装置及び画像認識装置に対するデータ登録方法 | |
JP5801601B2 (ja) | 画像認識装置、画像認識装置の制御方法、およびプログラム | |
JP5959093B2 (ja) | 人物検索システム | |
JP6548998B2 (ja) | 人物検索システムおよび人物検索方法 | |
JP2006293644A (ja) | 情報処理装置、情報処理方法 | |
JP2000306095A (ja) | 画像照合・検索システム | |
WO2020195732A1 (ja) | 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体 | |
KR20170077366A (ko) | 얼굴 인식 시스템 및 방법 | |
JP2014016968A (ja) | 人物検索装置及びデータ収集装置 | |
JPWO2020079741A1 (ja) | 虹彩認証装置、虹彩認証方法、虹彩認証プログラムおよび記録媒体 | |
Shahar et al. | Face identity for face mask recognition system | |
JP2007300185A (ja) | 画像監視装置 | |
JP2008009689A (ja) | 顔登録装置、顔認証装置および顔登録方法 | |
Nahar et al. | Twins and Similar Faces Recognition Using Geometric and Photometric Features with Transfer Learning | |
JP2013218605A (ja) | 画像認識装置、画像認識方法及びプログラム | |
JP4577771B2 (ja) | 顔画像認識装置 | |
Alotaibi et al. | Automatic real time gait recognition based on spatiotemporal templates | |
Vivekanandam et al. | A credible way of face recognition and classification system in video scrutiny | |
CN112183202B (zh) | 一种基于牙齿结构特征的身份认证方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080326 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080901 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080916 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081216 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081222 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4241763 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140109 Year of fee payment: 5 |