JP5404290B2 - 情報処理装置及び情報処理方法 - Google Patents
情報処理装置及び情報処理方法 Download PDFInfo
- Publication number
- JP5404290B2 JP5404290B2 JP2009232494A JP2009232494A JP5404290B2 JP 5404290 B2 JP5404290 B2 JP 5404290B2 JP 2009232494 A JP2009232494 A JP 2009232494A JP 2009232494 A JP2009232494 A JP 2009232494A JP 5404290 B2 JP5404290 B2 JP 5404290B2
- Authority
- JP
- Japan
- Prior art keywords
- metadata
- search
- content
- photo
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 17
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000009825 accumulation Methods 0.000 claims 2
- 238000007726 management method Methods 0.000 description 67
- 238000000034 method Methods 0.000 description 40
- 238000004891 communication Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000013523 data management Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 241000254173 Coleoptera Species 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2264—Multidimensional index structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3347—Query execution using vector based model
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Library & Information Science (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Description
また特許文献2では、メタデータを付与したい写真をクエリとして類似画像検索を行い、検索結果の画像が似ているとユーザが判断した場合に検索結果と同じメタデータを付与する方法が提案されている。
本発明は前述の問題点に鑑み、メタデータが付与されている写真との画像特徴量的な類似度を利用して写真にメタデータを付与する際に、画像を代表する適切なメタデータを付与できるようにすることを目的とする。
以下、図面を参照しながら本発明の第1の実施形態を説明する。
図1(a)は、本発明を実施する写真管理システムの全体構成を説明する図である。図1(a)にて、101はユーザ端末で、PCや携帯機器などが用いられる。ユーザ端末101は、ユーザが撮影した写真データをコンテンツとして保存するための記憶装置を有する。また、保存した写真を管理するための写真管理アプリケーションが実行可能にインストールされている。
表示部111は、写真や各種ユーザインタフェースの表示を制御する。操作制御部112は、ユーザからの操作に応じた制御を行い、各機能を呼び出す。メタデータ管理部113は、写真に付与されるメタデータを管理し、記憶装置管理部115を介してメタデータの保管と読み出しを行う。
始めに、ユーザ端末101上の写真管理アプリケーションに対し、写真サーバ103を利用した写真へのメタデータ付与を指示する操作がユーザにより行われたか否かを判定する(S501)。この判定の結果、指示が行われた場合にはS502に進み、操作制御部112はメタデータを付与する写真データの入力を要求する。指示が行われない場合には、指示が行われるまで待機状態となる。
以上が、ユーザ端末101におけるメタデータ付与処理の手順である。
まず、S601において、通信部208が写真管理アプリケーションからの接続要求を受信したか判定する。受信していない場合には、受信するまで待機する。S601において、接続要求を受信すると、次に、通信部208が写真管理アプリケーションからメタデータ付与コマンドを受信したか判定する。この判定の結果、受信した場合にはS603に進み、受信していない場合には、受信するまで待機する(S602)。
R/(M+N−R)> r・・・式(1)
を満たす場合に、メタデータ検索と類似画像検索の検索結果は「近い」と判定する。
引き続いて、第2の実施形態の説明を行う。
前述した第1の実施形態においては、メタデータを付与するための機能ならびに装置は写真サーバ103が保持するとした。本実施形態においては、ユーザ端末101上の写真管理アプリケーションがこの機能を有する。
図8において、符号111〜116の各モジュールは図1(b)に示すモジュールと同じなので説明は省略する。
検索呼び出し部807は、写真サーバ103上の検索機能を、通信部116を介して実行する。検索結果比較部808は、写真サーバ103上の検索結果比較部205と同等の機能モジュールである。
まず、ユーザが写真管理アプリケーションにメタデータを付与する写真データを指定し、写真管理アプリケーションが写真データを記憶装置から読み込む処理(S901〜S905)は、第1の実施形態のS501〜S505と同等なのでここでの説明は省略する。
以上が第2の実施形態におけるメタデータ付与手順の説明である。
前述した実施形態では、第1の検索を類似画像検索とし、また第2の検索をメタデータ検索としたが、本発明を実施可能な形態はこれに限定されるものではない。例えば、第1の検索をGPSデータを用いたメタデータ検索としてもよい。その場合、第1の検索のための検索クエリはGPSデータの値に対する範囲条件などを用いることが可能であり、そのクエリ生成手段を含む実施形態も本発明に含まれる。さらには、第1の検索を行うメタデータ検索と、第2の検索を行うメタデータ検索とは共通の手段であってもよい。
前述した実施形態では、メタデータを付与する写真をユーザが1枚選択する場合を説明したが、本発明を実施可能な形態はこれに限定されるものではない。複数枚の写真を一括で選択する方法や、あるいは写真データの保存されているフォルダを指定し、フォルダ内の写真に一括でメタデータを付与する方法を用いることもできる。
前述した実施形態では、メタデータ値を付与する処理の最初で類似画像検索を行うとしていたが、類似画像検索を行う前に、他の検索手段を用いて写真データを予め絞り込んでおくようにしても本発明は実施可能である。例えば、メタデータを付与する写真がGPSデータ付きの写真であり、さらに写真サーバに蓄積されている写真にもGPSデータが付いている場合、初めにGPSデータで絞り込みを行った上で類似画像検索を行うとしてもよい。
前述した実施形態では、付与するメタデータ値をシステムが1つに決定するとしたが、システムは複数のメタデータ値の候補リストを作成するとしてもよい。さらには、候補リストをユーザに提示し、ユーザが付与するメタデータを選択する方法や、メタデータ値に優先順位や信頼度をつけて複数のメタデータ値を付与するとしてもよい。その場合、例えば類似画像検索とメタデータ検索の結果集合の「近さ」に応じて、メタデータ値の順位や信頼度を算出することが可能である。
前述した実施形態では、検索の結果集合間の「近さ」を判定するのにデータIDの重複率を用いたが、本実施形態では別の指標に基づいて「近さ」を判定する。
図10(a)は、M個の画像特徴量とN個のメタデータ値が張る(M+N)次元パラメタ空間内で、類似画像検索の結果集合G1の分布の重心R1へのベクトルr1と、メタデータ検索の結果集合G2の分布の重心R2へのベクトルr2を求める。そして、重心間の距離Lを、以下の式(2)
L=|r1−r2|・・・式(2)
が所定の閾値よりも小さかった場合にG1とG2は「近い」と判定するものである。
なお、上記以外の任意の方法を用いて検索の結果集合間の「近さ」を判定する実施形態も本発明の範疇に含まれる。
前述した実施形態では、ユーザ端末と写真サーバとが、それぞれの側でメタデータを付与する方法と構成について説明したが、本発明を実施可能な方法及び構成はこれに限定されるものではない。例えば、写真サーバにアップロードされた写真データに対してメタデータを付与する形態によっても本発明は実施可能である。
前述した実施形態は写真管理システムに関するものであったが、本発明を実施可能な形態はこれに限定されるものではない。
本実施形態は、被写体の名称を調べる写真図鑑システムとしても実施する場合である。本システムにおいてユーザは、例えば旅行先で撮影した名前の分らない動物や植物の名前を調べる。ユーザが写真を指定すると、本実施形態の写真図鑑システムは、指定された写真をクエリ画像として、前述の実施形態と同様に類似画像検索とメタデータ検索とを行い、両者の検索の結果集合が近くなるメタデータ値を名称(の候補)として提示する。
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア(コンピュータプログラム)を、ネットワーク又は各種のコンピュータ読み取り可能な記録媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (9)
- コンテンツにメタデータを付与する情報処理装置であって、
メタデータが付与されているコンテンツを記憶装置に蓄積する蓄積手段と、
メタデータを付与する対象コンテンツから、第1のメタデータのメタデータ値を取得する第1の取得手段と、
前記第1の取得手段により取得した第1のメタデータ値を検索条件として、前記記憶装置に蓄積しているコンテンツから第1のメタデータで第1の検索を行う第1の検索手段と、
前記第1の検索の結果集合に含まれる1または複数のコンテンツから、第1のメタデータとは異なる種類の第2のメタデータのメタデータ値を取得する第2の取得手段と、
前記第2の取得手段により取得した第2のメタデータ値を検索条件として、前記記憶装置に蓄積しているコンテンツから第2のメタデータで第2の検索を行う第2の検索手段と、
前記第1の検索の結果集合と、前記第2の検索の結果集合との間の重複度が所定の閾値を満たした場合、前記第2のメタデータ値を、前記メタデータを付与する対象のコンテンツのメタデータとして付与する付与手段と、
を備えることを特徴とする情報処理装置。 - 前記第1のメタデータが画像特徴量であり、
前記第1の検索を行う第1の検索手段は類似画像検索を行うことを特徴とする請求項1に記載の情報処理装置。 - 第1の検索手段が、類似画像検索を行い、
前記第2の検索手段は、前記類似画像検索の適合度が高いコンテンツに付与されているメタデータ値を用いて第2の検索を行うことを特徴とする請求項2に記載の情報処理装置。 - 前記第2のメタデータ値の出現回数を集計する集計手段を更に備え、
前記第2の検索手段は、前記出現回数を集計する集計手段において集計した出現回数が高いものを用いて第2の検索を行うことを特徴とする請求項1に記載の情報処理装置。 - 前記付与手段は、前記検索の結果集合の間の重複度に基づく情報を前記第2のメタデータ値に付与するとともに、複数のメタデータ値を第2のメタデータに付与することを特徴とする請求項1に記載の情報処理装置。
- 前記検索の結果集合の間の重複度に基づく情報は、メタデータ値の信頼度であることを特徴とする請求項5に記載の情報処理装置。
- 前記第1の検索の結果集合の中から、前記第2のメタデータ値の取得対象または取得除外対象とするコンテンツを指定する指定手段を更に備えることを特徴とする請求項1に記載の情報処理装置。
- コンテンツにメタデータを付与する情報処理方法であって、
メタデータが付与されているコンテンツを記憶装置に蓄積する蓄積工程と、
メタデータを付与する対象コンテンツから、第1のメタデータのメタデータ値を取得する第1の取得工程と、
前記第1の取得工程において取得した第1のメタデータ値を検索条件として、前記記憶装置に蓄積しているコンテンツから第1のメタデータで第1の検索を行う第1の検索工程と、
前記第1の検索の結果集合に含まれる1または複数のコンテンツから、第1のメタデータとは異なる種類の第2のメタデータのメタデータ値を取得する第2の取得工程と、
前記第2の取得工程において取得した第2のメタデータ値を検索条件として、前記記憶装置に蓄積しているコンテンツから第2のメタデータで第2の検索を行う第2の検索工程と、
前記第1の検索の結果集合と、前記第2の検索の結果集合との間の重複度が所定の閾値を満たした場合、前記第2のメタデータ値を、前記メタデータを付与する対象のコンテンツのメタデータとして付与する付与工程と、
を備えることを特徴とする情報処理方法。 - コンテンツにメタデータを付与する情報処理方法の各工程をコンピュータに実行させるプログラムであって、
メタデータが付与されているコンテンツを記憶装置に蓄積する蓄積工程と、
メタデータを付与する対象コンテンツから、第1のメタデータのメタデータ値を取得する第1の取得工程と、
前記第1の取得工程において取得した第1のメタデータ値を検索条件として、前記記憶装置に蓄積しているコンテンツから第1のメタデータで第1の検索を行う第1の検索工程と、
前記第1の検索の結果集合に含まれる1または複数のコンテンツから、第1のメタデータとは異なる種類の第2のメタデータのメタデータ値を取得する第2の取得工程と、
前記第2の取得工程において取得した第2のメタデータ値を検索条件として、前記記憶装置に蓄積しているコンテンツから第2のメタデータで第2の検索を行う第2の検索工程と、
前記第1の検索の結果集合と、前記第2の検索の結果集合との間の重複度が所定の閾値を満たした場合、前記第2のメタデータ値を、前記メタデータを付与する対象のコンテンツのメタデータとして付与する付与工程と、
をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009232494A JP5404290B2 (ja) | 2009-10-06 | 2009-10-06 | 情報処理装置及び情報処理方法 |
US12/896,638 US9189499B2 (en) | 2009-10-06 | 2010-10-01 | Information processing apparatus and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009232494A JP5404290B2 (ja) | 2009-10-06 | 2009-10-06 | 情報処理装置及び情報処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011081549A JP2011081549A (ja) | 2011-04-21 |
JP2011081549A5 JP2011081549A5 (ja) | 2012-10-25 |
JP5404290B2 true JP5404290B2 (ja) | 2014-01-29 |
Family
ID=43824004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009232494A Expired - Fee Related JP5404290B2 (ja) | 2009-10-06 | 2009-10-06 | 情報処理装置及び情報処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9189499B2 (ja) |
JP (1) | JP5404290B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5418565B2 (ja) * | 2011-09-30 | 2014-02-19 | カシオ計算機株式会社 | 画像表示システム、画像表示装置、サーバ、画像表示方法及びプログラム |
US9081798B1 (en) * | 2012-03-26 | 2015-07-14 | Amazon Technologies, Inc. | Cloud-based photo management |
JP5416253B2 (ja) * | 2012-06-27 | 2014-02-12 | 株式会社Nttドコモ | 関連コンテンツ検索装置及び関連コンテンツ検索方法 |
JP5931804B2 (ja) * | 2013-06-18 | 2016-06-08 | 日本電信電話株式会社 | Gui部品メタ情報付与装置およびその方法、並びに操作ログ自動生成装置 |
US9600720B1 (en) * | 2014-03-18 | 2017-03-21 | Amazon Technologies, Inc. | Using available data to assist in object recognition |
JP6208105B2 (ja) * | 2014-09-18 | 2017-10-04 | 株式会社東芝 | タグ付与装置、方法、及びプログラム |
KR102436018B1 (ko) * | 2018-01-23 | 2022-08-24 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
JP2020194472A (ja) * | 2019-05-30 | 2020-12-03 | オリンパス株式会社 | サーバ、表示方法、作成方法、およびプログラム |
JP7418237B2 (ja) * | 2020-02-20 | 2024-01-19 | 帝人ファーマ株式会社 | 患者情報管理プログラム、観察者端末用プログラム、患者情報管理装置、観察者端末、及び患者情報管理システム |
KR20240071156A (ko) * | 2022-11-15 | 2024-05-22 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11134344A (ja) | 1997-10-27 | 1999-05-21 | Nippon Telegr & Teleph Corp <Ntt> | 画像分類蓄積方法および装置並びに画像検索方法および装置 |
JP2002024265A (ja) | 2000-07-03 | 2002-01-25 | Burittsua:Kk | 情報検索装置およびその方法、並びに該方法に係るプログラムを記憶した記憶媒体 |
JP2007094552A (ja) * | 2005-09-27 | 2007-04-12 | Nippon Telegr & Teleph Corp <Ntt> | コミュニティ抽出装置、コミュニティ抽出方法、プログラム、及び記録媒体 |
JP2008191936A (ja) * | 2007-02-05 | 2008-08-21 | Fujifilm Corp | コンテンツ登録・検索システムの構築支援方法、およびコンテンツ登録・検索システムの構築支援装置 |
US8145677B2 (en) * | 2007-03-27 | 2012-03-27 | Faleh Jassem Al-Shameri | Automated generation of metadata for mining image and text data |
JP4987629B2 (ja) * | 2007-08-28 | 2012-07-25 | 株式会社東芝 | 映像検索システム及び映像検索装置 |
JP2009128946A (ja) * | 2007-11-19 | 2009-06-11 | Canon Inc | メタデータ付与装置及び方法 |
JP2009211554A (ja) * | 2008-03-05 | 2009-09-17 | Canon Inc | 画像処理装置、画像処理方法、コンピュータプログラム、および記憶媒体 |
-
2009
- 2009-10-06 JP JP2009232494A patent/JP5404290B2/ja not_active Expired - Fee Related
-
2010
- 2010-10-01 US US12/896,638 patent/US9189499B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20110082886A1 (en) | 2011-04-07 |
US9189499B2 (en) | 2015-11-17 |
JP2011081549A (ja) | 2011-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5404290B2 (ja) | 情報処理装置及び情報処理方法 | |
KR102149017B1 (ko) | 가이드형 사용자 동작들을 위한 시스템들 및 방법들 | |
US8655889B2 (en) | Autonomous mobile blogging | |
US8612428B2 (en) | Image ranking based on popularity of associated metadata | |
JP4457988B2 (ja) | 画像管理装置、画像管理方法およびコンピュータプログラム | |
TWI649664B (zh) | Terminal device, server device, and program for recording an operation by an image | |
US20130250131A1 (en) | Image evaluating device, image evaluating method, image evaluating system, and program | |
JP2014109864A (ja) | 情報処理装置、情報処理システム、その制御方法、及びプログラム | |
KR20130105550A (ko) | 네트워크 시스템, 회원제 소셜 네트워크 서비스 시스템 및 화상 표시 방법 | |
JP2020140557A (ja) | 画像処理装置、制御方法、及びプログラム | |
JP5863375B2 (ja) | 情報処理システム、画像処理システム、情報処理方法、およびプログラム | |
JP2016095787A (ja) | 情報処理装置、情報処理システム、情報処理方法および情報処理プログラム | |
JP2012073956A (ja) | 情報処理装置、情報処理装置の制御方法及び制御プログラム | |
JP2020140555A (ja) | 画像処理装置、制御方法、及びプログラム | |
JP5262308B2 (ja) | 評価装置、評価方法、評価プログラムおよび評価システム | |
KR102523006B1 (ko) | 컨텐츠 목록 제공 방법, 장치 및 컴퓨터 프로그램 | |
JP5900204B2 (ja) | 文書処理装置及びプログラム | |
JP2016085522A (ja) | 情報管理装置 | |
JP5523122B2 (ja) | 画像管理装置、方法及びプログラム | |
JP5716354B2 (ja) | 情報処理装置及びプログラム | |
JP6069261B2 (ja) | 端末装置、電子マガジン作成装置、サーバ装置、電子マガジン作成システム、電子マガジン作成方法およびコンピュータプログラム | |
JP5708868B1 (ja) | プログラム、情報処理装置及び方法 | |
JP2016224640A (ja) | 動物探索システム、動物探索サーバ、および動物探索プログラム | |
JP2004139210A (ja) | 画像検索装置 | |
JP2017054523A (ja) | 情報処理装置、情報処理システム、その制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120906 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120906 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130813 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130906 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131029 |
|
LAPS | Cancellation because of no payment of annual fees |