JP6208898B2 - 画像特徴式認識のためのシステムおよび方法 - Google Patents
画像特徴式認識のためのシステムおよび方法 Download PDFInfo
- Publication number
- JP6208898B2 JP6208898B2 JP2016561703A JP2016561703A JP6208898B2 JP 6208898 B2 JP6208898 B2 JP 6208898B2 JP 2016561703 A JP2016561703 A JP 2016561703A JP 2016561703 A JP2016561703 A JP 2016561703A JP 6208898 B2 JP6208898 B2 JP 6208898B2
- Authority
- JP
- Japan
- Prior art keywords
- query
- image
- image feature
- reference image
- feature descriptors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 129
- 230000006870 function Effects 0.000 claims description 62
- 230000004044 response Effects 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 6
- 239000013598 vector Substances 0.000 description 37
- 238000010586 diagram Methods 0.000 description 24
- 230000000875 corresponding effect Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 13
- 230000015654 memory Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000012549 training Methods 0.000 description 12
- 238000007726 management method Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000005192 partition Methods 0.000 description 5
- 230000002085 persistent effect Effects 0.000 description 5
- 239000000523 sample Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000008080 stochastic effect Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Collating Specific Patterns (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
本出願は、2014年2月14日に出願された米国仮特許出願第61/937,859号の優先権を主張するものであり、その内容は言及したことにより全体が本出願中に援用される。
本開示内容は、視覚的物体認識法に関し、更に詳細には、デジタル画像における内容および物体を認識するための方法およびシステム、および、認識された内容/物体に関する付加的な内容および/または情報を迅速に供給する方法およびシステムに関する。本明細書中に開示される方法およびシステムは、検索サービス、および、内容に基づく画像の検索および認識プロセスに対しても適用可能であり得る。
図3は、画像スナップショットにおける関心物体に関する付加的情報を獲得するという、本開示内容の実施形態に係る代表的なシステムを示すブロック図である。システム300は、たとえば、少なくともひとつのプロセッサ、メモリ、通信用のハードウェアおよびソフトウェア、および、カメラを備えて成るモバイル機器であり得る。幾つかの実施形態において、システム300は、図9に示された如きクライアント・デバイス910である。システム300は、関心物体の付加的情報の獲得を試みるユーザにより操作され得ることから、システム300は、ユーザのモバイル機器とも称され得る。図3は、システム300上に存在し得るハードウェアまたはソフトウェアにおいて実現され得る、本明細書中に記述される方法およびシステムに係る、種々のモジュールを示している。図3に示された如く、システム300は、画像獲得モジュール310、特徴記述子生成モジュール320、フィンガープリント生成モジュール330、および、付加的データ獲得モジュール340を含んでいる。
所定のクエリ画像に対し、画像特徴に基づく検索によれば、大規模な画像の集合体(訓練集合)の事前抽出された画像特徴を、上記クエリ画像から抽出されたものと比較することにより、上記訓練集合における一致物が見出される。これらの画像毎の無駄な比較を最小限に維持すべく、疎らな候補集合を効率的に事前選択するために、付加的な検索データ構造が使用される。画像特徴インデックスと称されるこの検索データ構造によれば、与えられたクエリ画像の特徴データ点が、画像の訓練集合の内で、該データ点に最も近いデータ点へとマッピングされ得るという類似性検索(たとえば、近似最近傍(ANN)探索)の実施が許容される。これらのデータ点に対して関連付けられた画像は、一群の候補画像として読出される。後時に記述される如く、上記画像特徴インデックスは、特徴データ点をインデックス付け/アドレス指定し得るマッピング・テーブルを提供する。斯かるマッピング・テーブルは、ハッシュ・テーブルであり得ると共に、アドレスと特徴データ点との間の関係は、ハッシュ関数に従って定義され得る。
本明細書中に記述される新規な画像特徴式認識方法およびシステムの重要な特徴は、画像特徴インデックスである。記述される方法およびシステムは、動画フレームの精度における補償可能な損失に代えて、不可逆の確率論的なデータ管理を導入することで、固有性が少ない画像内容の自動的な除去と併せて、劇的に低下された演算コストおよび記憶要件を可能とする。斯かる方法およびシステムは特に、動画から生成された基準画像データの管理に対して適切である。
以下においては、LSHの改変技術を記述する方法およびシステムが提供される。該改変技術は、複数の良好に選択された非合同ハッシュ関数の重畳の統計的包含特性を、概略的な置換距離尺度として活用すべく使用され得る。これらの方法およびシステムが必要とするのは、更に少ない量の演算、および、更に少ない記憶容量である。
Claims (18)
- モバイル機器を以てユーザにより獲得されたクエリ画像に関する付加的情報を特定してモバイル機器へと送信するサーバであって、該サーバは、
ひとつ以上の基準画像に対して関連付けられたひとつ以上の基準特徴記述子を記憶する基準画像データベースであって、少なくともひとつの基準画像特徴記述子は複数の関数を用いて当該基準画像データベースにおけるアドレス空間内の複数の第1アドレスに対してマッピングされ、且つ、該複数の関数はひとつ以上の特徴記述子を同一のアドレス空間へとマッピングすべく構成される、という基準画像データベースと、
プロセッサであって、
該モバイル機器から、ひとつ以上のクエリ画像特徴記述子を含む第1クエリを受信するクエリ受信モジュールと、
該ひとつ以上のクエリ画像特徴記述子の各々に対して該複数の関数を用いて複数の第2アドレスを算出し、且つ、該複数の第2アドレスの各々に対し、該基準画像データベースの所定領域内に記憶された、ある個数の重複的な基準画像特徴記述子を決定するための候補特徴記述子読出しモジュールと、
該決定された、ある個数の重複的な基準画像特徴記述子に基づいて一群の基準画像特徴記述子を選択するための候補画像読出しモジュールと、
該選択された一群の基準画像特徴記述子をひとつ以上のクエリ画像特徴記述子と比較して、該ひとつ以上の基準画像の内のいずれかひとつが該クエリ画像と一致するか否かを決定する画像マッチング・モジュールと、
を備えて成るひとつ以上のモジュールを実行するプロセッサと、
を備えて成り、
一致基準画像が決定されたなら、該サーバは更に、
該少なくともひとつの一致基準画像に対して関連付けられた付加的情報を注釈データベースから獲得する段階と、
該付加的情報を、少なくともひとつの関心対象物に関する付加的情報として該ユーザに対して表示するために、該モバイル機器へと送信する段階と、
を実施するように構成されている、
サーバ。 - 該プロセッサは更に、該複数の第2アドレスの各々に対し、該複数の第2アドレスの各々と該複数の第1アドレスの各々との間の関係に基づき、該ひとつ以上の基準画像特徴記述子に対するひとつ以上の参照子を提供するハッシュ・テーブル管理モジュールを実行すべく構成され、且つ、
該ある個数の重複的な基準画像特徴記述子は、該関係に基づいて決定される、
請求項1に記載のサーバ。 - 該ハッシュ・テーブル管理モジュールは更に、ランダム関数を用いて該複数の第1アドレスを算出する衝突解決モジュールを備えて成る、請求項2に記載のサーバ。
- 該ハッシュ・テーブル管理モジュールは、
オーバーフロー対処モジュールであって、
該複数の第1アドレスの内のひとつの第1アドレスが、該複数の第1アドレスの内の該ひとつの第1アドレスが算出されたときに、ひとつの第1基準画像特徴記述子に対して関連付けされるか否かを決定し、
該複数の第1アドレスの内の該ひとつの第1アドレスが該第1基準画像特徴記述子に対して関連付けられているとの決定に応じ、
該複数の第1アドレスの内の該ひとつの第1アドレスを、該第1基準画像特徴記述子から関連解除し、且つ、
該複数の第1アドレスの内の該ひとつの第1アドレスを、第2基準画像特徴記述子に対して関連付ける、
というオーバーフロー対処モジュール、
を更に備えて成る、請求項2に記載のサーバ。 - 該プロセッサは更に、該候補画像読出しモジュールを実行して、
該決定された、ある個数の重複的な基準画像特徴記述子の組み合わせ物に対して各群が関連付けられた一群以上の基準画像記述子を順位付けし、且つ、
該順位付けの結果に基づいて、一群の基準画像特徴記述子を選択する、
ように構成される、請求項1に記載のサーバ。 - 該プロセッサは更に、該候補画像読出しモジュールを実行して、
該選択された群の基準画像特徴記述子から、所定スレッショルド値よりも小さい、算出された個数の重複的な基準画像特徴記述子に関連付けられたひとつ以上の基準画像を除外するように構成される、
請求項1に記載のサーバ。 - モバイル機器を以てユーザにより獲得された第1クエリ画像に関する付加的情報を特定かつ表示するコンピュータ実行型の方法であって、
該第1クエリ画像に含まれた該ユーザに対する少なくともひとつの関心対象物に対応するひとつ以上のクエリ画像特徴記述子を含む第1クエリを、該モバイル機器から受信する段階と、
該第1クエリの受信に応じ、類似性検索であって、
該クエリ画像特徴記述子の各々に対し、複数の関数を用いて複数のアドレスを算出する段階と、
該複数のアドレスの各々に対し、ひとつ以上の基準画像特徴記述子を記憶する基準画像データベースの一定領域内に記憶された、ある個数の重複的な基準画像特徴記述子を決定する段階であって、該基準画像特徴記述子の各々は少なくともひとつの基準画像に対して関連付けられ、少なくともひとつの基準画像特徴記述子は、該複数の関数を用いて該基準画像データベースにおけるアドレス空間内の複数のアドレスへとマッピングされ、且つ、該複数の関数は、ひとつ以上の特徴記述子を同一のアドレス空間へとマッピングすべく構成される、段階と、
該複数のアドレスの各々に対して関連付けられた該基準画像データベースの該一定領域における該ある個数の重複的な基準画像特徴記述子に基づいて、ひとつ以上の候補基準画像を決定する段階と、
該ひとつ以上の候補基準画像に対する該特徴記述子を該クエリ画像特徴記述子と比較して、一致物が在るか否かを決定する段階と、
を備えて成るという類似性検索を実施する段階と、
一致物が在るなら、該一致物に対して関連付けられた付加的情報を獲得する段階と、
該一致物に対して関連付けられた付加的情報を、該ユーザに対する表示のために該モバイル機器へと送信する段階と、
を備えて成る、コンピュータ実行型の方法。 - ひとつのアドレスに対して関連付けられた所定領域内の該重複的な基準画像特徴記述子の個数は、該重複的な基準画像特徴記述子と、該アドレスに対してマッピングされた該第1クエリ画像特徴記述子と、の間の類似性の程度を反映し、且つ、
該ひとつ以上の候補基準画像を決定する段階は、
該重複的な基準画像特徴記述子の個数は所定スレッショルド値を超過したことを決定する段階と、
該重複的な基準画像特徴記述子に対して関連付けられた該ひとつ以上の候補基準画像を獲得する段階と、
を備えて成る、
請求項7に記載のコンピュータ実行型の方法。 - 各基準画像特徴記述子は、各ハッシュ・バケットがひとつのアドレスに対して関連付けられたという複数のハッシュ・バケットを含むハッシュ・テーブルに基づいてデータベース内に記憶され、
各ハッシュ・バケットは、該アドレス空間内におけるひとつのアドレスに対して関連付けられ、該複数の関数は、ひとつ以上の特徴記述子を、一群のハッシュ・バケットの内のひとつ以上のハッシュ・バケットに対してマッピングすべく構成される、
請求項7に記載のコンピュータ実行型の方法。 - 該モバイル機器から、ひとつ以上の第2クエリ画像特徴記述子を含む第2クエリを受信する段階と、
該ひとつ以上の第1クエリ画像特徴記述子を、該ひとつ以上の第2クエリ画像特徴記述子と比較する段階と、
該比較の結果に基づき、該類似性検索を実施しないと決定し、且つ、クエリ・キャッシュ内に記憶された該第1クエリと該ひとつ以上の候補基準画像との間のマッピングに基づき、該ひとつ以上の候補画像を獲得する、段階と、
を更に備えて成る、請求項7に記載のコンピュータ実行型の方法。 - 関心対象物に関する付加的情報を特定して表示するデバイスであって、該デバイスは、
プロセッサであって、
関心対象物を含む第1クエリ画像を獲得する画像獲得モジュールと、
該第1クエリ画像に対して関連付けられた複数の第1クエリ画像特徴記述子を抽出する特徴記述子生成モジュールと、
該抽出された第1クエリ画像特徴記述子に基づいて第1クエリ・フィンガープリントを生成し、且つ、該第1クエリ・フィンガープリントをサーバに対して送信するフィンガープリント生成モジュールであって、
該第1クエリ・フィンガープリントによれば、該サーバは、該第1クエリ・フィンガープリントに基づき、複数の基準画像特徴記述子を記憶するデータベースにおける類似性検索を実施することが可能とされ、且つ、該サーバは、該第1クエリ画像特徴記述子を、基準画像特徴記述子が最も高頻度でマッピングされた複数のアドレスまたは複数の隣接アドレスへとマッピングすることにより、該データベースから読出された少なくともひとつの基準画像特徴記述子に対して関連付けられたひとつ以上の候補画像を獲得することが可能とされる、
というフィンガープリント生成モジュールと、
該第1クエリ画像が、該ひとつ以上の候補画像の内の少なくともひとつと一致するか否かを決定する画像マッチング・モジュールと、
を含むひとつ以上のモジュールを実行するプロセッサを備えて成り、
該画像マッチング・モジュールにおける該決定によれば、ユーザに対して該少なくともひとつの関心対象物に関する付加的情報として表示するために、該ひとつ以上の候補画像の内の少なくともひとつに対して関連付けられた付加的情報を獲得することが可能とされる、
デバイス。 - 該プロセッサは更に、該画像マッチング・モジュールを実行して、
該第1クエリ画像特徴記述子同士の間における第1群の相対位置を推定し、
該ひとつ以上の候補画像の内の少なくともひとつに対し、
該各第1クエリ画像特徴記述子に対応する一群の対応する基準画像特徴記述子を決定し、
該一群の対応する基準画像特徴記述子同士の間における第2群の相対位置を算出し、且つ、
該第1群の相対位置と該第2群の相対位置との間の関係に基づき、該第1クエリ画像と該候補画像との間の適合の度合いを決定する、
ように構成され、
該第1クエリ画像が該ひとつ以上の候補画像の内の少なくともひとつと一致するか否かの決定は、該決定された適合の度合いに基づく、
請求項11に記載のデバイス。 - 該各第1クエリ画像特徴記述子に対応する該一群の対応する基準画像特徴記述子を決定する該段階は、ひとつ以上の基準画像特徴記述子と該各第1クエリ画像特徴記述子との間のひとつ以上の特徴距離を算出する段階を備えて成る、請求項12に記載のデバイス。
- 該デバイスは更に、
該第1群の相対位置に基づいて、該第1クエリ画像の第1姿勢を決定する段階と、
該第1姿勢を、先に獲得されたクエリ画像に対して関連付けられた第2姿勢と比較する段階と、
該比較の結果に基づき、トラッキングが喪失されたか否かを決定する段階と、
トラッキングが喪失されたことが決定されたとき、
該画像獲得モジュールにより、第2クエリ画像を獲得させる段階と、
該特徴記述子生成モジュールにより、該第2クエリ画像に対して関連付けられた複数の第2クエリ画像特徴記述子を抽出させる段階と、
該フィンガープリント生成モジュールにより、該抽出された第2クエリ画像特徴記述子に基づいて第2クエリ・フィンガープリントを生成させ、且つ、該第2クエリ・フィンガープリントを該サーバに対して送信させる段階と、
を実施すべく構成される、請求項12に記載のデバイス。 - 該プロセッサは更に、該画像獲得モジュールを実行して、
複数の画像を獲得し、
該獲得された複数の画像の各々を、複数の第1タイムスタンプの各々に対して関連付け、
スナップショットの取り込みの開始時を検出し、
該開始時を第2タイムスタンプに対して関連付け、且つ、
該複数の第1タイムスタンプの各々と該第2タイムスタンプとの間の関係に基づき、該複数の画像の内のひとつの画像を、該第1クエリ画像として選択する、
ように構成される、
請求項11に記載のデバイス。 - モバイル機器を以てユーザにより獲得された画像に関する付加的情報を特定かつ表示するコンピュータ実行型の方法であって、該方法は該モバイル機器により実現され、且つ、該方法は、
付加的情報が表示されるべきであるという該ユーザに対する少なくともひとつの関心対象物を備えて成る第1クエリ画像を獲得する段階と、
該第1クエリ画像から、該少なくともひとつの関心対象物に対応する複数の第1特徴を抽出する段階と、
該抽出された各第1特徴を含む第1クエリを生成する段階と、
該第1クエリをサーバに対して送信する段階であって、該第1クエリによれば、該サーバは、各クエリ特徴記述子を、基準画像特徴記述子が最も高頻度でマッピングされた複数のアドレスまたは複数の隣接アドレスへとマッピングすることにより、ひとつ以上の基準画像を獲得することが可能とされ、且つ、該サーバは、該第1クエリに基づいて獲得された該ひとつ以上の基準画像に基づき、該サーバが該少なくともひとつの関心対象物に関する付加的情報を記憶していることを決定することが可能とされる、段階と、
該サーバから、該少なくともひとつの関心対象物に関する該付加的情報を受信する段階と、
該少なくともひとつの関心対象物に関する該付加的情報を該ユーザに対して表示する段階と、
を備えて成る、コンピュータ実行型の方法。 - 当該コンピュータ実行型の方法は更に、該モバイル機器のインタフェースを介し、ユーザによる該第1クエリ画像の一部の選択を受信する段階を備えて成り、
該第1クエリ画像から複数の第1特徴を抽出する該段階は、該選択された部分に対応する複数の第1特徴を抽出する段階を備えて成り、且つ、
第1クエリを生成する該段階は、該選択された部分に対応する該抽出された各第1特徴を表す第1クエリを生成する段階を備えて成る、
請求項16に記載のコンピュータ実行型の方法。 - 該抽出された各第1特徴を記憶する段階と、
第2クエリ画像を獲得する段階と、
該第2クエリ画像から複数の第2特徴を抽出する段階と、
該記憶された各第1特徴と該抽出された各第2特徴との間の関係を決定する段階と、
該関係に基づき、該抽出された各第2特徴を表す情報を含む第2クエリを該サーバに対して送信しないことを決定する段階と、
を更に備えて成る、請求項16に記載のコンピュータ実行型の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461937859P | 2014-02-10 | 2014-02-10 | |
US61/937,859 | 2014-02-10 | ||
PCT/IB2015/000908 WO2015125025A2 (en) | 2014-02-10 | 2015-02-10 | Systems and methods for image-feature-based recognition |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017513150A JP2017513150A (ja) | 2017-05-25 |
JP6208898B2 true JP6208898B2 (ja) | 2017-10-04 |
Family
ID=53488361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016561703A Expired - Fee Related JP6208898B2 (ja) | 2014-02-10 | 2015-02-10 | 画像特徴式認識のためのシステムおよび方法 |
Country Status (14)
Country | Link |
---|---|
US (6) | US9122706B1 (ja) |
EP (1) | EP3066591B1 (ja) |
JP (1) | JP6208898B2 (ja) |
KR (2) | KR101887002B1 (ja) |
CN (1) | CN106462728B (ja) |
AU (1) | AU2015220463B2 (ja) |
BR (1) | BR112016018389A8 (ja) |
CA (1) | CA2939161C (ja) |
DK (1) | DK3066591T3 (ja) |
ES (1) | ES2752728T3 (ja) |
MX (2) | MX360261B (ja) |
PL (1) | PL3066591T3 (ja) |
SG (1) | SG11201606424XA (ja) |
WO (1) | WO2015125025A2 (ja) |
Families Citing this family (76)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101404596B1 (ko) * | 2012-05-03 | 2014-06-11 | (주)엔써즈 | 이미지에 기반하여 동영상 서비스를 제공하는 시스템 및 방법 |
US9727614B1 (en) | 2014-03-17 | 2017-08-08 | Amazon Technologies, Inc. | Identifying query fingerprints |
US9747628B1 (en) | 2014-03-17 | 2017-08-29 | Amazon Technologies, Inc. | Generating category layouts based on query fingerprints |
US9760930B1 (en) * | 2014-03-17 | 2017-09-12 | Amazon Technologies, Inc. | Generating modified search results based on query fingerprints |
US9720974B1 (en) | 2014-03-17 | 2017-08-01 | Amazon Technologies, Inc. | Modifying user experience using query fingerprints |
US10304111B1 (en) * | 2014-03-17 | 2019-05-28 | Amazon Technologies, Inc. | Category ranking based on query fingerprints |
US10026107B1 (en) | 2014-03-17 | 2018-07-17 | Amazon Technologies, Inc. | Generation and classification of query fingerprints |
US10572215B1 (en) * | 2014-03-31 | 2020-02-25 | Amazon Technologies, Inc. | Extendable architecture for augmented reality system |
US20150363660A1 (en) * | 2014-06-12 | 2015-12-17 | Asap54.Com Ltd | System for automated segmentation of images through layout classification |
WO2015200286A1 (en) * | 2014-06-27 | 2015-12-30 | Ohio University | Systems using fingerprint images as diagnostic detection systems for type 2 diabetes |
JP6432182B2 (ja) * | 2014-07-02 | 2018-12-05 | 富士通株式会社 | サービス提供装置、方法、及びプログラム |
US9760792B2 (en) * | 2015-03-20 | 2017-09-12 | Netra, Inc. | Object detection and classification |
US9922271B2 (en) * | 2015-03-20 | 2018-03-20 | Netra, Inc. | Object detection and classification |
US10015541B2 (en) * | 2015-03-25 | 2018-07-03 | Cisco Technology, Inc. | Storing and retrieval heuristics |
EP3286713A1 (en) * | 2015-05-06 | 2018-02-28 | Essilor International (Compagnie Générale D'Optique) | Frame recognition system and method |
US10839006B2 (en) * | 2015-05-18 | 2020-11-17 | Oath Inc. | Mobile visual search using deep variant coding |
CN108604234A (zh) | 2015-07-15 | 2018-09-28 | 查比公司 | 用于屏幕截图链接的***及方法 |
JP2017041022A (ja) * | 2015-08-18 | 2017-02-23 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
ITUB20153277A1 (it) * | 2015-08-28 | 2017-02-28 | St Microelectronics Srl | Procedimento per ricerche visuali, sistema, apparecchiatura e prodotto informatico corrispondenti |
EP3347842A4 (en) * | 2015-09-11 | 2019-06-19 | Christophe Bossut | SYSTEM AND METHOD FOR PROVIDING INTERACTIONS OF EXTENDED REALITY VIA PRINT MEDIA |
US10157333B1 (en) * | 2015-09-15 | 2018-12-18 | Snap Inc. | Systems and methods for content tagging |
RU2613848C2 (ru) * | 2015-09-16 | 2017-03-21 | Общество с ограниченной ответственностью "Аби Девелопмент" | Выявление "нечетких" дубликатов изображений с помощью троек смежных оцененных признаков |
US10169684B1 (en) | 2015-10-01 | 2019-01-01 | Intellivision Technologies Corp. | Methods and systems for recognizing objects based on one or more stored training images |
CN105893405A (zh) * | 2015-11-12 | 2016-08-24 | 乐视云计算有限公司 | 重复视频检测方法和*** |
GB2548316A (en) * | 2015-12-01 | 2017-09-20 | Zaptobuy Ltd | Methods and systems for identifying an object in a video image |
US10321167B1 (en) | 2016-01-21 | 2019-06-11 | GrayMeta, Inc. | Method and system for determining media file identifiers and likelihood of media file relationships |
US9773194B2 (en) * | 2016-01-28 | 2017-09-26 | Longsand Limited | Select type of test image based on similarity score to database image |
US9906831B2 (en) | 2016-02-24 | 2018-02-27 | Sorenson Media, Inc. | Fingerprinting media content using hashing |
US10360905B1 (en) * | 2016-03-11 | 2019-07-23 | Gracenote, Inc. | Robust audio identification with interference cancellation |
US10496694B2 (en) | 2016-03-21 | 2019-12-03 | Hong Kong Applied Science and Technology Research Institute Company Limited | Rating and advising for selection of augmented reality markers |
CN105894541B (zh) * | 2016-04-18 | 2019-05-17 | 武汉烽火众智数字技术有限责任公司 | 一种基于多视频碰撞的运动目标检索方法及*** |
US10740385B1 (en) * | 2016-04-21 | 2020-08-11 | Shutterstock, Inc. | Identifying visual portions of visual media files responsive to search queries |
US20170323149A1 (en) * | 2016-05-05 | 2017-11-09 | International Business Machines Corporation | Rotation invariant object detection |
WO2018002677A1 (en) * | 2016-06-27 | 2018-01-04 | Balázs Ferenc István | Method for 3d reconstruction with a mobile device |
US11334768B1 (en) | 2016-07-05 | 2022-05-17 | Snap Inc. | Ephemeral content management |
US12020174B2 (en) | 2016-08-16 | 2024-06-25 | Ebay Inc. | Selecting next user prompt types in an intelligent online personal assistant multi-turn dialog |
WO2018093438A1 (en) * | 2016-08-26 | 2018-05-24 | William Marsh Rice University | Camera-based positioning system using learning |
US20180068023A1 (en) * | 2016-09-07 | 2018-03-08 | Facebook, Inc. | Similarity Search Using Polysemous Codes |
US11748978B2 (en) | 2016-10-16 | 2023-09-05 | Ebay Inc. | Intelligent online personal assistant with offline visual search database |
US10860898B2 (en) * | 2016-10-16 | 2020-12-08 | Ebay Inc. | Image analysis and prediction based visual search |
US11004131B2 (en) | 2016-10-16 | 2021-05-11 | Ebay Inc. | Intelligent online personal assistant with multi-turn dialog based on visual search |
US10970768B2 (en) | 2016-11-11 | 2021-04-06 | Ebay Inc. | Method, medium, and system for image text localization and comparison |
WO2018091083A1 (en) * | 2016-11-16 | 2018-05-24 | Huawei Technologies Co., Ltd. | Method and apparatus for determining data on a device |
US10719492B1 (en) | 2016-12-07 | 2020-07-21 | GrayMeta, Inc. | Automatic reconciliation and consolidation of disparate repositories |
US9977990B1 (en) * | 2017-01-08 | 2018-05-22 | International Business Machines Corporation | Cognitive method for visual classification of very similar planar objects |
US10909371B2 (en) | 2017-01-19 | 2021-02-02 | Samsung Electronics Co., Ltd. | System and method for contextual driven intelligence |
WO2018135881A1 (en) | 2017-01-19 | 2018-07-26 | Samsung Electronics Co., Ltd. | Vision intelligence management for electronic devices |
CN106730845A (zh) * | 2017-02-13 | 2017-05-31 | 淘金科技投资(北京)股份有限公司 | 游戏方法及*** |
EP3410353A1 (en) * | 2017-06-01 | 2018-12-05 | eyecandylab Corp. | Method for estimating a timestamp in a video stream and method of augmenting a video stream with information |
US10430686B2 (en) * | 2017-07-11 | 2019-10-01 | Verizon Patent And Licensing Inc. | Systems and methods for enhancing image recognition techniques using primary and secondary foci |
US11074434B2 (en) * | 2018-04-27 | 2021-07-27 | Microsoft Technology Licensing, Llc | Detection of near-duplicate images in profiles for detection of fake-profile accounts |
US10860647B2 (en) * | 2018-09-06 | 2020-12-08 | Gracenote, Inc. | Systems, methods, and apparatus to improve media identification |
CN109376256B (zh) * | 2018-09-29 | 2021-03-26 | 京东方科技集团股份有限公司 | 图像搜索方法及装置 |
US10931958B2 (en) | 2018-11-02 | 2021-02-23 | Fungible, Inc. | JPEG accelerator using last-non-zero (LNZ) syntax element |
US10827191B2 (en) | 2018-11-02 | 2020-11-03 | Fungible, Inc. | Parallel coding of syntax elements for JPEG accelerator |
US10827192B2 (en) | 2018-11-02 | 2020-11-03 | Fungible, Inc. | Work allocation for JPEG accelerator |
US10848775B2 (en) * | 2018-11-02 | 2020-11-24 | Fungible, Inc. | Memory layout for JPEG accelerator |
CN109710792B (zh) * | 2018-12-24 | 2023-02-03 | 西安烽火软件科技有限公司 | 一种基于索引的快速人脸检索***应用 |
CN109815351B (zh) * | 2018-12-27 | 2020-11-24 | 深圳云天励飞技术有限公司 | 信息查询方法及相关产品 |
CN109902198A (zh) * | 2019-03-11 | 2019-06-18 | 京东方科技集团股份有限公司 | 一种以图搜图的方法、装置及应用*** |
JP2020181332A (ja) * | 2019-04-24 | 2020-11-05 | 株式会社Toreru | 高精度類似画像検索方法、プログラム及び高精度類似画像検索装置 |
US10726630B1 (en) * | 2019-06-28 | 2020-07-28 | Capital One Services, Llc | Methods and systems for providing a tutorial for graphic manipulation of objects including real-time scanning in an augmented reality |
RU2702965C1 (ru) * | 2019-08-07 | 2019-10-14 | Общество с ограниченной ответственностью "Новотранс Актив" | Система и способ идентификации железнодорожных номерных деталей по изображению их поверхностей с клеймами и знаками маркировки |
CN110879987B (zh) * | 2019-11-21 | 2023-06-09 | 成都东方闻道科技发展有限公司 | 一种识别试题作答内容的方法 |
CN111008297B (zh) * | 2019-12-11 | 2023-12-15 | 维沃移动通信有限公司 | 寻址方法及服务器 |
CN111738194B (zh) * | 2020-06-29 | 2024-02-02 | 深圳力维智联技术有限公司 | 一种用于人脸图像相似性的评价方法和装置 |
TW202223667A (zh) * | 2020-09-03 | 2022-06-16 | 美商Flc科技集團公司 | 具有預擾頻器之雜湊函數 |
TW202215289A (zh) * | 2020-10-14 | 2022-04-16 | 王建華 | 用於指紋圖像識別的方法、設備及計算機可讀介質 |
CA3141974A1 (en) * | 2020-12-11 | 2022-06-11 | PatriotOne Technologies | System and method for real-time multi-person threat tracking and re-identification |
WO2022195323A1 (en) * | 2021-03-15 | 2022-09-22 | One Game Studio S.A.P.I De C.V. | System and method to interpret a surround of a user to generate an augmented reality environment |
CN113706361B (zh) * | 2021-08-19 | 2022-04-26 | 兰州大学 | 一种基于机密计算的数字图像权属保护云*** |
CN113743420B (zh) * | 2021-08-26 | 2023-12-05 | 北京邮电大学 | 一种基于云边端协同的Web AR图像识别方法及*** |
CN115204338A (zh) * | 2022-07-25 | 2022-10-18 | 蚂蚁区块链科技(上海)有限公司 | 图形码生成方法和装置、图形码验证方法和装置 |
US20240143650A1 (en) * | 2022-10-31 | 2024-05-02 | Rovi Guides, Inc. | Systems and methods for navigating an extended reality history |
CN115908280B (zh) * | 2022-11-03 | 2023-07-18 | 广东科力新材料有限公司 | 基于数据处理的pvc钙锌稳定剂的性能确定方法及*** |
CN116386091B (zh) * | 2022-11-18 | 2024-04-02 | 荣耀终端有限公司 | 指纹识别方法和装置 |
Family Cites Families (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7680324B2 (en) | 2000-11-06 | 2010-03-16 | Evryx Technologies, Inc. | Use of image-derived information as search criteria for internet and other search engines |
US8218873B2 (en) | 2000-11-06 | 2012-07-10 | Nant Holdings Ip, Llc | Object information derived from object images |
US8224078B2 (en) | 2000-11-06 | 2012-07-17 | Nant Holdings Ip, Llc | Image capture and identification system and process |
US7872669B2 (en) * | 2004-01-22 | 2011-01-18 | Massachusetts Institute Of Technology | Photo-based mobile deixis system and related techniques |
US7751805B2 (en) | 2004-02-20 | 2010-07-06 | Google Inc. | Mobile image-based information retrieval system |
US7707218B2 (en) | 2004-04-16 | 2010-04-27 | Mobot, Inc. | Mobile query system and method based on visual cues |
US8369655B2 (en) * | 2006-07-31 | 2013-02-05 | Ricoh Co., Ltd. | Mixed media reality recognition using multiple specialized indexes |
US7657126B2 (en) | 2005-05-09 | 2010-02-02 | Like.Com | System and method for search portions of objects in images and features thereof |
US20080177640A1 (en) | 2005-05-09 | 2008-07-24 | Salih Burak Gokturk | System and method for using image analysis and search in e-commerce |
US7809722B2 (en) | 2005-05-09 | 2010-10-05 | Like.Com | System and method for enabling search and retrieval from image files based on recognized information |
WO2007052171A2 (en) | 2005-09-01 | 2007-05-10 | Zvi Haim Lev | System and method for reliable content access using a cellular/wireless device with imaging capabilities |
US8234277B2 (en) | 2006-12-29 | 2012-07-31 | Intel Corporation | Image-based retrieval for high quality visual or acoustic rendering |
US7949191B1 (en) | 2007-04-04 | 2011-05-24 | A9.Com, Inc. | Method and system for searching for information on a network in response to an image query sent by a user from a mobile communications device |
US8407744B2 (en) | 2007-06-19 | 2013-03-26 | Verizon Patent And Licensing Inc. | Snapshot recognition for TV |
US8315423B1 (en) | 2007-12-28 | 2012-11-20 | Google Inc. | Providing information in an image-based information retrieval system |
US8406531B2 (en) | 2008-05-15 | 2013-03-26 | Yahoo! Inc. | Data access based on content of image recorded by a mobile device |
US20120030553A1 (en) | 2008-06-13 | 2012-02-02 | Scrible, Inc. | Methods and systems for annotating web pages and managing annotations and annotated web pages |
US8195689B2 (en) * | 2009-06-10 | 2012-06-05 | Zeitera, Llc | Media fingerprinting and identification system |
US8385971B2 (en) | 2008-08-19 | 2013-02-26 | Digimarc Corporation | Methods and systems for content processing |
US8483519B2 (en) | 2008-12-22 | 2013-07-09 | Ipointer Inc. | Mobile image search and indexing system and method |
US9195898B2 (en) * | 2009-04-14 | 2015-11-24 | Qualcomm Incorporated | Systems and methods for image recognition using mobile devices |
US9135277B2 (en) | 2009-08-07 | 2015-09-15 | Google Inc. | Architecture for responding to a visual query |
US8352465B1 (en) | 2009-09-03 | 2013-01-08 | Google Inc. | Grouping of image search results |
CN101697232B (zh) * | 2009-09-18 | 2012-03-07 | 浙江大学 | 面向近重复图像匹配的sift特征裁减方法 |
US8811742B2 (en) | 2009-12-02 | 2014-08-19 | Google Inc. | Identifying matching canonical documents consistent with visual query structural information |
CN101710334B (zh) * | 2009-12-04 | 2012-01-25 | 大连理工大学 | 基于图像哈希的大规模图像库检索方法 |
US8548255B2 (en) | 2010-04-15 | 2013-10-01 | Nokia Corporation | Method and apparatus for visual search stability |
US20110258526A1 (en) | 2010-04-20 | 2011-10-20 | International Business Machines Corporation | Web content annotation management web browser plug-in |
US9015139B2 (en) | 2010-05-14 | 2015-04-21 | Rovi Guides, Inc. | Systems and methods for performing a search based on a media content snapshot image |
US20120224768A1 (en) | 2011-03-04 | 2012-09-06 | Olive Root, LLC | System and method for visual search |
US8553981B2 (en) | 2011-05-17 | 2013-10-08 | Microsoft Corporation | Gesture-based visual search |
WO2012177194A1 (en) | 2011-06-21 | 2012-12-27 | Telefonaktiebolaget L M Ericsson (Publ) | Caching support for visual search and augmented reality in mobile networks |
US8793274B2 (en) | 2011-08-08 | 2014-07-29 | Lei Yu | System and method for auto content recognition |
US9311494B2 (en) | 2011-12-01 | 2016-04-12 | Hitachi, Ltd. | Secure search method and secure search device |
US20130260360A1 (en) | 2012-03-27 | 2013-10-03 | Sony Corporation | Method and system of providing interactive information |
JP5945823B2 (ja) * | 2012-06-06 | 2016-07-05 | 国立大学法人 熊本大学 | 画像処理方法および画像処理装置 |
US20140188648A1 (en) | 2012-12-28 | 2014-07-03 | Wal-Mart Stores, Inc. | Searching Digital Receipts At A Mobile Device |
US9633272B2 (en) | 2013-02-15 | 2017-04-25 | Yahoo! Inc. | Real time object scanning using a mobile phone and cloud-based visual search engine |
US20140240523A1 (en) | 2013-02-22 | 2014-08-28 | T-Mobile Usa, Inc. | Information delivery based on image data |
US9323785B2 (en) | 2013-03-06 | 2016-04-26 | Streamoid Technologies Private Limited | Method and system for mobile visual search using metadata and segmentation |
-
2015
- 2015-02-10 CA CA2939161A patent/CA2939161C/en active Active
- 2015-02-10 EP EP15731669.6A patent/EP3066591B1/en active Active
- 2015-02-10 SG SG11201606424XA patent/SG11201606424XA/en unknown
- 2015-02-10 MX MX2018001295A patent/MX360261B/es unknown
- 2015-02-10 CN CN201580018985.3A patent/CN106462728B/zh active Active
- 2015-02-10 PL PL15731669T patent/PL3066591T3/pl unknown
- 2015-02-10 DK DK15731669.6T patent/DK3066591T3/da active
- 2015-02-10 KR KR1020187003121A patent/KR101887002B1/ko active IP Right Grant
- 2015-02-10 ES ES15731669T patent/ES2752728T3/es active Active
- 2015-02-10 US US14/619,045 patent/US9122706B1/en active Active
- 2015-02-10 AU AU2015220463A patent/AU2015220463B2/en not_active Ceased
- 2015-02-10 KR KR1020167024935A patent/KR101826815B1/ko active IP Right Grant
- 2015-02-10 MX MX2016010267A patent/MX353871B/es active IP Right Grant
- 2015-02-10 JP JP2016561703A patent/JP6208898B2/ja not_active Expired - Fee Related
- 2015-02-10 BR BR112016018389A patent/BR112016018389A8/pt active Search and Examination
- 2015-02-10 WO PCT/IB2015/000908 patent/WO2015125025A2/en active Application Filing
- 2015-04-21 US US14/692,234 patent/US9230172B2/en active Active
- 2015-12-14 US US14/968,524 patent/US9946932B2/en active Active
-
2018
- 2018-03-20 US US15/926,269 patent/US10521667B2/en active Active
-
2019
- 2019-11-21 US US16/691,182 patent/US10929671B2/en active Active
-
2021
- 2021-01-29 US US17/248,603 patent/US20210397838A1/en active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6208898B2 (ja) | 画像特徴式認識のためのシステムおよび方法 | |
Sadeghi et al. | State of the art in passive digital image forgery detection: copy-move image forgery | |
JP6005837B2 (ja) | 画像解析装置、画像解析システム、画像解析方法 | |
Zhao et al. | Strategy for dynamic 3D depth data matching towards robust action retrieval | |
US9092458B1 (en) | System and method for managing search results including graphics | |
WO2013159722A1 (en) | Systems and methods for obtaining information based on an image | |
JP4941513B2 (ja) | 検索方法、検索プログラム及び検索システム | |
EP2106599A2 (en) | Feature matching method | |
CN110532413B (zh) | 基于图片匹配的信息检索方法、装置、计算机设备 | |
Mao et al. | Visual arts search on mobile devices | |
US20220414393A1 (en) | Methods and Systems for Generating Composite Image Descriptors | |
Chen et al. | Mobile visual search from dynamic image databases | |
Peng et al. | The knowing camera 2: recognizing and annotating places-of-interest in smartphone photos | |
Srinivasan et al. | Local Binary Pattern-Based Criminal Identification System | |
Do et al. | Image retrieval using wavelet transform and shape decomposition | |
Friedel et al. | Asset identification using image descriptors | |
Ulges et al. | Scene-based image retrieval by transitive matching | |
Thakur et al. | A MOBILE APP FOR REMOVING DUPLICATE MULTIMEDIA IMAGES. | |
Mashhadani | An object-based multimedia forensic analysis tool | |
Khairnar et al. | Content Based Image retrieval System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170302 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170321 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170907 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6208898 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |