JP4749051B2 - 画像処理 - Google Patents
画像処理 Download PDFInfo
- Publication number
- JP4749051B2 JP4749051B2 JP2005176267A JP2005176267A JP4749051B2 JP 4749051 B2 JP4749051 B2 JP 4749051B2 JP 2005176267 A JP2005176267 A JP 2005176267A JP 2005176267 A JP2005176267 A JP 2005176267A JP 4749051 B2 JP4749051 B2 JP 4749051B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- attention
- interest
- path
- route
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 39
- 238000000034 method Methods 0.000 claims description 77
- 239000013598 vector Substances 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims 1
- 230000037361 pathway Effects 0.000 claims 1
- 230000004044 response Effects 0.000 description 24
- 238000003384 imaging method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 3
- 230000001627 detrimental effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002431 foraging effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本出願は、2004年6月24日に出願された、「画像処理」と題する出願第GB0414064.6号を有する同時係属中の英国特許出願に対して優先権を主張するものであり、この特許出願は参照により本明細書に援用される。
特定の状況では、閲覧のために、画像の注目エリアを通る静止画像または動画像にわたる経路を生成可能であることが望ましい。これは、時間の制約により、または使用されている特定の閲覧プラットフォームの機能が適していないため、たとえば、プラットフォームが特定の画像サイズに適応するように設計されていないために、画像全体を見ることが現実的ではない状況において特に有用である。一般に、生成されるこのような経路は、画像にわたる経路を辿り、経路に沿った画像の部分のみが表示されるように画像をズームインする仮想カメラの使用を介して、画像の関心ポイントを画像の他のエリアに優先して表示できるようにする。
第1の例示的な一実施形態によれば、少なくとも1つの画像に関連する画像データを処理する方法が提供され、本方法は、上記または各画像の選択された注目部分の配置および注目度に関連するデータを使用すること、および上記部分のそれぞれに少なくとも1つの注目度ベクトルをそれぞれ生成すること、を含む。
図1は、本方法の一実施形態によるフローチャートである。101において、少なくとも1つの画像の注目部分が、画像データ100から選択され、この注目部分は、配置データおよび注目度データを含み、103において、上記部分のそれぞれに少なくとも1つの注目度ベクトルをそれぞれ生成するために使用される。
303・・・レンズ
305・・・フィルタ
307・・・画像センサ
311・・・デジタル信号プロセッサ
313・・・バスまたはそれと同様のもの
317・・・メモリ
319・・・中央演算処理装置
501・・・ポイントAでの最強応答
503・・・ポイントBでの強い正の構成要素
505・・・ポイントCでの最強応答
507・・・負の寄与
601・・・グループ化場に含まれるベクトル
603・・・強調ベクトル
700・・・画像
701・・・注目経路
703・・・注目部分
900・・・画像
901・・・注目経路
903・・・表示される部分
905・・・線
907・・・線
1001・・・画像
1003・・・画像
1005・・・画像
1007・・・画像
1101・・・画像
1103・・・画像
1105・・・画像
1107・・・画像
1109・・・画像
1111・・・画像内のポイント
1113・・・画像内のポイント
1115・・・画像内のポイント
1117・・・画像内のポイント
1119・・・画像内のポイント
Claims (34)
- 少なくとも1つの画像の画像データを処理する方法であって、
前記画像データから選択された前記少なくとも1つの画像の注目部分の方位、この方位の大きさ、配置および注目度に関連するデータを含む、前記注目部分それぞれに対する少なくとも1つの注目度ベクトルを、コンピュータによって生成することと、
前記少なくとも1つの注目度ベクトルに従って、前記画像の少なくとも1つの注目経路を構築することと、
前記画像が供給された装置の表示画面の特性上、前記画像を直接表示させることができないと判断した場合に、前記少なくとも1つの注目経路に基づいて、前記画像から、前記表示画面に表示させる部分を選択することと
を含む、画像データを処理する方法。 - 少なくとも1つの各方位選択的重み付け関数を使用して、前記選択された注目部分の配置および注目度に関連する前記データを重み付けすることをさらに含む、請求項1記載の画像データを処理する方法。
- 前記方位選択的重み付け関数は、二次元レムニスケートガウス核である、請求項2記載の画像データを処理する方法。
- 前記注目経路上にある前記画像の部分を表示することをさらに含む、請求項1記載の画像データを処理する方法。
- 前記画像の前記選択された注目部分の配置および注目度に関連する前記データを使用して、前記画像の局所最大注目度に関連するデータを生成することをさらに含む、請求項1記載の画像データを処理する方法。
- 前記局所最大注目度は、所定のしきい値を上回る注目度を有する、請求項5記載の画像データを処理する方法。
- コンピュータによって、画像を処理する方法であって、
前記画像の画像データから特徴量を抽出し、前記抽出した特徴量に基づいて、注目度マップを生成することと、
前記注目度マップの離散データをバイナリデータに変換して、畳み込み演算を行うことにより、前記画像の注目部分の関係を示す注目度場を生成することと、
前記生成された注目度場が示す注目部分の方位に従って、前記画像の第1の注目経路を構築することと、
前記画像が供給された装置の表示画面の特性上、前記画像を直接表示させることができないと判断した場合に、前記第1の注目経路に基づいて、前記画像から、前記表示画面に表示させる部分を選択することと
を含む、画像を処理する方法。 - 前記注目度マップの離散データをバイナリデータに変換して、前記画像の局所最大注目度を求めることをさらに含み、前記画像の注目部分の関係を求めることは、前記求められた局所最大注目度を畳み込み演算して、前記画像の注目部分の前記関係を求めることを含む、請求項7記載の画像を処理する方法。
- 前記画像の前記注目部分の前記関係は、グループ化核を使用して求められる、請求項7記載の画像を処理する方法。
- 前記注目部分の関係を求めることは、
前記グループ化核から方位選択的グループ化核のセットを生成すること、
前記注目度マップおよび各方位選択的グループ化核を使用して、前記方位のそれぞれにおける前記画像の前記注目部分の前記関係を含む注目度場のセットを生成すること、および
前記注目度場から複合注目度場を生成すること、
をさらに含む、請求項9記載の画像を処理する方法。 - 前記注目度マップは、前記画像の前記局所最大注目度のマップである、請求項10記載の画像を処理する方法。
- 前記画像の閲覧ウィンドウを画定すること、および
前記第1の注目経路に沿って前記画像にわたって前記閲覧ウィンドウを移動させること、
をさらに含む、請求項7記載の画像を処理する方法。 - 前記画像は二次元であり、前記閲覧ウィンドウのエリアは前記画像のエリアよりも小さい、請求項12記載の画像を処理する方法。
- 前記グループ化核はレムニスケートガウス核である、請求項7記載の画像を処理する方法。
- 前記生成された注目度場が示す注目部分の方位に従って、前記画像に少なくとも1つの第2の注目経路を生成することをさらに含み、前記第2の注目経路は、前記第1の注目経路と異なる、請求項7記載の画像を処理する方法。
- 好ましい注目経路についての情報を受け取ること、および
前記好ましい注目経路に関連する情報を使用して、前記第1の注目経路または前記第2の注目経路から経路を選択すること、
をさらに含む、請求項15記載の画像を処理する方法。 - 前記好ましい注目経路についての前記情報は、
経路長、
前記経路の全体の注目度、
前記経路の曲率、
前記画像のエッジに対する前記経路の近接度、
前記画像の注目部分閲覧に利用可能な時間、および/または
利用可能なディスプレイサイズ
のうちの少なくとも1つを含む、請求項16記載の画像を処理する方法。 - 前記画像とは別の画像に前記第2の注目経路を生成することをさらに含み、
前記第1の注目経路の終点は、前記第2の注目経路の始点に対応するように調整されうる、請求項7記載の画像を処理する方法。 - 前記別の画像は、前記画像と結合され、パノラマ画像を形成する、請求項18記載の画像を処理する方法。
- コンピュータによって、パノラマ画像を形成する複数の画像にわたる注目経路を生成する方法であって、
前記画像それぞれの画像データから特徴量を抽出し、前記抽出した特徴量に基づいて、前記画像それぞれの注目度マップを生成することと、
前記注目度マップの離散データをバイナリデータに変換して、畳み込み演算を行うことにより、前記画像の注目部分の前記関係を示す前記画像のそれぞれの注目度場を生成することと、
前記生成された注目度場それぞれが示す注目部分の方位に従って、前記画像のそれぞれに少なくとも1つの注目経路を生成することと、
前記画像が供給された装置の表示画面の特性上、前記画像を直接表示させることができないと判断した場合に、前記注目経路に基づいて、前記画像から、前記表示画面に表示させる部分を選択することと
を含み、
前記注目経路の終点は、この注目経路の画像と結合してパノラマ画像の少なくとも一部を形成する別の画像の注目経路の始点と対応するように調整される、複数の画像にわたる注目経路を生成する方法。 - 以下の基準:
前記経路が結合されたときに連続する、
前記経路間のミスマッチがミスマッチしきい値を下回る、
のうちの少なくとも1つが満たされる場合、2つの経路は互いに対応する、請求項20記載の複数の画像にわたる注目経路を生成する方法。 - 少なくとも1つの画像を処理する装置であって、
前記画像の選択された注目部分の方位、この方位の大きさ、配置および注目度に関連するデータを含む、前記注目部分に対する少なくとも1つの注目度ベクトルを生成し、前記少なくとも1つの注目度ベクトルに従って、前記画像の少なくとも1つの注目経路を構築し、前記画像が供給された装置の表示画面の特性上、前記画像を直接表示させることができないと判断した場合に、前記少なくとも1つの注目経路に基づいて、前記画像から、前記表示画面に表示させる部分を選択する処理システムを備えた、
装置。 - 前記装置のディスプレイを使用して前記画像の少なくとも一部を表示するように動作可能である、請求項22記載の少なくとも1つの画像を処理するようになっている装置。
- 前記画像の閲覧に利用可能な時間長に関連するデータを受け取り、前記受け取ったデータに基づいて前記画像の表示部分を決定するように動作可能なプロセッサをさらに備える、請求項23記載の少なくとも1つの画像を処理するようになっている装置。
- 画像の画像データから特徴量を抽出し、前記抽出した特徴量に基づいて、注目度マップを生成することと、
前記注目度マップの離散データをバイナリデータに変換して、畳み込み演算を行うことにより、前記画像の注目部分の関係を示す注目度場を生成することと、
前記生成された注目度場が示す注目部分の方位に従って、前記画像の注目経路を構築することと、
前記画像が供給された装置の表示画面の特性上、前記画像を直接表示させることができないと判断した場合に、前記注目経路に基づいて、前記画像から、前記表示画面に表示させる部分を選択することと
を備える装置。 - 前記注目経路に沿って前記画像の少なくとも一部を表示するようにさらに動作可能である、請求項25記載の装置。
- 前記画像の閲覧に利用可能な時間長に関連するデータを受け取るように動作可能なプロセッサをさらに備える、請求項25記載の装置。
- 前記プロセッサは、前記受け取ったデータに基づいて前記画像の表示部分を決定するように動作可能である、請求項27記載の装置。
- 少なくとも1つのユーザ操作インタフェースをさらに備え、前記装置は、前記ユーザ操作選択装置から受け取るデータに基づいて、前記画像を処理するように動作可能である、請求項25記載の装置。
- 前記少なくとも1つのユーザ操作インタフェースは、多方位ボタンであり、前記データは前記ボタンの起動方位に関連する、請求項29記載の装置。
- 前記ユーザ操作インタフェースは、前記装置のメニューシステムを制御するようになっており、前記メニューシステムは、前記装置の前記プロセッサの機能を制御するように動作可能であり、前記メニューシステムは、生成された注目経路のパラメータに関連するメニュー項目を含む、請求項29記載の装置。
- 前記インタフェースを使用して選択された前記メニュー項目に基づいて、前記画像の少なくとも一部の表示を容易にするように動作可能である、請求項31記載の装置。
- コンピュータ可読媒体に記憶されるプログラムであって、コンピュータに、画像の選択された注目部分の方位、この方位の大きさ、配置および注目度に関連するデータを含む、前記注目部分に対する少なくとも1つの注目度ベクトルを生成させ、前記注目度ベクトルに従って、前記画像の注目経路を構築させ、前記画像が供給された装置の表示画面の特性上、前記画像を直接表示させることができないと判断した場合に、前記構築された注目経路に基づいて、前記画像から、前記表示画面に表示させる部分を選択させるように構成された命令を含む、コンピュータ可読媒体に記憶されるプログラム。
- 画像の選択された注目部分の方位、この方位の大きさ、配置および注目度に関連するデータを含む、前記注目部分に対する少なくとも1つの注目度ベクトルを生成させ、前記注目度ベクトルに従って、前記画像の注目経路を構築させ、前記画像が供給された装置の表示画面の特性上、前記画像を直接表示させることができないと判断した場合に、前記構築された注目経路に基づいて、前記画像から、前記表示画面に表示させる部分を選択させるように動作するように構成される論理回路。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB0414064A GB2415562B (en) | 2004-06-23 | 2004-06-23 | Image processing |
GB0414064.6 | 2004-06-23 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006012154A JP2006012154A (ja) | 2006-01-12 |
JP4749051B2 true JP4749051B2 (ja) | 2011-08-17 |
Family
ID=32800034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005176267A Expired - Fee Related JP4749051B2 (ja) | 2004-06-23 | 2005-06-16 | 画像処理 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7844075B2 (ja) |
JP (1) | JP4749051B2 (ja) |
GB (1) | GB2415562B (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4750758B2 (ja) * | 2007-06-20 | 2011-08-17 | 日本電信電話株式会社 | 注目領域抽出方法、注目領域抽出装置、コンピュータプログラム、及び、記録媒体 |
US20100122208A1 (en) * | 2007-08-07 | 2010-05-13 | Adam Herr | Panoramic Mapping Display |
US20090295787A1 (en) * | 2008-06-02 | 2009-12-03 | Amlogic, Inc. | Methods for Displaying Objects of Interest on a Digital Display Device |
AU2009298416B8 (en) | 2008-10-03 | 2013-08-29 | 3M Innovative Properties Company | Systems and methods for evaluating robustness |
CA2739023C (en) | 2008-10-03 | 2017-07-04 | 3M Innovative Properties Company | Systems and methods for optimizing a scene |
US8577156B2 (en) * | 2008-10-03 | 2013-11-05 | 3M Innovative Properties Company | Systems and methods for multi-perspective scene analysis |
US8934686B2 (en) * | 2009-11-26 | 2015-01-13 | Algotec Systems Ltd. | User interface for selecting paths in an image |
JP2013187726A (ja) * | 2012-03-08 | 2013-09-19 | Casio Comput Co Ltd | 画像解析装置、画像処理装置、画像解析方法及びプログラム |
US9805061B2 (en) * | 2014-11-18 | 2017-10-31 | International Business Machines Corporation | Image search for a location |
CN105205504B (zh) * | 2015-10-04 | 2018-09-18 | 北京航空航天大学 | 一种基于数据驱动的图像关注区域质量评价指标学习方法 |
US11263470B2 (en) * | 2017-11-15 | 2022-03-01 | Adobe Inc. | Saliency prediction for informational documents |
US11126257B2 (en) * | 2018-04-17 | 2021-09-21 | Toyota Research Institute, Inc. | System and method for detecting human gaze and gesture in unconstrained environments |
US20200191568A1 (en) * | 2018-12-17 | 2020-06-18 | Paul Lapstun | Multi-View Aerial Imaging |
CN112434607B (zh) * | 2020-11-24 | 2023-05-26 | 北京奇艺世纪科技有限公司 | 特征处理方法、装置、电子设备及计算机可读存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5210799A (en) * | 1991-03-28 | 1993-05-11 | Texas Instruments Incorporated | System and method for ranking and extracting salient contours for target recognition |
JP3697276B2 (ja) * | 1993-10-27 | 2005-09-21 | ゼロックス コーポレイション | 画像ディスプレイ方法及び画像ディスプレイ装置並びに画像スケーリング方法 |
US5940523A (en) * | 1996-03-19 | 1999-08-17 | University Corporation For Atmospheric Research | Method of moment estimation and feature extraction for devices which measure spectra as a function of range or time |
US20030026495A1 (en) * | 2001-03-07 | 2003-02-06 | Gondek Jay Stephen | Parameterized sharpening and smoothing method and apparatus |
US6834288B2 (en) * | 2001-04-13 | 2004-12-21 | Industrial Technology Research Institute | Content-based similarity retrieval system for image data |
GB0122601D0 (en) * | 2001-09-19 | 2001-11-07 | Imp College Innovations Ltd | Manipulation of image data |
EP1595227B1 (en) * | 2003-02-07 | 2011-06-15 | Koninklijke Philips Electronics N.V. | Image viewing system and method for generating filters for filtering image features according to their type |
-
2004
- 2004-06-23 GB GB0414064A patent/GB2415562B/en not_active Expired - Fee Related
-
2005
- 2005-06-15 US US11/153,648 patent/US7844075B2/en not_active Expired - Fee Related
- 2005-06-16 JP JP2005176267A patent/JP4749051B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
GB2415562A (en) | 2005-12-28 |
JP2006012154A (ja) | 2006-01-12 |
GB2415562B (en) | 2007-11-21 |
GB0414064D0 (en) | 2004-07-28 |
US20050286739A1 (en) | 2005-12-29 |
US7844075B2 (en) | 2010-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4749051B2 (ja) | 画像処理 | |
CN107301620B (zh) | 基于相机阵列的全景成像方法 | |
US10430075B2 (en) | Image processing for introducing blurring effects to an image | |
JP6730690B2 (ja) | シーン内に存在する不要なオブジェクトの除去に基づくシーンの画像の動的生成 | |
CN112367459B (zh) | 图像处理方法、电子装置及非易失性计算机可读存储介质 | |
JP4782105B2 (ja) | 画像処理装置及び画像処理方法 | |
KR101952569B1 (ko) | 디바이스를 위한 이미지 편집 기법들 | |
JP5525757B2 (ja) | 画像処理装置、電子機器、及びプログラム | |
JP2013501993A (ja) | 表示用の画像を供給する方法及び装置 | |
US20130176285A1 (en) | Image processing apparatus, image processing method, and program | |
JP6544996B2 (ja) | 制御装置及び制御方法 | |
WO2015156149A1 (ja) | 画像処理装置および画像処理方法 | |
CN114298900A (zh) | 图像超分方法和电子设备 | |
JP6155349B2 (ja) | デコンボリューション画像において色収差を減じる方法、装置及びコンピュータプログラム製品 | |
CN106462935B (zh) | 图像处理装置、图像处理方法和计算机可读存储介质 | |
CN108702441A (zh) | 图像处理设备、图像处理***及程序 | |
CN108781251A (zh) | 图像处理装置、图像处理方法和图像处理*** | |
CN113379600A (zh) | 基于深度学习的短视频超分辨率转换方法、装置及介质 | |
CN111080543A (zh) | 图像处理方法及装置、电子设备及计算机可读存储介质 | |
KR102681979B1 (ko) | 이미지 처리 회로 및 이미지 처리 방법 | |
JPH11213136A (ja) | 不均一解像度画像データ生成装置及び方法及び不均一解像度画像データを用いる画像処理装置 | |
WO2011086901A1 (ja) | 画像処理装置、撮像装置、および画像処理プログラム | |
JP5731033B2 (ja) | 画像処理装置、電子機器、及びプログラム | |
JP5962491B2 (ja) | 画角調整装置、方法、およびプログラム | |
KR20240045052A (ko) | 전자 장치 및 그 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100531 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100826 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20101124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110509 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110517 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4749051 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140527 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |