JPWO2008136098A1 - 医療用画像処理装置及び医療用画像処理方法 - Google Patents
医療用画像処理装置及び医療用画像処理方法 Download PDFInfo
- Publication number
- JPWO2008136098A1 JPWO2008136098A1 JP2009512830A JP2009512830A JPWO2008136098A1 JP WO2008136098 A1 JPWO2008136098 A1 JP WO2008136098A1 JP 2009512830 A JP2009512830 A JP 2009512830A JP 2009512830 A JP2009512830 A JP 2009512830A JP WO2008136098 A1 JPWO2008136098 A1 JP WO2008136098A1
- Authority
- JP
- Japan
- Prior art keywords
- local region
- edge
- dimensional
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 98
- 238000003672 processing method Methods 0.000 title claims description 21
- 238000000605 extraction Methods 0.000 claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000002059 diagnostic imaging Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 82
- 239000000284 extract Substances 0.000 abstract description 4
- 210000001519 tissue Anatomy 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 14
- 238000003780 insertion Methods 0.000 description 9
- 230000037431 insertion Effects 0.000 description 9
- 239000007787 solid Substances 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 230000003902 lesion Effects 0.000 description 6
- 208000037062 Polyps Diseases 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 238000004040 coloring Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 101100005986 Caenorhabditis elegans cth-2 gene Proteins 0.000 description 2
- 101100096895 Mus musculus Sult2a2 gene Proteins 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/507—Depth or shape recovery from shading
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
Abstract
Description
図1から図6は、本発明の第1の実施形態に係るものである。図1は、本発明の実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図である。図2は、図1の医療用画像処理装置が第1の実施形態において行う処理の手順の一例を示すフローチャートである。図3は、図1の医療用画像処理装置により取得されるエッジ画像の一例を示す図である。図4は、図3のエッジ画像における一の局所領域の拡大図である。図5は、図4の一の局所領域に対してラベリングが施された場合の状態を示す模式図である。図6は、図5のようにラベリングが施された各領域と、三次元モデルにおいて該各領域の三次元座標データが存在する部分と、の対応関係を示す図である。
図7及び図8は、本発明の第2の実施形態に係るものである。図7は、図1の医療用画像処理装置が第2の実施形態において行う処理の手順の一例を示すフローチャートである。図8は、図1の医療用画像処理装置が第2の実施形態において行う処理の手順の、図7とは異なる例を示すフローチャートである。
図9は、本発明の第3の実施形態に係るものである。図9は、図1の医療用画像処理装置が第3の実施形態において行う処理の手順の一例を示すフローチャートである。
Claims (12)
- 医療用撮像装置から入力される生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出部と、
前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、
前記二次元画像において、注目画素を中心とした局所領域を設定する局所領域設定部と、
前記エッジ抽出部において抽出されたエッジの少なくとも一部により、前記局所領域が分割されているか否かを判定する判定部と、
前記判定部の判定結果に基づき、前記局所領域のうち、前記エッジ抽出部において抽出されたエッジにより分割されない領域であり、かつ、前記注目画素が存在する領域に対応する三次元座標データを用いつつ、前記注目画素の形状特徴量を算出する形状特徴量算出部と、
前記形状特徴量算出部の算出結果に基づいて***形状を検出する***形状検出部と、
を有することを特徴とする医療用画像処理装置。 - 前記判定部は、前記エッジ抽出部において抽出されたエッジの少なくとも一部により、前記局所領域が分割されているか否かを判定するための処理として、前記局所領域内に存在するエッジの各端部が前記局所領域の端部のうちのいずれかに接しているか否かを検出する処理を行うことを特徴とする請求項1に記載の医療用画像処理装置。
- 医療用撮像装置から入力される生体組織の像の二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、
前記三次元モデルにおいて、注目ボクセルを中心とした局所領域を設定する局所領域設定部と、
前記局所領域に含まれる三次元座標データの数が所定の閾値よりも多いか否かを判定する判定部と、
前記判定部の判定結果に基づき、前記局所領域に含まれる三次元座標データの数が所定の閾値よりも多い場合に、前記局所領域に含まれる三次元座標データを用いつつ、前記注目ボクセルにおける形状特徴量を算出する形状特徴量算出部と、
前記形状特徴量算出部の算出結果に基づいて***形状を検出する***形状検出部と、
を有することを特徴とする医療用画像処理装置。 - さらに、前記二次元画像のエッジを抽出するエッジ抽出部を有し、
前記局所領域設定部は、前記エッジ抽出部のエッジの抽出結果に基づき、前記注目ボクセルが前記二次元画像のエッジに対応するボクセルであるか否かを判定するとともに、該判定した結果に応じて前記局所領域のサイズを変更することを特徴とする請求項3に記載の医療用画像処理装置。 - 前記局所領域設定部は、前記注目ボクセルが前記二次元画像のエッジに対応するボクセルでない場合に、前記局所領域のサイズを第1のサイズに設定するとともに、前記注目ボクセルが前記二次元画像のエッジに対応するボクセルである場合に、前記局所領域のサイズを、該第1のサイズよりも小さい第2のサイズに設定することを特徴とする請求項4に記載の医療用画像処理装置。
- 医療用撮像装置から入力される生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出部と、
前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、
前記二次元画像の一のエッジに対応する部分の三次元座標データに基づき、前記三次元モデルにおける該一のエッジの曲率を形状特徴量として算出する形状特徴量算出部と、
前記形状特徴量算出部の算出結果に基づき、***形状を検出する***形状検出部と、
を有することを特徴とする医療用画像処理装置。 - 医療用撮像装置から入力される生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出ステップと、
前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定ステップと、
前記二次元画像において、注目画素を中心とした局所領域を設定する局所領域設定ステップと、
前記エッジ抽出ステップにおいて抽出されたエッジの少なくとも一部により、前記局所領域が分割されているか否かを判定する判定ステップと、
前記判定ステップの判定結果に基づき、前記局所領域のうち、前記エッジ抽出ステップにおいて抽出されたエッジにより分割されない領域であり、かつ、前記注目画素が存在する領域に対応する三次元座標データを用いつつ、前記注目画素の形状特徴量を算出する形状特徴量算出ステップと、
前記形状特徴量算出ステップの算出結果に基づいて***形状を検出する***形状検出ステップと、
を有することを特徴とする医療用画像処理方法。 - 前記判定ステップは、前記エッジ抽出ステップにおいて抽出されたエッジの少なくとも一部により、前記局所領域が分割されているか否かを判定するための処理として、前記局所領域内に存在するエッジの各端部が前記局所領域の端部のうちのいずれかに接しているか否かを検出する処理を行うことを特徴とする請求項7に記載の医療用画像処理方法。
- 医療用撮像装置から入力される生体組織の像の二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定ステップと、
前記三次元モデルにおいて、注目ボクセルを中心とした局所領域を設定する局所領域設定ステップと、
前記局所領域に含まれる三次元座標データの数が所定の閾値よりも多いか否かを判定する判定ステップと、
前記判定ステップの判定結果に基づき、前記局所領域に含まれる三次元座標データの数が所定の閾値よりも多い場合に、前記局所領域に含まれる三次元座標データを用いつつ、前記注目ボクセルにおける形状特徴量を算出する形状特徴量算出ステップと、
前記形状特徴量算出ステップの算出結果に基づいて***形状を検出する***形状検出ステップと、
を有することを特徴とする医療用画像処理方法。 - さらに、前記二次元画像のエッジを抽出するエッジ抽出ステップを有し、
前記局所領域設定ステップは、前記エッジ抽出ステップのエッジの抽出結果に基づき、前記注目ボクセルが前記二次元画像のエッジに対応するボクセルであるか否かを判定するとともに、該判定した結果に応じて前記局所領域のサイズを変更することを特徴とする請求項9に記載の医療用画像処理方法。 - 前記局所領域設定ステップは、前記注目ボクセルが前記二次元画像のエッジに対応するボクセルでない場合に、前記局所領域のサイズを第1のサイズに設定するとともに、前記注目ボクセルが前記二次元画像のエッジに対応するボクセルである場合に、前記局所領域のサイズを、該第1のサイズよりも小さい第2のサイズに設定することを特徴とする請求項10に記載の医療用画像処理方法。
- 医療用撮像装置から入力される生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出ステップと、
前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定ステップと、
前記二次元画像の一のエッジに対応する部分の三次元座標データに基づき、前記三次元モデルにおける該一のエッジの曲率を形状特徴量として算出する形状特徴量算出ステップと、
前記形状特徴量算出ステップの算出結果に基づき、***形状を検出する***形状検出ステップと、
を有することを特徴とする医療用画像処理方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2007/058860 WO2008136098A1 (ja) | 2007-04-24 | 2007-04-24 | 医療用画像処理装置及び医療用画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2008136098A1 true JPWO2008136098A1 (ja) | 2010-07-29 |
JP4902735B2 JP4902735B2 (ja) | 2012-03-21 |
Family
ID=39943221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009512830A Expired - Fee Related JP4902735B2 (ja) | 2007-04-24 | 2007-04-24 | 医療用画像処理装置及び医療用画像処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20100034443A1 (ja) |
EP (1) | EP2138091B1 (ja) |
JP (1) | JP4902735B2 (ja) |
CN (1) | CN101594817B (ja) |
WO (1) | WO2008136098A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8200466B2 (en) | 2008-07-21 | 2012-06-12 | The Board Of Trustees Of The Leland Stanford Junior University | Method for tuning patient-specific cardiovascular simulations |
US9405886B2 (en) | 2009-03-17 | 2016-08-02 | The Board Of Trustees Of The Leland Stanford Junior University | Method for determining cardiovascular information |
JP5570866B2 (ja) | 2010-04-30 | 2014-08-13 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、および画像処理プログラム |
US8315812B2 (en) | 2010-08-12 | 2012-11-20 | Heartflow, Inc. | Method and system for patient-specific modeling of blood flow |
US8157742B2 (en) | 2010-08-12 | 2012-04-17 | Heartflow, Inc. | Method and system for patient-specific modeling of blood flow |
US9183764B2 (en) * | 2011-03-31 | 2015-11-10 | National University Corporation Kobe University | Method for manufacturing three-dimensional molded model and support tool for medical treatment, medical training, research, and education |
US8548778B1 (en) | 2012-05-14 | 2013-10-01 | Heartflow, Inc. | Method and system for providing information from a patient-specific model of blood flow |
JP6113487B2 (ja) * | 2012-12-13 | 2017-04-12 | 東芝メディカルシステムズ株式会社 | 医用画像診断装置及び医用画像処理装置 |
CN104573635B (zh) * | 2014-12-17 | 2018-04-13 | 华南理工大学 | 一种基于三维重建的微小高度识别方法 |
JP6473177B2 (ja) * | 2015-01-23 | 2019-02-20 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法および画像処理プログラム |
EP3489857A4 (en) * | 2016-07-14 | 2020-05-13 | Universidad Técnica Federico Santa María | METHOD FOR ESTIMATING CONTACT FORCE AND PRESSURE ON VOICE ROPES FROM HIGH SPEED VIDEO LARYNGOSCOPY |
CN110799084B (zh) * | 2017-06-22 | 2022-11-29 | 奥林巴斯株式会社 | 图像处理装置、图像处理程序和图像处理方法 |
US11457795B2 (en) * | 2017-11-06 | 2022-10-04 | Hoya Corporation | Processor for electronic endoscope and electronic endoscope system |
CN113366482A (zh) * | 2019-01-31 | 2021-09-07 | 奥林巴斯株式会社 | 医疗器具分析装置、医疗器具分析方法以及已学习模型 |
CN117241718A (zh) * | 2021-04-30 | 2023-12-15 | 奥林巴斯医疗株式会社 | 内窥镜***、内腔构造计算***以及内腔构造信息的制作方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07282259A (ja) * | 1994-04-13 | 1995-10-27 | Matsushita Electric Ind Co Ltd | 視差演算装置及び画像合成装置 |
JPH0927969A (ja) * | 1995-05-08 | 1997-01-28 | Matsushita Electric Ind Co Ltd | 複数画像の中間像生成方法及び視差推定方法および装置 |
JP2001075019A (ja) * | 1999-09-01 | 2001-03-23 | Olympus Optical Co Ltd | 内視鏡装置 |
JP2008093213A (ja) * | 2006-10-12 | 2008-04-24 | Olympus Medical Systems Corp | 医療用画像処理装置及び医療用画像処理方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3895400B2 (ja) * | 1996-04-30 | 2007-03-22 | オリンパス株式会社 | 診断支援装置 |
JP2000155840A (ja) * | 1998-11-18 | 2000-06-06 | Olympus Optical Co Ltd | 画像処理方法 |
JP4450973B2 (ja) * | 2000-11-30 | 2010-04-14 | オリンパス株式会社 | 診断支援装置 |
GB0117157D0 (en) * | 2001-07-16 | 2001-09-05 | Imec Inter Uni Micro Electr | Extraction, hierarchical representation and flexible compression of surface meshes derived from 3D data |
US7379572B2 (en) | 2001-10-16 | 2008-05-27 | University Of Chicago | Method for computer-aided detection of three-dimensional lesions |
US7639855B2 (en) * | 2003-04-02 | 2009-12-29 | Ziosoft, Inc. | Medical image processing apparatus, and medical image processing method |
JP4009560B2 (ja) * | 2003-06-19 | 2007-11-14 | オリンパス株式会社 | 内視鏡装置及び信号処理装置 |
JP4434705B2 (ja) * | 2003-11-27 | 2010-03-17 | オリンパス株式会社 | 画像解析方法 |
JP3989896B2 (ja) * | 2003-12-25 | 2007-10-10 | ザイオソフト株式会社 | 医用画像処理装置、関心領域抽出方法、ならびに、プログラム |
JP4652694B2 (ja) * | 2004-01-08 | 2011-03-16 | オリンパス株式会社 | 画像処理方法 |
US7120283B2 (en) * | 2004-01-12 | 2006-10-10 | Mercury Computer Systems, Inc. | Methods and apparatus for back-projection and forward-projection |
US9470801B2 (en) * | 2004-01-13 | 2016-10-18 | Spectrum Dynamics Llc | Gating with anatomically varying durations |
EP1842481B1 (en) * | 2004-12-10 | 2017-02-08 | Olympus Corporation | Medical image processing method |
JP4855673B2 (ja) * | 2004-12-13 | 2012-01-18 | オリンパス株式会社 | 医用画像処理装置 |
JP2006166939A (ja) * | 2004-12-10 | 2006-06-29 | Olympus Corp | 画像処理方法 |
US8374234B2 (en) * | 2006-09-29 | 2013-02-12 | Francis S. J. Munoz | Digital scaling |
-
2007
- 2007-04-24 JP JP2009512830A patent/JP4902735B2/ja not_active Expired - Fee Related
- 2007-04-24 EP EP07742295.4A patent/EP2138091B1/en not_active Not-in-force
- 2007-04-24 CN CN2007800506793A patent/CN101594817B/zh active Active
- 2007-04-24 WO PCT/JP2007/058860 patent/WO2008136098A1/ja active Application Filing
-
2009
- 2009-10-15 US US12/579,681 patent/US20100034443A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07282259A (ja) * | 1994-04-13 | 1995-10-27 | Matsushita Electric Ind Co Ltd | 視差演算装置及び画像合成装置 |
JPH0927969A (ja) * | 1995-05-08 | 1997-01-28 | Matsushita Electric Ind Co Ltd | 複数画像の中間像生成方法及び視差推定方法および装置 |
JP2001075019A (ja) * | 1999-09-01 | 2001-03-23 | Olympus Optical Co Ltd | 内視鏡装置 |
JP2008093213A (ja) * | 2006-10-12 | 2008-04-24 | Olympus Medical Systems Corp | 医療用画像処理装置及び医療用画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101594817A (zh) | 2009-12-02 |
EP2138091B1 (en) | 2013-06-19 |
CN101594817B (zh) | 2011-08-24 |
JP4902735B2 (ja) | 2012-03-21 |
EP2138091A1 (en) | 2009-12-30 |
EP2138091A4 (en) | 2012-06-20 |
WO2008136098A1 (ja) | 2008-11-13 |
US20100034443A1 (en) | 2010-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4902735B2 (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
JP4855868B2 (ja) | 医療用画像処理装置 | |
JP5800468B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
EP1994878B1 (en) | Medical image processing device and medical image processing method | |
JP4994737B2 (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
JP5276225B2 (ja) | 医用画像処理装置及び医用画像処理装置の作動方法 | |
US20080303898A1 (en) | Endoscopic image processing apparatus | |
US7830378B2 (en) | Medical image processing apparatus and medical image processing method | |
US8165367B2 (en) | Medical image processing apparatus and medical image processing method having three-dimensional model estimating | |
JP5078486B2 (ja) | 医療用画像処理装置及び医療用画像処理装置の作動方法 | |
JP4981335B2 (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
JP4981336B2 (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
JP2008093213A (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
JP5148096B2 (ja) | 医療用画像処理装置及び医療用画像処理装置の作動方法 | |
JP2008023266A (ja) | 医療用画像処理装置及び医療用画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111220 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111228 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4902735 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150113 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |