JP2007061638A - 診断支援装置及び診断支援方法 - Google Patents
診断支援装置及び診断支援方法 Download PDFInfo
- Publication number
- JP2007061638A JP2007061638A JP2006269732A JP2006269732A JP2007061638A JP 2007061638 A JP2007061638 A JP 2007061638A JP 2006269732 A JP2006269732 A JP 2006269732A JP 2006269732 A JP2006269732 A JP 2006269732A JP 2007061638 A JP2007061638 A JP 2007061638A
- Authority
- JP
- Japan
- Prior art keywords
- diagnosis support
- information
- blood vessel
- image
- diagnosis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
【解決手段】内視鏡装置から入力される画像データを記憶する画像記憶手段7と、画像記憶手段7に記憶した画像データから診断に関する所見を定量化するための少なくとも1つの特徴量を算出する特徴量算出手段8と、特徴量算出手段8での算出結果に基づき、診断支援情報を表示する診断支援情報表示手段9とを備え、検査者の診断を支援するための診断支援装置において、特徴量算出手段8は、画像記憶手段7に記憶された画像データの血管像を抽出する血管抽出手段と、血管抽出手段の出力に基づき、血管走行状態を評価して特徴量を算出する血管特徴量算出手段と、を備える。
【選択図】 図39
Description
まず診断支援の詳細について説明する。一般に医療における診断行為は医師の判断により行われている、このことは医師の経験差や主観判断の違いによる診断結果の相違が生じる可能性があることを示している。この問題に対し、診断支援は所見に対する情報の客観的表示、線形判別関数やニューラルネットワーク等の識別分類手法を用いた疾患分類結果表示、診断時における典型症例や類似症例の参照表示等、様々な情報を提供することで
ばらつきのない正確な診断を実現することを目的としている。診断支援コンテンツは診断支援において提供する支援情報の内容や種類であり、例えば以下の(1)〜(5)に示すバリエーションが考えられる。これらの診断支援コンテンツは、画像撮像機器(モダリティ、本願発明においては内視鏡システムを例に説明する)、検査部位、注目する疾患名等に応じて適宜作成される。
医用内視鏡分野においては、例えば重要な画像所見の一つとして色調が挙げられる。色調の違いを客観的に表す数値(特徴量)としては、IHb値が広く用いられている。IHb値はRGB色信号から構成される内視鏡画像の各画素ごとに式
32log2 Ri/Gi
により求められる値で、粘膜下血液量に相関する値として知られ、粘膜の色調が赤い程高い値をとる。ここで、iは画素の番号を示す添え字であり、画像全体または関心領域内の平均値を診断支援情報として用いる。IHb値を用いて胃炎の診断支援を行うための診断支援コンテンツの例を図9に示す。図9は医師に対し提示される表示画面の内容であり、表示領域A1において、診断支援コンテンツ名称A2、グラフ情報領域A3、診断情報領域A4、統計情報領域A5から構成されている。グラフ情報領域A3には正常群及び疾患群(本例では胃炎群)におけるIHb値の生起確率分布をグラフ表示するとともに、診断対象となる症例から得られたIHb値がどこに位置するかを示すポインタA6を重畳している。また、診断情報領域A4については診断対象となる症例のIHb値とグラフ情報領域A3の正常群及び胃炎群を参照した場合の生起確率情報を表示するとともに、「ヘリコバクタピロリ感染による胃炎が疑われます。」といったテキスト情報も出力する。統計情報領域A5においては、正常群及び胃炎群におけるIHb値の平均値±標準偏差、各群の生起確率が等しくなる境界値、IHb値を用いた診断支援情報の感度、特異度等の統計情報が表示される。これらの各診断支援情報を参考に、医師は最終的な診断を行う。したがって、通常は「粘膜表面が赤い」等の主観的な判断に依存していた診断が、本例に示す診断支援コンテンツを参照することにより客観的かつ統計的根拠に基づくものとなる。
内視鏡画像から得られる複数種の特徴量及び識別分類手法を用いた胃***性病変(腺腫、早期癌)の診断支援を行うための診断支援コンテンツの例を図10に示す。図10は医師に対し提示される表示画面の内容であり、表示領域A11において、診断支援コンテンツ名称A12、算出特徴量情報領域A13、診断情報領域A14から構成されている。算出特徴量情報領域A13には診断支援に用いる特徴量(本例においてはIHb値、G変動係数、血管面積比の3種)の値について、診断対象からの算出値、診断結果となる正常群、腺腫群及び早期癌群の平均値を表示する。また、診断情報領域A14においては、識別分類手法名(本例では線形判別関数)、識別結果となるクラス名称、識別分類結果を表示する。
診断対象となる症例の画像に対し、疑われる診断結果の典型症例及び類似症例画像を比較参照用に表示することで診断支援を行うための診断支援コンテンツの例を図11に示す。図11は医師に対し提示される表示画面の内容であり、マウス等の入力手段を用いてインタラクティブに指示を行うことができるウィンドウとして構成されている。図11の内容としては、表示領域A21において診断支援コンテンツ名称A22、診断対象画像表示領域A23、参照用画像表示領域A24、参照用画像を典型症例または類似症例のいずれとするかを選択するためのボタンA25、複数の参照用画像がある場合に前後の画像を選択表示するための選択ボタンA26、参照用画像の詳細を表示するための詳細表示ボタンA27、参照用画像の診断名表示兼プルダウンメニューA28、診断対象画像及び参照用画像の各種特徴量等の比較情報表示領域A29、各ボタンとメニューをマウス操作及びクリックにより選択するためのカーソルA30からなっている。
診断対象となる症例に対し、疑われる疾患の診断において注目すべき所見、鑑別対象となる疾患との違い等の情報を表示することにより診断支援を行うための診断支援コンテンツの例を図13に示す。図13は医師に対し提示される表示画面の内容であり、マウス等の入力手段を用いてインタラクティブに指示を行うことができるウィンドウとして構成されている。図13の内容としては、表示領域A41において診断支援コンテンツ名称A42、診断対象疾患名表示兼プルダウンメニューA43、診断対象疾患情報表示領域A44、鑑別対象疾患情報表示領域A45、他の鑑別対象疾患情報を表示するための表示情報変更ボタンA46、ボタンとメニューをマウス操作及びクリックにより選択するためのカーソルA47からなっている。
診断対象となる症例に対し、疑われる疾患の診断において実施すべき検査項目や適切な処置の選択に関する情報を表示することにより診断支援を行うための診断支援コンテンツの例を図14に示す。図14は医師に対し提示される表示画面の内容であり、マウス等の入力手段を用いてインタラクティブに指示を行うことができるウィンドウとして構成されている。図14の内容としては、表示領域A51において診断支援コンテンツ名称A52、診断対象疾患名表示兼プルダウンメニューA53、診断対象疾患の検査内容表示領域A54、診断対象疾患の処置内容表示領域A55、メニューをマウス操作及びクリックにより選択するためのカーソルA56からなっている。
次に、参考例1−Aにおける診断支援装置について、図面を参照して説明する。本参考例1−Aは、診断支援実行端末#3において常に最新の診断支援コンテンツを利用可能とする診断支援装置に関する。
次に、参考例1−Bにおける診断支援装置について、図面を参照して説明する。本参考例1−Bは、診断支援実行端末#3において簡便に常に最新の診断支援コンテンツを利用可能とする診断支援装置に関する。具体的には、診断支援実行端末#3より診断支援コンテンツサーバが記憶している診断支援コンテンツに更新または追加が発生したか否かを問い合わせ、発生した場合は送信要求を行う。
以下に、参考例2について図面を参照して説明する。本参考例2においては、多くの医療施設・機関が自由に診断支援コンテンツを作成することができ、各施設・機関に蓄積された様々な医療情報や画像データと専門的医学知識を広く診断支援装置上で利用することが可能になるとともに、一度作成された診断支援コンテンツに対しデータの追加等が簡単にできるため、多くの医療施設・機関に分散して存在している症例データを有効に活用し、診断支援装置の能力を向上させることが可能な診断支援装置について説明する。
本発明の一実施形態は内視鏡画像における所見の客観化を目的とする特徴量算出手法に特徴があり、画像データから血管透見像(以下、血管像)を抽出し、その血管走行状態に関する特徴量を算出するものである。図39〜図50を用いて、第1の実施形態を説明する。
本発明の第1の実施形態における診断支援装置の構成については、参考例2と同一であるため、詳細な説明を省略する。
本実施例では、ビデオプロセッサ004より入力され前記画像記憶手段007に記録される画像データは、面順次方式の内視鏡によるRGBの3つの画像データで構成されているとする。
血管候補抽出部121は、図44に示すように、エッジ情報検知部122の出力である∇2 G(x,y)に対し所定の閾値T∇以上を有する画素P∇を図示していないメモリに記憶し(ステップS220)、その画素P∇において、色調算出部123の出力する色調データC(x,y)の最小値Cmin を算出し(ステップS221)、さらに色調データC(x,y)が最小値Cmin 以上の値を有する画素に値1を与え、Cmin 未満の値の画素に0を与える2値化処理を実施する(ステップS222、S108))。得られた2値化データは血管候補データBiC(x,y)として、分離部141へ出力する。血管候補データBiC(x,y)には図48に示すように、血管部と共に形状エッジ部を含むため、後述の分離部141で分離する。
ここで||は絶対値を意味する。
+θ・Grad B(x,y) 式※3
重み係数α,β,θは所定の値を用い、本実施形態では全て1とする。
上記構成によれば、生体内における形状エッジを血管像と分離して抽出することが可能であるため、誤抽出を抑制し、血管に即した定量化が行われる。
♯2 診断支援コンテンツサーバ
♯3 診断支援実行端末
♯4 ネットワーク
♯5 医用システム
♯6 診断支援コンテンツ記憶手段
♯7 メインプログラム記憶手段
♯8 配信先管理ファイル記憶手段
♯9 制御手段
♯10 入出力制御手段
♯11 入出力制御手段
♯12 制御手段
♯13 診断支援コンテンツ記憶手段
♯14 メインプログラム記憶手段
♯15 判断情報入出力制御手段
♯16 端末認証情報記憶手段
♯17 表示制御手段
♯18 表示手段
♯19 内視鏡システム
♯20 院内ネットワーク
♯21 電子カルテ
♯22 画像ファイルシステム
1 内視鏡装置
2 ライトソース
3 内視鏡
4 ビデオプロセッサ
5 観察モニタ
7 画像記憶手段
8 特徴量算出手段
9 診断支援情報表示手段
Claims (7)
- 内視鏡装置から入力される画像データを記憶する画像記憶手段と、前記画像記憶手段に記憶した画像データから診断に関する所見を定量化するための少なくとも1つの特徴量を算出する特徴量算出手段と、前記特徴量算出手段での算出結果に基づき、診断支援情報を表示する診断支援情報表示手段とを備え、検査者の診断を支援するための診断支援装置において、
前記特徴量算出手段は、
前記画像記憶手段に記憶された画像データの血管像を抽出する血管抽出手段と、
前記血管抽出手段の出力に基づき、血管走行状態を評価して特徴量を算出する血管特徴量算出手段と
を備えることを特徴とする診断支援装置。 - 前記血管抽出手段は、
前記画像記録手段に記録された画像データの濃度勾配情報を検出する勾配情報検出手段と、
前記勾配情報検出手段の出力から、生体内の形状に基づく形状エッジ情報を検知する形状エッジ検知手段と、
前記画像記憶手段に記憶された、複数の色信号で構成される画像データの中から少なくとも1つの色信号に対して、透見血管像の候補となる血管像を抽出するための血管候補抽出手段と、
前記形状エッジ検知手段及び前記血管候補抽出手段の出力に基づき、所望の透見血管像を形状エッジから分離して抽出する分離手段と
を備えることを特徴とする請求項1記載の診断支援装置。 - 前記血管候補抽出手段は、
前記画像記憶手段に記憶された、複数の色信号で構成される画像データの中から少なくとも1つの色信号に対してエッジ情報を検出するエッジ情報検出手段と、
前記画像記憶手段に記憶された、複数の色信号で構成される画像データの中から少なくとも1つの色信号に対して色調に関する値を算出する色調情報算出手段とを備え、
前記エッジ情報検出手段及び前記色調情報算出手段の出力に基づき血管候補を抽出すること
を特徴とする請求項1記載の診断支援装置。 - 前記勾配情報検出手段は、前記画像記憶手段に記憶された複数の色信号からなる画像データの夫々に対して濃度勾配情報を検知し、前記形状エッジ検知手段は、前記勾配情報検出手段から出力される複数色信号の濃度勾配情報間の線形和に対する閾値処理により形状エッジを検知することを特徴とする2記載の診断支援装置。
- 前記分離手段は、前記形状エッジ検知手段が出力される形状エッジ画像情報と、前記血管候補抽出手段から出力される血管候補画像情報から形状エッジ部の画像情報のみを抽出し、前記血管候補画像情報に基づき前記形状エッジ部の画像情報を膨張処理することで、形状エッジに基づく血管候補画像情報を検知して、前記血管候補画像情報から除外することを特徴とする請求項3記載の診断支援装置。
- 前記色調情報算出手段は、前記複数の色信号がR、GおよびBで構成されているときに、R/(R+G+B)で算出される値を色調に関する値とすることを特徴とする請求項3記載の診断支援装置。
- 画像記憶手段により、内視鏡装置から入力される画像データを記憶する画像記憶ステップと、特徴量算出手段により、前記画像記憶手段に記憶した画像データから診断に関する所見を定量化するための少なくとも1つの特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップでの算出結果に基づき、表示手段により診断支援情報を表示する診断支援情報表示ステップとを備えて、検査者の診断を支援するための診断支援方法において、
前記特徴量算出ステップは、
前記画像記憶手段に記憶された画像データの血管像を抽出する血管抽出ステップと、
前記血管抽出ステップでの抽出結果に基づき、血管走行状態を評価して特徴量を算出する血管特徴量算出ステップと
を備えることを特徴とする診断支援方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006269732A JP4493637B2 (ja) | 2006-09-29 | 2006-09-29 | 診断支援装置及び診断支援方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006269732A JP4493637B2 (ja) | 2006-09-29 | 2006-09-29 | 診断支援装置及び診断支援方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001324036A Division JP2003126045A (ja) | 2001-10-22 | 2001-10-22 | 診断支援装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007061638A true JP2007061638A (ja) | 2007-03-15 |
JP4493637B2 JP4493637B2 (ja) | 2010-06-30 |
Family
ID=37924471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006269732A Expired - Fee Related JP4493637B2 (ja) | 2006-09-29 | 2006-09-29 | 診断支援装置及び診断支援方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4493637B2 (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008146447A1 (ja) * | 2007-05-29 | 2008-12-04 | Olympus Medical Systems Corp. | カプセル内視鏡表示装置 |
JP2010017410A (ja) * | 2008-07-11 | 2010-01-28 | Fujifilm Corp | 類似症例画像検索システム及び類似症例画像検索装置 |
JP2011508334A (ja) * | 2007-12-25 | 2011-03-10 | メディック ヴィジョン−ブレイン テクノロジーズ エルティーディー. | 画像のノイズ低減 |
KR101113220B1 (ko) * | 2009-12-10 | 2012-02-20 | 삼성메디슨 주식회사 | 혈관 추출 마스크를 이용한 컬러 도플러 이미지 형성 방법 및 장치 |
JP2012523877A (ja) * | 2009-04-15 | 2012-10-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 臨床決定支援システム及び方法 |
JP2014059892A (ja) * | 2013-11-05 | 2014-04-03 | Canon Inc | 医用情報処理装置、医用情報処理方法、及びプログラム |
JP2015097127A (ja) * | 2015-02-10 | 2015-05-21 | キヤノン株式会社 | 診断支援装置、診断支援装置の制御方法、プログラム及び記憶媒体 |
JP2016067706A (ja) * | 2014-09-30 | 2016-05-09 | 富士フイルム株式会社 | プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム |
JP2016116741A (ja) * | 2014-12-22 | 2016-06-30 | 富士フイルム株式会社 | 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム |
WO2017199635A1 (ja) * | 2016-05-18 | 2017-11-23 | オリンパス株式会社 | 画像解析装置、画像解析システム、及び画像解析装置の作動方法 |
US10426318B2 (en) | 2015-09-29 | 2019-10-01 | Fujifilm | Image processing apparatus, endoscope system, and image processing method |
US10653295B2 (en) | 2015-09-29 | 2020-05-19 | Fujifilm Corporation | Image processing apparatus, endoscope system, and image processing method |
US10672123B2 (en) | 2015-09-28 | 2020-06-02 | Fujifilm Corporation | Image processing apparatus, endoscope system, and image processing method |
US10729307B2 (en) | 2015-06-05 | 2020-08-04 | Sony Corporation | Image processing device, image processing method, and surgical system |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6336949B2 (ja) | 2015-01-29 | 2018-06-06 | 富士フイルム株式会社 | 画像処理装置及び画像処理方法、並びに内視鏡システム |
-
2006
- 2006-09-29 JP JP2006269732A patent/JP4493637B2/ja not_active Expired - Fee Related
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008146447A1 (ja) * | 2007-05-29 | 2008-12-04 | Olympus Medical Systems Corp. | カプセル内視鏡表示装置 |
US8225209B2 (en) | 2007-05-29 | 2012-07-17 | Olympus Medical Systems Corp. | Capsule endoscope image display device |
JP2011508334A (ja) * | 2007-12-25 | 2011-03-10 | メディック ヴィジョン−ブレイン テクノロジーズ エルティーディー. | 画像のノイズ低減 |
JP2010017410A (ja) * | 2008-07-11 | 2010-01-28 | Fujifilm Corp | 類似症例画像検索システム及び類似症例画像検索装置 |
JP2012523877A (ja) * | 2009-04-15 | 2012-10-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 臨床決定支援システム及び方法 |
US10504197B2 (en) | 2009-04-15 | 2019-12-10 | Koninklijke Philips N.V. | Clinical decision support systems and methods |
KR101113220B1 (ko) * | 2009-12-10 | 2012-02-20 | 삼성메디슨 주식회사 | 혈관 추출 마스크를 이용한 컬러 도플러 이미지 형성 방법 및 장치 |
JP2014059892A (ja) * | 2013-11-05 | 2014-04-03 | Canon Inc | 医用情報処理装置、医用情報処理方法、及びプログラム |
JP2016067706A (ja) * | 2014-09-30 | 2016-05-09 | 富士フイルム株式会社 | プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム |
JP2016116741A (ja) * | 2014-12-22 | 2016-06-30 | 富士フイルム株式会社 | 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム |
WO2016104408A1 (ja) * | 2014-12-22 | 2016-06-30 | 富士フイルム株式会社 | 内視鏡用のプロセッサ装置、及びその作動方法、並びに制御プログラム |
JP2015097127A (ja) * | 2015-02-10 | 2015-05-21 | キヤノン株式会社 | 診断支援装置、診断支援装置の制御方法、プログラム及び記憶媒体 |
US10729307B2 (en) | 2015-06-05 | 2020-08-04 | Sony Corporation | Image processing device, image processing method, and surgical system |
US10672123B2 (en) | 2015-09-28 | 2020-06-02 | Fujifilm Corporation | Image processing apparatus, endoscope system, and image processing method |
US10426318B2 (en) | 2015-09-29 | 2019-10-01 | Fujifilm | Image processing apparatus, endoscope system, and image processing method |
US10653295B2 (en) | 2015-09-29 | 2020-05-19 | Fujifilm Corporation | Image processing apparatus, endoscope system, and image processing method |
WO2017199635A1 (ja) * | 2016-05-18 | 2017-11-23 | オリンパス株式会社 | 画像解析装置、画像解析システム、及び画像解析装置の作動方法 |
JPWO2017199635A1 (ja) * | 2016-05-18 | 2018-05-31 | オリンパス株式会社 | 画像解析装置、画像解析システム、及び画像解析装置の作動方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4493637B2 (ja) | 2010-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4493637B2 (ja) | 診断支援装置及び診断支援方法 | |
EP1452129B1 (en) | Diagnosis support apparatus | |
Puntmann et al. | Native T1 and ECV of noninfarcted myocardium and outcome in patients with coronary artery disease | |
Schmidt‐Hansen et al. | PET‐CT for assessing mediastinal lymph node involvement in patients with suspected resectable non‐small cell lung cancer | |
Mordi et al. | The combined incremental prognostic value of LVEF, late gadolinium enhancement, and global circumferential strain assessed by CMR | |
US8306960B2 (en) | Medical image retrieval system | |
US10936160B2 (en) | System, user interface and method for interactive negative explanation of machine-learning localization models in health care applications | |
WO2013001678A1 (ja) | 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法 | |
JP2009082441A (ja) | 医用診断支援システム | |
US11915822B2 (en) | Medical image reading assistant apparatus and method for adjusting threshold of diagnostic assistant information based on follow-up examination | |
Rumberger | Using noncontrast cardiac CT and coronary artery calcification measurements for cardiovascular risk assessment and management in asymptomatic adults | |
JP2004216008A (ja) | 画像診断支援装置 | |
KR102531400B1 (ko) | 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법 | |
CN112802000A (zh) | 多模态医学影像智能辅助诊疗*** | |
Huang et al. | Development and validation of a radiomics signature as a non‐invasive complementary predictor of gastroesophageal varices and high‐risk varices in compensated advanced chronic liver disease: a multicenter study | |
JP2009226043A (ja) | 医用画像処理装置及び異常陰影検出方法 | |
KR20230097646A (ko) | 위장 질환 및 위암 검출률 향상을 위한 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법 | |
Kotanidis et al. | Selfies in cardiovascular medicine: welcome to a new era of medical diagnostics | |
KR102536369B1 (ko) | 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법 | |
de Groen | Advanced systems to assess colonoscopy | |
JP2010057727A (ja) | 医用画像読影システム | |
JP2007052800A (ja) | 情報処理装置 | |
JP2005004780A (ja) | 情報処理装置 | |
US20180121813A1 (en) | Non-leading computer aided detection of features of interest in imagery | |
JP5642054B2 (ja) | 医用画像検索システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100309 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100406 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4493637 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140416 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |