JP4842511B2 - ノイズの多い画像において構造物を検出し、強調させるための医療観察装置及び方法 - Google Patents

ノイズの多い画像において構造物を検出し、強調させるための医療観察装置及び方法 Download PDF

Info

Publication number
JP4842511B2
JP4842511B2 JP2003545200A JP2003545200A JP4842511B2 JP 4842511 B2 JP4842511 B2 JP 4842511B2 JP 2003545200 A JP2003545200 A JP 2003545200A JP 2003545200 A JP2003545200 A JP 2003545200A JP 4842511 B2 JP4842511 B2 JP 4842511B2
Authority
JP
Japan
Prior art keywords
balloon
marker
image
images
artery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003545200A
Other languages
English (en)
Other versions
JP2005524419A (ja
Inventor
ラオウル フロレント
ルシレ ノスジェアン
ピエッレ レロング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=8182976&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP4842511(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2005524419A publication Critical patent/JP2005524419A/ja
Application granted granted Critical
Publication of JP4842511B2 publication Critical patent/JP4842511B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/22Implements for squeezing-off ulcers or the like on the inside of inner organs of the body; Implements for scraping-out cavities of body organs, e.g. bones; Calculus removers; Calculus smashing apparatus; Apparatus for removing obstructions in blood vessels, not otherwise provided for
    • A61B2017/22001Angioplasty, e.g. PCTA
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12Arrangements for detecting or locating foreign bodies
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Description

本発明は、身体の器官において器具を移動及び/又は位置特定することを含む医療介入の一連の画像を表示する医療観察システム(medical viewing system)に関する。本発明は、前記システムに用いられるコンピュータ実行可能な画像処理方法にも関する。本発明はさらに上記システムに結合される医療検査装置にも関する。本発明は動脈造影図におけるステント(stent)及び血管壁のような関心のある細い対象物を抽出、記録及び強調するための、心臓学の医療分野に利用することが分かっている。
医療画像においてステントを抽出する方法は既に、Ioannis Kompatsiaris他著、”Deformable Boundary Detection of Stents in Angiographic Images” in IEEE TRANSACTIONS ON MEDICAL IMAGING, VOL.19, No. 6, JUNE 2000, 頁652-662の刊行物から知られている。この文献は、血管造影画像における(ステントと呼ばれる)医療器具の変形可能な境界検出のための画像処理方法を開示している。ステントは狭窄が起こった地域における血行を改善させるために、動脈内に配置される外科手術用のステンレス鋼のコイルである。ステントの三次元(3D)モデルの組を初めに形作り、このステントの3Dモデルの様々な変形例の投影図を用いることで、ステントの二次元(2D)画像の多くの組が作られる。これらの合成画像は次に、自動的に対象物を認識するための最初の大まかな推定となるために、固有空間の分解に基づいて多変量の密度の推定を得て、尤度推定フレームワーク(maximum-likelihood
estimation framework)を形成するためのトレーニング用の組として用いられる。検出されたステントの輪郭(silhouette)は、反復的初期化技術で積分され、ステントの幾何学形状を考慮する2D動的輪郭(スネーク)アルゴリズムを用いて更に正確にする。
引用される刊行物に記載されるように、患者の冠状動脈において狭窄と呼ばれる狭域化(narrowing)が確認される場合、血管形成術(angioplasty)と呼ばれる処置が施され、閉塞を開かせることにより心筋への血流を改善させる。近年、血管形成術はますますステント挿入技術を利用している。このステント挿入技術は、引用される刊行物の図2に説明されるように、病気になった血管を効果的に開いたままにするために、検出された狭窄位置にステントを配置する動作を含んでいる。ステントの配置は、多くの患者の緊急の心臓バイパス手術及び/又は心臓発作(心筋梗塞)を避けるのを助ける。引用される刊行物の図1に説明されるようなステントは、コイルを形成するための高精度レーザにより切断される小さなスロット状のステンレス鋼管である。その管はバルーンを先端に付けたカテーテル(balloon-tipped catheter)と呼ばれる装置を形成するカテーテル及び誘導ワイヤとして取り入れるモノレールに設置されるバルーンにしっかりと巻かれる。このバルーンを先端に付けたカテーテルは、小さな切り口を介し動脈内に挿入される。一旦所定の位置に置かれると、バルーンはコイルを膨張させるために膨らむ。一度膨らむと、ステントは、永久に挿入するものとみなされ、血管壁を開いたままにする骨組みとして働く。これがさらに多くの血液を心筋に流すことを可能にする。
ステント、モノレール及び細い誘導ワイヤは、ノイズの多い透視画像(fluoroscopic image)において観測される。これら画像は、正確な位置での前記ステントの配置及び膨張の評価を非常に難しくさせるX線撮影の低いコントラストを示す。さらに、ステント挿入の動作中に、バルーンとそのバルーンに巻かれるステントとを備えるモノレールは、動脈に関して動き、この動脈は心臓の鼓動の影響を受けて動き、前記動脈は患者の呼吸の影響を受けて動く背景に見られる。これらの動きは、透視撮像時にステント挿入の追従を視覚化するのをさらに難しくさせる。特に、関心のある対象物はズームされた(zoomed)画像フレームから得るので、これらの動きはズームを非効率にさせる。臨床的な問題は、ステントの不十分な膨張、ステントの誤った配置及び幾つかのステント間における間隙又は重複に関連する。研究の結果、80%よりも多くのステントは、血管造影において外見上は正常な配置であるにもかかわらず、不十分に膨張することが判明した。不完全に膨張したステントは局部的に血流を不通にして、血栓を引き起こす。
引用される刊行物に記載される方法は、血管造影画像におけるステントの識別に深く関係している。この既知の方法は、ステントの3Dモデルの組を形成するステップ、これら3Dモデルから2Dモデルの組を形成するステップ、及び心電図において前記2Dモデルをステントの2D画像にマッチングさせるステップを有する。この方法は、ステントを挿入する介入フェーズにおいて必要とされる一連の画像をリアルタイムで処理するには実際には負担が大きすぎる計算負荷が存在する。さらに、開業医は画像の解像度に関する要求をますます行っている。そこで、提案される方法は、介入フェーズ後にのみ好ましくは用いられる。
寧ろ、本発明の目的は、介入フェーズ中に使用されるために医療画像を処理する手段を有する医療観察システムを提案することである。ステントを挿入する介入を視覚化するために、このシステムは、例えば動脈の内腔を膨張させるためにバルーンを膨らませるための、又は代わりにステントを膨張させる前に動脈の狭窄した地域に関するバルーンの正確な位置特定を可能にする自動的に特徴を抽出する問題と、ステントが巻かれ、このステントを膨らませるバルーンを正確に位置特定することが可能である自動的に特徴を抽出する問題とを解決する手段を有する。
本発明によれば、これらの問題はステント又は動脈壁を単に抽出することでは解決されない。代わりに、これら問題は、開業医が実際に最終的に関心のある対象物、例えばステント又は動脈壁には属さない特徴を抽出することにより解決される。上述されるように、実際には、上記に説明されるように、前記対象物は本質的に誤って形成され、既にノイズの多い背景に表され及び動きに従っている。本発明によれば、一連の画像を取得し、医療介入中に前記画像を処理及び表示する手段であり、ここでは器具支持体に設置されるがこの器具にも身体の器官にも属さない少なくとも1つのマーカを自動的に抽出し、マーカの位置情報を生じさせる手段、このマーカの位置情報から器具の位置情報を自動的に得る手段、及び医療介入段階が上手く実行されるかをチェックするために、器具及び/又は身体の器官の視認性を向上させる手段を有する医療観察システムが供給される。本発明の目的は、画像処理手段がユーザにより稼動可能であるようなシステムを提供することでもある。本発明の他の目的は、上記観察システムを提案することであり、前記処理手段は、登録手段、狭窄位置における動脈壁を正確に視覚化する及び/又は関心のある地域内の動脈壁に関してステントの配置をチェックすることを可能にする強調手段及びズーム手段を有する。
このようなシステムは請求項1及び従属する請求項に記載される。前記システムに用いられる画像処理方法、本発明の方法のステップを実施するプログラム、及び上記システムを備える介入の視覚化を助けるための検査装置は、他にも記載されている。
血管造影術への応用において、前記システムはステントにも動脈にも属さない特徴を抽出する手段を有し、その間に、誘導ワイヤチップと呼ばれる特徴は、モノレールを誘導する誘導ワイヤの先端に置かれ、及び/又はバルーンマーカと呼ばれる少なくとも1つの特徴は、このバルーンに関する所与の位置においてモノレール上に置かれ、好ましくは、これらはバルーンの先端各々に置かれる2つのバルーンマーカである。誘導ワイヤチップは、このチップが誘導ワイヤに属しているので、動脈壁にもステントにも属さない。さらに、バルーンマーカは、これらマーカが前記モノレールに属するので、血管壁にもステントにも属さない。本発明の方法を用いて、誘導ワイヤチップ及びバルーンマーカは正確に検出され、この検出がさらに、狭窄した動脈壁及びステントの正確な位置特定を可能にする。本発明のシステム及び方法の利点は、これら利点が精密及び頑健なやり方でステントを挿入する介入フェーズの結果を改善させ、この介入フェーズ中又は介入フェーズ後において、正確な狭窄の検出及びステントの配置のチェックを提供する。
本発明の実施例は図を参照して以下に詳細に説明される。
本発明は観察システムに関してであり、この観察システムに用いられる、ノイズの多い画像において構造物を検出、位置の特定、登録、強調及びズームするコンピュータ実行可能な画像処理方法に関する。本発明の観察システム及び画像処理方法は、心臓病学の医療分野に応用する実施例について以下に説明される。前記応用において、関心のある対象物は、動脈のような器官であり、バルーン又はステントのような器具である。これらは、血管形成術と呼ばれる医療介入中に、血管造影図(angiogram)と呼ばれる一連のX線透視検査画像において確認される。本システム及び方法は、血管形成術以外の他の介入においてステント及びバルーン以外の他の器具に適用される。例えば、関心のある対象物が電極でもよいし、器官が脳でもよい。
ステントの挿入は、狭窄と呼ばれる病変の位置において動脈を広げるための幾つかの段階を通常は有する医療介入である。事前段階において、開業医は、医療画像において患者の動脈41における狭窄40aをできるだけ特定をしておく。この医療介入は、
a)図3Aを参照すると、カテーテル9を用いて、このカテーテル9の先端を越えて延在し、狭窄の位置における動脈部40aの小さな管腔を通り抜ける細い誘導ワイヤ1を動脈に挿入する段階、
b)図3Bを参照すると、図2に説明されるようなモノレール10の開口部3を通り抜ける前記誘導ワイヤ1により誘導され、このモノレールの先端に巻かれ、ステントを備えていない第1のバルーン14aを持つモノレール10を挿入し、狭窄の位置における動脈部40aに前記第1のバルーン14aを位置特定する段階、
c)図3Cを参照して、狭窄の位置における動脈の狭い管腔40aを膨らませて、広げられた動脈部40bとなるために、膨らんだバルーン14bになるこの第1のバルーン14aを膨らませ、次に前記第1のモノレール10と共に第1のバルーン14bを除去する段階、
d)図3Dを参照すると、再びカテーテル9及び細い誘導ワイヤ1を用いて、その先端に巻かれる第2のバルーン24aを備え、その第2のバルーン24aの周りにステント25aを備える第2のモノレール20を挿入し、予め広げられた前記動脈41の管腔40bにおける狭窄の位置にステントを備えた前記第2のバルーンを位置特定する段階、
e)図3Eを参照すると、ステント25aを形成するコイルを膨らませるために、膨らんだバルーン24bとなるように第2のバルーン24aを膨らませ、これが動脈壁に埋め込まれる膨張されるステント25bとなる段階、及び
f)図3Fを参照すると、第2のバルーン24b、第2のモノレール20、誘導ワイヤ1及びカテーテルを取り除き、膨張したステント25bを永久埋設とする段階
を含む。
血管形成術と呼ばれる医療介入は、誘導ワイヤ、バルーン、ステント及び血管壁がノイズの多い背景上では殆ど識別不可能であり、さらに動きに従うひどいコントラストの医療画像のために実行するのが難しい。この介入の幾つかのフェーズは非常に重要であるため、動作(アクション)のチェックがこれらのフェーズ中に行われなければならない。これらのフェーズは以下のようである。
フェーズ1) 段階a)の後、例えば狭窄する地域のような関心のある動脈部40aに関して誘導ワイヤの位置をチェックすることが重要である。
フェーズ2) 段階b)とc)との間において、第1のバルーン14aが動脈41の狭窄する地域40aと正確に一致して置かれているかをチェックすることが重要である。
フェーズ3) 段階c)の後、第1のバルーンを予め膨らませることにより、狭窄を除去したかを確かめるために、動脈部を検査することが重要である。
フェーズ4) 段階d)とe)との間において、ステント25aが動脈41の膨張した管腔40bに関して正確に位置特定されたかをチェックすることが重要である。
フェーズ5) 段階e)の後、動作の結果を評価するために、バルーン24bが十分に膨らんでいるか、及びステント25bが動脈壁に埋め込まれるべき動脈において十分に膨張しているかをチェックすることが非常に重要である。
フェーズ6) 段階f)の後、動脈部に挿入した後のステント25bの状態のチェックを行うことが可能であることが重要である。
本発明のシステムは、上記に引用された重要なフェーズにおいて、介入中にこれらの動作を行う手段を有する。ユーザはこの医療介入の行為者であり、各フェーズにおいて介入する可能性を持ち得る。初めに、ユーザは画像において関心のある地域を選択する。さらに、ユーザは、図5に示されるユーザの処理制御手段58において、画像処理手段を稼動及び制御しなければならない。これら制御手段は、ユーザが処理動作を始め、この処理動作の期間を制御し、この処理動作を終了させるための開始手段及び停止手段を有する。これら処理手段は、上記に引用されたフェーズの1つの間、例えば(複数の)器具を移動させない間にユーザにより稼動する。
図1を参照すると、これらの画像処理手段は、一連の画像において特定の特徴を自動的且つ正確に位置特定する問題を解決する抽出手段101を含んでいる。この特定の特徴の位置201が自動抽出手段101により一度決められると、登録手段102は、この特定の特徴の位置201に基づいて、登録される一連の画像202を供給する。次いで、強調手段103は、例えば器具及び/又は動脈壁のような強調される関心のある対象物を備える画像203を生成する。登録された画像において安定した関心のある対象物に適用されるズーム手段104は、処理された画像204において器具及び血管と共に関心のある地域の改善した視認性を可能にする。
処理される画像は、動脈の狭窄した地域に関して誘導ワイヤの位置をチェックすること、つまり動脈の管腔を膨張させる前にこの狭窄した地域に関して第1のバルーンの位置をチェックすることを可能にして、ステントが膨張する前に、ステントが巻かれる第2のバルーンの位置をチェックすることを可能にして、膨張したステントを最終的にチェックすることを可能にする。
本発明によれば、これら特定の特徴は単なるステント又は動脈壁ではない。寧ろ、これら特定の特徴は、ひどいコントラストのステント又は血管壁には属さず、これらは開業医にとって実際には最終的に関心のある対象物である。本発明によれば、このシステムは、特定の特徴を自動的且つ正確に抽出するための抽出手段101を有し、その中にはモノレール10又は20を誘導する細い誘導ワイヤ1の先端に置かれる誘導ワイヤチップ2と呼ばれる特徴及び/又はバルーン14a、24a夫々に関して所与の位置においてモノレール10、20上に夫々置かれるバルーンマーカ11、12又は21、22と呼ばれ、好ましくは2つのバルーンマーカがバルーンの各先端に置かれる少なくとも1つの特徴を含む。誘導ワイヤチップ2は、このチップが誘導ワイヤ1に属しているので、動脈壁41にもステント25aにも属さない。さらに、バルーンマーカ11、12又は21、22は、これらマーカがモノレール10又は20に属しているので、血管壁41にもステント25aにも属さない。これらマーカは、特定の容易に認識可能な形状であり、画像内において高いコントラストの材料から成る。故に、これらマーカの抽出は容易である。システム処理手段102、103、104は、バルーン14a、24a、14b、24bがバルーンマーカに関して特定の位置を持つので、これらバルーンの位置を正確に得ることができる。さらに、ステント25a、25bは、これらステントが前記バルーンマーカに取り付けられていないにもかかわらず、これらバルーンマーカに関して特定の位置を有するので、正確に位置が特定される。前記マーカの自動的な位置の特定は、フェーズ1)、2)及び4)に必要とされる動作を行うことを可能にする。その上、システム処理手段は、例えば予め位置が特定された動脈壁及びステントの境界のような特定の特徴を自動的且つ正確に検出することを可能にする。これら画像処理ステップの結果はさらに、第1のバルーンを膨らませた後に動脈の管腔が適切に膨張しているかをチェックすることを可能にして、第2のバルーンを膨らませた後にステントが適切に膨張しているかをチェックすることを可能にする。故に、これら画像処理動作の結果は、フェーズ3)、5)及び6)に必要とされる動作を行うことを可能にする。
図4を参照すると、例えば2つのマーカAref、Brefは、基準画像と呼ばれ、開始時の画像でもよい前記一連の画像のうち1つの画像において検出されている。マーカAref、Brefは自動手段により選択されてよい。これらマーカはシステムの抽出手段101を用いて抽出される。次いで、基準画像におけるマーカの位置情報Aref、Bref及び前記一連の画像のうち現在の画像における対応する抽出されるマーカA’t、B’tを用いて、この基準画像上に現在の画像を自動的に登録するシステムの登録手段102が動作する。この動作は、現在の画像のマーカを基準画像の対応するマーカにマッチングさせることにより行われ、これは、現在の画像の線分A’tB’tの重心Ctを基準画像の線分ArefBrefの重心Crefとマッチングさせるための並進T、現在の画像の線分A’tB’tの方向を基準画像の線分ArefBrefの方向にマッチングさせ、線分A”tB”tを生じさせる回転R及びこの結果生じる線分A”tB”tの長さを基準画像の線分ArefBrefの長さにマッチングさせ、登録される現在の画像に対する登録される線分AtBtを生じさせる拡張Δを含んでいる可能な幾何学動作を有する。並進T、回転R及び拡張Δの上記動作は、前記一連の画像と基準画像との間において規定され、一連の画像全体の登録となる。この登録動作は、必ずしも画像の全てのポイント上で実行される必要は無い。マーカを有する関心のある領域に範囲を定めてもよい。この登録動作は、既定される画像の基準に関して、例えば血管、誘導ワイヤ、バルーン及びステントのような関心のある対象物の個々の移動の影響を最小化することを可能にする。登録された画像において、ユーザは関心のある画像にズームZを容易に行うことができる。好ましくは、2つ又はそれ以上のマーカが良好な登録のために用いられる。
登録された一連の画像において、例えばステントのような関心のある対象物は、強調手段103により強調されることができる。この動作のために、ステントの形状及び寸法は、システムのメモリ手段に記憶される先験的な知識である。ステントの境界は、バルーンマーカにより形成される線分に略並行であり、前記先験的な知識から得られるこの線分から離れたところにある。このように、これら境界はシステムの強調手段103により、検出、抽出及び強調される。さらに、動脈壁も同様のやり方で強調手段103により検出、抽出及び強調される。
登録される画像はノイズを最小化するために好ましくはフィルタリングされる。システムの強調手段103はノイズフィルタ手段を有してもよい。実施例において、これら登録される画像は、ポイントの強度に利用される平均化手段により積分される。この動作により、例えば血管のような時間に従う対象物の細部が強調される一方、時間に従わない背景の細部は最小化される。登録される画像も好ましくは強調手段103の空間背景減算手段(spatial background subtraction means)に従う。背景減算手段は大きいコントラストの領域を削除することが可能であり、関心のある対象物を再び強調することも可能にする。
上述されるようなシステムに使用されるコンピュータ実施可能な画像処理方法は、医療介入中に一連のデジタル画像を処理するステップを有し、この処理するステップは、器具にも身体の器官にも属さない少なくとも1つのマーカを自動的に抽出するステップと、これら一連の画像においてマーカの位置情報を自動的に判断するステップと、このマーカの位置情報から器具の位置情報を得るステップと、前記画像を処理して、器具及び/又は器官の視認性を向上させるステップとを有する。この方法は、医療介入中にユーザに画像を表示して、マーカの位置情報を用いて特定の位置での器官における器具を位置特定することを可能にする。
図5は医療検査装置50の図を示す。この装置は一連の画像のデジタル画像データを取得する手段51を有し、上記に引用される処理方法に従ってこれらデータを処理する、上述されるような医療観察システム53に結合される。この医療観察システムは、リアルタイムの画像を処理するための介入ルーム内又は介入ルームの近くで通常は使用される。本方法のステップは、例えば医療パラメタを評価するための記憶される医療画像に用いられる。これら記憶される画像のデータを処理するシステムはこのとき、医療観察ステーションと呼ばれる。医療検査装置はシステム53への接続57により画像データを供給する。本システムは処理された画像データを表示手段及び/又は記憶手段に供給する。表示手段54はスクリーンでもよい。記憶手段はシステム53のメモリMEMでもよい。前記記憶手段は代わりに外部の記憶手段でもよい。この画像観察システム53は適切にプログラムされたコンピュータ、又は本発明に従う方法ステップの機能を実行するように構成される回路手段、例えばLUT、メモリ、フィルタ、論理演算器を有する特定用途の処理器を有してもよい。本システム53はキーボード55及びマウス56も有してよい。アイコンはマウスをクリックすることにより稼動するスクリーン上に設けられるか又は特別な押しボタンがこのシステムに設けられ、選択される段階又はフェーズにおいてシステムの処理手段をユーザが開始させ、期間を制御し、終了させるための制御処理手58を構成してよい。
本システムの手段の機能ブロック図。 カテーテル、誘導ワイヤ及びバルーン及びこのバルーンに巻かれるステントを備えるモノレールにより構成される装置を説明する図。 本発明のシステムを用いて血管形成術の介入段階中に得られる情報を説明する図。 本発明のシステムを用いて血管形成術の介入段階中に得られる情報を説明する図。 本発明のシステムを用いて血管形成術の介入段階中に得られる情報を説明する図。 本発明のシステムを用いて血管形成術の介入段階中に得られる情報を説明する図。 本発明のシステムを用いて血管形成術の介入段階中に得られる情報を説明する図。 本発明のシステムを用いて血管形成術の介入段階中に得られる情報を説明する図。 マーカを登録するステップを説明する図。 前記システムを用いた医療検査装置の機能ブロック図。

Claims (16)

  1. 身体の器官において器具を移動及び/又は位置特定することを含む医療行為の一連の画像を表示する医療観察システムであり、前記器具は、位置を特定するための特徴である少なくとも2つのマーカが当該器具に関して既定の位置に取り付けられる支持体により坦持され、当該システムは前記一連の画像を取得する取得手段と、前記画像を処理する処理手段とを有する医療観察システムにおいて、
    −前記器具の支持体に取り付けられ、前記器具にも前記身体の器官にも属さない少なくとも2つのマーカを自動的に抽出し、前記マーカの位置情報を生じさせる抽出手段、
    −前記マーカの位置情報から前記器具の位置情報を自動的に得る計算手段、
    −前記器具及び/又は前記身体の器官を強調させる強調手段、及び
    −前記画像を表示する表示手段、
    を有し、
    前記計算手段は
    −基準画像として前記一連の画像のうち1つの画像及び前記基準画像における基準マーカとして少なくとも2つのマーカを選択する選択手段、及び
    −前記基準画像及び前記一連の画像のうち現在の画像における前記マーカの位置情報を用いて、前記現在の画像の前記マーカを前記基準画像の前記基準マーカにマッチングさせることにより前記一連の画像の前記現在の画像を自動的にレジストレーションするレジストレーション手段、を有する、システム。
  2. 請求項1に記載のシステムにおいて、ユーザが前記医療行為の選択された段階又はフェーズに関連して前記一連の画像に適用される処理手段を稼動、期間を制御又は停止させるような制御手段を有するシステム。
  3. 請求項1又は2に記載のシステムにおいて、前記強調手段は、前記器具及び/又は前記身体の器官の大きさ及び/又は形状の先験的な知識を記憶する記憶手段と、前記マーカの位置情報及び前記先験的な知識を用いて、前記器具及び/又は前記身体の器官を抽出及び強調する計算手段とを有するシステム。
  4. 請求項1乃至3の何れか一項に記載のシステムにおいて、前記強調手段は、
    −関心のある地域をズームするズーム手段、及び/又は
    −関心のある対象物を強調するノイズフィルタリング手段、及び/又は
    −背景を減算するフィルタリング手段、を有するシステム。
  5. 動脈である身体の器官において、バルーンである器具を移動及び/又は位置特定することを含む医療行為の一連の画像を表示するための請求項1乃至4の何れか一項に記載の医療観察システムであって、前記バルーンは支持体であるモノレールにより坦持され、当該システムは前記バルーンに位置を特定するための特徴である2つのバルーンマーカが取り付けられ、前記バルーンの先端に対応して位置を特定するシステムにおいて、
    −前記バルーンにも前記動脈にも属さない前記バルーンマーカの位置情報を自動的に判断する抽出手段、
    −前記バルーンマーカの位置情報から前記バルーンの位置情報を得る前記計算手段、及び前記バルーン及び/又は動脈の視認性を向上させる前記強調手段、並びに
    −前記バルーンマーカの位置情報を用いて、前記動脈の一部の特定な位置においてユーザが前記バルーンの位置の特定を行う画像を前記医療行為中に表示する表示手段、を有するシステム。
  6. 動脈において前記バルーンを移動及び/又は位置特定することを含む一連の医療行為の画像を表示する請求項5に記載のシステムであって、前記バルーンは位置を特定するための特徴であるチップマーカとなるチップを持つ誘導ワイヤにより誘導されるモノレールにより坦持されるシステムにおいて、
    −前記バルーンにも前記動脈にも属さない前記チップマーカの位置情報を自動的に判断する抽出手段、及び
    −前記表示される画像における前記チップマーカの位置情報を用いて、ユーザが前記動脈の一部の位置に関して前記動脈において前記誘導ワイヤを位置特定し、前記バルーンマーカの位置情報を用いて、前記動脈の前記一部の前記位置において前記バルーンをさらに位置特定するように、前記医療行為中に前記画像を表示する前記表示手段、
    を有するシステム。
  7. 動脈においてバルーンに巻かれたステントを移動及び/又は位置特定することを含む一連の医療行為の画像を表示する請求項5又は6に記載のシステムであり、前記ステント及びバルーンは、バルーンマーカが取り付けられ、且つ前記バルーンの各端部に対応して置かれる前記モノレールにより坦持され、前記モノレールは位置を特定するための特徴であるチップマーカとなるチップを持つ誘導ワイヤにより誘導されるシステムにおいて、
    −前記バルーンにも前記動脈にも取り付けられない前記チップマーカの位置情報を自動的に判断し、前記ステントにも前記動脈にも属さない前記バルーンマーカの位置情報を自動的に判断する抽出手段、
    −前記バルーンマーカの位置情報から前記ステントの位置情報を得る計算手段、
    −前記ステント及び/又は前記動脈の視認性を向上させる強調手段、及び
    −前記表示される画像における前記チップマーカの位置情報を用いて、ユーザが前記動脈の一部の位置において前記誘導ワイヤを位置特定し、前記表示される画像における前記バルーンマーカの位置情報を用いて、前記動脈の前記一部の前記位置において前記ステントをさらに位置特定するように、前記医療行為中に前記画像を表示する表示手段、
    を有するシステム。
  8. 前記医療行為の選択される段階において、前記器具及び/又は前記身体の器官の視認性を向上させるための前記一連の画像に適用される前記処理手段をユーザが稼動又は停止させる開始手段及び停止手段を有する請求項5、6又は7に記載のシステムにおいて、前記選択される段階は、
    −前記動脈の一部に関して前記誘導ワイヤチップを位置特定する段階、
    −バルーンを膨らませる段階又はステントを配置する段階の前に、前記動脈の前記一部の前記位置に関して前記バルーンマーカを位置特定する段階、
    −前記バルーンを膨らませる段階又は前記ステントを配置する段階の後に、前記動脈の前記一部を検査する段階、
    を選択されるシステム。
  9. 請求項5乃至8の何れか一項に記載のシステムにおいて、前記計算手段は、
    −基準画像として前記一連の画像のうちの1つの画像を選択する選択手段、
    −前記基準画像において基準バルーンマーカとして前記バルーンマーカの位置の情報を判断する抽出手段、
    −前記基準画像及び前記一連の画像の他の画像における前記バルーンマーカの位置情報を用いて、現在の画像の対応するバルーンマーカを基準のバルーンマーカにマッチングさせることにより前記一連の画像を自動的にレジストレーションするレジストレーション手段、及び
    −前記レジストレーションされる画像を表示する表示手段、
    を有するシステム。
  10. 請求項9に記載のシステムにおいて、前記強調手段は、前記バルーン及び/又は前記ステントのサイズ及び/又は形状、及び/又は前記動脈のサイズ及び/又は形状の先験的な知識を記憶する記憶手段、及び前記バルーンマーカの位置情報と前記先験的な知識とを用いて、前記バルーン及び/又は前記ステント、及び/又は前記動脈を位置特定し、これらを強調する計算手段を有するシステム。
  11. 請求項1乃至10の何れか一項に記載の医療観察システムの制御部が行う画像処理方法において、
    身体の器官における器具を視覚化する一連の画像を取得するステップと、
    前記器具の支持体に取り付けられ、前記器具にも前記身体の器官にも属さない少なくとも2つのマーカを自動的に抽出し、前記一連の画像における前記マーカの位置情報を自動的に計算し、前記マーカの位置情報から前記器具の位置情報を計算し、及び前記画像を強調して前記器具の視認性を向上させるステップとを有し、
    前記器具の視認性を向上させるステップが、
    基準画像として前記一連の画像のうち1つの画像及び前記基準画像における基準マーカとして少なくとも2つのマーカを選択するステップ、及び
    前記基準画像及び前記一連の画像のうち現在の画像における前記マーカの位置情報を用いて、前記現在の画像の前記マーカを前記基準画像の前記基準マーカにマッチングさせることにより前記一連の画像の前記現在の画像を自動的にレジストレーションするステップを有する方法。
  12. 請求項11に記載の方法が更に
    −前記画像におけるノイズをフィルタリングするステップ、
    −背景を減算するステップ、及び
    −関心のあるオブジェクトをズームするステップ、
    の少なくとも1つを有する方法。
  13. 請求項11又は12に記載の方法において、前記支持体に位置を特定するための特徴であるバルーンマーカが取り付けられ、前記バルーンの先端に対応して置かれる方法。
  14. 請求項1乃至10の何れか一項に記載のシステムに用いられる、画像を処理するように構成される回路手段を持つ適切にプログラムされるコンピュータ又は特定な用途のプロセッサを有する装置。
  15. 請求項1乃至10の何れか一項に記載のシステムに用いられる画像処理を実行する命令の組を有するコンピュータプログラム。
  16. 一連の医療画像を取得する手段を有し、請求項1乃至10の何れか一項に記載の前記一連の画像を処理及び表示する観察システムを持つ医療検査撮像装置。
JP2003545200A 2001-11-21 2002-11-04 ノイズの多い画像において構造物を検出し、強調させるための医療観察装置及び方法 Expired - Lifetime JP4842511B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP01402987.0 2001-11-21
EP01402987 2001-11-21
PCT/IB2002/004600 WO2003043516A2 (en) 2001-11-21 2002-11-04 Medical viewing system and method for detecting and enhancing arteries and stents in noisy images

Publications (2)

Publication Number Publication Date
JP2005524419A JP2005524419A (ja) 2005-08-18
JP4842511B2 true JP4842511B2 (ja) 2011-12-21

Family

ID=8182976

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003545200A Expired - Lifetime JP4842511B2 (ja) 2001-11-21 2002-11-04 ノイズの多い画像において構造物を検出し、強調させるための医療観察装置及び方法

Country Status (5)

Country Link
US (1) US7289652B2 (ja)
EP (1) EP1448111A2 (ja)
JP (1) JP4842511B2 (ja)
AU (1) AU2002366006A1 (ja)
WO (1) WO2003043516A2 (ja)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7689014B2 (en) * 2000-01-18 2010-03-30 Z-Kat Inc Apparatus and method for measuring anatomical objects using coordinated fluoroscopy
JP5129480B2 (ja) * 2003-09-25 2013-01-30 パイエオン インコーポレイテッド 管状臓器の3次元再構成を行うシステム及び血管撮像装置の作動方法
EP1744675B1 (en) * 2004-04-29 2013-10-30 Koninklijke Philips N.V. Viewing system for control of ptca angiograms
DE102004060127B4 (de) * 2004-12-13 2007-05-24 Siemens Ag Röntgendiagnostikeinrichtung sowie Verfahren zum Betrieb einer Röntgendiagnostikeinrichtung zur Ermittlung von die Bildqualität der Röntgendiagnostikeinrichtung bzw. die Sichtbarkeit klinisch relevanter Objekte bestimmenden Werten
EP1876988B1 (en) 2005-04-26 2016-06-08 Koninklijke Philips N.V. Medical viewing system and method for detecting and enhancing static structures in noisy images using motion of the image acquisition means
US7932801B2 (en) 2005-05-03 2011-04-26 Koninklijke Philips Electronics N.V. Winding arrangement for planar transformer and inductor
EP1879500A2 (en) 2005-05-04 2008-01-23 Koninklijke Philips Electronics N.V. X-ray imaging apparatus and method
US20070259158A1 (en) * 2006-05-05 2007-11-08 General Electric Company User interface and method for displaying information in an ultrasound system
US8295573B2 (en) 2006-05-22 2012-10-23 Koninklijke Philips Electronics N.V. Motion-compensated coronary flow from projection imaging
US8165360B2 (en) * 2006-12-06 2012-04-24 Siemens Medical Solutions Usa, Inc. X-ray identification of interventional tools
EP2358269B1 (en) 2007-03-08 2019-04-10 Sync-RX, Ltd. Image processing and tool actuation for medical procedures
US10716528B2 (en) 2007-03-08 2020-07-21 Sync-Rx, Ltd. Automatic display of previously-acquired endoluminal images
JP5639764B2 (ja) 2007-03-08 2014-12-10 シンク−アールエックス,リミティド 運動する器官と共に使用するイメージング及びツール
WO2014002095A2 (en) 2012-06-26 2014-01-03 Sync-Rx, Ltd. Flow-related image processing in luminal organs
US9968256B2 (en) 2007-03-08 2018-05-15 Sync-Rx Ltd. Automatic identification of a tool
US11064964B2 (en) 2007-03-08 2021-07-20 Sync-Rx, Ltd Determining a characteristic of a lumen by measuring velocity of a contrast agent
US9375164B2 (en) 2007-03-08 2016-06-28 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
US9629571B2 (en) 2007-03-08 2017-04-25 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
US11197651B2 (en) 2007-03-08 2021-12-14 Sync-Rx, Ltd. Identification and presentation of device-to-vessel relative motion
DE102007019328A1 (de) 2007-04-24 2008-11-06 Siemens Ag Verfahren zur hochauflösenden Darstellung filigraner Gefäßimplantate in angiographischen Aufnahmen
EP2303385B1 (en) 2008-06-19 2013-12-11 Sync-RX, Ltd. Stepwise advancement of a medical tool
JP5523791B2 (ja) * 2008-10-27 2014-06-18 株式会社東芝 X線診断装置および画像処理装置
US11064903B2 (en) 2008-11-18 2021-07-20 Sync-Rx, Ltd Apparatus and methods for mapping a sequence of images to a roadmap image
US9974509B2 (en) 2008-11-18 2018-05-22 Sync-Rx Ltd. Image super enhancement
US8855744B2 (en) 2008-11-18 2014-10-07 Sync-Rx, Ltd. Displaying a device within an endoluminal image stack
US9144394B2 (en) 2008-11-18 2015-09-29 Sync-Rx, Ltd. Apparatus and methods for determining a plurality of local calibration factors for an image
US10362962B2 (en) 2008-11-18 2019-07-30 Synx-Rx, Ltd. Accounting for skipped imaging locations during movement of an endoluminal imaging probe
US9101286B2 (en) 2008-11-18 2015-08-11 Sync-Rx, Ltd. Apparatus and methods for determining a dimension of a portion of a stack of endoluminal data points
US9095313B2 (en) 2008-11-18 2015-08-04 Sync-Rx, Ltd. Accounting for non-uniform longitudinal motion during movement of an endoluminal imaging probe
DE102009016482B4 (de) 2009-04-06 2011-09-01 Siemens Aktiengesellschaft Vorrichtungen zur Unterstützung der Platzierung eines Implantats
US8457374B2 (en) 2009-06-22 2013-06-04 Siemens Medical Solutions Usa, Inc. System for detecting catheterization devices
US20110135176A1 (en) * 2009-12-04 2011-06-09 Siemens Medical Solutions Usa, Inc. System for Processing Medical Images Showing an Invasive Instrument
US8923593B2 (en) * 2010-03-24 2014-12-30 Koninklijke Philips N.V. System and method for producing an image of a physical object
US10271808B2 (en) * 2010-03-31 2019-04-30 Koninklijke Philips N.V. Automatic positioning of absorption means in X-ray image acquisition
US8787635B2 (en) * 2010-05-03 2014-07-22 Siemens Aktiengesellschaft Optimization of multiple candidates in medical device or feature tracking
US20120099768A1 (en) 2010-10-20 2012-04-26 Medtronic Navigation, Inc. Method and Apparatus for Reconstructing Image Projections
US9769912B2 (en) * 2010-10-20 2017-09-19 Medtronic Navigation, Inc. Gated image acquisition and patient model construction
US9807860B2 (en) 2010-10-20 2017-10-31 Medtronic Navigation, Inc. Gated image acquisition and patient model construction
TW201225922A (en) * 2010-12-31 2012-07-01 Univ Nat Central Method of CT angiography to visualize trans-osseous blood vessels
EP2723231A4 (en) 2011-06-23 2015-02-25 Sync Rx Ltd LUMINAL BACKGROUND CLEANING
CN103442643B (zh) * 2012-03-06 2016-03-09 株式会社东芝 图像处理装置以及x射线摄影装置
EP3091931B8 (en) * 2014-01-06 2020-04-01 Koninklijke Philips N.V. Deployment modelling
CN115363569A (zh) * 2014-04-10 2022-11-22 Sync-Rx有限公司 在存在医学设备的情况下的图像分析
EP3346923B1 (en) 2015-09-10 2020-12-16 Koninklijke Philips N.V. Enhanced imaging of a vascular treatment
EP3522116A1 (en) 2018-01-31 2019-08-07 Koninklijke Philips N.V. Device, system and method for determining the position of stents in an image of vasculature structure
EP3588433A1 (en) * 2018-06-28 2020-01-01 Koninklijke Philips N.V. Stent positioning
EP3593721A1 (en) * 2018-07-10 2020-01-15 Koninklijke Philips N.V. Stent positioning
WO2022048984A1 (en) 2020-09-02 2022-03-10 Koninklijke Philips N.V. Medical intervention control based on device type identification
CN112017175B (zh) * 2020-09-04 2024-03-12 上海联影医疗科技股份有限公司 支架显示方法、装置和存储介质
US11783453B2 (en) 2021-06-10 2023-10-10 Bank Of America Corporation Adapting image noise removal model based on device capabilities

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3442736A1 (de) * 1984-11-23 1986-06-05 Tassilo Dr.med. 7800 Freiburg Bonzel Dilatationskatheter
JPH01204650A (ja) * 1988-02-09 1989-08-17 Toshiba Corp X線画像診断装置
JPH01212569A (ja) * 1988-02-19 1989-08-25 Toshiba Corp X線画像表示装置
US5209728B1 (en) * 1989-11-02 1998-04-14 Danforth Biomedical Inc Low profile high performance interventional catheters
DE69322444T2 (de) * 1992-07-10 1999-06-24 Koninkl Philips Electronics Nv Röntgendurchleuchtungsgerät mit Mitteln zur Rauschreduktion
US5293574A (en) * 1992-10-23 1994-03-08 General Electric Company Digital x-ray imaging system with automatic tracking
US5431161A (en) * 1993-04-15 1995-07-11 Adac Laboratories Method and apparatus for information acquistion, processing, and display within a medical camera system
JPH0779955A (ja) * 1993-09-14 1995-03-28 Toshiba Corp X線撮影装置
EP0723786A1 (en) * 1995-01-30 1996-07-31 Cardiovascular Concepts, Inc. Lesion measurement catheter and method
JP3589505B2 (ja) * 1995-06-09 2004-11-17 株式会社日立メディコ 3次元画像処理表示装置
US5771895A (en) * 1996-02-12 1998-06-30 Slager; Cornelis J. Catheter for obtaining three-dimensional reconstruction of a vascular lumen and wall
JPH105213A (ja) * 1996-06-24 1998-01-13 Hitachi Medical Corp X線造影検査装置
US6117101A (en) * 1997-07-08 2000-09-12 The Regents Of The University Of California Circumferential ablation device assembly
CA2310550A1 (en) * 1999-06-04 2000-12-04 Eclipse Surgical Technologies, Inc. Enhanced surgical device tracking system
US6532380B1 (en) * 2000-06-30 2003-03-11 Cedars Sinai Medical Center Image guidance for coronary stent deployment

Also Published As

Publication number Publication date
US20040260175A1 (en) 2004-12-23
WO2003043516A2 (en) 2003-05-30
JP2005524419A (ja) 2005-08-18
AU2002366006A1 (en) 2003-06-10
AU2002366006A8 (en) 2003-06-10
US7289652B2 (en) 2007-10-30
WO2003043516A3 (en) 2004-06-03
EP1448111A2 (en) 2004-08-25

Similar Documents

Publication Publication Date Title
JP4842511B2 (ja) ノイズの多い画像において構造物を検出し、強調させるための医療観察装置及び方法
JP4804005B2 (ja) 境界構造を検出するための医用ビューイングシステム及び方法
JP4988557B2 (ja) Ptca血管造影図の制御に対するビューイング装置
CN108135488B (zh) 确定侧支的剖面视角的血管内成像***和方法
JP4430937B2 (ja) ノイズの多い画像中で構造を空間的に強調する医用ビューイングシステム及び方法
JP4426297B2 (ja) ノイズの多い画像中の構造を強調する医用ビューイングシステム及び方法
US7877132B2 (en) Medical viewing system and method for detecting and enhancing static structures in noisy images using motion of the image acquisition means
JP6388632B2 (ja) プロセッサ装置の作動方法
US7551758B2 (en) Medical viewing system and method for detecting borders of an object of interest in noisy images
JP5965840B2 (ja) 血管ロードマッピング
US9668704B2 (en) Method and device for visually assisting an electrophysiological use of a catheter in the heart
EP1817743B1 (en) Multi-feature time filtering for enhancing structures in noisy images
JP2009504222A (ja) ブラインドデコンボリューションによりノイズの多い画像の構造を空間的に強調するシステム及び方法
JP2012531236A (ja) 介入中での装置のサイズの設定の支援
CN108024782B (zh) 血管处置的增强成像
JP6750425B2 (ja) 放射線画像処理装置および放射線画像処理方法
CN114758020A (zh) 一种基于dsa和oct融合显影的方法、装置和电子设备
JP6750424B2 (ja) 放射線画像処理装置および放射線画像処理方法
JP2018192287A (ja) プロセッサ装置の作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090401

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100115

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100208

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20100402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110725

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111006

R150 Certificate of patent or registration of utility model

Ref document number: 4842511

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141014

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term