JP2004313545A - Cardiac motion display method and image diagnostic apparatus - Google Patents

Cardiac motion display method and image diagnostic apparatus Download PDF

Info

Publication number
JP2004313545A
JP2004313545A JP2003113309A JP2003113309A JP2004313545A JP 2004313545 A JP2004313545 A JP 2004313545A JP 2003113309 A JP2003113309 A JP 2003113309A JP 2003113309 A JP2003113309 A JP 2003113309A JP 2004313545 A JP2004313545 A JP 2004313545A
Authority
JP
Japan
Prior art keywords
image
myocardium
wall thickness
display
marks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003113309A
Other languages
Japanese (ja)
Other versions
JP2004313545A5 (en
JP4503238B2 (en
Inventor
Hirotaka Baba
博隆 馬場
Osamu Mori
修 森
Kiyoshi Yoshida
清 吉田
Nozomi Watanabe
望 渡邉
Tomohiko Toyoda
智彦 豊田
Maki Akiyama
真樹 秋山
Manabu Taniguchi
学 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP2003113309A priority Critical patent/JP4503238B2/en
Publication of JP2004313545A publication Critical patent/JP2004313545A/en
Publication of JP2004313545A5 publication Critical patent/JP2004313545A5/ja
Application granted granted Critical
Publication of JP4503238B2 publication Critical patent/JP4503238B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To support for the accomplishment of the accurate diagnosis by modifying the display method for the quantitatively measured thickness of the ventricular wall. <P>SOLUTION: The cardiac motion display method has the following the first to sixth steps. In the first step, one frame image of the dynamic images obtained by photographing the sections of a living body is displayed on a display part. In the second step, at least a pair of marks facing each other sandwiching the cardiac muscle is set on the one frame image displayed. In the third step, the motions of the cardiac muscle dynamic images. In the fourth step, the positions of the respective marks are altered to match the motions of the cardiac muscle and after the altering thereof, the wall thickness of the cardiac muscle is determined from the distance between the one pair of marks. In the fifth step, at least one momentum is determined based on the wall thickness, the rate of change in the wall thickness and the changing speed of the wall thickness. In the sixth step, the momentums of the cardiac muscle at the positions of the respective pairs of marks are displayed as a motion display image by varying at least one of the brightness and color according to the momentums. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、超音波診断画像、磁気共鳴画像又はX線CT画像に適用される心臓の運動表示方法、その方法を用いた画像診断装置に関する。
【0002】
【従来の技術】
超音波診断装置、磁気共鳴イメージング(MRI)装置、及びX線CT装置等の画像診断装置は、いずれも被検体の検査部位に係る断層像などをモニタに表示して診断に供するものである。例えば、心臓や血管等の循環器系及びその他の動きのある臓器の場合、それらを構成する生体組織(以下、組織と総称する)の動きを断層像により観察して、それら臓器等の機能を診断することが行なわれている。
【0003】
特に、心臓などの運動機能を定量的に評価できれば、診断の精度が一層向上することが期待されている。例えば、従来、超音波診断装置により得られた画像から心壁の輪郭を抽出し、その心壁輪郭に基づいて心室等の面積、容積、それらの変化率等から心機能(心臓ポンプ機能)を評価したり、局所の壁運動を観察して診断することが試みられている(特許文献1)。また、ドプラ信号等の計測信号に基づいて組織の変位を計測して、例えば局所的な収縮又は弛緩の分布を撮像し、これに基づいて心室の運動が活性化している場所を正確に決定したり、あるいは収縮期の心室壁の厚さ(壁厚)を計測する等、組織の運動を定量的に計測する方法が提案されている(特許文献2)。さらに、時々刻々変化する心房や心室の輪郭を抽出して、その輪郭を画像に重ねて表示するとともに、これに基づいて心室等の容量を求める技術が提案されている(特許文献3)。
【0004】
【特許文献1】
特開平9−13145号公報
【特許文献2】
特表2001−518342号公報
【特許文献3】
米国特許第5322067号公報(USP5,322,067)
【0005】
【発明が解決しようとする課題】
しかしながら、上記の従来技術は、いずれも心臓の全体的な機能を評価するための手法にとどまり、心筋などの各組織の動きを定量的に評価することについては配慮されていない。特に、心壁の輪郭を画像処理により抽出し、その輪郭に基づいて心室壁の厚み(壁厚)を計測したり、壁厚の変化を計測する従来技術は、必ずしも十分な精度を得るまでには至っていない。
【0006】
一般に、例えば、血栓等によって心筋に血が通わなくなると、心筋の動きが低下するといわれている。したがって、心室を構成する心筋の動きや壁厚の変化など、心臓の各組織の運動を定量的に計測できれば、治療法などを決定する際の有効な診断情報を提供できる。例えば、虚血の程度がわかれば、冠動脈再生術などの心臓の治療法選択及び治療部位を特定する指標として有効である。
【0007】
特に、心臓は収縮と拡張を繰返して血液を循環させることから、心筋壁厚の変化の度合いに点数をつけて診断するスコアリング法が提案されている。このスコアリング法は、心壁の延在方向に心壁を例えば6分割し、動画像を観察しながら各分割領域ごとの壁厚の動きの程度を5段階に分けて評価する方法である。また、このスコアリングを、通常の状態と、患者に運動させて心臓に負荷をかけた負荷I状態と、さらに大きな負荷をかけた負荷II状態と、負荷を取り除いて回復した状態の4つの態様について実施して、心臓の診断を行なうことも行われている。
【0008】
しかし、従来のスコアリングは、断層像の動画像により心臓の動きを観察した観者の主観的な判断で評価せざるを得ないから、スコアリング結果が必ずしも客観的でなく、かつ的確な診断を行なうには相当の経験が要求されるという問題がある。
【0009】
そこで、本発明の発明者らは、心臓の断層像が表示されたモニタ上で、心筋壁の内外に一対の追跡点(マーク)を設定し、動画像上で追跡点を含む切り出し画像の移動先を相関法などの画像処理によって検出し、心筋壁の動きに合わせて追跡点を移動させて重畳表示する一方、その追跡結果に基づいて一対の追跡点間の距離(壁厚)等を定量的に計測することを提案している(特願2002−266864号)。
【0010】
しかし、定量的に計測した心室壁厚のデータを表示する具体的な方法についての配慮が十分でないことから、観者が的確な診断を行なう上で改善する点があった。
【0011】
本発明の課題は、定量的に計測した心室壁厚の表示法を改善して、的確な診断を行えるようにすることにある。
【0012】
【課題を解決するための手段】
上記課題を解決する本発明の心臓の運動表示方法は、生体の断層を撮像してなる動画像の一フレーム画像を表示部に表示する第1ステップと、該表示された前記一フレーム画像上において心筋を挟んで対向する少なくとも一対のマークを設定する第2ステップと、前記各マークが設定された部位の心筋の動きをそれぞれ前記動画像上で追跡する第3ステップと、前記心筋の動きに合わせて前記各マークの位置を変更し、変更後の前記一対のマーク間の距離により前記心筋の壁厚を求める第4ステップと、前記壁厚と前記壁厚の変化率と前記壁厚の変化速度の少なくとも1つの運動量を求める第5ステップと、前記各対のマーク位置における前記心筋の運動量を、該運動量に応じて輝度と色の少なくとも一方を変えた運動表示画像を前記表示部に表示する第6ステップとを有することを特徴とする。
【0013】
このような本発明の心臓の運動表示方法によれば、心筋の動き、すなわち壁厚の変化等が、数値でなく輝度や色の変化としてマークの位置に対応付けてビジュアルに表示されるから、一目するだけで、どの部位の心筋の動きが悪いかを直ちに判断できる。また、心筋の動きに関して定量的に評価することを支援でき、観測者ごとに主観的に定性評価する場合に比べて、評価のバラツキを低減できる。
ここで、各マークが設定された部位の心筋の動きをそれぞれ動画像上で追跡する上記のステップは、前記マークを含むサイズの切出し画像を前記一フレーム画像に設定するステップと、前記動画像の他のフレーム画像を検索して前記切出し画像と画像の一致度が最も高い同一サイズの局所画像を抽出するステップと、該一致度が最も高い局所画像と前記切出し画像の座標差に基づいて前記マークの移動先を求めるステップとを含んで構成することができる。この場合において、抽出された局所画像を新たな切出し画像とし、動画像のさらに他のフレーム画像に対して一致が最も高い局所画像を抽出するステップと、一致度が最も高い局所画像と切出し画像の座標差に基づいてマークの移動先を求めるステップとを繰り返し実行して、前記マークの移動先を順次求めることにより、マークを心筋の動きに追従させて移動表示できる。
【0014】
また、本発明の画像診断装置は、心臓の断層を撮像して得られる動画像データが記憶される画像記憶手段と、前記心臓の断層像を表示する表示部と、前記画像記憶手段に記憶された前記動画像データを読み出して動画像又は静止画像を前記表示部に表示させる表示制御手段と、前記表示部に表示された前記静止画像上の心筋を挟んで対向する少なくとも一対のマークを設定する操作部と、前記表示部に表示された静止画像に前記各マークを含む切出し画像をそれぞれ設定し、前記表示部に表示される前記動画像に基づいて前記切出し画像の移動先を追跡する切り出し画像追跡手段と、該切出し画像の移動先に基づいて前記各マークの移動量を求める移動量演算手段と、該手段により求めた各マークの移動量に基づいて前記一対のマーク間の距離を求めて前記心筋の壁厚と該壁厚の変化率と該壁厚の変化速度の少なくとも1つの運動量を求める運動算出手段と、該手段により求めた前記運動量に応じて輝度と色の少なくとも一方の画素値を変えて前記表示部の表示領域に表示する運動表示画像を生成する画像生成手段とを備えて構成することができる。
【0015】
上記の本発明において、運動表示画像は、矩形領域の一方の軸を前記心筋に沿って配置された複数対のマークの設定位置に対応させ、他方の軸を時間軸に対応させて形成することができる。この場合、矩形領域の時間と複数対のマークの設定位置の少なくとも一方を指定する線を入力設定することにより、該指定線に沿った前記運動量の変化を表すグラフを前記表示部に表示するステップを設けることが好ましい。また、運動表示画像は、前記各対のマーク位置における前記動画像の心筋に対応する領域の輝度と色の少なくとも一方を当該位置における前記運動量に応じて変えた画像とすることができる。あるいは、心筋の内壁と外壁を模擬してなる模式図形に、該模式図形における前記各対のマーク位置に対応する領域の輝度と色の少なくとも一方を当該位置における前記運動量に応じて変えた画像を重ねて表示するようにしてもよい。また、心筋の動画像に重ねてあるいは心筋の模式図形に重ねて、壁厚の変化等を輝度や色の変化として表示することにより、心筋の動きが悪い部位を直視的に診断できる。
【0016】
また、運動表示画像を矩形領域に表示する場合において、操作卓を介して運動表示画像の時間軸と設定位置軸の少なくとも一方を指定する線が入力設定されたとき、画像生成手段により指定線に沿った運動量の変化を表すグラフを表示部に表示させることができる。
【0017】
【発明の実施の形態】
(実施の形態1)
本発明の心臓の運動表示方法を適用してなる一実施の形態の画像診断装置について、図1〜図4を用いて説明する。図1は本実施形態の心臓の運動表示方法の手順を示し、図2は図1の心臓の運動表示方法を適用してなる画像診断装置のブロック構成図である。図2に示すように、画像診断装置は、被検体である生体の断層を撮影してなる動画像が格納される画像記憶部1と、画像を表示する表示部2と、各種の指令を入力する操作卓3と、表示部2に表示される動画像の心臓のの動きを追跡する自動追跡部4と、自動追跡部4により生成される運動表示画像を記憶する画像生成記憶部5と、自動追跡部4の追跡結果に基づいて各種の計測情報を算出する運動算出部6と、これらを接続してなる信号伝送路7を含んで構成されている。
【0018】
画像記憶部1には、破線で示した診断画像撮像装置8から被検体の断層像を撮影してなる動画像がオンライン又はオフラインで格納されるようになっている。診断画像撮像装置8としては、超音波診断装置、磁気共鳴イメージング(MRI)装置及びX線CT装置等の診断装置が適用可能である。
【0019】
操作卓3は、表示部2に動画像の一フレーム画像(静止画像)を表示させる指令、表示部2に表示された静止画像上で動きを追跡したい生体組織の部位にマーク(目印)を重畳表示させる指令、表示部2に表示する画像の種類を選択する指令、等の各種指令を入力可能に形成されている。
【0020】
自動追跡部4は、画像診断装置全体を制御する制御手段10と、表示部2に表示する画像を切り替え制御する表示制御手段11と、表示部2に表示された一フレーム画像のマークの位置に対応する追跡部位を含むサイズの切出し画像を設定する切出し画像設定手段12と、画像記憶部1から動画像の他のフレーム画像を読み出して、切出し画像と画像の一致度が最も高い同一サイズの局所画像を抽出する切出し画像追跡手段13と、一致度が最も高い局所画像と切出し画像の座標差を求める移動量演算手段14と、その座標差に基づいて追跡部位の移動先座標を求める移動追跡手段15とを備えて構成されている。この移動追跡手段15により求められた追跡部位(マーク)の移動先は、動画像に合わせて順次記憶して動画像の追跡画像を生成するようにしてもよい。
【0021】
一方、運動算出部5は、自動追跡部4で求められた追跡部位の移動先座標に基づいて、追跡部位の移動量、移動速度、移動方向等の動きに関する物理量である計測情報を定量的に求めるとともに、これらの計測情報の変化を線図で表示部2に表示させる機能を有して構成されている。特に、本実施の形態の運動算出部5は、追跡部位の移動量に基づいて心筋の内外壁に対向させて設定された一対のマーク間の距離を心筋の壁厚として求めるとともに、心筋の壁厚の変化と、壁厚の変化率と、壁厚の変化速度等の運動量を求める機能を有して構成されている。
【0022】
また、画像生成記憶部9は、運動算出部5により求められた心筋の運動量を、その運動量に応じて輝度と色の少なくとも一方を変えた運動表示画像を生成するとともに記憶する機能を有して構成されている。
【0023】
表示制御手段11は、操作卓3から入力される指令に応じて、画像記憶部1に記憶された動画像データを読み出して動画像又は静止画像と、画像生成記憶部5に記憶されている運動表示画像を切り替えて、又は重ねて表示する機能を有している。
【0024】
次に、本実施形態の画像診断装置の詳細な機能構成について、図1に示した処理手順に従って動作とともに説明する。まず、心臓の心筋の動きの追跡動作は、操作卓3から組織の動き追跡モードを選択する指令が入力されることによって開始する(S1)。表示制御手段11は、画像記憶部1から動画像の最初のフレーム画像ft(t=0)を読み出して表示部2に表示させる(S2)。例えば、最初のフレーム画像f0として図3に示す心臓の心室21の断層像が表示されたものとする。図3において、操作者が動きを追跡したい生体組織の追跡部位として、心筋22の特定の部位を選択したい場合、操作者は操作部3のマウスなどを操作してフレーム画像f0に重ねて追跡部位を設定するためのマークである追跡点23を表示させる。そして、その追跡点23を移動操作して所望の追跡部位に重畳表示させて追跡部位を入力設定する。本発明の特徴である心筋の壁厚を計測する場合は、図6(a)に示すように、心筋23を挟んで対向する一対の追跡点23を入力設定する。なお、図3において、符号24は僧帽弁である。
【0025】
追跡点23が入力設定されると、制御手段10はフレーム画像f0上の追跡点23の座標を取込み、切出し画像設定手段12に送る(S3)。切出し画像設定手段12は、図4(a)に示す様に、各追跡点23の画像を中心として、縦横2(A+1)画素(但しAは自然数)のサイズの矩形領域を切出し画像25として設定する(S4)。ここで、切出し画像25のサイズは、追跡点23の生体組織とは異なる生体組織を含む大きさの領域に設定することが好ましい。
【0026】
切出し画像追跡手段13は、画像記憶部1から動画像の次のフレーム画像f1を読み出し、切出し画像25と画像の一致度が最も高い同一サイズの局所画像を抽出する(S5)。この抽出処理は、いわゆるブロックマッチング法又は相関法と称される画像処理である。この抽出処理をフレーム画像f1の全領域について行なうと、処理時間がかかり過ぎる。そこで、抽出処理時間を短縮するため、本実施形態では、フレーム画像f1よりも十分に小さい、図4(b)に示す検索領域26について行なうようにしている。つまり、検索領域26は、切出し画像25に対して上下左右に一定の振り幅の画素数Bを付加した矩形領域とする。この画素数Bは、追跡部位に係る組織の移動量よりも大きく、例えば3〜10画素に設定する。これは、心臓などの循環器系の動く範囲は、通常の視野において、狭い領域に限られるからである。このようにして、検索領域26内の同一サイズの局所画像27を順次ずらして切出し画像25との画像の一致度を求める。図5に、相関法による画像追跡処理の具体例を示す。同例は、説明を簡単にするために、切出し画像25のサイズを矩形の9画素領域とし、検索領域26についても矩形の25画素領域として説明する。つまり、同図(a)に示す切出し画像25は、追跡点23の画素を中心としてA=1画素に設定した例であり、同図(b)に示す検索領域26はB=1画素に設定した例である。これによれば、同図(b)に示す様に、9個の局所領域27について画像の一致度を求めることになる。画像の一致度を求める方法については、公知の種々の方法を適用できる。
【0027】
次に、検索した複数の局所画像27の内で画像の一致度が最も高い局所画像27maxを抽出し、局所画像27maxを切出し画像25の移動先とし、局所画像27maxの座標を求める(S6)。これらの画像の座標は、中心画素の座標、あるいは矩形領域の何れかの角の座標で代表する。そして、局所画像27maxと切出し画像25の座標差を求め、これに基づいて追跡点23の移動先座標を求めて記憶する。必要に応じて、表示制御手段11は、追跡点23の移動先座標に基づいて表示部2のフレーム画像f1に追跡点23のマークを重ねて表示する(S7)。なお、局所画像27maxと切出し画像25における追跡点23の相対位置は変化しないものとして扱っている。
【0028】
運動算出部6は、S7で求められた追跡点23の移動先座標に基づいて、追跡点23の動き、つまり追跡部位の組織の動きに関する各種の計測情報を算出して記憶する(S8)。すなわち、移動前後の追跡点23の座標に基づいて、移動方向及び移動量を定量的に計測することができる。本実施の形態では一対の追跡点23間の距離から心筋23の壁厚を算出し、壁厚の変化、変化率、変化速度を指令に応じて算出し、記憶する(S9)。これに代えて、又は加えて、追跡部位の移動量、移動速度、移動方向等の動きに関する物理量である計測情報を定量的に求めることができる。そして、求められた追跡点23の移動に関する各種の計測情報、及びその変化をグラフで表示部に表示させることができる。これにより、観者は、追跡部位の動きを容易に観察することができる。
【0029】
次に、ステップS10に進み、動画像の全てのフレーム画像について追跡点23の追跡が終了したか否か判断し、未処理のフレーム画像があれば、ステップS5に戻ってS5 ̄S10の処理を繰り返す。全てのフレーム画像について追跡点23の追跡が終了した場合は、追跡処理動作を終了し、追跡点23の移動履歴のデータを記憶する。次いで、画像生成記憶部5は、指定された壁厚の変化、変化率、変化速度の運動表示画像を生成して、表示部に表示させる。この表示画像の具体的な例は、後述する。このように、本実施形態によれば、追跡点23の移動先の座標を順次求めることができるから、追跡部位の動きを定量的に、かつ精度よく簡単に計測することができ、診断の情報を的確に提供することができる。
【0030】
次に、本発明の特徴部である心臓の運動表示方法の具体例について図6〜図10を用いて説明する。まず、操作卓3から指令を入力して表示部2に心臓の断層像を表示させるとともに、図6(a)に示すように、所望の断層像の静止画を表示させる。この静止画上で心筋22に沿って、心壁を挟んで複数対(1〜n)の追跡点23を設定し、動画像に切り替えて追跡処理を実行させる。これにより、自動追跡部4が動作して、各追跡点23の移動を追跡する。運動算出部6は、各追跡点23の移動量の計測結果に基づいて、各対(1〜n)の追跡点23間の距離(壁厚)を計測するとともに、同図(b)、(c)に示すように、任意の一対の追跡点23における壁厚の変化と変化率を計測し、画像生成記憶部5において壁厚の変化と変化率のグラフを作成して、表示部2に表示させるようにすることができる。これにより、心臓の伸縮及び拡張に伴う心筋の動きを定量的に把握することができる。
【0031】
ところが、複数対(1〜n)の追跡点23の相互間における壁厚の変化や変化率を対比するには、n対の追跡点23ごとに計測される多数のグラフを並べて表示しなければならないから、煩雑になり実用的でない。つまり、心臓の運動機能を6分割した領域についてスコアリングを実施する場合、心筋22の各分割領域における壁厚の変化の平均値をグラフで表示するとしても、6つのグラフを並べて表示することになるから、対比観察が煩雑になる。
【0032】
そこで、図7(a)に示すように、壁厚の変化を3次元的にグラフ表示をすることが考えられる。なお、同図において、横軸は時間を表し、縦軸は壁厚を表し、奥行軸は心筋22に沿った計測部位を表しており、心臓が最も拡張したときに計測を開始して収縮期から再び拡張するまでの一周期について計測した結果である。このように、3次元画像で表示できれば、ある程度見やすくなるが、さらに見やすくして診断を支援するため、本実施の形態では、心筋の壁厚の変化(運動量)を時間軸に沿って輝度変化ないしカラー化した運動表示画像を生成して表示することを特徴とする。
【0033】
運動表示画像の一例としては、図7(b)に示すように、表示部2の表示画面に矩形の表示領域30を設定し、その横軸を時間軸とし、縦軸を計測部位として、その表示領域に各計測部位の心筋の壁厚の変化(運動量)を時間軸に沿って輝度変化ないしカラー化して表示するようにする。同図は模式的に示したものであり、図において、補助線d1〜d3は壁厚の等厚線に相当し、d1(薄い壁厚)<d2(中程度の厚みの壁厚)<d3(最も厚い壁厚)の関係を表している。同図から明らかなように、図中破線で囲んだ計測部位の真中付近の心筋の心収縮と拡張時相が他の部位に比べて遅れていることが一目でわかる。例えば、壁厚が薄いときは輝度を最小値(例えば、黒)とし、壁厚が厚くなるにつれて輝度を増加するようにする。この運動表示画像は、運動算出部6の計測結果に基づいて、画像生成記憶部5によって作成されて記憶される。
【0034】
図7は、心筋の壁厚変化の運動表示画像例であるが、壁厚の変化率又は壁厚の変化速度を同様に画像化して表示することもできる。例えば、壁厚の変化率を画像化する場合は、壁厚が厚く変化する方向を「赤」とし、薄くなる方向を「青」とする壁厚の変化率の運動表示画像を生成して表示することができる。また、壁厚の変化速度は、運動算出部6の計測結果に基づいて図8(a)に示すように壁厚の変化速度のデータを求め、これに基づいて図8(b)に示す運動表示画像を生成して、表示領域30に表示することができる。図8(b)において、図中「0」を付した領域は壁厚変化が少ない領域であり、「+」を付した領域は正の壁厚変化速度の領域であり、「−」を付した領域は負の壁厚変化速度の領域である。
【0035】
また、図9に示すように、操作卓3を操作して、表示領域30に時間軸又は計測部位の軸に直交する任意の指定線31、32を入力することにより、その指定線31上の計測部位の違いによる壁厚又は壁厚の変化速度の違い、あるいは指定線32上の壁厚の変化又は変化速度をグラフ化して表示させることもできる。
【0036】
さらに、図10に示すように、心筋の断層像又は心筋の模擬画像であるシェーマを表示部に表示し、その画像上に上述した運動表示画像を重ねて表示するようにすることができる。この場合、計測部位は心筋の断層像に対応させ、運動量の時間変化は動画像的に表示するようにする。
【0037】
以上説明したように、上述の実施形態によれば、次のような効果が得られる。まず、心臓の手術後に心臓の動きが片側だけに偏る場合や、心筋壁の壁厚の変化が小さい部位の有無を観察して血の巡りが悪い部位を検査する場合、追跡点であるマークを心筋の動きに追従させて移動表示させても、心壁全体の揺れに惑わされて壁厚の変化の微妙な差異が観察しにくくなる。この点、上記の実施の形態によれば、マークの位置に対応させた心筋の各計測部位の壁厚の変化等の運動量を、輝度や色などの違いによって表示するようにしたから、一目で心臓の動きが偏る症状や、壁厚の変化が小さい部位である血の巡りが悪い部位を検知することができる。
【0038】
例えば、心臓の機能をスコアリングによって評価する場合、一般に心臓の心壁に沿って心壁を6分割し、各分割領域ごとに壁厚の変化の度合いを5段階に分け、普通の動きの場合は「5」、動きがない場合は「1」、その中間は動きの度合いに応じて「2」〜「4」の点数をつける。さらに、通常状態と、患者に運動をさせて心臓に負荷をかけた負荷I状態と、さらに大きな負荷をかけた負荷II状態と、負荷を取り除いて回復した状態の4つの態様についてスコアリングを実施して、心臓を診断することが行なわれている。この場合、観者の主観的な判断で動きの度合いを決めて点数をつけると、スコアリング結果がバラツクという問題がある。この点、本実施の形態によれば、壁厚の変化、つまり心筋の動きを輝度の違い又は色の違いによって定量的に判別できるから、観者によるスコアリング結果のバラツキを低減して信頼性の高い評価を行うことができ、また経験が少ない観者でも同一の評価結果を得ることができる。
【0039】
また、心筋の運動を定量的に認識できるから、虚血性心疾患において例えば虚血部位を特定したり、虚血の程度がわかるので、冠動脈再生術などの治療法選択および治療部位を特定する際の指標にできる。
【0040】
また、上述の実施形態において、心筋の動きを木目細かく観察するために、追跡部位のマークである追跡点23を操作卓3から入力設定する数が多くなり、設定作業が煩雑である。そこで、心筋壁に沿って追跡点23を設定する場合、操作者の判断で組織形状が緩やかに変化するような部位については適宜間隔を空けて、組織形状が大きく変化するような部位については間隔を狭めて設定するようにしてもよい。この場合、制御手段10により追跡点23を密な間隔に自動的に補完設定するようにすることが好ましい。
【0041】
また、上述の実施形態は、オフラインで行なう例について説明したが、画像追跡処理に係る速度を向上すれば、オンラインあるいはリアルタイムの動画像にも適用できる。また、2次元の断層像を例に説明したが、3次元断層像にも適用できることはいうまでもない。
【0042】
【発明の効果】
以上述べたように、本発明によれば、定量的に計測した心室壁厚の表示法を改善したことから、的確な診断を行えるように支援することができる。
【図面の簡単な説明】
【図1】図1は、本発明の生体組織の動き追跡表示方法の一実施形態の処理手順を示す図である。
【図2】図2は、図1の生体組織の動き追跡表示方法を適用してなる画像診断装置のブロック構成図である。
【図3】図3は、本発明の生体組織の動き追跡を、心臓の断層像に適用して説明するための図である。
【図4】図4は、本発明に係る画像追跡処理法の一実施形態を説明する図であり、(a)は切出し画像の一例を、(b)は検索領域の一例を示す図である。
【図5】図5は、相関法による画像追跡処理を、具体例を用いて説明する図である。
【図6】図6は、心壁を挟んで設定された複数対のマークの距離と、その距離の変化を計測してグラフにして表示する例である。
【図7】図7は、心筋の内外壁に設定した一対の追跡点を心筋の動きに追従させて移動させて計測した壁厚のデータを示すグラフ、及び心筋の壁厚の変化を時間軸に沿って輝度変化ないしカラー化して表示する運動表示画像の一例を示す図である。
【図8】図8は、心筋の壁厚の変化速度のデータを示すグラフ、及び壁厚の変化速度を時間軸に沿って輝度変化ないしカラー化して表示する運動表示画像の一例を示す図である。
【図9】図9は、図7又は図8に示した運動表示画像上で任意の指定線を設定することにより、その線上の心筋の運動量のグラフを表示する例を示す図である。
【図10】図10は、心筋の断層像又は心筋の模擬画像であるシェーマを表示部に表示し、その画像上に本発明の運動表示画像を重ねて表示する例を示した図である。
【符号の説明】
1 画像記憶部
2 表示部
3 操作卓
4 自動追跡部
5 画像生成記憶部
6 運動算出部
7 信号伝送路
8 診断画像撮像装置
10 制御手段
11 表示制御手段
12 切出し画像設定手段
13 切出し画像追跡手段
14 移動量演算手段
15 移動追跡手段
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a cardiac motion display method applied to an ultrasonic diagnostic image, a magnetic resonance image, or an X-ray CT image, and an image diagnostic apparatus using the method.
[0002]
[Prior art]
2. Description of the Related Art Image diagnostic apparatuses such as an ultrasonic diagnostic apparatus, a magnetic resonance imaging (MRI) apparatus, and an X-ray CT apparatus all display on a monitor a tomographic image or the like relating to an examination part of a subject and provide the diagnosis. For example, in the case of a circulatory system and other moving organs such as the heart and blood vessels, the movements of living tissues (hereinafter, collectively referred to as “tissues”) constituting the organs are observed with a tomographic image, and the functions of the organs and the like are evaluated. Diagnosis is being performed.
[0003]
In particular, if the motor function such as the heart can be quantitatively evaluated, it is expected that the accuracy of diagnosis will be further improved. For example, conventionally, a contour of a heart wall is extracted from an image obtained by an ultrasonic diagnostic apparatus, and a heart function (heart pump function) is determined from an area, a volume of a ventricle or the like, a change rate thereof, etc. based on the heart wall contour. Attempts have been made to evaluate and diagnose by observing local wall motion (Patent Document 1). In addition, the displacement of the tissue is measured based on a measurement signal such as a Doppler signal, for example, an image of a local contraction or relaxation distribution is imaged, and based on this, a place where ventricular movement is activated is accurately determined. There has been proposed a method for quantitatively measuring the movement of a tissue, such as measuring the thickness (wall thickness) of a ventricle wall during the systole (Patent Document 2). Furthermore, a technique has been proposed in which the contours of the atria and ventricles that change every moment are extracted, the contours are superimposed on the image and displayed, and the capacity of the ventricles and the like is obtained based on the contours (Patent Document 3).
[0004]
[Patent Document 1]
Japanese Patent Application Laid-Open No. 9-13145 [Patent Document 2]
Japanese Patent Publication No. 2001-518342 [Patent Document 3]
US Patent No. 5,322,067 (USP 5,322,067)
[0005]
[Problems to be solved by the invention]
However, all of the above-described conventional techniques are only techniques for evaluating the overall function of the heart, and no consideration is given to quantitatively evaluating the movement of each tissue such as the myocardium. In particular, the prior art of extracting the contour of the heart wall by image processing and measuring the thickness (wall thickness) of the ventricle wall based on the contour or measuring the change in the wall thickness is not necessarily sufficient to obtain sufficient accuracy. Has not been reached.
[0006]
Generally, it is said that when blood does not pass through the myocardium due to, for example, a thrombus or the like, the movement of the myocardium decreases. Therefore, if the movement of each tissue of the heart such as the movement of the myocardium constituting the ventricle and the change in the wall thickness can be quantitatively measured, it is possible to provide effective diagnostic information for determining a treatment method or the like. For example, if the degree of ischemia is known, it is effective as an index for selecting a treatment method for the heart such as coronary artery regeneration and specifying a treatment site.
[0007]
In particular, since the heart circulates blood by repeating contraction and expansion, a scoring method has been proposed in which the degree of change in the thickness of the myocardial wall is scored for diagnosis. This scoring method is a method in which the heart wall is divided into, for example, six in the direction in which the heart wall extends, and the degree of movement of the wall thickness of each divided region is evaluated in five stages while observing a moving image. In addition, this scoring is performed in four modes: a normal state, a load I state in which the patient is exercised to apply a load to the heart, a load II state in which a greater load is applied, and a state in which the load is removed and recovered. Is performed to diagnose the heart.
[0008]
However, the conventional scoring has to be evaluated by the subjective judgment of the observer who observes the movement of the heart from the moving image of the tomographic image, so that the scoring result is not always objective and accurate diagnosis There is a problem that considerable experience is required to carry out.
[0009]
Therefore, the inventors of the present invention set a pair of tracking points (marks) inside and outside the myocardial wall on a monitor on which a tomographic image of the heart is displayed, and move a clipped image including the tracking points on a moving image. The tip is detected by image processing such as the correlation method, and the tracking point is moved and superimposed and displayed according to the movement of the myocardial wall, and the distance (wall thickness) between a pair of tracking points is quantified based on the tracking result. (Japanese Patent Application No. 2002-266864).
[0010]
However, since there is not enough consideration for a specific method of displaying the data of the ventricle wall thickness measured quantitatively, there is a point that the viewer can make an accurate diagnosis.
[0011]
It is an object of the present invention to improve a method of displaying a quantitatively measured ventricle wall thickness so that accurate diagnosis can be performed.
[0012]
[Means for Solving the Problems]
The heart motion display method of the present invention for solving the above-mentioned problems includes a first step of displaying a one-frame image of a moving image obtained by imaging a tomographic image of a living body on a display unit, and displaying the one-frame image on the displayed one-frame image. A second step of setting at least a pair of marks facing each other across the myocardium, a third step of tracking the movement of the myocardium at the site where each of the marks has been set on the moving image, and matching the movement of the myocardium. A fourth step of changing the position of each of the marks to determine the wall thickness of the myocardium based on the distance between the pair of marks after the change, the wall thickness, the change rate of the wall thickness, and the change speed of the wall thickness. A step of obtaining at least one momentum of the myocardium, and a motion display image obtained by changing at least one of luminance and color in accordance with the momentum of the myocardial momentum at each of the pair of mark positions. And having a sixth step of displaying.
[0013]
According to such a heart motion display method of the present invention, the movement of the myocardium, that is, the change in wall thickness, etc., is visually displayed in association with the position of the mark as a change in luminance or color instead of a numerical value, At a glance, it can be immediately determined which part of the myocardial movement is bad. In addition, it is possible to assist in quantitatively evaluating the movement of the myocardium, and it is possible to reduce the variation in evaluation as compared with the case where qualitative evaluation is performed subjectively for each observer.
Here, the step of tracking the motion of the myocardium at the site where each mark is set on the moving image includes the steps of: setting a cut-out image of a size including the mark in the one-frame image; Extracting another frame image to extract a local image of the same size having the highest matching degree between the cut-out image and the image; and setting the mark based on a coordinate difference between the local image having the highest matching degree and the cut-out image. And determining the destination of the destination. In this case, the extracted local image is used as a new cutout image, and a step of extracting a local image having the highest match with respect to still another frame image of the moving image, and a step of extracting the local image and the cutout image having the highest degree of matching. By repeatedly executing the step of obtaining the destination of the mark based on the coordinate difference and sequentially obtaining the destination of the mark, the mark can be moved and displayed following the movement of the myocardium.
[0014]
Further, the image diagnostic apparatus of the present invention includes an image storage unit that stores moving image data obtained by imaging a heart tomography, a display unit that displays a tomographic image of the heart, and a storage unit that is stored in the image storage unit. Display control means for reading the moving image data and displaying a moving image or a still image on the display unit, and setting at least a pair of marks facing each other across the myocardium on the still image displayed on the display unit. An operation unit and a cutout image that sets a cutout image including each of the marks in a still image displayed on the display unit and tracks a destination of the cutout image based on the moving image displayed on the display unit. Tracking means; movement amount calculation means for calculating the movement amount of each mark based on the movement destination of the cut-out image; and distance between the pair of marks based on the movement amount of each mark obtained by the means. Motion calculating means for obtaining at least one of a wall thickness of the myocardium, a rate of change of the wall thickness, and a change rate of the wall thickness of the myocardium; and at least one of luminance and color according to the amount of motion obtained by the means. Image generation means for generating a motion display image to be displayed in the display area of the display unit by changing the pixel value of the display unit.
[0015]
In the present invention, the motion display image is formed such that one axis of the rectangular region corresponds to a set position of a plurality of pairs of marks arranged along the myocardium, and the other axis corresponds to a time axis. Can be. In this case, a step of inputting and setting a line specifying at least one of the time of the rectangular area and the setting positions of the plurality of pairs of marks to display a graph representing the change in the amount of exercise along the specified line on the display unit. Is preferably provided. The exercise display image may be an image in which at least one of the brightness and the color of the region corresponding to the myocardium of the moving image at each pair of mark positions is changed according to the amount of exercise at the position. Alternatively, an image in which at least one of the brightness and the color of a region corresponding to each pair of the mark positions in the schematic diagram is changed in accordance with the amount of exercise at the position on a schematic diagram simulating the inner wall and the outer wall of the myocardium. You may make it overlap and display. In addition, by superimposing a change in wall thickness or the like as a change in luminance or color on a moving image of the myocardium or a schematic figure of the myocardium, it is possible to directly diagnose a portion where the movement of the myocardium is poor.
[0016]
Further, in the case where the exercise display image is displayed in the rectangular area, when a line that specifies at least one of the time axis and the set position axis of the exercise display image is input and set through the console, the image generation unit changes the line to the designated line. It is possible to display a graph representing the change in the amount of exercise along the display unit on the display unit.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
(Embodiment 1)
An image diagnostic apparatus according to an embodiment to which the heart motion display method of the present invention is applied will be described with reference to FIGS. FIG. 1 shows a procedure of a heart motion display method of the present embodiment, and FIG. 2 is a block diagram of an image diagnostic apparatus to which the heart motion display method of FIG. 1 is applied. As shown in FIG. 2, the image diagnostic apparatus includes an image storage unit 1 that stores a moving image obtained by imaging a tomographic image of a living body as a subject, a display unit 2 that displays an image, and inputs various commands. Console 3, an automatic tracking unit 4 that tracks the motion of the heart of the moving image displayed on the display unit 2, an image generation storage unit 5 that stores the exercise display image generated by the automatic tracking unit 4, It includes a motion calculation unit 6 that calculates various types of measurement information based on the tracking results of the automatic tracking unit 4, and a signal transmission path 7 that connects them.
[0018]
In the image storage unit 1, a moving image obtained by capturing a tomographic image of the subject from the diagnostic imaging device 8 indicated by a broken line is stored online or offline. As the diagnostic image capturing device 8, a diagnostic device such as an ultrasonic diagnostic device, a magnetic resonance imaging (MRI) device, and an X-ray CT device can be applied.
[0019]
The operation console 3 instructs the display unit 2 to display a one-frame image (still image) of a moving image, and superimposes a mark (mark) on a part of a living tissue whose movement is desired to be tracked on the still image displayed on the display unit 2. Various commands such as a command to be displayed, a command to select a type of an image to be displayed on the display unit 2, and the like can be input.
[0020]
The automatic tracking unit 4 includes a control unit 10 for controlling the entire diagnostic imaging apparatus, a display control unit 11 for switching and controlling an image to be displayed on the display unit 2, and a control unit 10 for controlling the position of the mark of one frame image displayed on the display unit 2. A cut-out image setting unit 12 for setting a cut-out image having a size including a corresponding tracking part, and reading another frame image of a moving image from the image storage unit 1 to obtain a local image of the same size having the highest matching degree between the cut-out image and the image. Cutout image tracking means 13 for extracting an image, movement amount calculation means 14 for calculating the coordinate difference between the local image having the highest degree of coincidence and the cutout image, and movement tracking means for obtaining the destination coordinates of the tracking part based on the coordinate difference 15 are provided. The moving destination of the tracking part (mark) obtained by the moving tracking means 15 may be sequentially stored in accordance with the moving image to generate a tracking image of the moving image.
[0021]
On the other hand, based on the destination coordinates of the tracking part obtained by the automatic tracking part 4, the movement calculating part 5 quantitatively calculates the measurement information, which is a physical quantity related to the movement of the tracking part, such as the moving amount, the moving speed, and the moving direction. It is configured to have a function of displaying the change of the measurement information on the display unit 2 in a diagram in addition to the determination. In particular, the motion calculation unit 5 according to the present embodiment obtains the distance between a pair of marks set to face the inner and outer walls of the myocardium as the wall thickness of the myocardium based on the movement amount of the tracking part, and calculates the wall thickness of the myocardium. It is configured to have a function of obtaining a momentum such as a change in the thickness, a change rate of the wall thickness, and a change speed of the wall thickness.
[0022]
Further, the image generation storage unit 9 has a function of generating and storing an exercise display image in which at least one of luminance and color is changed according to the amount of exercise of the myocardium determined by the exercise calculation unit 5. It is configured.
[0023]
The display control unit 11 reads out the moving image data stored in the image storage unit 1 in response to a command input from the console 3, and reads the moving image or the still image and the motion stored in the image generation storage unit 5. It has a function of switching or overlapping display images.
[0024]
Next, a detailed functional configuration of the diagnostic imaging apparatus according to the present embodiment will be described along with an operation according to the processing procedure illustrated in FIG. First, the operation of tracking the movement of the heart muscle is started when a command for selecting a tissue movement tracking mode is input from the console 3 (S1). The display control unit 11 reads the first frame image ft (t = 0) of the moving image from the image storage unit 1 and causes the display unit 2 to display it (S2). For example, it is assumed that a tomographic image of the ventricle 21 of the heart shown in FIG. 3 is displayed as the first frame image f0. In FIG. 3, when the operator wants to select a specific part of the myocardium 22 as a tracking part of the living tissue whose movement is to be tracked, the operator operates a mouse or the like of the operation unit 3 and overlaps the tracking part with the frame image f0. The tracking point 23 which is a mark for setting is displayed. Then, the tracking point 23 is moved and operated so as to be superimposed and displayed on a desired tracking part to input and set the tracking part. When measuring the wall thickness of the myocardium, which is a feature of the present invention, as shown in FIG. 6A, a pair of tracking points 23 opposed to each other across the myocardium 23 are input and set. In FIG. 3, reference numeral 24 denotes a mitral valve.
[0025]
When the tracking point 23 is input and set, the control means 10 captures the coordinates of the tracking point 23 on the frame image f0 and sends it to the cut-out image setting means 12 (S3). As shown in FIG. 4A, the cut-out image setting means 12 sets a rectangular area having a size of 2 (A + 1) pixels vertically (horizontally and horizontally) (where A is a natural number) around the image of each tracking point 23 as a cut-out image 25. (S4). Here, it is preferable that the size of the cut-out image 25 be set to an area having a size including a living tissue different from the living tissue at the tracking point 23.
[0026]
The cut-out image tracking means 13 reads the next frame image f1 of the moving image from the image storage unit 1 and extracts a local image of the same size having the highest degree of coincidence between the cut-out image 25 and the image (S5). This extraction processing is image processing called a so-called block matching method or correlation method. If this extraction processing is performed for the entire area of the frame image f1, the processing time will be too long. Therefore, in order to reduce the extraction processing time, in the present embodiment, the search is performed on the search area 26 shown in FIG. 4B, which is sufficiently smaller than the frame image f1. That is, the search area 26 is a rectangular area in which the number B of pixels having a fixed swing width is added to the cut-out image 25 vertically and horizontally. The number of pixels B is larger than the moving amount of the tissue related to the tracking region, and is set to, for example, 3 to 10 pixels. This is because the range of movement of the circulatory system such as the heart is limited to a small area in a normal visual field. In this way, the local images 27 of the same size in the search area 26 are sequentially shifted to determine the degree of coincidence of the image with the cut-out image 25. FIG. 5 shows a specific example of the image tracking processing by the correlation method. In this example, to simplify the description, the size of the cut-out image 25 is described as a rectangular 9-pixel area, and the search area 26 is also described as a rectangular 25-pixel area. That is, the cut-out image 25 shown in FIG. 9A is an example in which A = 1 pixel is set with the pixel of the tracking point 23 as the center, and the search area 26 shown in FIG. This is an example. According to this, as shown in FIG. 7B, the coincidence of the images for the nine local regions 27 is obtained. Various known methods can be applied to the method of calculating the degree of coincidence between images.
[0027]
Next, a local image 27max having the highest degree of image coincidence is extracted from the retrieved local images 27, and the local image 27max is set as a destination of the cutout image 25, and the coordinates of the local image 27max are obtained (S6). The coordinates of these images are represented by the coordinates of the center pixel or the coordinates of any corner of the rectangular area. Then, the coordinate difference between the local image 27max and the cut-out image 25 is obtained, and based on this, the destination coordinates of the tracking point 23 are obtained and stored. If necessary, the display control means 11 superimposes and displays the mark of the tracking point 23 on the frame image f1 of the display unit 2 based on the destination coordinates of the tracking point 23 (S7). The relative positions of the tracking points 23 in the local image 27max and the cut-out image 25 are treated as not changing.
[0028]
The movement calculation unit 6 calculates and stores various types of measurement information on the movement of the tracking point 23, that is, the movement of the tissue of the tracking part, based on the destination coordinates of the tracking point 23 obtained in S7 (S8). That is, the moving direction and the moving amount can be quantitatively measured based on the coordinates of the tracking point 23 before and after the movement. In the present embodiment, the wall thickness of the myocardium 23 is calculated from the distance between the pair of tracking points 23, and the change, change rate, and change speed of the wall thickness are calculated and stored according to the command (S9). Alternatively or additionally, it is possible to quantitatively obtain measurement information, which is a physical quantity related to the movement of the tracking part, such as the moving amount, the moving speed, and the moving direction. Then, various kinds of measurement information regarding the movement of the tracking point 23 and the change thereof can be displayed on the display unit as a graph. This allows the viewer to easily observe the movement of the tracking part.
[0029]
Next, the process proceeds to step S10, where it is determined whether or not the tracking of the tracking point 23 has been completed for all the frame images of the moving image. If there is an unprocessed frame image, the process returns to step S5 to perform the processing of S5 ̄S10. repeat. When the tracking of the tracking point 23 has been completed for all the frame images, the tracking processing operation ends, and the data of the movement history of the tracking point 23 is stored. Next, the image generation storage unit 5 generates a motion display image of the designated change in wall thickness, change rate, and change speed, and causes the display unit to display the image. A specific example of this display image will be described later. As described above, according to the present embodiment, the coordinates of the movement destination of the tracking point 23 can be sequentially obtained, so that the movement of the tracking part can be quantitatively and accurately measured easily, and the diagnostic information can be obtained. Can be provided accurately.
[0030]
Next, a specific example of a heart motion display method which is a feature of the present invention will be described with reference to FIGS. First, a command is input from the console 3 to display a tomographic image of the heart on the display unit 2, and a still image of a desired tomographic image is displayed as shown in FIG. A plurality of pairs (1 to n) of tracking points 23 are set on the still image along the myocardium 22 with the heart wall interposed, and the tracking processing is executed by switching to a moving image. Accordingly, the automatic tracking unit 4 operates to track the movement of each tracking point 23. The motion calculation unit 6 measures the distance (wall thickness) between the tracking points 23 of each pair (1 to n) based on the measurement result of the movement amount of each tracking point 23, and also shows the movements shown in FIGS. As shown in c), the change and the change rate of the wall thickness at an arbitrary pair of tracking points 23 are measured, and a graph of the change and the change rate of the wall thickness is created in the image generation storage unit 5 and displayed on the display unit 2. It can be displayed. Thereby, the movement of the myocardium accompanying the expansion and contraction and expansion of the heart can be grasped quantitatively.
[0031]
However, in order to compare the change and the change rate of the wall thickness between a plurality of pairs (1 to n) of tracking points 23, a number of graphs measured for each of n pairs of tracking points 23 must be displayed side by side. This is complicated and impractical. In other words, when scoring is performed on a region obtained by dividing the motor function of the heart into six, even if the average value of the change in wall thickness in each divided region of the myocardium 22 is displayed in a graph, the six graphs are displayed side by side. Therefore, the comparison observation becomes complicated.
[0032]
Therefore, as shown in FIG. 7A, it is conceivable to display a change in wall thickness in a three-dimensional graph. In the figure, the horizontal axis represents time, the vertical axis represents wall thickness, and the depth axis represents a measurement site along the myocardium 22. This is the result of measurement for one cycle from the expansion to the expansion again. As described above, if it can be displayed as a three-dimensional image, it is easy to see to some extent. However, in order to make diagnosis easier and to assist diagnosis, in this embodiment, the change in wall thickness (momentum) of the myocardium is not changed along with the time axis. A colorized exercise display image is generated and displayed.
[0033]
As an example of the exercise display image, as shown in FIG. 7B, a rectangular display area 30 is set on the display screen of the display unit 2, the horizontal axis is a time axis, and the vertical axis is a measurement site. The change (momentum) of the wall thickness of the myocardium at each measurement site is displayed in a display area by changing the brightness or coloring it along the time axis. The figure is a schematic view, in which auxiliary lines d1 to d3 correspond to equal thickness lines of the wall thickness, and d1 (thin wall thickness) <d2 (medium wall thickness) <d3 (The thickest wall thickness). As is clear from the figure, it can be seen at a glance that the cardiac systole and the diastolic phase of the myocardium near the center of the measurement site surrounded by the broken line in the figure are delayed as compared with the other sites. For example, when the wall thickness is thin, the brightness is set to a minimum value (for example, black), and the brightness is increased as the wall thickness increases. This exercise display image is created and stored by the image generation storage unit 5 based on the measurement result of the exercise calculation unit 6.
[0034]
FIG. 7 is an example of a motion display image of the change in wall thickness of the myocardium. However, the change rate of the wall thickness or the change speed of the wall thickness can be similarly imaged and displayed. For example, when imaging the change rate of the wall thickness, a motion display image of the change rate of the wall thickness in which the direction in which the wall thickness changes to “thick” is “red” and the direction in which the wall thickness changes is “blue” is generated and displayed. can do. The change rate of the wall thickness is obtained from the data of the change rate of the wall thickness as shown in FIG. 8A based on the measurement result of the motion calculation unit 6, and the motion shown in FIG. A display image can be generated and displayed in the display area 30. In FIG. 8B, the area marked with “0” in the figure is the area where the wall thickness change is small, the area marked with “+” is the area with a positive wall thickness change speed, and the area marked with “−”. The region indicated is a region with a negative wall thickness change rate.
[0035]
As shown in FIG. 9, by operating the console 3 and inputting any of the designated lines 31 and 32 orthogonal to the time axis or the axis of the measurement site in the display area 30, the designated line 31 is displayed. The difference in wall thickness or the change speed of the wall thickness due to the difference in the measurement site, or the change or the change speed of the wall thickness on the designated line 32 can also be displayed in a graph.
[0036]
Furthermore, as shown in FIG. 10, a tomographic image of the myocardium or a schema that is a simulated image of the myocardium can be displayed on the display unit, and the above-described exercise display image can be displayed over the image. In this case, the measurement site is made to correspond to the tomographic image of the myocardium, and the temporal change of the momentum is displayed as a moving image.
[0037]
As described above, according to the above-described embodiment, the following effects can be obtained. First, if the movement of the heart is deviated to only one side after a heart operation, or if you want to examine the part where blood circulation is poor by observing the part where the wall thickness of the myocardial wall has a small change, mark the tracking point. Even if the movement display is made to follow the movement of the myocardium, it is difficult to observe a subtle difference in the change in wall thickness because of the sway of the entire heart wall. In this regard, according to the above-described embodiment, the momentum such as a change in the wall thickness of each measurement site of the myocardium corresponding to the position of the mark is displayed based on differences in luminance, color, and the like. It is possible to detect a symptom in which the movement of the heart is biased and a part where blood circulation is poor, that is, a part where the change in wall thickness is small.
[0038]
For example, when the function of the heart is evaluated by scoring, in general, the heart wall is divided into six along the heart wall of the heart, and the degree of change of the wall thickness is divided into five stages for each divided region. Is assigned a score of "5", when there is no movement, "1", and in the middle between "2" and "4" according to the degree of movement. In addition, scoring was performed for four aspects: a normal state, a load I state in which the patient was exercising to apply a load to the heart, a load II state in which a greater load was applied, and a state in which the load was removed and recovered. Then, the heart is diagnosed. In this case, if the degree of movement is determined based on the subjective judgment of the viewer and a score is given, there is a problem that the scoring result varies. In this regard, according to the present embodiment, the change in wall thickness, that is, the movement of the myocardium, can be quantitatively determined based on the difference in luminance or the difference in color. And a viewer with little experience can obtain the same evaluation result.
[0039]
Also, since the movement of the myocardium can be quantitatively recognized, for example, in ischemic heart disease, the ischemic site can be specified or the degree of ischemia can be known. Can be an index.
[0040]
In the above-described embodiment, in order to observe the movement of the myocardium in a fine grain, the number of inputting and setting the tracking points 23, which are marks of tracking parts, from the console 3 increases, and the setting operation is complicated. Therefore, when the tracking point 23 is set along the myocardial wall, a portion where the tissue shape changes gently at the operator's discretion is appropriately spaced, and a portion where the tissue shape changes greatly is set as an interval. May be set narrower. In this case, it is preferable that the control unit 10 automatically complements the tracking points 23 at close intervals.
[0041]
In the above-described embodiment, an example in which the processing is performed offline has been described. However, if the speed of the image tracking processing is improved, the present invention can be applied to online or real-time moving images. Also, a two-dimensional tomographic image has been described as an example, but it goes without saying that the present invention can be applied to a three-dimensional tomographic image.
[0042]
【The invention's effect】
As described above, according to the present invention, the display method of the ventricle wall thickness measured quantitatively has been improved, so that it is possible to assist in performing an accurate diagnosis.
[Brief description of the drawings]
FIG. 1 is a diagram showing a processing procedure of an embodiment of a method for tracking and displaying the movement of a biological tissue according to the present invention.
FIG. 2 is a block diagram of an image diagnostic apparatus to which the method for tracking and displaying the movement of a living tissue shown in FIG. 1 is applied.
FIG. 3 is a diagram for explaining the motion tracking of the living tissue of the present invention applied to a tomographic image of a heart.
FIGS. 4A and 4B are diagrams illustrating an embodiment of an image tracking processing method according to the present invention. FIG. 4A is a diagram illustrating an example of a cut-out image, and FIG. 4B is a diagram illustrating an example of a search area. .
FIG. 5 is a diagram illustrating an image tracking process by a correlation method using a specific example;
FIG. 6 is an example in which a distance between a plurality of pairs of marks set with a heart wall interposed therebetween and a change in the distance are measured and displayed as a graph.
FIG. 7 is a graph showing wall thickness data measured by moving a pair of tracking points set on the inner and outer walls of the myocardium while following the movement of the myocardium, and plotting the change in the wall thickness of the myocardium on the time axis. FIG. 8 is a diagram showing an example of a motion display image displayed by changing the brightness or colorizing the image along the line.
FIG. 8 is a graph showing data of a change speed of the wall thickness of the myocardium, and a diagram showing an example of a motion display image in which the change speed of the wall thickness is displayed by changing the brightness or coloring along the time axis. is there.
9 is a diagram showing an example in which an arbitrary designated line is set on the exercise display image shown in FIG. 7 or 8, and a graph of the amount of exercise of the myocardium on the line is displayed.
FIG. 10 is a diagram illustrating an example in which a tomographic image of a myocardium or a schema that is a simulated image of a myocardium is displayed on a display unit, and a motion display image of the present invention is displayed over the image.
[Explanation of symbols]
REFERENCE SIGNS LIST 1 image storage unit 2 display unit 3 console 4 automatic tracking unit 5 image generation storage unit 6 motion calculation unit 7 signal transmission path 8 diagnostic image pickup device 10 control unit 11 display control unit 12 cutout image setting unit 13 cutout image tracking unit 14 Moving amount calculating means 15 Moving tracking means

Claims (10)

生体の断層を撮像してなる動画像の一フレーム画像を表示部に表示する第1ステップと、該表示された前記一フレーム画像上において心筋を挟んで対向する少なくとも一対のマークを設定する第2ステップと、前記各マークが設定された部位の心筋の動きをそれぞれ前記動画像上で追跡する第3ステップと、前記心筋の動きに合わせて前記各マークの位置を変更し、変更後の前記一対のマーク間の距離により前記心筋の壁厚を求める第4ステップと、前記壁厚と前記壁厚の変化率と前記壁厚の変化速度の少なくとも1つの運動量を求める第5ステップと、前記各対のマーク位置における前記心筋の運動量を、該運動量に応じて輝度と色の少なくとも一方を変えた運動表示画像を前記表示部に表示する第6ステップとを有する心臓の運動表示方法。A first step of displaying a one-frame image of a moving image obtained by imaging a tomographic image of a living body on a display unit, and a second step of setting at least a pair of marks facing each other across a myocardium on the displayed one-frame image And a third step of tracking the movement of the myocardium at the site where each of the marks is set on the moving image, and changing the position of each of the marks in accordance with the movement of the myocardium; A fourth step of obtaining the wall thickness of the myocardium from the distance between the marks, a fifth step of obtaining at least one momentum of the wall thickness, the rate of change of the wall thickness, and the rate of change of the wall thickness; Displaying a motion display image in which at least one of luminance and color is changed according to the motion amount on the display unit, the motion amount of the myocardium at the mark position. . 前記運動表示画像は、矩形領域の一方の軸を前記心筋に沿って配置された複数対のマークの設定位置に対応させ、他方の軸を時間軸に対応させてなることを特徴とする請求項1に記載の心臓の運動表示方法。The motion display image, wherein one axis of a rectangular region is made to correspond to a set position of a plurality of pairs of marks arranged along the myocardium, and the other axis is made to correspond to a time axis. 2. The method for displaying the motion of the heart according to 1. 前記矩形領域の時間と複数対のマークの設定位置の少なくとも一方を指定する線を入力設定することにより、該指定線に沿った前記運動量の変化を表すグラフを前記表示部に表示する第7ステップを有することを特徴とする請求項2に記載の心臓の運動表示方法。A seventh step of inputting and setting a line specifying at least one of the time of the rectangular area and the setting positions of a plurality of pairs of marks, thereby displaying a graph representing the change in the amount of exercise along the specified line on the display unit. 3. The method according to claim 2, further comprising: 前記運動表示画像は、前記各対のマーク位置における前記動画像の心筋に対応する領域の輝度と色の少なくとも一方を当該位置における前記運動量に応じて変えた画像であることを特徴とする請求項1に記載の心臓の運動表示方法。The said motion display image is an image which changed at least one of the brightness | luminance and the color of the area | region corresponding to the myocardium of the said moving image in the said each mark position according to the amount of exercise in the said position. 2. The method for displaying the motion of the heart according to 1. 前記運動表示画像は、前記心筋の内壁と外壁を模擬してなる模式図形に、該模式図形における前記各対のマーク位置に対応する領域の輝度と色の少なくとも一方を当該位置における前記運動量に応じて変えた画像を重ねて生成されるものであることを特徴とする請求項1に記載の心臓の運動表示方法。The exercise display image is a schematic figure simulating the inner and outer walls of the myocardium, and at least one of the brightness and the color of the area corresponding to each pair of mark positions in the schematic figure is determined according to the amount of exercise at the position. The method according to claim 1, wherein the image is generated by superimposing images changed by the change. 心臓の断層を撮像して得られる動画像データが記憶される画像記憶手段と、前記心臓の断層像を表示する表示部と、前記画像記憶手段に記憶された前記動画像データを読み出して動画像又は静止画像を前記表示部に表示させる表示制御手段と、前記表示部に表示された前記静止画像上の心筋を挟んで対向する少なくとも一対のマークを設定する操作部と、前記表示部に表示された静止画像に前記各マークを含む切出し画像をそれぞれ設定し、前記表示部に表示される前記動画像に基づいて前記切出し画像の移動先を追跡する切り出し画像追跡手段と、該切出し画像の移動先に基づいて前記各マークの移動量を求める移動量演算手段と、該手段により求めた各マークの移動量に基づいて前記一対のマーク間の距離を求めて前記心筋の壁厚と該壁厚の変化率と該壁厚の変化速度の少なくとも1つの運動量を求める運動算出手段と、該手段により求めた前記運動量に応じて輝度と色の少なくとも一方の画素値を変えて前記表示部の表示領域に表示する運動表示画像を生成する画像生成手段とを備えてなる画像診断装置。Image storage means for storing moving image data obtained by imaging a tomographic image of the heart, a display unit for displaying a tomographic image of the heart, and a moving image by reading the moving image data stored in the image storing means A display control unit for displaying a still image on the display unit, an operation unit for setting at least a pair of marks facing each other across a myocardium on the still image displayed on the display unit, and a display unit displayed on the display unit. A cutout image tracking means for setting a cutout image including each of the marks in the still image, and tracking a moving destination of the cutout image based on the moving image displayed on the display unit; and a moving destination of the cutout image. Moving amount calculating means for calculating the moving amount of each mark based on the distance between the pair of marks based on the moving amount of each mark obtained by the means; Calculating means for obtaining at least one momentum of a change rate of the wall thickness and a change speed of the wall thickness, and changing a pixel value of at least one of a luminance and a color in accordance with the momentum obtained by the means. An image diagnostic apparatus comprising: an image generating unit that generates an exercise display image to be displayed on a computer. 前記運動表示画像は、矩形領域の一方の軸を前記心筋に沿って配置された複数対のマークの設定位置に対応させ、他方の軸を時間軸に対応させてなることを特徴とする請求項6に記載の画像診断装置。The motion display image, wherein one axis of a rectangular region is made to correspond to a set position of a plurality of pairs of marks arranged along the myocardium, and the other axis is made to correspond to a time axis. 7. The diagnostic imaging apparatus according to 6. 前記操作卓を介して前記運動表示画像の時間軸と設定位置軸の少なくとも一方を指定する線が入力設定されたとき、前記画像生成手段は、前記指定線に沿った前記運動量の変化を表すグラフを前記表示部に表示することを特徴とする請求項7に記載の画像診断装置。When a line that specifies at least one of the time axis and the set position axis of the exercise display image is input and set via the console, the image generating unit generates a graph representing the change in the amount of exercise along the specified line. The image diagnostic apparatus according to claim 7, wherein is displayed on the display unit. 前記運動表示画像は、前記各対のマーク位置における前記動画像の心筋に対応する領域の輝度と色の少なくとも一方を当該位置における前記運動量に応じて変えた画像であることを特徴とする請求項6に記載の画像診断装置。The said motion display image is an image which changed at least one of the brightness | luminance and the color of the area | region corresponding to the myocardium of the said moving image in the said each mark position according to the amount of exercise in the said position. 7. The diagnostic imaging apparatus according to 6. 前記運動表示画像は、前記心筋の内壁と外壁を模擬してなる模式図形に、該模式図形における前記各対のマーク位置に対応する領域の輝度と色の少なくとも一方を当該位置における前記運動量に応じて変えた画像を重ねて生成されるものであることを特徴とする請求項6に記載の画像診断装置。The motion display image is a schematic diagram simulating the inner and outer walls of the myocardium, and at least one of the brightness and the color of a region corresponding to each pair of mark positions in the schematic diagram is determined according to the amount of exercise at the position. The image diagnostic apparatus according to claim 6, wherein the image diagnostic apparatus is generated by superimposing images changed by the change.
JP2003113309A 2003-04-17 2003-04-17 Movement display method and diagnostic imaging apparatus for living tissue Expired - Fee Related JP4503238B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003113309A JP4503238B2 (en) 2003-04-17 2003-04-17 Movement display method and diagnostic imaging apparatus for living tissue

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003113309A JP4503238B2 (en) 2003-04-17 2003-04-17 Movement display method and diagnostic imaging apparatus for living tissue

Publications (3)

Publication Number Publication Date
JP2004313545A true JP2004313545A (en) 2004-11-11
JP2004313545A5 JP2004313545A5 (en) 2006-06-08
JP4503238B2 JP4503238B2 (en) 2010-07-14

Family

ID=33473287

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003113309A Expired - Fee Related JP4503238B2 (en) 2003-04-17 2003-04-17 Movement display method and diagnostic imaging apparatus for living tissue

Country Status (1)

Country Link
JP (1) JP4503238B2 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09119924A (en) * 1995-08-01 1997-05-06 Hewlett Packard Co <Hp> Separating column for chromatography
JP2007117611A (en) * 2005-10-31 2007-05-17 Toshiba Corp Cardiac function analyzer and cardiac function analyzing method
JP2008142388A (en) * 2006-12-12 2008-06-26 Ge Medical Systems Global Technology Co Llc X-ray ct apparatus
JP2009160314A (en) * 2008-01-09 2009-07-23 Canon Inc Image processing apparatus, image processing method, and computer program
JP2011206519A (en) * 2010-03-12 2011-10-20 Canon Inc Ophthalmologic apparatus and control method for the same
JP2011527586A (en) * 2008-07-10 2011-11-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ultrasound assessment of cardiac synchrony and viability
JP2012075950A (en) * 2006-03-01 2012-04-19 Toshiba Corp Image processing apparatus
JP2012090722A (en) * 2010-10-26 2012-05-17 Ge Medical Systems Global Technology Co Llc Image processor, program, and image diagnostic apparatus
JP2013042929A (en) * 2011-08-24 2013-03-04 Hitachi Aloka Medical Ltd Ultrasonic image processing apparatus
JP2013254444A (en) * 2012-06-08 2013-12-19 Fujitsu Ltd Display program, display method and display device
US8998412B2 (en) 2010-03-12 2015-04-07 Canon Kabushiki Kaisha Ophthalmologic apparatus and control method for the same
JP2015526149A (en) * 2012-07-18 2015-09-10 コーニンクレッカ フィリップス エヌ ヴェ Local shrinkage measurement

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06285065A (en) * 1993-03-31 1994-10-11 Toshiba Corp Ultrasonic doppler diagnostic system
JPH0767876A (en) * 1993-09-02 1995-03-14 Fujitsu Ltd Ultrasonic diagnostic device
JPH1071147A (en) * 1996-07-30 1998-03-17 Vingmed Sound As Analysis and measurement for timewise tissue velocity information
JPH10262970A (en) * 1998-03-16 1998-10-06 Toshiba Corp Ultrasonic color doppler tomographic device
JPH11155862A (en) * 1997-11-28 1999-06-15 Toshiba Corp Ultrasonograph and ultrasonic image processor
JP2001070303A (en) * 1999-08-23 2001-03-21 Ge Vingmed Ultrasound As Method and device for realizing realtime computation and display of tissue deformation in ultrasonic imaging
JP2001286474A (en) * 2000-02-14 2001-10-16 Siemens Medical Syst Inc Dynamic measurement of subject's parameter
JP2002177273A (en) * 2000-12-12 2002-06-25 Toshiba Corp Ultrasonic diagnostic device
JP2003508139A (en) * 1999-08-27 2003-03-04 イシス イノベイション リミテッド Non-rigid motion image analysis

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06285065A (en) * 1993-03-31 1994-10-11 Toshiba Corp Ultrasonic doppler diagnostic system
JPH0767876A (en) * 1993-09-02 1995-03-14 Fujitsu Ltd Ultrasonic diagnostic device
JPH1071147A (en) * 1996-07-30 1998-03-17 Vingmed Sound As Analysis and measurement for timewise tissue velocity information
JPH11155862A (en) * 1997-11-28 1999-06-15 Toshiba Corp Ultrasonograph and ultrasonic image processor
JPH10262970A (en) * 1998-03-16 1998-10-06 Toshiba Corp Ultrasonic color doppler tomographic device
JP2001070303A (en) * 1999-08-23 2001-03-21 Ge Vingmed Ultrasound As Method and device for realizing realtime computation and display of tissue deformation in ultrasonic imaging
JP2003508139A (en) * 1999-08-27 2003-03-04 イシス イノベイション リミテッド Non-rigid motion image analysis
JP2001286474A (en) * 2000-02-14 2001-10-16 Siemens Medical Syst Inc Dynamic measurement of subject's parameter
JP2002177273A (en) * 2000-12-12 2002-06-25 Toshiba Corp Ultrasonic diagnostic device

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09119924A (en) * 1995-08-01 1997-05-06 Hewlett Packard Co <Hp> Separating column for chromatography
JP2007117611A (en) * 2005-10-31 2007-05-17 Toshiba Corp Cardiac function analyzer and cardiac function analyzing method
JP4714000B2 (en) * 2005-10-31 2011-06-29 株式会社東芝 Cardiac function analysis apparatus and method
JP2012075950A (en) * 2006-03-01 2012-04-19 Toshiba Corp Image processing apparatus
US8731367B2 (en) 2006-03-01 2014-05-20 Kabushiki Kaisha Toshiba Image processing apparatus
JP2008142388A (en) * 2006-12-12 2008-06-26 Ge Medical Systems Global Technology Co Llc X-ray ct apparatus
JP2009160314A (en) * 2008-01-09 2009-07-23 Canon Inc Image processing apparatus, image processing method, and computer program
JP2011527586A (en) * 2008-07-10 2011-11-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ultrasound assessment of cardiac synchrony and viability
JP2011206519A (en) * 2010-03-12 2011-10-20 Canon Inc Ophthalmologic apparatus and control method for the same
US8998412B2 (en) 2010-03-12 2015-04-07 Canon Kabushiki Kaisha Ophthalmologic apparatus and control method for the same
US9468374B2 (en) 2010-03-12 2016-10-18 Canon Kabushiki Kaisha Ophthalmologic apparatus and control method for the same
JP2012090722A (en) * 2010-10-26 2012-05-17 Ge Medical Systems Global Technology Co Llc Image processor, program, and image diagnostic apparatus
JP2013042929A (en) * 2011-08-24 2013-03-04 Hitachi Aloka Medical Ltd Ultrasonic image processing apparatus
JP2013254444A (en) * 2012-06-08 2013-12-19 Fujitsu Ltd Display program, display method and display device
JP2015526149A (en) * 2012-07-18 2015-09-10 コーニンクレッカ フィリップス エヌ ヴェ Local shrinkage measurement

Also Published As

Publication number Publication date
JP4503238B2 (en) 2010-07-14

Similar Documents

Publication Publication Date Title
US8167802B2 (en) Biological tissue motion trace method and image diagnosis device using the trace method
JP4389081B2 (en) Region-of-interest tracking control method, diagnostic imaging apparatus using the method, and region-of-interest tracking control program
US8213699B2 (en) Medical image processing apparatus and medical image diagnosis apparatus
JP4596759B2 (en) Image diagnostic apparatus and method of operating image diagnostic apparatus
US8290226B2 (en) Method for determining and displaying at least one piece of information on a target volume
EP2505162A1 (en) Method and apparatus for generating medical image of body organ by using 3-d model
US8208703B2 (en) Medical image analysis apparatus and image analysis control program
JP2014217745A (en) Ultrasonic diagnostic apparatus and method of controlling the same
JP5215036B2 (en) Medical image processing apparatus and medical image processing program
JP4359749B2 (en) Movement display method and diagnostic imaging apparatus for living tissue
JP4321121B2 (en) Method for tracking movement of biological tissue in diagnostic image and diagnostic imaging apparatus using the method
JP2010246907A (en) System and method for center point trajectory mapping
JP6013065B2 (en) Cardiac mapping using non-gated MRI
JP4503238B2 (en) Movement display method and diagnostic imaging apparatus for living tissue
US8224047B2 (en) System and method for measuring left ventricular torsion
JP4847684B2 (en) Diagnostic imaging equipment
JP2005087594A (en) Image diagnostic apparatus
JP5508035B2 (en) Diagnostic imaging equipment
JP2013144068A (en) Treatment support apparatus and control program
JP2004283583A (en) Operation method of image forming medical inspection system
JP2010505494A (en) Medical imaging system
JP4352212B2 (en) Biological tissue motion tracking display method and diagnostic imaging apparatus
JP2013040829A (en) Volume data processor and method
JP2005160688A (en) Image diagnosis apparatus
JP5879098B2 (en) Body organ moving image generation apparatus and body organ moving image generation method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060413

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090605

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090825

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091118

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20091202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100405

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100421

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130430

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140430

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees