JP5885234B2 - Image analysis method in disease determination apparatus and ultrasonic image forming apparatus - Google Patents
Image analysis method in disease determination apparatus and ultrasonic image forming apparatus Download PDFInfo
- Publication number
- JP5885234B2 JP5885234B2 JP2011137531A JP2011137531A JP5885234B2 JP 5885234 B2 JP5885234 B2 JP 5885234B2 JP 2011137531 A JP2011137531 A JP 2011137531A JP 2011137531 A JP2011137531 A JP 2011137531A JP 5885234 B2 JP5885234 B2 JP 5885234B2
- Authority
- JP
- Japan
- Prior art keywords
- organ
- image
- ultrasonic
- disease
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Description
本発明は、超音波画像を使用した人の臓器疾患判定装置、および該装置を用いた判定方法に関する。より詳細には、超音波画像を用いて非侵襲で個人を診断し、得られた画像に対して画像処理を施すことにより、心臓内膜の運動を総合的に評価する指標を定義し、心臓の拡張・収縮機能に障害のある症例に対する疾患を判定する装置と、この装置を用いた判定方法と（以下、この装置と方法とを纏めてシステムと記すこともある）に関する。 The present invention relates to a human organ disease determination apparatus using ultrasonic images and a determination method using the apparatus. More specifically, an index for comprehensively evaluating the motion of the endocardium is defined by diagnosing an individual non-invasively using an ultrasound image and performing image processing on the obtained image. The present invention relates to a device for determining a disease for a case having a disorder in the dilatation / contraction function, and a determination method using the device (hereinafter, the device and the method may be collectively referred to as a system).
近年の医療技術の進歩は著しく、人体の体内の状態を詳細に検査できる技術が発達している。中でも超音波を用いる超音波検査装置は、Ｘ線等と比較すると人体に対する負荷が極めて低いこと、装置自体が小型で安価であること、そして何よりも低侵襲であるなどの長所を有する。反面、ＭＲＩやＸ線ＣＴなどと比較して分解能が低く画像自体が粗いこと、それゆえに画像の判定には経験・専門的知識を要することなどの問題もあった。 In recent years, medical technology has been remarkably advanced, and technology capable of examining the state of the human body in detail has been developed. In particular, an ultrasonic inspection apparatus using ultrasonic waves has advantages such as a very low load on the human body compared to X-rays, a small and inexpensive apparatus itself, and a minimally invasiveness. On the other hand, there is a problem that the resolution itself is low and the image itself is rough as compared with MRI, X-ray CT, etc., and therefore, the judgment of the image requires experience and technical knowledge.
超音波診断技術について以下説明する。
超音波診断法は検査そのものが無痛で、診断の際にはベッドで寝ているだけでいいので患者に対しての負担も他の画像診断に比べるとはるかに低い。また、超音波を用いているため低侵襲的であり、プローブ(探触子)と呼ばれる器具を体表に押し当て人間の可聴範囲をはるかに超える高周波音波を利用することで、体内組織の構造と動きの様子が2次元断層像としてリアルタイムに観察できる。加えて他の診断機に比べ低コストで、ノート型PC程度の大きさも存在し可搬性にも優れているため、被災地などでの初期診断や、在宅医療におけるベッドサイドでの手軽な計測が行える。超音波診断法に用いられる超音波は、音波の一種であり、音波の性質をそのまま持っている。超音波診断法の最大の利点は安全かつ、臓器運動のリアルタイム観察が可能であり、胎児の観察、泌尿器や消化器の組織診断等、幅広く医療分野で一般化され利用されている。さらに臓器の中でも心臓は特に運動速度が速く１分間に60〜70回の拍動運動をしている。従って、心臓の運動を正確に捉えるためには動画像観察が可能な超音波診断法が最も適している。心疾患の発症は高齢者に多くみられ、超高齢化社会を向かえる今日、医師一人当たりの患者数が増加されることが予想されるため手軽に検査が行える超音波診断法は今後も重要な診断法であることは間違いない。
The ultrasonic diagnostic technique will be described below.
In the ultrasonic diagnostic method, the examination itself is painless, and it is only necessary to sleep in the bed at the time of diagnosis, so the burden on the patient is much lower than other diagnostic imaging. In addition, it is minimally invasive due to the use of ultrasound, and the structure of the body tissue is achieved by using a high-frequency sound wave that far exceeds the human audible range by pressing an instrument called a probe on the body surface. The movement can be observed in real time as a two-dimensional tomographic image. In addition, it is less expensive than other diagnostic machines, is about the size of a notebook PC, and has excellent portability. Therefore, it is easy to perform initial diagnosis in disaster areas and bedside measurement in home medical care. Yes. Ultrasound used in ultrasonic diagnostic methods is a type of sound wave and has the properties of sound waves as they are. The greatest advantage of the ultrasonic diagnostic method is that it is safe and enables real-time observation of organ movement, and has been widely used in the medical field such as fetal observation and urological diagnosis of urinary organs and digestive organs. Furthermore, among the organs, the heart has a particularly fast movement speed and performs 60 to 70 beats per minute. Therefore, an ultrasonic diagnostic method capable of observing a moving image is most suitable for accurately capturing the motion of the heart. Since the onset of heart disease is common among the elderly and facing a super-aging society, the number of patients per doctor is expected to increase. There is no doubt that this is a diagnostic method.
次に本発明の対象である超音波画像による心臓疾患判定技術の現状を説明する。現在、心臓内膜認識手法には様々な手法があり内膜認識による定量的評価システムも研究されている。以下、関連する研究を列挙し、その概要を述べる。
(A) 動的輪郭モデルを用いたColor Kinesis画像からの心臓内膜輪郭抽出
(B) Snakes法を用いた左心室輪郭認識システム
(C) パターンマッチングによる二次元運動解析
(D) 心臓内膜の運動ベクトルによる交点可視化アルゴリズム
Next, the current state of the heart disease determination technique based on the ultrasonic image that is the subject of the present invention will be described. Currently, there are various endocardial recognition methods, and quantitative evaluation systems based on intimal recognition are also being studied. The following is a list of related studies and their outlines.
(A) Endocardial contour extraction from Color Kinesis image using dynamic contour model
(B) Left ventricular contour recognition system using Snakes method
(C) Two-dimensional motion analysis by pattern matching
(D) Intersection visualization algorithm based on endocardial motion vectors
(A)の動的輪郭モデルを用いたColor Kinesis画像からの心臓内膜輪郭抽出を行うColor Kinesis法は、超音波の反射波強度から各時刻毎の左室の心臓内膜の位置を推定し、その位置を異なった色で表現する表示法である。Color Kinesis画像により得られた超音波心エコー画像は、1枚の画像の中に収縮初期から収縮末期までの左室の心臓内膜の動きの情報を含んでおり、心室壁運動異常の診断に有効である。しかし、Color Kinesis画像は心臓内膜中の弁や乳頭筋などの運動評価の対象にならない部位まで認識してしまうため、そのような部位が写されていない断層像に限られ、更に手動による初期設定が必要なため、あらかじめ撮像した断層像のデータから心臓内膜の部分を手動で何点かプロットしてから内膜抽出処理を行うため、撮像された断層像動画に対してリアルタイムに心臓内膜を認識できないといった問題点がある。 The Color Kinesis method, which extracts endocardial contours from Color Kinesis images using the dynamic contour model in (A), estimates the position of the endocardium in the left ventricle at each time from the reflected wave intensity of the ultrasound. This is a display method for expressing the position in different colors. The ultrasound echocardiogram obtained from the Color Kinesis image contains information on the movement of the left ventricular endocardium from the initial systole to the end systole in a single image. It is valid. However, since the Color Kinesis image recognizes even parts that are not subject to motion evaluation, such as valves and papillary muscles in the endocardium, it is limited to tomographic images that do not show such parts, and further, the initial manual Because setting is required, the endocardium part is manually plotted from the tomographic image data taken in advance before the intima extraction process is performed. There is a problem that the film cannot be recognized.
(B)は、動的輪郭認識法であるSnakes法を用いた左心室形状の認識手法である。本手法により、初期の輪郭を手動でトレースするだけで左心室の動きを自動的に追跡可能となった。しかし本手法は、初期の輪郭を手動で設定するため抽出結果の精度が検査者に依存する。また、撮像された左心室壁に欠損がある場合や、断層像に僧帽弁が写りこんでいる場合には正確に輪郭を認識できないため、解析結果が撮像手技に大きく依存することが問題視されてきた。 (B) is a left ventricular shape recognition method using the Snakes method, which is a dynamic contour recognition method. With this method, the left ventricle movement can be automatically tracked by simply tracing the initial contour manually. However, since this method manually sets the initial contour, the accuracy of the extraction result depends on the inspector. Also, if the imaged left ventricular wall is defective or the mitral valve is reflected in the tomographic image, the contour cannot be accurately recognized, and the analysis results depend heavily on the imaging technique. It has been.
(C)は、画像中の移動物体のトラッキングを可能とするパターンパッチングを発展させ、心室壁が同心円的に収縮・拡張する運動を2次元解析する手法である。現在、各医療機器メーカーで異なる名称で、ほぼ同様の機能が開発されている。本手法は手動による初期設定をするだけで心室壁の各部位ごとに、どのタイミングでどの方向へ運動しているのかを解析し、心室壁の収縮・拡張運動の同期性を評価することができる。しかし、手動による初期設定を要するため、解析結果が検査者に依存するという欠点がある。 (C) is a technique that develops pattern patching that enables tracking of moving objects in an image, and performs two-dimensional analysis of the motion of the ventricular wall concentrically contracting and expanding. Currently, almost the same functions are being developed under different names for each medical device manufacturer. With this method, it is possible to evaluate the synchrony of the ventricular wall contraction and expansion movements by analyzing at which timing and in which direction it moves for each part of the ventricular wall only by manual initialization. . However, since manual initialization is required, there is a drawback that the analysis result depends on the inspector.
以上のように既存の(A)〜(C)の技術では手動での初期設定を必要性や、診断結果の撮像技術に対する依存性、評価値が心臓の局所的な評価に留まっていると言った欠点がある。 As described above, it is said that the existing techniques (A) to (C) require manual initial setting, the dependence of diagnostic results on the imaging technique, and the evaluation value is limited to the local evaluation of the heart. There are other disadvantages.
本発明は、心臓内膜の運動ベクトルによる交点可視化アルゴリズムを発展させ、
従来の交点可視化アルゴリズムでは心臓内膜の運動ベクトルをｘ、ｙの2次元平面上の運動評価のみであったものを、ｚ方向への3次元空間に拡張することで、実際の臓器の運動をよりリアルに評価し、精確な診断が可能な手法を考案し、疾患判定システム（すなわち、疾患の判定装置および判定方法）として提供するものである。
The present invention has developed an intersection visualization algorithm based on endocardial motion vectors,
In the conventional intersection visualization algorithm, the motion vector of the endocardium was only evaluated on the two-dimensional plane of x and y, but it was expanded to a three-dimensional space in the z direction, so that the actual organ motion was A method capable of more realistic evaluation and accurate diagnosis is devised and provided as a disease determination system (that is, a disease determination device and determination method).
上記課題を解決するために、本発明の疾患判定装置は、
（１） 計測対象に超音波を照射して反射音の情報を得るプローブと、
前記プローブが接続されて前記計測対象の内部の断層画像を得る超音波画像形成装置と、
前記画像形成装置から得られた画像から、計測対象である臓器の輪郭の一部の抽出を行い、臓器の自律運動による運動速度ベクトルを求め、臓器の三次元方向に駆出されるエネルギーを表現する特徴量を新たに定義し、求めた特徴量を総合的に分析し、臓器機能の正常・異常を判定する運動能を表す指標を解析する超音波画像解析装置から構成され、前記解析装置の解析結果から臓器疾患の有無を判定する疾患判定装置。
（２） 疾患判定の対象とする臓器として心臓内膜疾患の判定を行う、（１）に記載の疾患判定装置。
（３） プローブから検出された信号に基づいて患者の体内の超音波断層画像を表示する超音波画像表示部を備えた超音波画像形成装置と、
前記画像表示部の超音波画像から心臓の内膜を自動認識する内膜認識部と、前記認識された心臓内膜の運動指標としての速度ベクトルを算出する速度ベクトル算出部と、前記速度ベクトル算出部により算出された速度ベクトルから特徴量を定義する特徴量抽出部とを備える画像解析装置から構成される（１）に記載の疾患判定装置。である。
（４） 計測対象に超音波を照射して反射音の情報を得るプローブと、
前記プローブが接続されて前記計測対象の内部の断層画像を得る超音波画像形成装置と、
前記画像形成装置から得られた画像から、計測対象である臓器の輪郭の一部の抽出を行い、臓器の自律運動による運動速度ベクトルを求め、臓器の三次元方向に駆出されるエネルギーを表現する特徴量を新たに定義し、求めた特徴量を総合的に分析し、臓器機能の正常・異常を判定する運動能を表す指標を解析する超音波画像解析装置から構成され、前記解析装置の解析結果から臓器疾患の有無を判定する疾患判定方法。
であり、心臓の１心拍分の超音波動画像から、心臓内膜の自動抽出を行い、内膜運動による内膜速度ベクトルを求め、三次元方向に駆出されるエネルギーを表現する特徴量を新たに定義し、求めた特徴量を総合的に分析し、心臓内壁の拡張・収縮機能の正常・異常を判定する運動能を表す指標を定義し、定義された指標を解析することで心臓疾患の有無を判定するものである。
In order to solve the above problems, the disease determination device of the present invention is:
(1) a probe that obtains reflected sound information by irradiating a measurement object with ultrasonic waves;
An ultrasonic image forming apparatus to which the probe is connected to obtain a tomographic image inside the measurement object;
From the image obtained from the image forming apparatus, a part of the contour of the organ to be measured is extracted, a motion velocity vector by the autonomous movement of the organ is obtained, and the energy ejected in the three-dimensional direction of the organ is expressed. It is composed of an ultrasonic image analyzer that newly defines feature values, comprehensively analyzes the obtained feature values, and analyzes an index that represents motor ability to determine normality / abnormality of organ function. A disease determination device for determining the presence or absence of an organ disease from the result.
(2) The disease determination device according to (1), wherein an endocardial disease is determined as an organ to be determined for disease.
(3) an ultrasonic image forming apparatus including an ultrasonic image display unit that displays an ultrasonic tomographic image in a patient's body based on a signal detected from a probe;
An intima recognizing unit that automatically recognizes an intima of the heart from an ultrasonic image of the image display unit; a velocity vector calculating unit that calculates a velocity vector as a motion index of the recognized endocardium; and the velocity vector calculating The disease determination apparatus according to (1), including an image analysis apparatus including a feature amount extraction unit that defines a feature amount from the velocity vector calculated by the unit. It is.
(4) a probe that obtains reflected sound information by irradiating a measurement object with ultrasonic waves;
An ultrasonic image forming apparatus to which the probe is connected to obtain a tomographic image inside the measurement object;
From the image obtained from the image forming apparatus, a part of the contour of the organ to be measured is extracted, a motion velocity vector by the autonomous movement of the organ is obtained, and the energy ejected in the three-dimensional direction of the organ is expressed. It is composed of an ultrasonic image analyzer that newly defines feature values, comprehensively analyzes the obtained feature values, and analyzes an index that represents motor ability to determine normality / abnormality of organ function. A disease determination method for determining the presence or absence of an organ disease from the results.
Intracardiac intima is automatically extracted from an ultrasonic motion image for one heartbeat of the heart, an intimal velocity vector by intima motion is obtained, and a new feature amount expressing energy ejected in a three-dimensional direction is added. , And comprehensively analyze the obtained feature values, define an index that expresses motor ability to judge normality / abnormality of expansion / contraction function of the inner wall of the heart, and analyze the defined index to analyze heart disease The presence or absence is determined.
本発明により、心臓の運動パターンを正確に解析することが可能となり、様々な特徴量から疾患の運動パターンを解析することで疾患の種類や程度を自動的に特定することができる。本システムは既存の簡易な超音波画像撮像装置とＰＣで構成されるため、専門の医師がいない場所においても予備判定装置としての利用が見込まれる。また診断経験の浅い医師に対しての研修用ソフトとして本システムを用いることもできる。このような自動診断システムによって客観的な情報をセカンドオピニオンとして検査者にフィードバックすることで、医師の負担を軽減し、これまで医師の主観によって判断されていた診断格差の改善が見込まれる。 According to the present invention, it is possible to accurately analyze the motion pattern of the heart, and the type and degree of the disease can be automatically specified by analyzing the motion pattern of the disease from various feature amounts. Since this system is composed of an existing simple ultrasonic imaging device and a PC, it can be used as a preliminary determination device even in a place where there is no specialized doctor. This system can also be used as training software for doctors with little diagnostic experience. Feedback of objective information to the examiner as a second opinion by such an automatic diagnosis system can reduce the burden on the doctor and improve the diagnosis disparity that has been determined by the subjectivity of the doctor so far.
本発明の実施形態について説明する。
本実施形態の疾患判定システムの構成を図１の模式図で示す。
本発明は、患者の体表に押し付けられて操作されるプローブ２と、
プローブで探索された信号に基づいて患者の体内の超音波断層画像を表示する超音波画像表示部１０と、
前記画像表示部１０の超音波画像から心臓の内膜を自動認識する内膜認識部、前記認識された心臓内膜の運動指標としての速度ベクトルを算出する速度ベクトル算出部及び、前記速度ベクトル算出部により算出された速度ベクトルから特徴量を定義する特徴量抽出部とを備える画像解析部５０から構成される。
An embodiment of the present invention will be described.
The structure of the disease determination system of this embodiment is shown in the schematic diagram of FIG.
The present invention comprises a probe 2 that is operated by being pressed against the body surface of a patient;
An ultrasonic image display unit 10 for displaying an ultrasonic tomographic image in the body of a patient based on a signal searched by a probe;
An intima recognition unit that automatically recognizes an intima of the heart from an ultrasonic image of the image display unit 10, a velocity vector calculation unit that calculates a velocity vector as a motion index of the recognized endocardium, and the velocity vector calculation The image analysis unit 50 includes a feature amount extraction unit that defines a feature amount from the velocity vector calculated by the unit.
次に本発明の実施形態を順次説明する。 Next, embodiments of the present invention will be described sequentially.
一般的に心臓の超音波診断では、3つの基準断面が用いられる．体軸方向の断面である長軸断面、横方向の短軸断面、左心室・右心室・左心房・右心房を同時に観察できる四腔断面の3種類である。医師はこれらの断面を複合的に用いることで心機能や疾患の程度を評価する。本発明では3種類の内の短軸断面に注目して拡張・収縮機能を評価するものである。
本実施形態のうち超音波画像表示部１０では、作業者は、超音波プローブを患者の体表面に押し当てて診断することにより、心臓の輪郭を取得する。超音波画像表示部１０は、患者の体内に超音波を照射して反響データを取得する。そして、超音波プローブによって取得される反響データに基づいて心臓の短軸断層画像（以下断層画像という）を生成する。
In general, three reference sections are used for cardiac ultrasound diagnosis. There are three types: a long-axis section that is a cross section in the body axis direction, a short-axis section in the lateral direction, and a four-chamber section that can observe the left ventricle, right ventricle, left atrium, and right atrium simultaneously. Doctors evaluate the degree of cardiac function and disease by using these sections in a composite manner. In the present invention, the expansion / contraction function is evaluated by paying attention to the short-axis cross-section of the three types.
In the ultrasonic image display unit 10 of the present embodiment, the operator acquires the outline of the heart by diagnosing the ultrasonic probe against the patient's body surface. The ultrasonic image display unit 10 irradiates a patient's body with ultrasonic waves and acquires echo data. Then, a short-axis tomographic image of the heart (hereinafter referred to as a tomographic image) is generated based on the echo data acquired by the ultrasonic probe.
内膜認識部では、超音波画像表示部１０で取得された断層画像を元に、当該断層画像内に存在する心臓の内膜の輪郭を取得する。 The intima recognition unit acquires the outline of the intima of the heart existing in the tomographic image based on the tomographic image acquired by the ultrasonic image display unit 10.
撮像した超音波心臓動画像に対して、リアルタイムに初期設定が不要な心臓内膜の認識フローチャートを図２に示す。
(a)；画像処理の関心領域ROIAを設定する。
(b)；楕円近似処理によってその内側領域をROIBに設定する。
(c)；ROIB内をコントラスト調整する。
(d)；コントラスト調整された画像を画像全体の輝度分布を用いて閾値を決定する（大津の手法として知られている）手法を用いてROIB内を二値化する。
(e)；(d)の画像を膨張処理した画像を別のフレームに格納する。
(f)；(d)の画像をclosing処理した画像を(e)とは別のフレームに格納する。
(g)；(e)から(f)を差分した画像を生成する。
(h)；(g)の画像に凸包アルゴリズムを用いる。
(i)；(h)の画像を断層像中に重畳表示し、1フレーム間の内膜抽出処理が終了。
前半の処理として、まず初めのループのみ、断層内の全ての領域から算出したベクトル解析を行い、その交点の重心座標を楕円近似処理の初期座標とする。このとき輝度走査範囲とROIAが設定され、２ループ以降は輪郭の重心を楕円近似処理の初期座標としている。得られた楕円の内側をROIBとし、ROIBに対してコントラスト調整や二値化、膨張・収縮画像の差分をとり、凸包処理を行うと乳頭筋や弁を除いた内膜領域をリアルタイムに抽出することができる。
FIG. 2 shows a flowchart for recognizing an endocardium that does not require initial setting in real time for the captured ultrasonic heart moving image.
(a): A region of interest ROI A for image processing is set.
(b); Set the inner area to ROI B by ellipse approximation processing.
(c): Adjust the contrast in ROI B.
(d): The inside of ROI B is binarized using a method (known as the method of Otsu) that determines the threshold value of the contrast-adjusted image using the luminance distribution of the entire image.
(e): An image obtained by expanding the image of (d) is stored in another frame.
(f); An image obtained by closing the image of (d) is stored in a frame different from (e).
(g): An image obtained by subtracting (f) from (e) is generated.
(h): A convex hull algorithm is used for the image of (g).
(i); The image of (h) is superimposed on the tomographic image, and the intima extraction process for one frame is completed.
As the first half processing, first, only the first loop is subjected to vector analysis calculated from all the areas in the fault, and the barycentric coordinates of the intersection are set as the initial coordinates of the ellipse approximation processing. At this time, the luminance scanning range and ROI A are set, and the center of gravity of the contour is set as the initial coordinates of the ellipse approximation process after the second loop. The inside of the obtained ellipse and ROI B, contrast adjustment and binarization with respect to ROI B, taking the difference between expansion and contraction image, real-time film area among excluding the papillary muscles and valves Doing convex hull processing Can be extracted.
次に、抽出した内膜領域上にあらたな関心領域を設けて心臓内膜の部分的なベクトルＶ(以下、内膜速度ベクトル)を算出する。 Next, a new region of interest is provided on the extracted intima region, and a partial vector V (hereinafter referred to as an intima velocity vector) of the endocardium is calculated.
内膜速度ベクトルＶの算出に関する概要を図３に示し、その手順を以下に説明する。
（ア）手順1：抽出した内膜からその円周長V.length[pixel]を求める。
（イ）手順2：内膜上に設置するROIの数ROI.numで円周長を割り、ROI間の間隔V.Int(Vector Interval)[pixel]を求める。
（ウ）手順3：新たに設定した大きさWsize[pixel]の正方形のROIを定め、その中心点が認識した内膜上に来るようにV.length間隔で設置する。
（エ）手順4：前フレームで設置したROIと現在のROI間においてOF法を適用し、運動ベクトルを一画素ごとに算出する．そのベクトルをROI内で平均化し、それを抽出した内膜の速度ベクトルＶとする。
An outline of the calculation of the intimal velocity vector V is shown in FIG. 3, and the procedure will be described below.
(A) Procedure 1: The circumference V.length [pixel] is obtained from the extracted inner membrane.
(A) Procedure 2: Divide the circumference length by the number of ROIs to be installed on the intima, ROI.num, and obtain the interval V.Int (Vector Interval) [pixel] between ROIs.
(C) Procedure 3: Determine the ROI of the square of the newly set size Wsize [pixel], and install it at V.length intervals so that the center point is on the recognized intima.
(D) Procedure 4: The OF method is applied between the ROI installed in the previous frame and the current ROI, and the motion vector is calculated for each pixel. The vector is averaged within the ROI, and this is used as the extracted intima velocity vector V.
上記手順によって抽出した内膜の速度ベクトルを求める。次にこのアルゴリズムを実際に病院で臨床に使用されていた超音波断層像に適用させた結果を図４に示す。使用した動画は正常心（図４Ａ）と疾患心（図４Ｂ）を超音波診断器で短軸を撮像したAVI動画である。正常心の動画は、解像度が956×860、フレームレートは60[frame/sec]、1.78[sec]の動画で、被験者は69歳男性である。疾患心の動画は、解像度が956×860、フレームレートは30[frame/sec]、1.9[sec]の動画で被験者は49歳男性、疾患名は拡張型心筋症である。図４Ａの正常心の方は短軸の形状や拡張・収縮機能が正常であるため、大きさや方向が分かりやすく内膜上に分布している。1〜5枚目までは収縮期であり、内膜の中心方向にベクトルが向かっていることが分かる。また、6〜9枚目は拡張期に変わるため内腔の外側にベクトルが向かっている。一方、図４Ｂの疾患心は、拡張型心筋症によって短軸の形状が異なり、また拡張・収縮機能が衰弱している．そのため内膜ベクトルは小さく、心筋の同期性が損なわれてる部分も多くみられる。この動画も1〜5枚目までは収縮期であり、 6〜9枚目は拡張期となっている。 The velocity vector of the intima extracted by the above procedure is obtained. Next, FIG. 4 shows the result of applying this algorithm to an ultrasonic tomogram actually used clinically in a hospital. The moving image used is an AVI moving image in which the normal axis (FIG. 4A) and the diseased heart (FIG. 4B) are imaged by the ultrasonic diagnostic device. The moving image of a normal heart is a moving image with a resolution of 956 × 860 and frame rates of 60 [frame / sec] and 1.78 [sec], and the subject is a 69-year-old male. The video of a diseased heart is a video with a resolution of 956 × 860, frame rates of 30 [frame / sec], and 1.9 [sec]. The subject is a 49-year-old male and the name of the disease is dilated cardiomyopathy. In the normal heart of FIG. 4A, the shape of the short axis and the expansion / contraction function are normal, so that the size and direction are easily distributed on the intima. It can be seen that the first to fifth sheets are in a systole, and the vector is directed toward the center of the intima. In addition, since the sixth to ninth sheets change to the diastole, the vector is directed to the outside of the lumen. On the other hand, the diseased heart of FIG. 4B has a different short axis shape due to dilated cardiomyopathy, and dilatation / contraction functions are weakened. Therefore, the intima vector is small, and there are many parts where the synchronism of the myocardium is impaired. This movie is also in the systole from the 1st to the 5th and the expansion is in the 6th to 9th.
次に、心臓内膜運動指標の抽出の手順を説明する。
時間的に変化する内膜運動を速度ベクトルとして抽出し、この速度ベクトルの分布を図５に示す。健常者の心臓（１）の場合、1フレームに出力される内膜ベクトルは内膜上に分布し、収縮期は心臓の短軸方向に向かい、拡張期は逆の外側に向かう。また、心筋の同期がとれているため理想的には同じ大きさのベクトルが算出されると考えられる。それに対して心疾患を持つ患者の場合[（２）〜（４）]は、心筋の梗塞部や非同期によるベクトルの大きさの差異、全体的な壁運動の低下や内壁形状の変化によるベクトルの分布の異常が観測されると考える。尚、このベクトルの単位は[pixel/sec]となっており、その大きさは入力画像サイズに対する相対的な大きさである．そのため超音波動画像を撮像したときの診断器で設定した超音波を受信する深さ(depth)と、１フレームあたりの時間 [sec]を用いて実際の内膜移動量T[mm]に変換する必要がある。この変換式を（式１）に示す。
The intimal motion that changes with time is extracted as a velocity vector, and the distribution of this velocity vector is shown in FIG. In the case of the heart (1) of a healthy person, the intima vector output in one frame is distributed on the intima, the systole is directed toward the short axis of the heart, and the diastole is directed to the opposite outside. Further, since the myocardium is synchronized, it is considered that a vector having the same size is ideally calculated. On the other hand, in the case of patients with heart disease [(2) to (4)], vector size difference due to myocardial infarction and asynchronous, vector wall motion due to overall wall motion decrease and inner wall shape change. Consider distribution anomalies. The unit of this vector is [pixel / sec], and its size is relative to the input image size. Therefore, using the depth (depth) to receive the ultrasound set by the diagnostic device when the ultrasound moving image is captured and the time [sec] per frame, it is converted into the actual intima movement amount T [mm] There is a need to. This conversion formula is shown in (Formula 1).
上記移動量分布や大きさの違いを用いて内膜運動能を評価する特徴量として、相殺移動量と駆出速度を定義する。これらの特徴量を一心拍分の超音波短軸動画像から毎フレーム求め、それらを総合的に分析し、心臓内膜の運動能を評価する指標とする。 An offset movement amount and ejection speed are defined as feature amounts for evaluating the intima motility using the difference in movement amount distribution and size. These feature values are obtained for each frame from the ultrasonic short-axis moving image for one heartbeat, and they are comprehensively analyzed to serve as an index for evaluating the endocardial motility.
まず、相殺移動量を定義する。相殺移動量とは、１フレーム中の内膜ベクトルを総和した移動量のベクトルである。この概要を図６に示す。健康な心臓は常に一定の心拍を続けているため、内壁の運動も恒常性を持っている。この時の内膜移動量はどの部位でも収縮時に中心に向けて、拡張時に外側に向かって楕円状に分布する。また、心筋が健康ならその運動は全体的に同期がとれているため、収縮期は心臓内膜の中心方向へ、拡張期ならば心室の外側に向かってベクトルは分布する。
これらの性質から内膜移動量の総和を取れば対面する内膜移動量と相殺が起き、理想的な収縮運動であれば零に近づくと考えられる。そこで原点から総和した最後の終了点までの距離を相殺移動量Tc[mm]と定義する(式２)。このベクトルによってそのフレーム間において心臓内膜全体がどの方向に向かって運動しているかが表現される。
From these properties, if the total amount of intima movement is taken, it will cancel out with the intima movement amount facing, and it will be close to zero if it is an ideal contraction motion. Therefore, the distance from the origin to the final end point summed up is defined as an offset movement amount Tc [mm] (Formula 2). This vector represents the direction in which the entire endocardium is moving between the frames.
次に駆出方向の運動能である駆出速度を定義する。駆出方向運動能とは、診察断面から延長方向に血液を送り出す、或いは汲み込む運動能を内膜速度ベクトルで表現した特徴量である。この概要図を図７及び図８に示す。拡張期・収縮期それぞれの内膜速度ベクトルの方向はほとんどの場合で同じ向きである。この点に注目して、図７は抽出した内膜上に点在する内膜移動量のうち対面する一組に注目する。この一組のベクトルから、二つのROIの中心点座標を結んだ線分の成分を算出する。(Vf1,Vf2)のベクトルから駆出方向の運動能を表現する。この二つのベクトル成分の方向のパターンはROIの中心点同士が近づく場合と離れる場合、そしてそれらがそれぞれ同方向のベクトルであるか、あるいは対抗するかどうかの4つに分けられる(図８)。このうちROIの中心点が近づく場合を正の駆出量+Mとし、逆に離れる場合を負の駆出量-Mとし、三次元方向に駆出されるエネルギーとして表現する。この駆出量の大きさは同方向のベクトル同士の場合はその差分の大きさを取り、対抗するベクトル同士の場合は相殺される分の大きさを駆出量の大きさとする。これによって算出される駆出量は、図２のフローチャートに記したROIの数を用い、全部でROI.num/2組求められる。この数値を総和することで駆出される血液の体積が相対的に表現可能となる。この指標をそのフレームにおける駆出方向ベクトルMと定義する。
健康的な心臓であれば十分に大きな内膜移動量が検出され、それに伴って駆出ベクトルの数値も大きくなる。
一方で、疾患心の場合は広い梗塞部や全体的な壁運動の低下などが原因となり、この駆出方向能が低下すると考えられる。
Next, the ejection speed, which is the motor ability in the ejection direction, is defined. The ejection direction motility is a feature amount expressing the motility of pumping or pumping blood in the extension direction from the examination section by an intima velocity vector. This schematic diagram is shown in FIGS. The directions of the intimal velocity vectors in the diastolic and systolic phases are almost the same in most cases. Paying attention to this point, FIG. 7 pays attention to a facing set of the intima movement amounts scattered on the extracted intima. From this set of vectors, the component of the line segment connecting the center point coordinates of the two ROIs is calculated. Express the motor ability in the ejection direction from the vector of (V f1 , V f2 ). The patterns of the directions of these two vector components are divided into four cases: when the center points of the ROI approach and away from each other, and whether they are vectors in the same direction or whether they are opposed to each other (FIG. 8). Of these, when the ROI center point approaches, the positive ejection amount + M, and when the ROI center point moves away, the negative ejection amount -M, which is expressed as energy ejected in a three-dimensional direction. The magnitude of the ejection amount is the difference between the vectors in the same direction, and the magnitude of the amount to be offset is the magnitude of the ejection amount in the case of opposing vectors. The ejection amount calculated in this way is obtained as a total of ROI.num / 2 sets using the number of ROIs shown in the flowchart of FIG. By summing up these numerical values, the volume of blood ejected can be expressed relatively. This index is defined as the ejection direction vector M in the frame.
If the heart is healthy, a sufficiently large amount of intimal movement is detected, and the numerical value of the ejection vector increases accordingly.
On the other hand, in the case of a diseased heart, it is considered that this ejection direction ability is reduced due to a wide infarct portion or a decrease in overall wall motion.
次に、定義した特徴量を用いて超音波診断動画像から心臓の拡張・収縮機能を評価する指標を定義する。 Next, an index for evaluating the expansion / contraction function of the heart from the ultrasonic diagnostic moving image is defined using the defined feature amount.
相殺移動量を用いた心臓の評価の指標を述べる。この指標の概要を図９に示す。この相殺移動量は、一心拍のフレーム数N個得られる。この相殺移動量の一心拍分の総和をTc.sum、大きさの平均値をTn.aveとする。また、二次元座標系にフレーム順にプロットした際のX軸方向の移動径δx、Y軸方向の移動径δy、対角方向の移動径δzと定義する。δx、δyはそれぞれ二次元座標上にプロットしたベクトルの最大値から最小値の差分を取った大きさで、対角方向の移動径δzはそれら二つの数値から三平方の定理で求める。 An index for evaluating the heart using the offset movement is described. An overview of this index is shown in FIG. This amount of offset movement is obtained by N frames of one heartbeat. Tc.sum is the total sum of the offset movements for one heartbeat, and Tn.ave is the average size. Further, the moving diameter Δx in the X-axis direction, the moving diameter Δy in the Y-axis direction, and the moving diameter Δz in the diagonal direction when plotted in the frame order in the two-dimensional coordinate system are defined. Each of δx and δy is a size obtained by taking the difference between the maximum value and the minimum value of the vector plotted on the two-dimensional coordinate, and the moving radius δz in the diagonal direction is obtained from these two numerical values by the three-square theorem.
駆出ベクトルMを用いた心臓の評価の指標の算出に関し、図１０を用いて説明する。この値は正負の数値しかないため、一心拍分の駆出速度の総和M.sumと駆出ベクトルの最大値と最小値の差分の大きさを求め、それを駆出径Dとする。 Calculation of an index for evaluating the heart using the ejection vector M will be described with reference to FIG. Since this value has only positive and negative values, the sum of the ejection speed for one heartbeat M.sum and the magnitude of the difference between the maximum value and the minimum value of the ejection vector are obtained, and the ejection diameter D is obtained.
〔特徴量の検証〕
正常例20名分の超音波診断像から、各指標値を分布グラフとして図１１及図１２に示す。被験者は19歳から75歳までの男女で、医師から正常心であると診断をうけている。これらのグラフを見ると各指標の数値が大きく分散していることが分かる。これは正常心と診断を受けたが、高齢化に伴う心機能の低下、術後の経過を診断した結果であるといった、全員が完全な健康体ではないことが挙げられる。
[Verification of features]
Each index value is shown as a distribution graph from ultrasonic diagnostic images for 20 normal cases in FIGS. The subjects are men and women from the age of 19 to 75 years, and have been diagnosed as normal by doctors. When these graphs are seen, it turns out that the numerical value of each parameter | index is distributed widely. Although this was diagnosed as a normal heart, it is mentioned that not everyone is completely healthy, such as the result of diagnosing the decline in cardiac function accompanying aging and the progress after surgery.
次に、超音波診断像から各指標の値を症例別に分けて求めた結果を図１３及図１４に示す。疾患心の被験者は37歳から88歳までの男女である。症例の内訳は、正常例が20例、弁膜症が15例、心筋症が32例、虚血性心疾患が17例、肺高血圧が9例の計93例である。拡張・収縮機能が著しく低下する特徴のある症例の心筋症と虚血性疾患においては、全ての指標において正常心の分散に比べて低い値を取ることが多いことが読み取れる。 Next, FIG. 13 and FIG. 14 show the results obtained by dividing the values of each index from the ultrasonic diagnostic image for each case. Diseased subjects are men and women between the ages of 37 and 88. The breakdown of cases is 93 cases: 20 normal cases, 15 cases of valvular disease, 32 cases of cardiomyopathy, 17 cases of ischemic heart disease and 9 cases of pulmonary hypertension. It can be seen that in cardiomyopathy and ischemic diseases, which are characterized by markedly diminished dilatation / contraction functions, all indices often have lower values than normal heart dispersion.
このように本発明の疾患判定装置を使用し、超音波診断像から抽出した特徴量を解析しグラフとして表示することにより、正常心と疾患心の差異を見分けることが可能となる。 As described above, by using the disease determination apparatus of the present invention and analyzing the characteristic amount extracted from the ultrasonic diagnostic image and displaying it as a graph, it is possible to distinguish the difference between the normal heart and the disease heart.
心臓内膜の拡張・収縮運動を総合的に評価する特徴量と 内膜運動による三次元方向に駆出されるエネルギーを表現する特徴量を新たに定義することにより、心臓の運動パターンを正確に解析することが可能になり、疾患の種類や程度を自動的に特定でき、医師の主観によって判断されていた診断格差の改善ができる。 Accurately analyze cardiac motion patterns by newly defining feature values that comprehensively evaluate expansion and contraction motion of the endocardium and features that express energy ejected in three dimensions by intimal motion It is possible to automatically identify the type and degree of the disease, and to improve the diagnosis disparity determined by the doctor's subjectivity.
Claims (4)
前記プローブが接続されて前記計測対象の内部の断層画像を得る超音波画像形成装置と、
前記画像形成装置で得られた画像から、計測対象である臓器の輪郭の一部の抽出を、手動による初期輪郭設定なしに画像処理により行い、臓器の自律運動による運動速度ベクトルを求め、この運動速度ベクトルから臓器の三次元方向に駆出されるエネルギーを表現する駆出ベクトルを、臓器の運動能を表す特徴量として求め、求めた特徴量を総合的に分析し、臓器機能の正常・異常を判定する運動能を表す指標を解析する超音波画像解析装置から構成され、前記解析装置の解析結果から臓器疾患の有無を判定する疾患判定装置。 A probe that obtains reflected sound information by irradiating a measurement object with ultrasonic waves;
An ultrasonic image forming apparatus to which the probe is connected to obtain a tomographic image inside the measurement object;
From an image obtained by the image forming apparatus, the extraction of a part of the contour of an organ to be measured, it is performed by the image processing without an initial contour setting manually, determine the motion velocity vector by the autonomous motion of the organ, this movement The ejection vector that expresses the energy ejected from the velocity vector in the three-dimensional direction of the organ is obtained as a feature quantity that represents the motility of the organ, and the obtained feature quantity is comprehensively analyzed to determine whether the organ function is normal or abnormal. A disease determination device that includes an ultrasonic image analysis device that analyzes an index that represents a motor ability to be determined, and that determines the presence or absence of an organ disease from an analysis result of the analysis device.
前記画像形成装置で得られた画像から、計測対象である臓器の輪郭の一部の抽出を、手動による初期輪郭設定なしに画像処理により行い、臓器の自律運動による運動速度ベクトルを求め、この運動速度ベクトルから臓器の三次元方向に駆出されるエネルギーを表現する駆出ベクトルを、臓器の運動能を表す特徴量として求め、求めた特徴量を総合的に分析し、臓器機能の正常・異常を判定する運動能を表す指標を解析することを特徴とする超音波画像形成装置における画像解析方法。 An image analysis method in an ultrasonic image forming apparatus for obtaining a tomographic image inside the measurement target by irradiating the measurement target with an ultrasonic wave to obtain information of reflected sound,
From an image obtained by the image forming apparatus, the extraction of a part of the contour of an organ to be measured, it is performed by the image processing without an initial contour setting manually, determine the motion velocity vector by the autonomous motion of the organ, this movement The ejection vector that expresses the energy ejected from the velocity vector in the three-dimensional direction of the organ is obtained as a feature quantity that represents the motility of the organ, and the obtained feature quantity is comprehensively analyzed to determine whether the organ function is normal or abnormal. An image analysis method in an ultrasonic image forming apparatus, characterized in that an index representing athletic ability to be determined is analyzed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011137531A JP5885234B2 (en) | 2011-06-21 | 2011-06-21 | Image analysis method in disease determination apparatus and ultrasonic image forming apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011137531A JP5885234B2 (en) | 2011-06-21 | 2011-06-21 | Image analysis method in disease determination apparatus and ultrasonic image forming apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013000517A JP2013000517A (en) | 2013-01-07 |
| JP5885234B2 true JP5885234B2 (en) | 2016-03-15 |
Family
ID=47669702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011137531A Expired - Fee Related JP5885234B2 (en) | 2011-06-21 | 2011-06-21 | Image analysis method in disease determination apparatus and ultrasonic image forming apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5885234B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104156975B (en) * | 2013-05-13 | 2018-04-24 | 东芝医疗***株式会社 | Medical image analysis apparatus and method and medical imaging devices |
| JP6748866B2 (en) * | 2016-07-26 | 2020-09-02 | 国立大学法人九州大学 | Computer program for image processing, image processing apparatus and method |
| JP6958790B2 (en) * | 2018-04-11 | 2021-11-02 | 株式会社ネットカムシステムズ | Mammography interpretation device and mammography interpretation method |
| CN113855066A (en) | 2020-06-30 | 2021-12-31 | 国立大学法人冈山大学 | Ultrasonic diagnostic apparatus, output method, and recording medium |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1099328A (en) * | 1996-09-26 | 1998-04-21 | Toshiba Corp | Image processor and image processing method |
| US6447454B1 (en) * | 2000-12-07 | 2002-09-10 | Koninklijke Philips Electronics N.V. | Acquisition, analysis and display of ultrasonic diagnostic cardiac images |
-
2011
- 2011-06-21 JP JP2011137531A patent/JP5885234B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013000517A (en) | 2013-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Artificial intelligence in echocardiography: detection, functional evaluation, and disease diagnosis | |
| Lang et al. | Three-dimensional echocardiography: the benefits of the additional dimension | |
| JP6640922B2 (en) | Ultrasound diagnostic device and image processing device | |
| JP5438002B2 (en) | Medical image processing apparatus and medical image processing method | |
| CN102763135B (en) | For the method for auto Segmentation and time tracking | |
| JP5627706B2 (en) | Ultrasonic imaging device, ultrasonic imaging program | |
| US20040249282A1 (en) | System and method for extracting information based on ultrasound-located landmarks | |
| JP7375140B2 (en) | Ultrasonic diagnostic equipment, medical image diagnostic equipment, medical image processing equipment, and medical image processing programs | |
| Yli-Ollila et al. | Axial and radial waveforms in common carotid artery: An advanced method for studying arterial elastic properties in ultrasound imaging | |
| JP5611546B2 (en) | Automatic diagnosis support apparatus, ultrasonic diagnosis apparatus, and automatic diagnosis support program | |
| JP2006068526A (en) | Three-dimensional detection of flat surface of ventricle and atrium cordis | |
| JPWO2010116965A1 (en) | Medical image diagnostic apparatus, region of interest setting method, medical image processing apparatus, and region of interest setting program | |
| Morbach et al. | Clinical application of three-dimensional echocardiography | |
| JP5885234B2 (en) | Image analysis method in disease determination apparatus and ultrasonic image forming apparatus | |
| JP6815259B2 (en) | Ultrasound diagnostic equipment, medical image processing equipment and medical image processing programs | |
| JP6739318B2 (en) | Ultrasonic diagnostic equipment | |
| WO2012169646A1 (en) | Ultrasonic diagnostic device, medical image processing device and medical image processing method | |
| Rosales et al. | Modelling of image-catheter motion for 3-D IVUS | |
| JP6863774B2 (en) | Ultrasound diagnostic equipment, image processing equipment and image processing programs | |
| Meng et al. | Comparison between multimodality imaging approaches for measurement of the tricuspid annulus in severe tricuspid regurgitation | |
| JP7215053B2 (en) | Ultrasonic image evaluation device, ultrasonic image evaluation method, and ultrasonic image evaluation program | |
| JP2012152532A (en) | Ultrasonic adhesion measuring apparatus | |
| Zahnd et al. | A new user-independent in vivo method for 2D motion estimation of the carotid wall by ultrasound imaging for early detection of pathological behavior | |
| Liu et al. | Radial motion estimation of myocardium in rats with myocardial infarction: a hybrid method of FNCCGLAM and polar transformation | |
| Joseph et al. | An image-free ultrasound method to estimate artery wall thickness surrogate for screening |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140611 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140808 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140808 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140808 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150317 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150511 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151110 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160204 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5885234 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |