JP6872470B2 - 画像処理装置、画像処理方法、画像処理プログラム及び超音波撮像装置 - Google Patents
画像処理装置、画像処理方法、画像処理プログラム及び超音波撮像装置 Download PDFInfo
- Publication number
- JP6872470B2 JP6872470B2 JP2017219130A JP2017219130A JP6872470B2 JP 6872470 B2 JP6872470 B2 JP 6872470B2 JP 2017219130 A JP2017219130 A JP 2017219130A JP 2017219130 A JP2017219130 A JP 2017219130A JP 6872470 B2 JP6872470 B2 JP 6872470B2
- Authority
- JP
- Japan
- Prior art keywords
- contour
- feature amount
- image
- local
- nth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 64
- 238000003384 imaging method Methods 0.000 title claims description 9
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000000605 extraction Methods 0.000 claims description 50
- 238000003745 diagnosis Methods 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 7
- 210000000056 organ Anatomy 0.000 description 21
- 238000012937 correction Methods 0.000 description 20
- 230000005540 biological transmission Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 238000003066 decision tree Methods 0.000 description 7
- 239000000523 sample Substances 0.000 description 7
- 210000005240 left ventricle Anatomy 0.000 description 6
- 238000012706 support-vector machine Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000002350 laparotomy Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005086 pumping Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/13—Tomography
- A61B8/14—Echo-tomography
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
Description
例えば、超音波診断装置によって、心臓を診断する際に、心臓のポンプ機能や局所の壁運動を評価することがある。具体的には、超音波診断装置によって取得する心臓の拡張末期像及び収縮末期像において、左心室の内壁輪郭を抽出し、各々の時相で得られた輪郭情報から面積値や容積値を算出し、その値から心臓のポンプ機能を評価する。また、局所壁運動の解析には、拡張末期における輪郭と収縮末期における輪郭を重ね合わせてセンターライン法などにより局所の壁運動を定量的に評価する。
本発明は、診断対象の領域を描画した医用画像を入力する画像入力部と、前記診断対象の全体の輪郭を示す複数の全体輪郭パターンと、前記診断対象の局所の輪郭を示す複数の局所輪郭パターンとを予め記憶した記憶部と、前記医用画像の前記診断対象に対して、複数の前記全体輪郭パターンから、前記診断対象の形状に最も近似した前記全体輪郭パターンを適用して初期輪郭を設定する初期輪郭設定部と、前記診断対象の輪郭を示す特徴量を算出する特徴量算出部と、前記初期輪郭と前記診断対象の輪郭とのパターンマッチングを行って初期輪郭を修正した全体輪郭を取得し、該全体輪郭を複数の局所輪郭に分割し、各局所輪郭について、前記特徴量を用いて前記局所輪郭パターンとのパターンマッチングを行って、前記全体輪郭を段階的に修正することにより、前記対象領域の輪郭線を抽出する輪郭線抽出部と、を備える画像処理装置を提供する。
(第1の実施形態)
本実施形態に係る画像処理装置は、超音波画像において診断対象臓器の輪郭を抽出するものであり、以下、画像処理装置を超音波撮像装置に適用した例について説明する。
送受切替部101は、制御部106に指示に従って送信部102または受信部105を選択的に超音波探触子7に接続させ、超音波探触子7による超音波の送受を切り替える。
送信部102は、制御部106からの指示に従って、超音波探触子7の各超音波素子に、送受切替部101を介して送信信号を出力する。
受信部105は、制御部105からの指示に従って、超音波探触子7からの受信信号を、送受切替部101を介して受信し、受信焦点の位置に応じた所定の遅延量で遅延させた後加算、すなわち整相加算し、整相加算後の信号を画像生成部107に出力する。
画像生成部107は、受信部105から受信した整相加算後の信号を受信焦点に対応する位置に並べる等の処理を行い、ボリュームデータとして超音波画像を生成する。
画像処理装置108は、図2に示すように、中央処理部(CPU)1、不揮発性メモリ(ROM)2、揮発性メモリ(RAM)3、及び記憶部4を備えている。画像処理装置108は、画像生成部107により生成された超音波画像において診断対象としての臓器の輪郭を抽出する。
ステップS11では、超音波撮像装置によって取得され画像生成部107によって生成された超音波画像が画像処理装置108に入力される。
ステップS19では、段階的なパターンマッチング処理が終了して、最終的な全体輪郭を抽出して本処理を終了する。
上述した輪郭線抽出部32によるパターンマッチングには、種々の手法を適用することができる。本実施形態においては、Support Vector Machine(SVM)を適用して、特徴量としての複数の画素対の輝度値の差を分類することによりパターンマッチングを行う。以下、本実施形態におけるRandom Forestを適用したパターンマッチングについて説明する。
図6に、全体輪郭パターンおよび局所輪郭パターンの一例を示す。全体輪郭から局所輪郭へ分割する場合、図6(A)に示すような解剖学的な意味に基づいた方法や、図6(B)に示すような均等に分割する方法などが考えられる。
この他、例えば、全体輪郭を左右に分け、そして、左側の領域に対して、大雑把な変形を行い、右側の領域に対して、疾患によってより細かくパターンを分けるなどして局所輪郭毎の領域に分割することもできる。
上述したパターンマッチングにおいて、特に局所輪郭におけるパターンマッチングの詳細について説明する。
図7に、第一段階の処理で得られた全体輪郭から、第2段階の局所輪郭を選択してパターンマッチングを行う一例について説明する。
まず、第1段階の処理で得られた全体輪郭を複数の局所輪郭に分割し、処理の対象を決定する。このため、第1段階の処理で得られた全体輪郭601を超音波画像上の実際の輪郭線である正解輪郭602と比較し、各輪郭に属する頂点の距離誤差ベクトル606を算出する。例えば、全体輪郭601を左の領域603、上の領域604と右の領域605の三つの領域に分割し、各領域に含まれる頂点の距離誤差の総和を算出し、誤差が最大である上の領域604が第2段階の処理対象として定まる。
続いて、本発明の第2の実施形態について説明する。本実施形態では、上述した第1の実施形態に係る画像処理装置における初期輪郭の設定において、設定された初期輪郭を画面上でユーザが確認して、必要に応じて、弁輪形状、心尖形状などの特定部位の輪郭について形状パラメータの調整による変形を行う。
本発明の第3の実施形態に係る画像処理装置は、抽出された輪郭線において、ユーザが画面上で輪郭を確認して、必要に応じて、点ごとの修正、または、連動修正による特最終結果に対する変形を行うことができる。変形は、上述した第1及び第2の実施形態において得られた輪郭線抽出結果に対して行われるものである。
Claims (9)
- 診断対象の領域を描画した医用画像を入力する画像入力部と、
前記診断対象の全体の輪郭を示す複数の全体輪郭パターン、および、前記診断対象の複数の局所の輪郭をそれぞれ示す複数の局所輪郭パターンを予め記憶した記憶部と、
前記医用画像の前記診断対象に対して、複数の前記全体輪郭パターンから、前記診断対象の形状に最も近似した前記全体輪郭パターンを選択して初期輪郭を設定する初期輪郭設定部と、
前記医用画像に設定された関心領域について、前記診断対象の輪郭を示す特徴量を算出する特徴量算出部と、
輪郭線抽出部とを有し、
前記輪郭線抽出部は、
第1段階処理として、前記医用画像を縮小して解像度を低下させた第1解像度画像を生成し、前記第1解像度画像に前記診断対象の前記初期輪郭を包含する第1関心領域を設定し、前記第1関心領域について前記特徴量算出部が算出した前記特徴量を取得し、前記特徴量を用いてパターンマッチングを行うことにより、前記記憶部に記憶された複数の前記全体輪郭パターンのうち前記特徴量が最も類似する全体輪郭パターンを選択して全体輪郭を抽出し、
第n段階処理(ただし、nは2以上の整数)として、前記第(n−1)解像度画像よりも高解像度で前記医用画像の解像度以下の第n解像度画像を生成し、前記第n解像度画像に、前記第(n−1)段階処理で生成された前記全体輪郭を複数に分割した局所輪郭を含む第n関心領域を設定し、前記第n関心領域について前記特徴量算出部が算出した前記特徴量を取得し、前記特徴量を用いてパターンマッチングを行うことにより、前記記憶部に記憶された複数の前記局所輪郭パターンのうち前記特徴量が最も類似する局所輪郭パターンを選択して前記第n関心領域の局所輪郭を取得し、前記局所輪郭により前記全体輪郭を変形させ、
前記輪郭抽出部は、nの値を2から順次増加させながら予め定めた値になるまで前記第n段階処理を繰り返すことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置であって、前記輪郭線抽出部は、前記第n段階処理において、前記(n−1)段階処理で生成された前記全体輪郭を、前記医用画像上の前記診断対象の実際の輪郭線と比較して誤差を求め、前記誤差が最大の領域に前記第n関心領域を設定し、前記第n段階処理の処理対象とすることを特徴とする画像処理装置。
- 請求項1に記載の画像処理装置であって、前記輪郭線抽出部は、前記第n段階処理において、前記(n−1)段階処理で生成された前記全体輪郭を複数に分割した複数の局所輪郭の各々について、順にパターンマッチングを行うことを特徴とする画像処理装置。
- 請求項1に記載の画像処理装置であって、前記初期輪郭設定部によって設定された前記初期輪郭に対し、ユーザによる手動調整を受け付ける入力部を備えたことを特徴とする画像処理装置。
- 請求項4に記載の画像処理装置であって、前記診断対象は心臓であり、前記入力部は、弁輪形状および心尖形状の輪郭の形状パラメータの重みをそれぞれ受け付けるコントロールバーを備えることを特徴とする画像処理装置。
- 請求項1に記載の画像処理装置であって、前記特徴量は、前記関心領域において予め定められた複数の画素対についての輝度値の差であることを特徴とする画像処理装置。
- 診断対象の領域を描画した医用画像を入力する画像入力ステップと、
前記医用画像の前記診断対象に対して、前記診断対象の全体の輪郭を示す複数の全体輪郭パターンから、前記診断対象の形状に最も近似した前記全体輪郭パターンを適用して初期輪郭を設定する初期輪郭設定ステップと、
前記医用画像に設定した関心領域について、前記診断対象の輪郭を示す特徴量を算出する特徴量算出ステップと、
第1段階の輪郭線抽出処理として、前記医用画像を縮小して解像度を低下させた第1解像度画像を生成し、前記第1解像度画像に前記診断対象の前記初期輪郭を包含する第1関心領域を設定し、前記第1関心領域について前記特徴量算出部が算出した前記特徴量を取得し、前記特徴量を用いてパターンマッチングを行うことにより、前記記憶部に記憶された複数の前記全体輪郭パターンのうち前記特徴量が最も類似する全体輪郭パターンを選択して全体輪郭を抽出する第1段階輪郭線抽出ステップと、
第n段階(ただし、nは2以上の整数)の輪郭線抽出処理として、前記第(n−1)解像度画像よりも高解像度で前記医用画像の解像度以下の第n解像度画像を生成し、前記第n解像度画像に、前記(n−1)段階処理で生成された前記全体輪郭を複数に分割した局所輪郭を含む第n関心領域を設定し、前記第n関心領域について前記特徴量算出部が算出した前記特徴量を取得し、前記特徴量を用いてパターンマッチングを行うことにより、前記記憶部に記憶された複数の前記局所輪郭パターンのうち前記特徴量が最も類似する局所輪郭パターンを選択して前記第n関心領域の局所輪郭を取得し、前記局所輪郭により前記全体輪郭を変形させる第n段階輪郭線抽出ステップと、含み、
前記第n段階輪郭線抽出ステップを、nの値を2から順次増加させながら予め定めた値になるまで繰り返す
ことを特徴とする画像処理方法。 - コンピュータに、
診断対象の領域を描画した医用画像を入力する画像入力ステップと、
前記医用画像の前記診断対象に対して、前記診断対象の全体の輪郭を示す複数の全体輪郭パターンから、前記診断対象の形状に最も近似した前記全体輪郭パターンを適用して初期輪郭を設定する初期輪郭設定ステップと、
前記医用画像に設定した関心領域について、前記診断対象の輪郭を示す特徴量を算出する特徴量算出ステップと、
第1段階の輪郭線抽出処理として、前記医用画像を縮小して解像度を低下させた第1解像度画像を生成し、前記第1解像度画像に前記診断対象の前記初期輪郭を包含する第1関心領域を設定し、前記第1関心領域について前記特徴量算出部が算出した前記特徴量を取得し、前記特徴量を用いてパターンマッチングを行うことにより、前記記憶部に記憶された複数の前記全体輪郭パターンのうち前記特徴量が最も類似する全体輪郭パターンを選択して全体輪郭を抽出する第1段階輪郭線抽出ステップと、
第n段階(ただし、nは2以上の整数)の輪郭線抽出処理として、前記第(n−1)解像度画像よりも高解像度で前記医用画像の解像度以下の第n解像度画像を生成し、前記第n解像度画像に、前記(n−1)段階処理で生成された前記全体輪郭を複数に分割した局所輪郭を含む第n関心領域を設定し、前記第n関心領域について前記特徴量算出部が算出した前記特徴量を取得し、前記特徴量を用いてパターンマッチングを行うことにより、前記記憶部に記憶された複数の前記局所輪郭パターンのうち前記特徴量が最も類似する局所輪郭パターンを選択して前記第n関心領域の局所輪郭を取得し、前記局所輪郭により前記全体輪郭を変形させる第n段階輪郭線抽出ステップと、を実行させるプログラムであって、
前記第n段階輪郭線抽出ステップを、nの値を2から順次増加させながら予め定めた値になるまで繰り返し実行させる画像処理プログラム。 - 被検体に対して超音波を送信すると共に該被検体から戻る超音波を受信し、受信したデータに基づいて超音波画像を生成する画像生成部と、
請求項1乃至請求項6の何れか1項記載の画像処理装置と、を備え、
該画像処理装置が、前記画像生成部により生成された超音波画像から診断対象の輪郭線を抽出する超音波撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017219130A JP6872470B2 (ja) | 2017-11-14 | 2017-11-14 | 画像処理装置、画像処理方法、画像処理プログラム及び超音波撮像装置 |
PCT/JP2018/029445 WO2019097778A1 (ja) | 2017-11-14 | 2018-08-06 | 画像処理装置、画像処理方法、画像処理プログラム及び超音波撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017219130A JP6872470B2 (ja) | 2017-11-14 | 2017-11-14 | 画像処理装置、画像処理方法、画像処理プログラム及び超音波撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019088458A JP2019088458A (ja) | 2019-06-13 |
JP6872470B2 true JP6872470B2 (ja) | 2021-05-19 |
Family
ID=66540130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017219130A Active JP6872470B2 (ja) | 2017-11-14 | 2017-11-14 | 画像処理装置、画像処理方法、画像処理プログラム及び超音波撮像装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6872470B2 (ja) |
WO (1) | WO2019097778A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3679990B2 (ja) * | 2000-10-31 | 2005-08-03 | 株式会社東芝 | 医用画像処理装置及びその方法 |
JP3642059B2 (ja) * | 2002-09-06 | 2005-04-27 | 独立行政法人理化学研究所 | 生体断層画像の輪郭データ抽出方法および装置 |
JP5159242B2 (ja) * | 2007-10-18 | 2013-03-06 | キヤノン株式会社 | 診断支援装置、診断支援装置の制御方法、およびそのプログラム |
-
2017
- 2017-11-14 JP JP2017219130A patent/JP6872470B2/ja active Active
-
2018
- 2018-08-06 WO PCT/JP2018/029445 patent/WO2019097778A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2019088458A (ja) | 2019-06-13 |
WO2019097778A1 (ja) | 2019-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107480677B (zh) | 一种识别三维ct图像中感兴趣区域的方法及装置 | |
US10997466B2 (en) | Method and system for image segmentation and identification | |
JP7326010B2 (ja) | 超音波診断装置、超音波パラメータ学習装置、超音波診断装置制御プログラム及び超音波パラメータ学習プログラム | |
EP3100236B1 (en) | Method and system for constructing personalized avatars using a parameterized deformable mesh | |
JP7325954B2 (ja) | 医用画像処理装置、医用画像処理プログラム、学習装置及び学習プログラム | |
JP7081680B2 (ja) | 学習済みモデルの製造方法、輝度調整方法および画像処理装置 | |
CN106133789B (zh) | 用于分割感兴趣区域的图像处理装置和方法 | |
JP4938427B2 (ja) | 脳出血部位体積計算装置 | |
CN111242921B (zh) | 一种医学超声图像辅助诊断***自动更新的方法及*** | |
JP6580013B2 (ja) | 画像処理装置、及びその方法 | |
CN112381811A (zh) | 一种实现医学影像数据标注的方法、装置及设备 | |
US11631160B2 (en) | Image processing apparatus, image processing method, and X-ray CT apparatus | |
AU2020223750B2 (en) | Method and System for Image Annotation | |
JP6872470B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び超音波撮像装置 | |
JP2022111705A (ja) | 学習装置、画像処理装置、医用画像撮像装置、学習方法およびプログラム | |
JP6498316B2 (ja) | 超音波撮像装置、および画像処理方法 | |
JP4571378B2 (ja) | 画像処理方法および装置並びにプログラム | |
JP6734073B2 (ja) | 医用画像処理装置、超音波診断装置、及び医用画像処理プログラム | |
CN113962957A (zh) | 医学图像处理方法、骨骼图像处理方法、装置、设备 | |
JP2020131019A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
Stetten et al. | Automated segmentation of the right heart using an optimized shells and spheres algorithm | |
KR102069774B1 (ko) | 영상 처리 장치 및 방법 | |
Aboobacker et al. | Improving presentation consistency of radiographic images using deep learning | |
KR20230049936A (ko) | 평균 도형을 이용한 횡격막 검출 방법 및 이를 위한 장치 | |
WO2023017438A1 (en) | System and method for medical image translation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210413 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210419 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6872470 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |