JP6643416B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP6643416B2 JP6643416B2 JP2018145408A JP2018145408A JP6643416B2 JP 6643416 B2 JP6643416 B2 JP 6643416B2 JP 2018145408 A JP2018145408 A JP 2018145408A JP 2018145408 A JP2018145408 A JP 2018145408A JP 6643416 B2 JP6643416 B2 JP 6643416B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- cross
- deformed
- deformation
- estimation error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
画像の変形情報を取得する情報取得手段と、
前記変形情報に基づいて、前記画像に対して座標変換を行うことにより変形画像を生成する画像生成手段と、
前記変形画像における変形の推定誤差又は信頼度を表すボリュームデータを取得する取得手段と、
前記変形画像の断面画像と、前記変形画像の断面画像の断面に対応する、前記ボリュームデータにおける断面を示すマップとを重畳して表示部に表示させる表示制御手段と、
を有することを特徴とする。
本実施形態に係る画像処理装置は、複数の3次元断層画像間の変形位置合わせを行う装置であり、一方の3次元断層画像を他方の3次元断層画像に位置や形状が合うように変形させた変形画像を生成する。このとき、生成した変形画像の夫々の位置における位置合わせの推定誤差や信頼度を求めて、その分布を変形画像と対応付けて表示することを第一の特徴とする。以下、本実施形態に係る画像処理装置について説明する。
図1は、本実施形態に係る画像処理システム1の構成を示す。同図に示すように、本実施形態における画像処理システム1は、画像処理装置10と、データサーバ20と、ディスプレイ30とを有している。画像処理装置10は、画像取得部110、対応情報取得部120、設定部125、位置合わせ部130、画像生成部140、推定誤差取得部150、および表示制御部160を備えている。
次に、図2のフローチャートを参照して、本実施形態に係る画像処理装置10が実施する処理の手順について説明する。なお、以下の説明では、同一の被検体を異なる***で撮像した第1の画像と第2の画像を複数の3次元断層画像としてデータサーバ20から読み込み、第1の画像に変形処理を施し、第2の画像と位置や形状が合うように変形させた変形画像を生成する場合を例にとって説明する。
ステップS200において、画像取得部110は、位置合わせの対象である被検体の複数の3次元断層画像(すなわち、第1の画像と第2の画像)を、データサーバ20から取得する。そして、取得した画像を、画像生成部140および表示制御部160に送信する。
ステップS210において、対応情報取得部120は、第1の画像および第2の画像の夫々の画像座標系における対応情報を取得する。そして、取得した対応情報を、位置合わせ部130に送信する。ここで、対応情報とは、2つの画像間で対応する点や線や面の情報のことである。対応情報の取得は、例えば、ユーザが目視で同定した画像間の対応点を画像処理装置10に入力することによって実行される。具体的には、ディスプレイ30に表示されている夫々の3次元断層画像の断面画像を比較しながら、夫々の画像上において解剖学的に同じとみなした位置を、不図示のマウスのクリック等によって対応点として入力することによって取得する。
ステップS220において、設定部125は、位置合わせ処理(変形推定処理)を実行する際の条件(第1の条件)を設定して(ユーザの選択を取得して)、位置合わせ部130に送信する。第1の条件は、変形を推定する際に使用する変形記述モデルの種類と、前記変形記述モデルの詳細設定とを含む。例えば、以下の条件に関するユーザの選択を取得する。
・FFDを用いる場合の、制御点のグリッドサイズの選択(例えば、5mm、10mm、15mm、および20mmからの選択)
・放射基底関数を用いる場合の、放射基底関数の形状の選択(例えば、TPS(Thin Plate Spline)関数、Gauss関数、Wendland関数、およびcubic関数からの選択)
・変形の最適化計算に用いるコスト関数における各種の正則化項(体積の保存や滑らかさの維持などを評価する項)の有無や重みの設定
なお、全ての条件をユーザが設定する必要は必ずしも必要ではなく、一部の条件のみをユーザが設定可能な状態としておいて、他の条件は既定の値を設定するようにしてもよい。もちろん、上記の条件は一例にすぎず、採用する変形記述モデルや位置合わせ手法に応じて、上記以外の条件を設定可能とすることが望ましい。
ステップS230において、位置合わせ部130は、ステップS210で取得した対応情報に基づいて、ステップS220で設定した条件下で、第1の画像と第2の画像の位置合わせ処理(変形推定処理)を実行する。すなわち、設定条件下で第1の画像を変形した場合に第2の画像との間での対応点位置の残差が(あるいは、該残差を含むコスト関数が)最小となるような変形情報(第1の変形情報)を(当該条件下における変形パラメータを)推定する。そして、得られた推定結果(以下、第1の位置合わせ結果と呼ぶ)を、画像生成部140および推定誤差取得部150へと送信する。なお、以下の説明では、本ステップで推定される変形情報を、第1の画像の座標pの第2の画像への写像関数φ(p)と表記する。
ステップS240において、設定部125は、ステップS220で設定した第1の条件に基づいて、該条件とは異なる1つ以上の(N通りの)条件(第2の条件)を設定する。そして、位置合わせ部130は、新たに設定した夫々の条件下で、ステップS210で取得した対応情報に基づいて、第1の画像と第2の画像の位置合わせ処理を実行する。夫々の条件を設定した後の処理は、ステップS230と同様である。そして、得られた複数の推定結果である変形情報(第2の変形情報)(以下、第2の位置合わせ結果と呼ぶ)を、推定誤差取得部150へと送信する。なお、以下の説明では、本ステップで推定されるi番目の変形情報を、第1の画像の座標pの第2の画像への写像関数φi(p)と表記する。
ステップS250において、画像生成部140は、ステップS230で得た位置合わせ結果に基づいて、第2の画像と一致するように第1の画像に座標変換を施した新たな画像(変形画像)を生成する。
ステップS260において、推定誤差取得部150は、ステップS230およびステップS240で得た位置合わせ結果(第1の変形情報および第2の変形情報の差異)に基づいて、ステップS250で得た変形画像上の各点における位置合わせの推定誤差や信頼度を計算し、その分布を示す推定誤差画像を生成する。そして、生成した推定誤差画像を、表示制御部160へ送信する。
ステップS270において、表示制御部160は、第2の画像の断面画像と、ステップS250で生成した変形画像の対応断面画像とを、ユーザの操作に応じて、ディスプレイ30に表示する制御を行う。また、表示制御部160は、ステップS260で取得した推定誤差画像から、変形画像の該断面画像に対応する断面を切り出して、推定誤差マップとしてディスプレイ30に表示する制御を行う。
ステップS260のボリューム画像としての推定誤差画像の生成は必ずしも必須ではない。その代わりに、ステップS270の処理で表示することが決定された変形画像の断面画像上の各ボクセルについてのみ推定誤差の取得を行い、表示する推定誤差の断面画像を直接生成してもよい。
ステップS210で対応情報取得部120が実行する対応情報の取得は、画像解析処理によって自動的に行ってもよい。例えば、夫々の画像から画像パターンの特徴的な点や線を検出し、画像パターンの類似性に基づいて自動で取得するようにしてもよい。また、画像解析処理によって自動取得した対応点を候補として、ユーザが手動で修正した点を最終的な対応点の位置としてもよい。なお、対応情報の取得は、データサーバ20が保持している情報を読み込むことにより行ってもよい。
ステップS240で位置合わせ部130が実施する処理において、推定方法(推定条件)を変動させる方法は上記に限定されない。例えば、複数の異なる変形記述モデルを用いることで、異なる変形推定結果を得るようにしてもよい。例えば、ステップS230でFFDを用いた変形推定が実施される場合に、本ステップでは放射基底関数を用いた変形推定を行うようにしてもよい。
第1実施形態では、推定誤差の分布を可視化した推定誤差マップを変形画像の断面画像上に重畳表示する例について説明した。これに対して、第2実施形態に係る画像処理装置は、マップ以外の形態で推定誤差の表示を行うことを特徴とする。以下、本実施形態に係る画像処理装置について、第1実施形態と異なる部分についてのみ説明する。
ステップS270において、表示制御部160は、第2の画像の断面画像と、ステップS250で生成した変形画像の対応断面画像とを、ユーザの操作に応じて、ディスプレイ30に表示する制御を行う。また、表示制御部160は、変形画像の該断面画像上でユーザが指示した点の推定誤差を、ステップS260で取得した推定誤差画像から取得して、ディスプレイ30に表示する制御を行う。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (10)
- 画像の変形情報を取得する情報取得手段と、
前記変形情報に基づいて、前記画像に対して座標変換を行うことにより変形画像を生成する画像生成手段と、
前記変形画像における変形の推定誤差又は信頼度を表すボリュームデータを取得する取得手段と、
前記変形画像の断面画像と、前記変形画像の断面画像の断面に対応する、前記ボリュームデータにおける断面を示すマップとを重畳して表示部に表示させる表示制御手段と、
を有することを特徴とする画像処理装置。 - 前記取得手段は、前記推定誤差の分布を表す推定誤差画像を生成し、
前記表示制御手段は、前記変形画像の断面画像に対応する、前記推定誤差画像の断面を前記マップとして前記表示部に表示させることを特徴とする請求項1に記載の画像処理装置。 - 前記表示制御手段は、ユーザからの指示に応じて、前記変形画像の断面画像と前記マップとを重畳して表示させるか否かを切り替えることを特徴とする請求項1又は2に記載の画像処理装置。
- 前記取得手段は、前記変形画像上の各点における変形の推定誤差又は信頼度を表す前記ボリュームデータを取得することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記取得手段は、前記変形画像上の注目領域内における変形の推定誤差又は信頼度を表す前記ボリュームデータを取得することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記マップは、前記推定誤差又は前記信頼度に基づいて変換されたカラーマップであることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 前記表示制御手段は、前記変形画像の断面画像と、前記推定誤差又は前記信頼度が所定の閾値以上である、前記マップ上の点とを重畳して表示させることを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
- 前記信頼度は、前記推定誤差に正規化処理を施した値であることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
- 画像の変形情報を取得する情報取得工程と、
前記変形情報に基づいて、前記画像に対して座標変換を行うことにより変形画像を生成する画像生成工程と、
前記変形画像における変形の推定誤差又は信頼度を表すボリュームデータを取得する取得工程と、
前記変形画像の断面画像と、前記変形画像の断面画像の断面に対応する、前記ボリュームデータにおける断面を示すマップとを重畳して表示部に表示させる表示制御工程と、
を有することを特徴とする画像処理方法。 - 請求項1乃至8のいずれか1項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018145408A JP6643416B2 (ja) | 2018-08-01 | 2018-08-01 | 画像処理装置、画像処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018145408A JP6643416B2 (ja) | 2018-08-01 | 2018-08-01 | 画像処理装置、画像処理方法およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014123815A Division JP6383189B2 (ja) | 2014-06-16 | 2014-06-16 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018171513A JP2018171513A (ja) | 2018-11-08 |
JP6643416B2 true JP6643416B2 (ja) | 2020-02-12 |
Family
ID=64106869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018145408A Active JP6643416B2 (ja) | 2018-08-01 | 2018-08-01 | 画像処理装置、画像処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6643416B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7155277B2 (ja) | 2019-03-15 | 2022-10-18 | 株式会社東芝 | 構造物評価システム、構造物評価装置及び構造物評価方法 |
JP7332403B2 (ja) * | 2019-09-11 | 2023-08-23 | 株式会社東芝 | 位置推定装置、移動体制御システム、位置推定方法およびプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2004107981A1 (ja) * | 2003-06-03 | 2006-07-20 | 株式会社日立メディコ | 超音波診断装置 |
JP4356831B2 (ja) * | 2003-08-28 | 2009-11-04 | 株式会社Aze | 複数画像間の非剛体レジストレーション方法 |
US8135199B2 (en) * | 2006-12-19 | 2012-03-13 | Fujifilm Corporation | Method and apparatus of using probabilistic atlas for feature removal/positioning |
JP5403400B2 (ja) * | 2009-02-13 | 2014-01-29 | オリンパス株式会社 | 画像処理装置、撮像装置及び画像処理プログラム |
JP5323795B2 (ja) * | 2010-10-12 | 2013-10-23 | 富士フイルム株式会社 | 診断支援装置、診断支援プログラムおよび診断支援方法 |
JP5950619B2 (ja) * | 2011-04-06 | 2016-07-13 | キヤノン株式会社 | 情報処理装置 |
EP2880628A1 (en) * | 2012-08-06 | 2015-06-10 | Vanderbilt University | Enhanced method for correcting data for deformations during image guided procedures |
-
2018
- 2018-08-01 JP JP2018145408A patent/JP6643416B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018171513A (ja) | 2018-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6383189B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US10537247B2 (en) | Information processing apparatus, method, and programmed storage medium, for calculating ranges of regions of interest of scanned or other images | |
US10262417B2 (en) | Tooth axis estimation program, tooth axis estimation device and method of the same, tooth profile data creation program, tooth profile data creation device and method of the same | |
JP6467221B2 (ja) | 画像処理装置および方法 | |
JP6740033B2 (ja) | 情報処理装置、計測システム、情報処理方法及びプログラム | |
US20170340419A1 (en) | Tooth type judgment program, tooth type position judgment device and method of the same | |
EP3406196A1 (en) | X-ray system and method for standing subject | |
JP6393106B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20170132792A1 (en) | Method and apparatuses for assisting a diagnosing practitioner with describing the location of a target structure in a breast | |
US20150257850A1 (en) | Image processing apparatus, image processing method and program | |
JP6376873B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
EP2663237A1 (en) | Visualization of catheter in three-dimensional ultrasound | |
KR20160110194A (ko) | 의료 이미지들의 분할 불확실성의 계산 및 시각화를 위한 시스템들 및 방법들 | |
US20170251999A1 (en) | Ultrasound diagnostic image generating device and method | |
JP6643416B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2022111705A (ja) | 学習装置、画像処理装置、医用画像撮像装置、学習方法およびプログラム | |
JP2022111704A (ja) | 画像処理装置、医用画像撮像装置、画像処理方法、およびプログラム | |
WO2017003424A1 (en) | Metric 3d stitching of rgb-d data | |
JP6894398B2 (ja) | オブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラム | |
JP5693412B2 (ja) | 画像処理装置、画像処理方法 | |
CN106887017B (zh) | 图像处理装置、图像处理***及图像处理方法 | |
US10467759B2 (en) | Intelligent contouring of anatomy with structured user click points | |
JP6391544B2 (ja) | 医用画像処理装置、医用画像処理方法、及びプログラム | |
JP2019032292A (ja) | 対称性可視化装置、対称性可視化方法及びプログラム | |
JP2020017096A (ja) | 計測装置、計測方法及び計測プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180828 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180828 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190412 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190913 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200106 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6643416 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |