JP6363575B2 - 画像位置合わせ装置および方法並びにプログラム - Google Patents

画像位置合わせ装置および方法並びにプログラム Download PDF

Info

Publication number
JP6363575B2
JP6363575B2 JP2015191097A JP2015191097A JP6363575B2 JP 6363575 B2 JP6363575 B2 JP 6363575B2 JP 2015191097 A JP2015191097 A JP 2015191097A JP 2015191097 A JP2015191097 A JP 2015191097A JP 6363575 B2 JP6363575 B2 JP 6363575B2
Authority
JP
Japan
Prior art keywords
image
bone
alignment
difference
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015191097A
Other languages
English (en)
Other versions
JP2017063936A (ja
Inventor
喬俊 狩野
喬俊 狩野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2015191097A priority Critical patent/JP6363575B2/ja
Priority to US15/278,562 priority patent/US20170091919A1/en
Publication of JP2017063936A publication Critical patent/JP2017063936A/ja
Application granted granted Critical
Publication of JP6363575B2 publication Critical patent/JP6363575B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • G06T2207/30012Spine; Backbone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30172Centreline of tubular or elongated structure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/033Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、複数の骨の部位から構成される被検体を異なる時点で撮影した2つの画像の位置合わせを行う画像位置合わせ装置および方法並びにプログラムに関するものである。
従来、2次元の単純X線によって撮影された経時画像や3次元のCT(Computed Tomography)によって撮影された経時画像から、経時差分画像を生成する手法が種々提案されている。このような経時差分画像を生成することにより、コントラストやサイズが小さい病変を発見しやすくなる。また、スライスが複数あるCT画像では、経時画像間の位置合わせの手間や、経時画像を行き来して観察する手間を軽減することができる。
特に、経時画像間で撮影範囲、撮影条件(スライス間隔および再構成関数など)、および被検体である臓器の様態が異なる場合は、手動で経時画像間の位置を合わせ、スライス一枚一枚を比較することは非常に時間がかかる。
医用画像の経時差分画像の生成の技術は、主に、胸部画像の肺野をターゲットとし、肺結節などの病変を発見しやすくする方法が多く提案されている。
たとえば非特許文献1では、CTによって撮影された胸部画像の肺野の差分画像生成方法が提案されている。具体的には、肺野領域の関心領域を用いて経時画像間の肺野の大まかな位置合わせ(グローバルマッチング)を行い、さらにより小さな関心領域を用いて局所的な肺野の変形を補正することによって(ローカルマッチング)、レジストレーションを行う方法が提案されている。そして、このように位置合わせした画像同士の差分を取ることで差分画像が生成される。
このように肺野のような非剛体の臓器を位置合わせの対象とした場合、全体を非剛***置合わせで、レジストレーションすることが多い。
特開2014−8414号公報 特開2011−224388号公報
Takayuki Ishida、外7名、"3D temporal subtraction on multislice CT images using nonlinear warping technique"、SPIE 6514、Medical Imaging 2007:Computer-Aided Diagnosis、65143I、2007
しかしながら、位置合わせの対象が、たとえば背骨である場合、背骨を構成する1つ1つの椎骨は剛体であるが、背骨全体で見たときは非剛体である椎間板(椎骨同士の結合部)で背骨全体が曲がるまたは捻れるため、背骨全体を剛***置合わせ処理で位置合わせすることは難しい。また、背骨全体を非剛***置合わせした場合、剛体である椎骨に歪みが生じる問題がある。
同様の理由で、大まかな位置を合わせるために背骨全体をグローバルマッチングしても、背骨の曲がり方が経時画像間で異なる場合、全ての椎骨を合わせることは難しい。椎骨の差分画像を生成するには、経時画像間で椎骨の組が正しく位置合わせされる必要がある。
なお、特許文献1には、非特許文献1と同様に、画像全体でグローバルマッチングをした後に、選択されたサブ領域についてローカルマッチングをすることが開示されているが、上述したようにグローバルマッチングで非剛***置合わせまたは剛***置合わせのいずれの位置合わせ処理を行っても、それぞれの位置合わせ処理で問題が生じる。
また、特許文献2には、現在画像から椎骨を特定し、過去画像について、現在画像の椎骨に対応する椎骨を求め、現在画像と過去画像の対応する椎骨のレジストレーションを行うことによって、対応する椎骨の回転成分を求め、その各椎骨の回転成分に基づいて、背骨の側弯を評価することが開示されている。
しかしながら、特許文献2では、各椎骨のレジストレーションを行うことによって回転成分を求めているだけであり、背骨全体の位置合わせを行うことは何も提案されていない。
本発明は、上記事情に鑑み、背骨などといった複数の骨の部位から構成される被検体を撮影した2つの画像間の位置合わせを高精度に行うことができる画像位置合わせ装置および方法並びにプログラムを提供することを目的とするものである。
本発明の画像位置合わせ装置は、複数の骨の部位から構成される被検体を異なる時点で撮影した第1の画像と第2の画像を取得する画像取得部と、第1の画像と第2の画像にそれぞれ含まれる複数の骨の部位を識別する識別部と、第1の画像に含まれる各骨の部位と第2の画像に含まれる各骨の部位とを対応付ける対応付け部と、対応付けられた各骨の部位の画像同士の位置合わせ処理を行う位置合わせ処理部とを備えたことを特徴とする。
また、上記本発明の画像位置合わせ装置においては、位置合わせ処理の施された第1の画像と第2の画像との差分画像を生成する差分画像生成部をさらに備えることができる。
また、上記本発明の画像位置合わせ装置において、位置合わせ処理部は、第1および第2の画像に含まれる骨の部位をそれぞれ抽出し、その抽出した骨の部位毎の画像を用いて位置合わせ処理を行い、第1および第2の画像のうちのいずれか一方の位置合わせ処理後の骨の部位毎の画像を合成して合成画像を生成することができ、差分画像生成部は、第1の画像および第2の画像のうちの他方の画像と合成画像との差分を算出して差分画像を生成することができる。
また、上記本発明の画像位置合わせ装置において、位置合わせ処理部は、第1の画像および第2の画像のうちのいずれか一方の画像に含まれる骨の部位をそれぞれ抽出し、その抽出した骨の部位毎の画像を用いて位置合わせ処理を行い、その位置合わせ処理後の骨の部位毎の画像を合成して合成画像を生成することができ、差分画像生成部は、第1の画像および第2の画像のうちの他方の画像と合成画像との差分を算出して差分画像を生成することができる。
また、上記本発明の画像位置合わせ装置において、位置合わせ処理部は、第1および第2の画像に含まれる骨の部位をそれぞれ抽出し、その抽出した骨の部位毎の画像を用いて位置合わせ処理を行うことができ、差分画像生成部は、位置合わせ処理の施された第1の画像の各骨の部位の画像と、第1の画像の各骨の部位に対応する第2の画像の各骨の部位の画像との差分を算出して骨の部位毎の部分差分画像を生成し、その生成した各骨の部位毎の部分差分画像を合成して差分画像を生成することができる。
また、上記本発明の画像位置合わせ装置において、位置合わせ処理部は、第1の画像および第2の画像のうちのいずれか一方の画像に含まれる骨の部位をそれぞれ抽出し、その抽出した骨の部位毎の画像を用いて位置合わせ処理を行うことができ、差分画像生成部は、位置合わせ処理の施された各骨の部位の画像と、その各骨の部位に対応する第1の画像および第2の画像のうちの他方の画像との差分を算出して骨の部位毎の部分差分画像を生成し、その生成した各骨の部位毎の部分差分画像を合成して差分画像を生成することができる。
また、上記本発明の画像位置合わせ装置において、位置合わせ処理部は、位置合わせ処理として剛***置合わせ処理および非剛***置合わせ処理のうち少なくとも一方を行うことができる。
また、上記本発明の画像位置合わせ装置において、位置合わせ処理部は、剛***置合わせ処理を行った後に非剛***置合わせ処理を行うことができる。
また、上記本発明の画像位置合わせ装置において、骨の部位は椎骨とし、被検体は背骨とすることができる。
また、上記本発明の画像位置合わせ装置において、位置合わせ処理部は、骨の部位毎に少なくとも3つのランドマークを設定し、その少なくとも3つのランドマークを用いて位置合わせ処理を行うことができる。
また、上記本発明の画像位置合わせ装置において、骨の部位が椎骨であり、被検体が背骨である場合、位置合わせ処理部は、椎骨に含まれる椎体の中心線と椎骨に隣接する2つの椎間板との交点をランドマークとして設定することができる。
また、上記本発明の画像位置合わせ装置において、位置合わせ処理部は、2つの上記交点の中点を通り、かつ2つの上記交点を結ぶ直線に対して垂直な平面と脊髄の中心線との交点をランドマークとして設定することができる。
本発明の画像位置合わせ方法は、複数の骨の部位から構成される被検体を異なる時点で撮影した第1の画像と第2の画像を取得し、第1の画像と第2の画像にそれぞれ含まれる複数の骨の部位を識別し、第1の画像に含まれる各骨の部位と第2の画像に含まれる各骨の部位とを対応付け、その対応付けられた各骨の部位の画像同士の位置合わせ処理を行うことを特徴とする。
本発明の画像位置合わせプログラムは、コンピュータを、複数の骨の部位から構成される被検体を異なる時点で撮影した第1の画像と第2の画像を取得する画像取得部と、第1の画像と第2の画像にそれぞれ含まれる複数の骨の部位を識別する識別部と、第1の画像に含まれる各骨の部位と第2の画像に含まれる各骨の部位とを対応付ける対応付け部と、対応付けられた各骨の部位の画像同士の位置合わせ処理を行う位置合わせ処理部として機能させることを特徴とする。
本発明の画像位置合わせ装置および方法並びにプログラムによれば、複数の骨の部位から構成される被検体を異なる時点で撮影した第1の画像と第2の画像を取得し、第1の画像と第2の画像にそれぞれ含まれる複数の骨の部位を識別する。そして、第1の画像に含まれる各骨の部位と第2の画像に含まれる各骨の部位とを対応付け、その対応付けられた各骨の部位の画像同士の位置合わせ処理を行う。このようにして各骨の部位の画像同士の位置合わせを行うことによって、被検体全体の位置合わせを高精度に行うことができる。
本発明の画像位置合わせ装置および方法並びにプログラムの一実施形態を用いた医用画像診断支援システムの概略構成を示すブロック図 第1の3次元画像と第2の3次元画像との間において、対応付けられた椎骨領域同士を矢印で結ぶ図 各椎骨領域に対してランドマークを設定する方法を説明するための図 椎骨領域毎の画像を生成して位置合わせする方法を説明するための図 重畳画像の一例を示す図 本発明の画像位置合わせ装置および方法並びにプログラムの一実施形態を用いた医用画像診断支援システムの作用を説明するためのフローチャート 本発明の画像位置合わせ装置および方法並びにプログラムのその他の実施形態の作用を説明するためのフローチャート 部分差分画像の生成方法の一例を説明するための図
以下、本発明の画像位置合わせ装置および方法並びにプログラムの一実施形態を用いた医用画像診断支援システムについて、図面を参照しながら詳細に説明する。図1は、本実施形態の医用画像診断支援システムの概略構成を示すブロック図である。
本実施形態の医用画像診断支援システムは、背骨などの被検体を異なる時点で撮影した2枚の画像を取得し、これらの画像の位置合わせを行った後に、その2枚の画像の差分を算出して差分画像を算出するものである。
本実施形態の医用画像診断支援システムは、具体的には、図1に示すように、画像位置合わせ装置1と、医用画像保管サーバ2と、表示装置3と、入力装置4とを備えている。
画像位置合わせ装置1は、コンピュータに本実施形態の画像位置合わせプログラムをインストールしたものである。
画像位置合わせ装置1は、中央処理装置(CPU(central processing unit))、半導体メモリ、およびハードディスクやSSD(Solid State Drive)等のストレージデバイスを備えている。ストレージデバイスには、本実施形態の画像位置合わせプログラムがインストールされており、この画像位置合わせプログラムが中央処理装置によって実行されることによって、図1に示す医用画像取得部10、識別部11、対応付け部12、位置合わせ処理部13、差分画像生成部14および表示制御部15が動作する。
画像位置合わせプログラムは、DVD(Digital Versatile Disc)およびCD−ROM(Compact Disc Read Only Memory)などの記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、画像位置合わせプログラムは、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに対して外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
医用画像取得部10は、予め撮影された3次元画像6を取得するものである。3次元画像6は、たとえばCT装置やMRI(Magnetic Resonance Imaging)装置などによって患者を撮影したものである。本実施形態においては、異なる時点で患者の背骨を撮影した2枚の3次元画像6を取得し、その2枚の3次元画像6の差分画像を生成する。異なる時点で撮影された2枚の3次元画像6としては、過去に撮影された3次元画像6と今回撮影された現在の3次元画像6とを取得するようにしてもよいし、過去に撮影された2枚の3次元画像6を取得するようにしてもよい。なお、本実施形態では、過去の3次元画像6と現在の3次元画像6とを取得するものとし、過去の3次元画像6を第1の3次元画像(本発明の第1の画像に相当する)といい、現在の3次元画像6を第2の3次元画像(本発明の第2の画像に相当する)という。
また、本実施形態においては、患者の背骨を撮影した3次元画像6を取得するようにしたが、撮影対象(被検体)は背骨に限らず、複数の骨の部位から構成されるものであればよく、たとえば左右の複数の骨の部位からなる肋骨、末節骨、中節骨、基節骨および中手骨などからなる手の骨、上腕骨、尺骨および橈骨などからなる腕の骨、並びに大腿骨、膝蓋骨、脛骨および腓骨などからなる脚の骨などでもよい。
なお、骨の部位とは、背骨や肋骨などといった被検体を構成する部分的な骨の構成単位のことを意味する。ただし、骨の部位は、必ずしも1つの骨からなるものでなくてもよく、たとえば骨折などによる変形や被検体の動きによる変形を生じにくい部分については、複数の骨をまとめたものを骨の部位、すなわち被検体を構成する1つの骨の構成単位として扱うようにしてもよい。
また、骨の部位としては、画像処理などによって抽出された領域のみだけでなく、たとえば、その抽出された領域を予め設定された割合で拡張した領域を骨の部位の領域として取り扱うようにしてもよい。
また、3次元画像6としては、アキシャル断層画像、サジタル断層画像およびコロナル断層画像などの断層画像からなるボリュームデータを取得してもよいし、断層画像単体を取得するようにしてもよい。
3次元画像6は、医用画像保管サーバ2に患者の識別情報とともに予め保管されており、医用画像取得部10は、入力装置4などを用いてユーザによって入力された患者の識別情報に基づいて、その識別情報を有する3次元画像6を医用画像保管サーバ2から読み出して一時記憶するものである。
識別部11は、第1の3次元画像および第2の3次元画像のそれぞれに含まれる背骨を構成する複数の椎骨を識別する処理を行うものである。椎骨を識別する処理としては、モフォロジー演算を用いた方法、シード点に基づく領域拡張法および特開2009−207727号公報に記載の方法などの公知の方法を用いることができる。また、識別部11は、隣接する椎骨領域に挟まれる椎間板領域を識別するものである。椎間板領域を識別する処理としても、上述した領域拡張法などの公知の手法を用いることができる。
対応付け部12は、第1の3次元画像に含まれる各椎骨領域と、第2の3次元画像に含まれる各椎骨領域とを対応付けるものである。対応付け部12は、具体的には、各椎骨領域の画素値(たとえばCT値)を用いて、第1の3次元画像と第2の3次元画像との間の全ての椎骨領域の組み合わせについて相関値を算出する。そして、相関値が予め設定された閾値以上である場合に、その相関値を有する椎骨領域の組み合わせが、対応付けられるべき組み合わせであると判定する。相関値の算出方法としては、たとえば正規化相互相関(ZNCC:Zero-mean Normalized Cross-Correlation)を用いて算出するようにすればよい。ただし、これに限らず、その他の算出方法を用いるようにしてもよい。図2は、第1の3次元画像と第2の3次元画像との間において、対応付けられた椎骨領域同士を矢印で結んだ図である。
位置合わせ処理部13は、図2に示すように対応付けられた椎骨領域同士の画像の位置合わせ処理を、椎骨領域の組み合わせ毎にそれぞれ行うものである。位置合わせ処理部13は、まず、第1および第2の3次元画像のそれぞれに含まれる各椎骨領域に対してランドマークを設定する。たとえば図3に示すように、椎骨領域の上下に存在する椎間板と椎骨領域における椎体の中心線CL1との交点P1,P2をランドマークとして設定する。そして、さらに交点P1と交点P2との中点(図3に示す×印)を通り、交点P1と交点P2とを通る直線に垂直な平面PLと脊髄の中心線CL2との交点P3を3つ目のランドマークとして設定する。
なお、椎体の中心線CL1については、たとえば各椎骨領域の重心位置をスプライン補間などによって曲線で結ぶことによって求めるようにしてもよい。
本実施形態のように、解剖学的な特徴に基づいて3点のランドマークを設定することによって、3次元的な位置合わせを高精度に行うことができる。なお、ランドマークの数は3点に限らず、4点以上のランドマークを設定するようにすればより高精度な位置合わせが可能である。また、本実施形態においては、3次元的な位置合わせを行うために3点のランドマークを設定するようにしたが、たとえば断層画像同士で2次元的な位置合わせを行う場合には、2つのランドマークのみを設定するようにしてもよい。
次に、図4に示すように、第1の3次元画像および第2の3次元画像のそれぞれについて、各椎骨領域をそれぞれ抽出して1つの3次元画像とした椎骨領域毎の3次元画像を生成する。そして、対応付けられた椎骨領域毎の画像同士で位置合わせ処理が行われる。本実施形態においては、現在の3次元画像である第2の3次元画像から生成された椎骨領域毎の3次元画像は固定画像とし、過去に撮影された3次元画像である第1の3次元画像から生成された椎骨領域毎の3次元画像の方を移動および変形させて位置合わせを行う。
まず、第1の3次元画像の椎骨領域の3次元画像とその椎骨領域に対応する第2の3次元画像の椎骨領域の3次元画像とにそれぞれ設定された3点のランドマークを用いて、位置合わせを行う。具体的には、対応するランドマーク間の距離が最も短くなるように椎骨領域の3次元画像を移動させて位置合わせを行う。
次に、3つのランドマークを用いた位置合わせ後の椎骨領域の3次元画像とその椎骨領域に対応する第2の3次元画像の椎骨領域の3次元画像に基づいて、剛***置合わせ処理を行う。剛***置合わせ処理としては、たとえばICP(Iterative Closest Point)法を用いた処理などを用いることができるが、その他の公知な手法を用いるようにしてもよい。
次に、剛***置合わせ処理後の椎骨領域の画像とその椎骨領域に対応する第2の3次元画像の椎骨領域の3次元画像に基づいて、非剛***置合わせ処理を行う。非剛***置合わせ処理としては、たとえばFFD(Free-Form Deformation)法を用いた処理やTPS(Thin-Plate Spline)法を用いた処理などを用いることができるが、その他の公知な手法を用いるようにしてもよい。
すなわち、第1の3次元画像から生成された椎骨領域の3次元画像と第2の3次元画像から生成された椎骨領域の3次元画像に対して、3点のランドマークを用いた位置合わせ処理と、剛***置合わせ処理と、非剛***置合わせ処理との3つの位置合わせ処理が施される。なお、本実施形態では、このように3つの位置合わせ処理を行うようにしたが、剛***置合わせ処理と非剛***置合わせ処理のみを施すようにしてもよい。
そして、位置合わせ処理部13は、上述したように3つの位置合わせ処理が施された椎骨領域毎の3次元画像を合成して合成画像を生成する。具体的には、第2の3次元画像と同じ大きさの3次元画像であって画素値が全てゼロの初期値画像を設定し、その初期値画像上に、第1の3次元画像の椎骨領域毎の3次元画像を順次合成して合成画像を生成する。位置合わせ処理部13によって生成された合成画像は、差分画像生成部14に出力される。
差分画像生成部14は、位置合わせ処理部13によって生成された合成画像と固定画像とした第2の3次元画像との差分を算出することによって差分画像を生成するものである。このようにして生成された差分画像は、過去に撮影された第1の3次元画像には存在しなかったが、今回撮影された第2の3次元画像には存在する骨転移などの病変部が強調された画像となる。
表示制御部15は、差分画像生成部14によって生成された差分画像を第2の3次元画像に重ね合わせた重畳画像を生成し、その重畳画像を表示装置3に表示させるものである。具体的には、表示制御部15は、差分画像に対して予め設定された色を割り当ててカラー画像を生成し、そのカラー画像を白黒画像である第2の3次元画像に重ね合わせて重畳画像を生成する。図5は、重畳画像の一例を示す図である。図5において矢印で示す部分が差分画像上に現れた骨転移の画像である。
表示装置3は、液晶ディスプレイなどの表示デバイスを備えたものであり、上述した第1および第2の3次元画像並びに差分画像などを表示するものである。
入力装置4は、ユーザによる種々の設定入力を受け付けるものであり、キーボードやマウスなどの入力デバイスを備えたものである。入力装置4は、たとえば患者の識別情報の設定入力および上述したランドマークの設定入力などを受け付けるものである。
なお、タッチパネルを用いることによって表示装置3と入力装置4と兼用するようにしてもよい。
次に、本実施形態の医用画像診断支援システムの作用について、図6に示すフローチャートを参照しながら説明する。
まず、ユーザによる患者の識別情報などの入力に基づいて、その患者を異なる時点で撮影した第1および第2の3次元画像が医用画像取得部10によって取得される(S10)。
医用画像取得部10によって取得された第1および第2の3次元画像は識別部11に入力される。識別部11は、第1および第2の3次元画像のそれぞれに含まれる各椎骨領域を識別する(S12)。
識別部11によって識別された各椎骨領域の情報は対応付け部12に入力され、対応付け部12は、第1の3次元画像に含まれる各椎骨領域と、第2の3次元画像に含まれる各椎骨領域とを対応付ける(S14)。
次に、第1の3次元画像および第2の3次元画像からそれぞれ各椎骨領域を抽出して椎骨領域毎の3次元画像を生成する(S16)。そして、第1の3次元画像から生成された椎骨領域毎の3次元画像と第2の3次元画像から生成された椎骨領域毎の3次元画像との位置合わせ処理を行う(S18)。具体的には、位置合わせ処理として、上述した3点のランドマークを用いた位置合わせ処理と、剛***置合わせ処理と、非剛***置合わせ処理との3つの処理を行う。
そして、位置合わせ処理が施された第1の3次元画像の椎骨領域毎の3次元画像を合成して合成画像を生成し(S20)、その合成画像と第2の3次元画像との差分を算出することによって差分画像を生成する(S22)。
表示制御部15は、差分画像と第2の3次元画像とを重ね合わせた重畳画像を生成し、その生成した重畳画像を表示装置3に表示させる(S24)。
上記実施形態の医用画像診断支援システムによれば、複数の椎骨から構成される背骨を異なる時点で撮影した第1の3次元画像と第2の3次元画像を取得し、第1の3次元画像と第2の3次元画像にそれぞれ含まれる複数の椎骨領域を識別する。そして、第1の3次元画像に含まれる各椎骨領域と第2の3次元画像に含まれる各椎骨領域とを対応付け、その対応付けられた各椎骨領域の3次元画像同士の位置合わせ処理を行う。このようにして各椎骨領域の3次元画像の位置合わせを行うことによって、背骨全体の位置合わせを高精度に行うことができる。
なお、上記実施形態においては、第1の3次元画像および第2の3次元画像からそれぞれ椎骨領域毎の3次元画像を生成し、その椎骨領域毎の3次元画像同士の位置合わせ処理を行うようにしたが、必ずしも両方の3次元画像から椎骨領域毎の3次元画像を生成しなくてもよく、たとえば第1の3次元画像からのみ椎骨領域毎の3次元画像を生成し、固定画像である第2の3次元画像はそのままの状態とし、第1の3次元画像から生成された椎骨領域毎の3次元画像と、その椎骨領域に対応する第2の3次元画像内の椎骨領域の3次元画像との位置合わせ処理を行うようにしてもよい。また、逆に、第2の3次元画像からのみ椎骨領域毎の3次元画像を生成し、第1の3次元画像はそのままの状態としてもよい。
また、上記実施形態においては、第1の3次元画像から生成された椎骨領域毎の3次元画像を合成して合成画像を生成し、その合成画像と第2の3次元画像との差分画像を生成するようにしたが、これに限らず、第1の3次元画像から生成された椎骨領域毎の3次元画像と第2の3次元画像から生成された椎骨領域毎の3次元画像との位置合わせ処理を行った後、その位置合わせ処理後の第1の3次元画像から生成された椎骨領域毎の3次元画像と第2の3次元画像から生成された椎骨領域毎の3次元画像との差分をそれぞれ算出して複数の部分差分画像を生成し、その複数の部分差分画像を合成することによって差分画像を生成するようにしてもよい。
図7は、上述したように部分差分画像を生成し、その生成した部分画像を合成することによって差分画像を生成する場合を示すフローチャートである。
図7に示すS30〜S38の椎骨領域毎の画像の位置合わせまでの処理については、上記実施形態の図6に示すS10〜S18の処理と同様である。
そして、差分画像生成部14は、位置合わせ処理の施された第1の3次元画像の椎骨領域毎の3次元画像と、その椎骨領域毎の3次元画像に対応する第2の3次元画像の椎骨領域毎の3次元画像との差分を算出して椎骨領域毎の部分差分画像を生成し(S40)、その生成した椎骨領域毎の部分差分画像を合成して差分画像を生成する(S42)。
次いで、上記実施形態と同様に、表示制御部15によって差分画像と第2の3次元画像とを重ね合わせた重畳画像が生成され、その生成された重畳画像が表示装置3に表示される(S44)。
なお、上述したように部分差分画像を生成する場合においても、必ずしも第1および第2の3次元画像の両方から椎骨領域毎の3次元画像を生成しなくてもよく、たとえば第1の3次元画像からのみ椎骨領域毎の3次元画像を生成し、固定画像である第2の3次元画像はそのままの状態としてもよい。そして、部分差分画像を生成する際には、図8に示すように、第2の3次元画像における減算対象の椎骨領域以外の領域にマスク処理をし(図8においてグレーで示す部分)、そのマスク処理された第2の3次元画像と第1の3次元画像の椎骨領域の3次元画像との差分を算出することによって部分差分画像を生成すればよい。また、逆に、第2の3次元画像からのみ椎骨領域毎の3次元画像を生成し、第1の3次元画像はそのままの状態として上記と同様に部分差分画像を生成するようにしてもよい。
また、上記実施形態においては、患者の背骨を撮影した3次元画像6を取得するようにしたが、上述したように、撮影対象(被検体)は背骨に限らず、複数の骨の部位から構成されるものであればよく、肋骨、手の骨、腕の骨および脚の骨などでもよい。たとえば肋骨の場合、第一肋骨〜第十二肋骨で構成されるが、第1の3次元画像と第2の3次元画像とにおいて第一肋骨〜第十二肋骨を識別し、第1の3次元画像と第2の3次元画像との間で、対応する第一肋骨〜第十二肋骨のそれぞれについて位置合わせ処理を行って、その後、各肋骨領域の3次元画像の差分を算出することによって差分画像を生成すればよい。
また、手の骨の場合、第1の3次元画像と第2の3次元画像とにおいて末節骨、中節骨、基節骨および中手骨を識別し、第1の3次元画像と第2の3次元画像との間で、対応する骨の部位のそれぞれについて位置合わせ処理を行って、その後、各骨の部位の3次元画像の差分を算出することによって差分画像を生成すればよい。
また、腕の骨の場合、第1の3次元画像と第2の3次元画像とにおいて上腕骨、尺骨および橈骨を識別し、第1の3次元画像と第2の3次元画像との間で、対応する骨の部位のそれぞれについて位置合わせ処理を行って、その後、各骨の部位の3次元画像の差分を算出することによって差分画像を生成すればよい。
また、脚の骨の場合、第1の3次元画像と第2の3次元画像とにおいて大腿骨、膝蓋骨、脛骨および腓骨を識別し、第1の3次元画像と第2の3次元画像との間で、対応する骨の部位のそれぞれについて位置合わせ処理を行って、その後、各骨の部位の3次元画像の差分を算出することによって差分画像を生成すればよい。
なお、上述した肋骨や手の骨などといった被検体における各骨の部位の識別については、たとえば領域拡張法などの公知な手法を用いるようにすればよい。
1 画像位置合わせ装置
2 医用画像保管サーバ
3 表示装置
4 入力装置
6 3次元画像
10 医用画像取得部
11 識別部
12 対応付け部
13 位置合わせ処理部
14 差分画像生成部
15 表示制御部

Claims (14)

  1. 複数の骨の部位から構成される被検体を異なる時点で撮影した第1の画像と第2の画像を取得する画像取得部と、
    前記第1の画像と前記第2の画像にそれぞれ含まれる前記複数の骨の部位を識別する識別部と、
    前記第1の画像に含まれる各骨の部位と前記第2の画像に含まれる各骨の部位とを対応付ける対応付け部と、
    前記対応付けられた各骨の部位の画像同士の位置合わせ処理を行う位置合わせ処理部とを備えたことを特徴とする画像位置合わせ装置。
  2. 前記位置合わせ処理の施された前記第1の画像と前記第2の画像との差分画像を生成する差分画像生成部を備えた請求項1記載の画像位置合わせ装置。
  3. 前記位置合わせ処理部が、前記第1および第2の画像に含まれる前記骨の部位をそれぞれ抽出し、該抽出した骨の部位毎の画像を用いて前記位置合わせ処理を行い、前記第1および第2の画像のうちのいずれか一方の位置合わせ処理後の前記骨の部位毎の画像を合成して合成画像を生成し、
    前記差分画像生成部が、前記第1の画像および前記第2の画像のうちの他方の画像と前記合成画像との差分を算出して前記差分画像を生成する請求項2記載の画像位置合わせ装置。
  4. 前記位置合わせ処理部が、前記第1の画像および前記第2の画像のうちのいずれか一方の画像に含まれる前記骨の部位をそれぞれ抽出し、該抽出した骨の部位毎の画像を用いて前記位置合わせ処理を行い、該位置合わせ処理後の前記骨の部位毎の画像を合成して合成画像を生成し、
    前記差分画像生成部が、前記第1の画像および前記第2の画像のうちの他方の画像と前記合成画像との差分を算出して前記差分画像を生成する請求項2記載の画像位置合わせ装置。
  5. 前記位置合わせ処理部が、前記第1および第2の画像に含まれる前記骨の部位をそれぞれ抽出し、該抽出した骨の部位毎の画像を用いて前記位置合わせ処理を行い、
    前記差分画像生成部が、前記位置合わせ処理の施された前記第1の画像の各骨の部位の画像と、該第1の画像の各骨の部位に対応する前記第2の画像の各骨の部位の画像との差分を算出して前記骨の部位毎の部分差分画像を生成し、該生成した各骨の部位毎の部分差分画像を合成して前記差分画像を生成する請求項2記載の画像位置合わせ装置。
  6. 前記位置合わせ処理部が、前記第1の画像および前記第2の画像のうちのいずれか一方の画像に含まれる前記骨の部位をそれぞれ抽出し、該抽出した骨の部位毎の画像を用いて前記位置合わせ処理を行い、
    前記差分画像生成部が、前記位置合わせ処理の施された前記各骨の部位の画像と、該各骨の部位に対応する前記第1の画像および前記第2の画像のうちの他方の画像との差分を算出して前記骨の部位毎の部分差分画像を生成し、該生成した各骨の部位毎の部分差分画像を合成して前記差分画像を生成する請求項2記載の画像位置合わせ装置。
  7. 前記位置合わせ処理部が、前記位置合わせ処理として剛***置合わせ処理および非剛***置合わせ処理のうち少なくとも一方を行う請求項1から6いずれか1項記載の画像位置合わせ装置。
  8. 前記位置合わせ処理部が、前記剛***置合わせ処理を行った後に前記非剛***置合わせ処理を行う請求項7記載の画像位置合わせ装置。
  9. 前記骨の部位が椎骨であり、前記被検体が背骨である請求項1から8いずれか1項記載の画像位置合わせ装置。
  10. 前記位置合わせ処理部が、前記骨の部位毎に少なくとも3つのランドマークを設定し、該少なくとも3つのランドマークを用いて前記位置合わせ処理を行う請求項1から9いずれか1項記載の画像位置合わせ装置。
  11. 前記骨の部位が椎骨であり、前記被検体が背骨である場合、
    前記位置合わせ処理部が、前記椎骨に含まれる椎体の中心線と前記椎骨に隣接する2つの椎間板との交点を前記ランドマークとして設定する請求項10記載の画像位置合わせ装置。
  12. 前記位置合わせ処理部が、2つの前記交点の中点を通り、かつ前記2つの交点を結ぶ直線に対して垂直な平面と脊髄の中心線との交点を前記ランドマークとして設定する請求項11記載の画像位置合わせ装置。
  13. 複数の骨の部位から構成される被検体を異なる時点で撮影した第1の画像と第2の画像を取得し、
    前記第1の画像と前記第2の画像にそれぞれ含まれる前記複数の骨の部位を識別し、
    前記第1の画像に含まれる各骨の部位と前記第2の画像に含まれる各骨の部位とを対応付け、
    該対応付けられた各骨の部位の画像同士の位置合わせ処理を行うことを特徴とする画像位置合わせ方法。
  14. コンピュータを、
    複数の骨の部位から構成される被検体を異なる時点で撮影した第1の画像と第2の画像を取得する画像取得部と、
    前記第1の画像と前記第2の画像にそれぞれ含まれる前記複数の骨の部位を識別する識別部と、
    前記第1の画像に含まれる各骨の部位と前記第2の画像に含まれる各骨の部位とを対応付ける対応付け部と、
    前記対応付けられた各骨の部位の画像同士の位置合わせ処理を行う位置合わせ処理部として機能させることを特徴とする画像位置合わせプログラム。
JP2015191097A 2015-09-29 2015-09-29 画像位置合わせ装置および方法並びにプログラム Active JP6363575B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015191097A JP6363575B2 (ja) 2015-09-29 2015-09-29 画像位置合わせ装置および方法並びにプログラム
US15/278,562 US20170091919A1 (en) 2015-09-29 2016-09-28 Image registration device, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015191097A JP6363575B2 (ja) 2015-09-29 2015-09-29 画像位置合わせ装置および方法並びにプログラム

Publications (2)

Publication Number Publication Date
JP2017063936A JP2017063936A (ja) 2017-04-06
JP6363575B2 true JP6363575B2 (ja) 2018-07-25

Family

ID=58409730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015191097A Active JP6363575B2 (ja) 2015-09-29 2015-09-29 画像位置合わせ装置および方法並びにプログラム

Country Status (2)

Country Link
US (1) US20170091919A1 (ja)
JP (1) JP6363575B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11182913B2 (en) 2017-06-16 2021-11-23 Perkinelmer Cellular Technologies Germany Gmbh Systems and methods for automated distortion correction and/or co-registration of three-dimensional images using artificial landmarks along bones
JP7120560B2 (ja) * 2017-07-03 2022-08-17 株式会社リコー 診断支援システム、診断支援方法及び診断支援プログラム
US11302008B2 (en) 2018-03-30 2022-04-12 Perkinelmer Health Sciences, Inc. Systems and methods for automated detection and segmentation of vertebral centrum(s) in 3D images
TWI684994B (zh) * 2018-06-22 2020-02-11 國立臺灣科技大學 脊椎影像註冊方法
JP2020025786A (ja) * 2018-08-14 2020-02-20 富士フイルム株式会社 画像処理装置、方法及びプログラム
JP2020096773A (ja) * 2018-12-19 2020-06-25 富士フイルム株式会社 医用画像処理装置、方法およびプログラム
JP2020174861A (ja) * 2019-04-17 2020-10-29 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP6692485B1 (ja) * 2019-11-18 2020-05-13 株式会社シーエーシー 2つの画像に基づき差分画像を生成するための方法、コンピュータ及びプログラム
CN112288786B (zh) * 2019-12-06 2022-03-22 广州柏视医疗科技有限公司 电子装置及非暂态计算机可读存储介质
CN111881910A (zh) * 2020-07-31 2020-11-03 杭州依图医疗技术有限公司 基于椎骨影像的信息处理方法及计算机可读存储介质
WO2022114006A1 (ja) * 2020-11-27 2022-06-02 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US20220189047A1 (en) * 2020-12-15 2022-06-16 Mazor Robotics Ltd. Registration of time-separated x-ray images

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4947745B2 (ja) * 2010-08-30 2012-06-06 富士フイルム株式会社 医用画像位置合わせ装置、方法およびプログラム
KR101908284B1 (ko) * 2012-01-13 2018-10-16 삼성전자주식회사 신체 연결 관계 분석 장치 및 방법
US9384555B2 (en) * 2012-07-02 2016-07-05 Kabushiki Kaisha Toshiba Motion correction apparatus and method
WO2016040317A1 (en) * 2014-09-08 2016-03-17 The Cleveland Clinic Foundation Automated analysis of angiographic images

Also Published As

Publication number Publication date
US20170091919A1 (en) 2017-03-30
JP2017063936A (ja) 2017-04-06

Similar Documents

Publication Publication Date Title
JP6363575B2 (ja) 画像位置合わせ装置および方法並びにプログラム
US20200058098A1 (en) Image processing apparatus, image processing method, and image processing program
US9990744B2 (en) Image registration device, image registration method, and image registration program
Quijano et al. Three-dimensional reconstruction of the lower limb from biplanar calibrated radiographs
JP6918528B2 (ja) 医用画像処理装置及び医用画像処理プログラム
JP7337556B2 (ja) 医用画像処理装置、x線診断装置及び医用画像処理方法
JP6806655B2 (ja) 放射線撮像装置、画像データ処理装置及び画像処理プログラム
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
US9576353B2 (en) Method for verifying the relative position of bone structures
JP4512824B2 (ja) 画像処理装置及びそれに用いられるプログラム
JP2019217243A (ja) 脊髄画像登録方法
TW202333629A (zh) 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統
Haque et al. Hierarchical model-based tracking of cervical vertebrae from dynamic biplane radiographs
Maharjan et al. A novel visualization system of using augmented reality in knee replacement surgery: Enhanced bidirectional maximum correntropy algorithm
JP2019126654A (ja) 画像処理装置、画像処理方法、及びプログラム
US11257219B2 (en) Registration of static pre-procedural planning data to dynamic intra-procedural segmentation data
US10580136B2 (en) Mapping image generation device, method, and program
Moura et al. Real-scale 3D models of the scoliotic spine from biplanar radiography without calibration objects
CN109155068B (zh) 组合式x射线/相机介入中的运动补偿
Akter et al. Robust initialisation for single-plane 3D CT to 2D fluoroscopy image registration
Zhang et al. Performance analysis of active shape reconstruction of fractured, incomplete skulls
EP4128145B1 (en) Combining angiographic information with fluoroscopic images
WO2020240995A1 (ja) マッチング装置、方法およびプログラム
JP7317563B2 (ja) 医用画像処理装置および医用画像処理方法
Gamage et al. Computer assisted 3D pre-operative planning tool for femur fracture orthopedic surgery

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170519

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180628

R150 Certificate of patent or registration of utility model

Ref document number: 6363575

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250