JP5029702B2 - 画像生成装置、画像生成方法およびプログラム - Google Patents

画像生成装置、画像生成方法およびプログラム Download PDF

Info

Publication number
JP5029702B2
JP5029702B2 JP2009550574A JP2009550574A JP5029702B2 JP 5029702 B2 JP5029702 B2 JP 5029702B2 JP 2009550574 A JP2009550574 A JP 2009550574A JP 2009550574 A JP2009550574 A JP 2009550574A JP 5029702 B2 JP5029702 B2 JP 5029702B2
Authority
JP
Japan
Prior art keywords
image
phase
moving
still
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009550574A
Other languages
English (en)
Other versions
JPWO2009093693A1 (ja
Inventor
修 遠山
浩一 藤原
卓也 川野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2009550574A priority Critical patent/JP5029702B2/ja
Publication of JPWO2009093693A1 publication Critical patent/JPWO2009093693A1/ja
Application granted granted Critical
Publication of JP5029702B2 publication Critical patent/JP5029702B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、部分的な差異を持つ2つの動画像から、相互の差異を正確に抽出可能な画像生成技術に関する。
近年、肺疾患を含む多くの疾病の発見に役立つため、通常の健康診断において、人体の胸部撮影を行うことは不可欠なものになっている。胸部撮影で得られた呼吸動画像を時系列に観察することによって、疾患の影響を明確にすることが可能である。
また、患部の進行した病変部を検出するために、時系列放射線画像間の差分画像を作成し、作成した差分画像を時系列放射線画像と同時に観察することにより診断支援をするものが提案されている。
しかし、単純に過去に撮影した呼吸動画像と、現在撮影した呼吸動画像を比較する際に、位相のずれがあれば比較しにくく、両者間の経時差分をとった場合、呼吸位相が一致してしないため、画像処理をすることによって発生する画像のノイズであるアーチファクトが、経時差分情報に発生してしまう可能性がある。
そこで従来技術においては、経時的に隔たった複数の呼吸サイクル中に撮影された呼吸動画画像における差分を求め経時的変化を抽出する場合において、ある時点における基準画像の呼吸位相に近似する呼吸位相を有する別の時点での参照画像を決定し、両者間の差分処理を行うことによって、アーチファクトを軽減している(たとえば、特許文献1)。
特開2005−151099号公報
しかしながら、従来技術においては、ある時点における基準画像と、当該基準画像の呼吸位相に近似する呼吸位相を有する別の時点での参照画像とで比較を行っており、両者の画像において呼吸位相が一致しているとは限らないため、差分画像にアーチファクトが現れてしまう可能性がある。
本発明は、上記課題に鑑みてなされたものであり、異なる時期に同一の対象物を撮影して得られた2つの動画像から、それらの間の実質的な差異のみを抽出可能な画像生成技術を提供することである。
上記の課題を解決するために、第1の態様に係る画像生成装置は、異なる時期に同一の対象物を撮影して得られ、それぞれが静止画像の時系列的な組によって構成される2つの動画像のそれぞれについて、前記対象物の周期的な動きの位相を検出する位相検出手段と、前記2つの動画像のうちの一方の動画像に含まれるそれぞれの静止画像の位相を基準位相として、前記2つの動画像のうちの前記一方の動画像とは異なる他方の動画像に含まれる静止画像の補間によって前記基準位相のそれぞれに対応する補間静止画像を生成することにより、補間動画像を得る補間画像生成手段と、前記一方の動画像において時間的に隣接する2つずつの静止画像の差分をとることによって、第1差分静止画像の時系列的な組を生成する手段と、前記補間動画像に含まれる補間静止画像の時間的に隣接する2つずつの差分をとることによって、前記第1差分静止画像の組に対応した位相配列を有する第2差分静止画像の時系列的な組を生成する手段とを有する。
また、第2の態様に係る画像生成装置は、第1の態様に係る画像生成装置であって、位相がそれぞれ対応し合う前記第1差分静止画像と前記第2差分静止画像との差分をとることによって、第3差分静止画像の時系列的な組を生成することにより、差分動画像を得るフレーム間経時差分画像生成手段をさらに有する。
また、第の態様に係る画像生成装置は、第1または第2の態様に係る画像生成装置であって、前記2つの動画像は、人間または動物の身体の特定部位を含んだ範囲を前記対象物として撮影したものであり、前記位相は、前記特定部位に相当する特定画像領域の時間的変動状態から決定される。
また、第の態様に係る画像生成装置は、第の態様に係る画像生成装置であって、前記位相は、前記特定画像領域の幾何学的サイズの時間的変動状態から求められる。
また、第の態様に係る画像生成装置は、第または第の態様に係る画像生成装置であって、前記特定画像領域は、呼吸サイクルを周期として、呼吸によって動く肺野領域、または、心拍サイクルを周期として、心拍によって動く心臓領域、である。
また、第の態様に係る画像生成装置は、第1から第のいずれか1つの態様に係る画像生成装置であって、前記補間画像生成手段は、前記2つの動画像を構成するそれぞれの静止画像の枚数が異なるときに、静止画像の数が少ない方の動画像を基準動画像とし、静止画像の数が多い方の動画像を参照動画像とした場合において、前記基準動画像に含まれるそれぞれの静止画像の位相を前記基準位相として、前記参照動画像に含まれる静止画像の補間によって前記基準位相のそれぞれに対応する補間静止画像を生成することにより、前記補間動画像をる。
また、第の態様に係るプログラムは、コンピュータによって実行されることにより、前記コンピュータを、第1ないし第のいずれか1つの態様に係る画像生成装置として機能させるプログラムである。
また、第の態様に係る画像生成方法は、画像生成方法であって、異なる時期に同一の対象物を撮影して得られ、それぞれが静止画像の時系列的な組によって構成される2つの動画像のそれぞれについて、前記対象物の周期的な動きの位相を検出する位相検出工程と、前記2つの動画像のうちの一方の動画像に含まれるそれぞれの静止画像の位相を基準位相として、前記2つの動画像のうちの前記一方の動画像とは異なる他方の動画像に含まれる静止画像の補間によって前記基準位相のそれぞれに対応する補間静止画像を生成することにより、補間動画像を得る補間画像生成工程と、前記一方の動画像において時間的に隣接する2つずつの静止画像の差分をとることによって、第1差分静止画像の時系列的な組を生成する工程と、前記補間動画像に含まれる補間静止画像の時間的に隣接する2つずつの差分をとることによって、前記第1差分静止画像の組に対応した位相配列を有する第2差分静止画像の時系列的な組を生成する工程とを有する。
また、第9の態様に係る画像生成方法は、第8の態様に係る画像生成方法であって、位相がそれぞれ対応し合う前記第1差分静止画像と前記第2差分静止画像との差分をとることによって、第3差分静止画像の時系列的な組を生成することにより、差分動画像を得るフレーム間経時差分画像生成工程をさらに有する。
第1および第2いずれの態様に係る画像生成装置によっても、位相のずれを排除でき、異なる時期に同一の対象物を撮影して得られた2つの動画像から、経時的な変化に基づくそれらの間の実質的な差異のみを抽出可能となる。
また、第2の態様に係る画像生成装置によれば、基準動画像内において時間的に変動する部分と、参照動画像内において時間的に変動する部分との比較を行うにあたって、位相のずれに起因するアーチファクトを軽減可能である。
の態様に係る画像生成装置によれば、2つの動画像の位相は、人間または動物の身体の特定部位に相当する特定画像領域の時間的変動状態から決定されるので、人間または動物の身体の特定部位の経時的な変化に基づく実質的な差異のみを抽出可能となる。
の態様に係る画像生成装置によれば、位相は、特定画像領域の幾何学的サイズの時間的変動状態から求められるので、特定画像領域の幾何学的サイズを測定することによって、位相を容易に求めることができる。
の態様に係る画像生成装置によれば、特定画像領域は、呼吸サイクルを周期として、呼吸によって動く肺野領域、または、心拍サイクルを周期として、心拍によって動く心臓領域であるので、肺野領域または心臓領域の経時的な変化に基づく実質的な差異のみを抽出可能となる。
の態様に係る画像生成装置によれば、補間画像作成手段は、2つの動画像を構成するそれぞれの静止画像の枚数が異なるときには、静止画像の数が少ない方の基準動画像に含まれるそれぞれの静止画像の位相を基準位相として、静止画像の数が多く、撮影時間間隔の短い参照動画像に含まれる静止画像の補間によって前記基準位相のそれぞれに対応する補間静止画像を生成するので、逆の場合と比較して補間誤差がより少ない正確な補間動画像を作成することができる。
の態様に係るプログラムによれば、第1の態様から第の態様に係る画像生成装置と同じ効果を得ることができる。
の態様に係る画像生成方法によれば、第1の態様に係る画像生成装置と同じ効果を得ることができる。
画像生成装置1に適用した各実施形態に共通の構成を示すブロック図である。 呼吸サイクルと肺野サイズとの関係を示すグラフである。 第1実施形態である画像生成装置1で実現される機能構成を示す図である。 参照動画像と基準動画像とのそれぞれを構成する時系列的な静止画の例を示す図である。 画像座標系を示す図である。 位相θと肺野長さとの関係を示すグラフである。 補間静止画像の作成において利用可能なワーピングの原理を示す図である。 対応する参照動画像を示した図である。 作成された補間画像を作成する場合の具体例を示す図である。 第2実施形態である画像生成装置50で実現される機能構成を示す図である。 経時差分画像の具体例を示す図である。 第3実施形態である画像生成装置100で実現される機能構成を示す図である。 フレーム間差分画像とフレーム間経時差分画像の具体例を示す図である。
以下、本発明の実施形態を図面に基づいて説明する。
<画像取得システムの全体構成>
図1は、この発明を医療用画像撮影装置と協働して患者の特定部位(例えば肺)の診断画像を生成可能な画像生成装置1に適用した各実施形態に共通の構成を示すブロック図である。
図1に示すように、画像生成装置1は、CPU21、RAM22、及びROM23をバスライン10に接続した一般的なコンピュータの構成となっている。またバスライン10には、画像などを表示する表示部3、ユーザからの入力を受け付けるキーボードとマウスとを含む操作部4、データを入力する入力部5、各種データを保存する固定ディスク24が接続されている。
CPU21は、固定ディスク24からRAM22へと転送されたプログラムPGに基づいて動作し、画像生成装置1全体の動作を決定し、画像生成装置1全体に指令を与え、さらに後述する表示部3に表示の指示を出す。CPU21は、後述する各機能の実現手段として補間画像や経時差分画像などを作成する。
表示部3は、例えば液晶表示ディスプレイ等によって構成され、CPU21で生成される動画像データなどを可視的に出力する。
操作部4は、キーボード、タッチパネルまたはマウス等から構成され、ユーザの各種操作にしたがって各種指令信号をCPU21に送信する。
入力部5は、画像データを入力する。入力部5は、医療用画像撮影装置を接続することによって、画像データをオンライン受信してもよく、さらに、DVD等の可搬型の記憶媒体からのデータの読み取りや、スキャナによる読み取りによっても入力が可能である。あるいは、ネットワークで接続されたファイルサーバなどに撮影の対象である人物(撮影対象者)を撮影した画像を記憶しておき、記憶されている複数の画像データの中から該当する撮影対象者の画像データを検索して読み込むようにしてもよい。入力された画像データは、固定ディスク24またはRAM22などの記憶装置に記憶される。
医療用画像撮影装置は、例えば、X線撮影装置等によって構成され、撮影対象者の内蔵等に含まれる所定部位を撮影する。X線撮影装置は、撮影対象者にX線発生源から曝射して撮影を行う。曝射されたX線は、撮影対象者の胸部を透過して、強度分布が検出され、検出したX線をアナログ電気信号に変換し、更にA/D変換によってアナログ電気信号はデジタル信号に変換されて、複数の静止画の時系列からなる動画像としてX線撮影装置の記憶装置上に記憶される。該記憶装置に記憶された画像は必要に応じて入力部5に転送される。
下記の第1から第3の実施形態では、放射線画像としてX線画像を用いる。
<第1実施形態>
第1実施形態では、同じ患者について、異なる時期にそれぞれ1呼吸サイクル以上の肺野領域を撮影して得られたX線動画像(例えば、1ケ月前の検査で撮影した動画像と、直近の検査で撮影した動画像)を画像生成装置1に入力する。画像生成装置1は入力された2つの動画像と、それから導出される呼吸の位相情報とを基に、少なくとも一方についての補間動画像を作成する。
図2は、呼吸サイクルと肺野サイズとの関係を示すグラフである。肺野のサイズは厳密には肺野の「体積」に対応するが、2次元のX線撮影においては撮影された肺野の「(投影)面積」によって表現される。グラフの横軸は、呼吸サイクルを表し、グラフの縦軸は、肺野サイズを表し、複数の呼吸サイクルで肺野のサイズがどのように変化するかを示す。
ここで、呼吸サイクル(周期)とは1回の呼気モードと吸気モードが含まれる呼吸運動であり、吸気モードとは息を吸い込んでゆくモードであり、それに連れて胸郭中での肺野の領域が大きくなり横隔膜が押し下げられる。呼気モードとは息を吐き出すモードであり、それにつれて肺野の領域が小さくなり横隔膜が上がってくる。位相とは、呼気と吸気による周期運動における、1サイクル中の相対位置を表すものである。
一般式で表現すれば、1呼吸サイクルの時間(周期)をT、経過時間をtとしたとき、周期Tの周期関数Fに対して、位相θは、
θ=F(t:T) ...式(A)
と表現できる。
1例として、位相θは、時間tの(周期化された)線形関数として、
θ=t/T−int(t/T) ...式(B)
と表現できる。ただし記号intは、引数の整数部を示す。
また、各サイクルの終点で時刻tを0にリセットするように定義すれば
θ=t ...式(C)
で定めることもできる。
式(B)の場合の位相θは0〜1の範囲の値を持ち、式(C)の場合の位相θは0〜Tの範囲の値を持つ。
さらに、肺野サイズをパラメータPで表現し、その最大値をP0と表現したとき、周期Tを持つ周期関数Gを用いて
θ=G(P/P0) ...式(D)
によって位相θを定めることもできる。周期関数Gは例えば周期Tを持つ逆正弦関数(arcsine)である。これは呼吸サイクルによってパラメータPが周期的に変化することを利用した定義であるが、パラメータPは時間tの周期関数(周期T)であるから、
P=P(t:T) ...式(E)
と書くことが可能であり、この場合も時間tの関数を位相θの代理指標とすることができる。
比較すべき2つの動画像のそれぞれの動きの周期T=T1、T2が同一のときには、規格化因子Tを省略して時間tをそのまま位相θの代理指標とすることができる。後述する例において位相θを時間tの単位で表現しているのは、周期T1、T2が同一となっている場合を想定している。周期T1、T2が異なるときには、それぞれの周期T1、T2でそれぞれ規格化した時間変数t1、t2:
t1=t/T1、
t2=t/T2、
を2つの動画像のそれぞれの位相θ1、θ2の代理指標とすれば、「位相が同一」とは、第1の動画像中の位相指標t1と、第2の動画像中の位相指標t2とが同一の値を持つことを意味することになる。このように、2つの動画像の1呼吸サイクルの時間が異なる場合は、時間軸の正規化を行い調整する。
また、周期は、例えば、各肺野サイズの極大値を求め、極大値から極大値の時間間隔を1周期とする。
図3は、第1実施形態である画像生成装置1で実現される機能構成を示す図である。
画像取得部211は、基準動画像取得部212及び参照動画像取得部213を有しており、入力部5から入力され、固定ディスク24またはRAM22などの記憶部219に記憶された動画像を取得する。
基準動画像取得部212は、基準動画像を取得した後、位相検出部214に出力する。また、参照動画像取得部213は、参照動画像を取得した後、位相検出部214と補間画像作成部215に出力する。
ここで、基準動画像および参照動画像とは、異なる2つの時点(例えば、1ケ月前の検査で撮影した動画像と、直近の検査で撮影した動画像)で、1呼吸サイクルの肺野領域が撮影されたX線画像のうち、1呼吸サイクルに撮影された画像枚数が少ない方を基準動画像とし、1呼吸サイクルに撮影された画像枚数が多い方を参照動画像とする。画像枚数が多い参照動画像を補間の対象とすることによって補間誤差が少なくなり、正確な補間動画像を作成することができる。ただし、異なる2つの時点で撮影された画像枚数が同じであった場合は、どちらの時点の動画像を基準動画像と定義してもよい。基準動画像が基準動画像取得部212に、参照動画像が参照動画像取得部213に、それぞれ入力される。
図4は、参照動画像と基準動画像とのそれぞれを構成する時系列的な静止画の例を示す図である。横軸は、時間の経過を示したものであり、既述したように経過時間t(横軸)を周期Tで除した値が位相の指標となる。
図3を参照して、位相検出部214は、入力された画像の画像座標系(撮影画面に固定された座標系)から算出された基準動画像と参照動画像のそれぞれにおける肺野領域の上端から下端までの長さによって肺野領域(図4の胸部の左右の輪郭部分)の面積の大小を表現するとともに、1呼吸サイクルの時間Tから各静止画像の位相を検出し、この位相を補間画像作成部215に出力する。左右の肺野のいずれを用いて位相を検出してもよく、双方の個別位相の平均値によって位相を特定してもよい。
図5は、画像座標系を示す図である。図5では、入力された画像の画像座標系は、左上の角を原点(0、0)とし、横方向(X方向)と下方向(Y方向)とをそれぞれの正の方向(+)とする。
本実施形態では、上記のように基準動画像と参照動画像の1呼吸サイクルの時間と肺野領域の上端から下端までの長さ(以下「肺野長」)の変化を基にして、基準動画像および参照動画像の位相を決定する。
図6は、位相θ(周期Tで規格化された時間t)と肺野長さとの関係を示すグラフであり、位相(時間)の変化に伴い、肺野長さがどのように変化するかを示している。グラフの横軸は、1呼吸サイクルを表し、グラフの縦軸は、肺野長で表現された肺野サイズを表す。また、図6に記載の肺画像の横に示した両方向矢印(実線)は、肺野長さを示す。ここで、横軸における数値は、呼吸サイクル開始から経過した時間tを表し、実時間単位は1/30(秒)である。図6に示される波形データから、それぞれの時点での位相を定義することができる。ただし、基準動画像と参照動画像の1呼吸サイクルの時間が異なる場合は、時間軸の正規化を最初に行い調整する。
肺野領域の上端(lung top)と、肺野領域の下端(lung bottom)の決定方法は、"Image feature analysis and computer-aided diagnosis :Accurate determination of ribcage boundary in chest radiographs",Xin-Wei Xu and Kunio Doi ,Medical Physics, Volume 22(5), May 1995, pp.617-626.等参照)に記されている手法等を採用することができる。
また、肺野領域の上端と下端とを決定するために肺野部の輪郭抽出を行い、例えば、求められた輪郭のY座標値の最小値を上端、最大値を下端とすることも可能である。
肺野部の輪郭抽出は、例えば特開昭63−240832号公報に開示される方法を用いて行うことができる。
また、肺野領域の面積を基に基準動画像の位相を検出することも可能である。肺野部の面積の求め方は、肺野部の輪郭抽出を行い、輪郭に囲まれた領域の画素数を肺野領域として定義することが可能である。このように、特定画像領域の長さ、面積などの幾何学的サイズを測定することによって、位相θを容易に求めることができる。
すなわち、それぞれで肺野サイズが最大になる2つの時刻の差から周期Tが定まり、この周期Tと時間tを用いて位相θを定めることが可能である。位相の定義方法は既述したように種々あるが、いずれにしても1呼吸サイクルT内においては肺野サイズの波形は位相θに対して1価関数となり、位相θの値を指定すれば1つの状態が一義的に特定される。
図3を参照して、補間画像作成部215は、例えばワーピングなどの手法によって、基準動画像に含まれるそれぞれの静止画像の位相を基準位相として、参照動画像からそれらの位相に対応する静止画像である補間静止画像を生成する。生成された一連の補間静止画像を間に時系列的に配列して動画像(補間動画像)とすることによって、基準動画像および参照動画像を構成する静止画像の位相を互いに整合させた、具体的には位相を一致させた2つの位相整合動画像を得ることが可能になる。作成された位相整合動画像は固定ディスク24またはRAM22などの記憶部219に記憶される。
なお、作成された一連の補間静止画像と、参照動画像を構成する元のそれぞれの静止画像とを時間順序でマージすることによって、参照動画像単独の静止画密度を向上させた動画像を得て、それを保存することも可能である。この場合は、2つの位相整合動画像(基準動画像およびマージされた参照動画像)の静止画像のすべてについて位相が整合しているわけではない。位相整合動画像のうち、基準動画像に相当する一方に含まれる任意の静止画像の位相を指定すれば、その位相に相当する静止画像は他方の位相整合動画像には存在するが、その逆は必ずしも成り立たないという関係(部分集合の関係)になっている。したがって、補間前の状態は2つの動画像間(基準動画像および参照動画像間)で位相が整合する静止画像が存在していなかったことと比較すれば、この場合も2つの位相整合動画像での位相の整合性を持っていると言える。
図7は、上述した補間静止画像の作成において利用可能なワーピングの原理を、正方形の変形を例にして示す図である。ワーピングは、基となる形状を表す原画像と最終的な形状を表す最終画像を用意し、最初に、原画像の基の形状と最終画像の最終的形状との各々の点について対応付けを行う。例えば、基の形状の点Astartと、最終的な形状の点Aendを対応付ける。対応付けた各々の点AstartとAendの特徴点(座標値)を(Axstart,Aystart)と(Axend,Ayend)とするとき、変形途中の画像である中間画像の各頂点Aiに対応する特徴点(Axi,Ayi)の変形の割合をsとする。これは式(1)によって表すことができる。
Figure 0005029702
sは、変形途中の画像である中間画像の位相をθiとした場合、θiを挟む原画像と最終画像の位相をそれぞれθstart,θendとして式(2)を用いて決定する。
Figure 0005029702
したがって、時間とともに、sを変化(増加)させることでワーピングを行ことができる。原画像および最終画像に記載されているBstartとBend,CstartとCend,DstartとDendも同様の処理を行う。図7では、例として、s=0.3の場合の中間画像を示している。補間画像を作成する場合、間に補間画像を作成しようとする時間的に隣接する2つの参照画像の位相をそれぞれθstart,θendとし、対応させる基準画像の位相をθiとしてsを決定する。
図8は、対応する参照動画像を示した図であり、図6に示されている位相と、図4の画像の対応付けを行ったものである。横軸は、時間の経過を示したものである。ここで、位相:1における1とは、呼吸サイクル開始から経過した時間を表し、単位は1/30(秒)である。以下、位相については同様に表す。
図9は、作成された補間画像を作成する場合の具体例を示す図である。図9は、図8における基準動画像[1]の画像の位相を持つ補間画像を示している。横軸は、時間の経過を示したものである。図9に示すように、基準動画像[1]の静止画像の位相を持つ補間画像は、図8の参照動画像(1)および(2)を用いて作成される。この場合、
s=(4−1)/(5−1)=0.75
として位相:4の補間画像を作成し、基準動画像[1]の静止画像の位相と対応させる。
また、補間画像作成部215は、モーフィングなどの手法によっても補間画像を作成することが可能である。
このようにして得られた一連の補間画像を時系列的に配列することによって、補間後の動画像が得られる。
本実施形態によれば、画像生成装置は、2つの動画像を構成する静止画像の位相を整合させた2つの位相整合動画像を得ることができるので、位相のずれを排除でき、異なる時期に同一の対象物(同一患者)を撮影して得られた2つの動画像から、特定部位(肺野)の経時的な変化に基づくそれらの間の実質的な差異のみを抽出可能となる。
特に、静止画像が少ない動画像を基準動画像とし、静止画像が多い動画像を参照動画像としてそれを補間するようにしているため、逆の場合と比較して補間する2つの静止画像の間の時間間隔が短く、補間精度が高い。
<第2実施形態>
第2実施の形態では、補間動画像と基準動画像から上述した経時差分画像を作成する。すなわち、生成された補間動画像と基準動画像とで、互いに対応する位相を持つ静止画像どうしの差分をとることによって、差分静止画像を生成する。
図10は、第2実施形態である画像生成装置50で実現される機能構成を示す図である。
第2実施形態の機能構成の一部は、前述の図3と類似しており、本実施の形態の構成には前述の図3における対応する構成と同一の参照符号を付し、異なる構成についてだけ説明し、同様の構成については説明を省略する。特に、基準動画像を構成する静止画像の位相に一致する補間動画像を作成するまでの構成および動作は第1実施形態と同じである。
画像生成装置50の経時差分画像作成部216は、基準動画像と補間動画像とのそれぞれを構成する静止画像について、互いに同一位相となっている静止画像の差分をとり、差分静止画の時系列配列ないしは動画像として経時差分画像を作成する。作成された経時差分画像は、固定ディスク24またはRAM22などの記憶部219に記憶される。
図11は、経時差分画像の具体例を示す図である。横軸は、時間の経過を示したものである。図11に示すように経時差分画像作成部216は、同一位相の基準画像と補間動画像の肺野領域の差を画素ごとに求め、経時差分画像を作成する。
肺野領域のみを処理する理由としては、肺野領域における呼吸時の疾患の影響を明確にするためであり、肺野領域以外も含めて処理すると、アーチファクトが発生する可能性が高くなるためである。また、呼吸時の疾病は肺野領域以外に現れることはなく、かつ、肺野の外側の画像データも処理すると、計算時間が無駄にかかることも理由として挙げられる。
第2実施形態によれば、経時差分画像作成手段が生成された補間動画像と基準動画像とで、互いに対応する位相を持つ静止画像どうしの差分をとるので、位相が一致しない静止画像どうしの差分をとることによって発生する、アーチファクトを軽減して画像を表示することができ、例えば、経時的に進行した患部の病変部を顕著化して検出することができる。
<第3実施形態>
第3実施の形態でも補間動画像を構成する一連の静止画像を得るまでは第1実施形態と同じ構成および動作となる。第3実施形態ではさらに、補間動画像と基準動画像からフレーム間経時差分画像を作成する。すなわち、基準動画像において時間的に隣接する2つの静止画像の差分と、これらの隣接する2つの静止画像の位相に対応する補間動画像の2つの静止画像の差分とをとり、さらにそれらの差分をとり、フレーム間経時差分画像を得る。
図12は、第3実施形態である画像生成装置100で実現される機能構成を示す図である。
第3実施形態の機能構成の一部は、前述の図3と類似しており、本実施の形態の構成には前述の図10における対応する構成と同一の参照符号を付し、異なる構成についてだけ説明し、同様の構成については説明を省略する。
フレーム間差分画像作成部217は、基準動画像の時間的に隣り合うフレーム間の差を取ったフレーム間差分画像と、補間動画像の時間的に隣り合う補間フレーム間の差を取った補間フレーム間差分画像とを作成する。
フレーム間経時差分画像作成部218は、上述のフレーム間差分画像と、補間フレーム間差分画像の肺野領域の差分を取り、フレーム間経時差分画像を作成する。すなわち、2つの同一位相間の基準画像と補間動画像の肺野領域の差を求め、フレーム間経時差分画像を作成する。作成されたそれぞれのフレーム間経時差分画像は、時系列的な一連の静止画像あるいは1つの動画像として固定ディスク24またはRAM22などの記憶部219に記憶される。
図13は、フレーム間差分画像とフレーム間経時差分画像の具体例を示す図である。横軸は、時間の経過を示したものである。図13に示すように、補間フレーム間差分画像は、差分(1)、差分(2)から作成され、フレーム間差分画像は、差分(3)、差分(4)から作成される。さらに、フレーム間経時差分画像は、差分(5)、差分(6)を計算することによって作成される。
このように、第3実施形態によれば、基準動画像における時間的に隣接する2つの静止画像の差分と、それに対応する位相配列を有する補間動画像に含まれる補間静止画像の2つの差分とをとり、さらにそれらの差分をとることによって、フレーム間経時差分画像を作成するので、1呼吸サイクル内で動的に変化する特定部分(例:肺野)についてのみ2つの撮影時期(前回検査と今回検査)の間での画像の違いを検出することが可能であって、そこにおいては位相のずれが解消されてアーチファクトを削除でき、例えば、病変部が存在する位置をより顕著化して検出することができる。
<変形例>
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
例えば、上記実施形態では、画像生成装置がX線撮影装置から独立した構成である場合について説明したが、X線撮影装置そのものに設けたコンピュータによって画像生成装置の各手段を実現する構成でもよい。
上記実施形態では、基準動画像に含まれる静止画像の位相を基準位相として、参照動画像からその位相に対応する静止画像である補間動画像を生成したが、2つの動画像からそれぞれ補間動画像を作成し、位相を整合させてもよい。
また、上記実施形態では、画像処理および表示処理の対象となった2つの動画像が、X線を用いた人体の内部構造に係る透過像であったが、これに限られない。例えば、MRI(Magnetic Resonance Imaging)やPET(Positron Emission Tomography)やエコーなどを用いて人体の内部構造をとらえた各種動画像(すなわち内部画像)であってもよい。
上記実施形態では、肺野を例示して説明したが、これに限られず、心拍サイクルを周期として、心拍によって動く心臓領域を対象とすることができ、また、人体または動物の身体の種々の内部構造に係る動画像に対して本発明を適用することができる。さらに、超音波や各種振動などを用いて得られた人体以外の各種内部構造に係る動画像に対しても本発明を適用することができる。つまり、医療用途以外の各種構造体等に対して本発明を適用することによっても、2以上の部分の相対的な位置関係が変化する内部構造の診断や評価を容易に行うことができる。
なお、上記実施形態ならびに変形例で説明した構成は、矛盾が生じない限り適宜一部の構成を入れ換えてもよい。
これらの変形例によっても、前記実施の形態と同様の効果を、達成することができる。

Claims (9)

  1. 画像生成装置であって、
    異なる時期に同一の対象物を撮影して得られ、それぞれが静止画像の時系列的な組によって構成される2つの動画像のそれぞれについて、前記対象物の周期的な動きの位相を検出する位相検出手段と、
    前記2つの動画像のうちの一方の動画像に含まれるそれぞれの静止画像の位相を基準位相として、前記2つの動画像のうちの前記一方の動画像とは異なる他方の動画像に含まれる静止画像の補間によって前記基準位相のそれぞれに対応する補間静止画像を生成することにより、補間動画像を得る補間画像生成手段と、
    前記一方の動画像において時間的に隣接する2つずつの静止画像の差分をとることによって、第1差分静止画像の時系列的な組を生成する手段と、
    前記補間動画像に含まれる補間静止画像の時間的に隣接する2つずつの差分をとることによって、前記第1差分静止画像の組に対応した位相配列を有する第2差分静止画像の時系列的な組を生成する手段と、
    を有することを特徴とする画像生成装置。
  2. 請求項1に記載の画像生成装置であって、
    位相がそれぞれ対応し合う前記第1差分静止画像と前記第2差分静止画像との差分をとることによって、第3差分静止画像の時系列的な組を生成することにより、差分動画像を得るフレーム間経時差分画像生成手段、
    をさらに有することを特徴とする画像生成装置。
  3. 請求項1または請求項2に記載の画像生成装置であって、
    前記2つの動画像は、人間または動物の身体の特定部位を含んだ範囲を前記対象物として撮影したものであり、
    前記位相は、前記特定部位に相当する特定画像領域の時間的変動状態から決定されることを特徴とする画像生成装置。
  4. 請求項3に記載の画像生成装置であって、
    前記位相は、前記特定画像領域の幾何学的サイズの時間的変動状態から求められることを特徴とする画像生成装置。
  5. 請求項3または請求項4に記載の画像生成装置であって、
    前記特定画像領域は、呼吸サイクルを周期として、呼吸によって動く肺野領域、または、心拍サイクルを周期として、心拍によって動く心臓領域、であることを特徴とする画像生成装置。
  6. 請求項1から請求項5のいずれか1つの請求項に記載の画像生成装置であって、
    前記補間画像生成手段は、
    前記2つの動画像を構成するそれぞれの静止画像の枚数が異なるときに、静止画像の数が少ない方の動画像を基準動画像とし、静止画像の数が多い方の動画像を参照動画像とした場合において、前記基準動画像に含まれるそれぞれの静止画像の位相を前記基準位相として、前記参照動画像に含まれる静止画像の補間によって前記基準位相のそれぞれに対応する補間静止画像を生成することにより、前記補間動画像を得ることを特徴とする画像生成装置。
  7. コンピュータによって実行されることにより、
    前記コンピュータを、請求項1ないし請求項6のいずれか1つの請求項に記載の画像生成装置として機能させるプログラム。
  8. 画像生成方法であって、
    異なる時期に同一の対象物を撮影して得られ、それぞれが静止画像の時系列的な組によって構成される2つの動画像のそれぞれについて、前記対象物の周期的な動きの位相を検出する位相検出工程と、
    前記2つの動画像のうちの一方の動画像に含まれるそれぞれの静止画像の位相を基準位相として、前記2つの動画像のうちの前記一方の動画像とは異なる他方の動画像に含まれる静止画像の補間によって前記基準位相のそれぞれに対応する補間静止画像を生成することにより、補間動画像を得る補間画像生成工程と、
    前記一方の動画像において時間的に隣接する2つずつの静止画像の差分をとることによって、第1差分静止画像の時系列的な組を生成する工程と、
    前記補間動画像に含まれる補間静止画像の時間的に隣接する2つずつの差分をとることによって、前記第1差分静止画像の組に対応した位相配列を有する第2差分静止画像の時系列的な組を生成する工程と、
    を有することを特徴とする画像生成方法。
  9. 請求項8に記載の画像生成方法であって、
    位相がそれぞれ対応し合う前記第1差分静止画像と前記第2差分静止画像との差分をとることによって、第3差分静止画像の時系列的な組を生成することにより、差分動画像を得るフレーム間経時差分画像生成工程、
    さらに有することを特徴とする画像生成方法。
JP2009550574A 2008-01-25 2009-01-23 画像生成装置、画像生成方法およびプログラム Expired - Fee Related JP5029702B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009550574A JP5029702B2 (ja) 2008-01-25 2009-01-23 画像生成装置、画像生成方法およびプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008015143 2008-01-25
JP2008015143 2008-01-25
JP2009550574A JP5029702B2 (ja) 2008-01-25 2009-01-23 画像生成装置、画像生成方法およびプログラム
PCT/JP2009/051084 WO2009093693A1 (ja) 2008-01-25 2009-01-23 画像生成装置、画像生成方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2009093693A1 JPWO2009093693A1 (ja) 2011-05-26
JP5029702B2 true JP5029702B2 (ja) 2012-09-19

Family

ID=40901196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009550574A Expired - Fee Related JP5029702B2 (ja) 2008-01-25 2009-01-23 画像生成装置、画像生成方法およびプログラム

Country Status (2)

Country Link
JP (1) JP5029702B2 (ja)
WO (1) WO2009093693A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5897273B2 (ja) * 2010-07-22 2016-03-30 株式会社東芝 医用画像表示装置及びx線コンピュータ断層撮影装置
US9836842B2 (en) * 2012-10-04 2017-12-05 Konica Minolta, Inc. Image processing apparatus and image processing method
JP6361097B2 (ja) * 2013-08-05 2018-07-25 カシオ計算機株式会社 動画処理装置、動画処理方法及びプログラム
JP5722984B2 (ja) * 2013-12-06 2015-05-27 ザイオソフト株式会社 医療用画像処理装置及び医療用画像処理プログラム
EP3936048A1 (en) * 2016-07-19 2022-01-12 Paramevia Pte. Ltd. Diagnosis support program
JP6772908B2 (ja) * 2017-03-10 2020-10-21 コニカミノルタ株式会社 動態解析システム及びプログラム
JP7379918B2 (ja) * 2019-08-08 2023-11-15 株式会社Jvcケンウッド 記録再生制御装置および記録再生制御方法
JP2020203191A (ja) * 2020-09-30 2020-12-24 コニカミノルタ株式会社 動態解析システム及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005151099A (ja) * 2003-11-14 2005-06-09 Canon Inc 放射線画像処理装置及び処理方法
JP2005278659A (ja) * 2004-03-26 2005-10-13 Fuji Photo Film Co Ltd 放射線動態画像取得方法および装置
JP2007323480A (ja) * 2006-06-02 2007-12-13 Fuji Xerox Co Ltd 画像処理装置、画像符号化装置、画像復号化装置、画像処理システム及びプログラム
JP2008206741A (ja) * 2007-02-27 2008-09-11 Fujifilm Corp 放射線画像処理装置、放射線画像処理方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005151099A (ja) * 2003-11-14 2005-06-09 Canon Inc 放射線画像処理装置及び処理方法
JP2005278659A (ja) * 2004-03-26 2005-10-13 Fuji Photo Film Co Ltd 放射線動態画像取得方法および装置
JP2007323480A (ja) * 2006-06-02 2007-12-13 Fuji Xerox Co Ltd 画像処理装置、画像符号化装置、画像復号化装置、画像処理システム及びプログラム
JP2008206741A (ja) * 2007-02-27 2008-09-11 Fujifilm Corp 放射線画像処理装置、放射線画像処理方法およびプログラム

Also Published As

Publication number Publication date
WO2009093693A1 (ja) 2009-07-30
JPWO2009093693A1 (ja) 2011-05-26

Similar Documents

Publication Publication Date Title
JP5029702B2 (ja) 画像生成装置、画像生成方法およびプログラム
US10699410B2 (en) Automatic change detection in medical images
US8824756B2 (en) Image reconstruction incorporating organ motion
EP2192855B1 (en) Patent breathing modeling
KR101428005B1 (ko) 소수의 저선량 ct 영상을 이용하여 pet 영상을 움직임 보상 및 감쇠 보정하는 방법
CN104395933B (zh) 运动参数估计
JP6253085B2 (ja) X線動画像解析装置、x線動画像解析プログラム及びx線動画像撮像装置
CN106991692B (zh) 将第一流的第一图像数据与第二流的第二图像数据进行配准
JP4935693B2 (ja) 画像生成装置、プログラム、画像生成方法
JP2013517837A (ja) 3次元画像を取得するための方法
US20100030572A1 (en) Temporal registration of medical data
KR101028798B1 (ko) 다중 페이즈 간 ct영상들의 정합을 이용한 간세포암 검출방법
JP2001148005A (ja) 動いている対象物の三次元画像を再構成する方法
JP2019046057A (ja) 画像処理装置、画像処理方法およびプログラム
JP6155177B2 (ja) 画像診断支援装置に画像処理を実行させるためのコンピュータプログラム、装置及び方法
JP5051025B2 (ja) 画像生成装置、プログラム、および画像生成方法
EP1502549A1 (en) Medical image displaying method
KR100333678B1 (ko) 흉부 영상에서 늑골이 분리된 차영상 획득 방법
JP5068336B2 (ja) 医用画像変換装置および方法並びにプログラム
JP7292191B2 (ja) 医用画像処理装置、医用画像処理方法、および医用画像処理プログラム
EP4258215A1 (en) Device-less motion state estimation
EP4231234A1 (en) Deep learning for registering anatomical to functional images
US20230270402A1 (en) Image based lung auscultation system and method for diagnosis
JP7106096B2 (ja) 心機能解析装置、解析方法、プログラムおよび記録媒体
WO2023194141A1 (en) Device-less motion state estimation

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120529

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120611

R150 Certificate of patent or registration of utility model

Ref document number: 5029702

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150706

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees