JP7099459B2 - 放射線治療用追跡装置、位置検出装置および動体追跡方法 - Google Patents

放射線治療用追跡装置、位置検出装置および動体追跡方法 Download PDF

Info

Publication number
JP7099459B2
JP7099459B2 JP2019526128A JP2019526128A JP7099459B2 JP 7099459 B2 JP7099459 B2 JP 7099459B2 JP 2019526128 A JP2019526128 A JP 2019526128A JP 2019526128 A JP2019526128 A JP 2019526128A JP 7099459 B2 JP7099459 B2 JP 7099459B2
Authority
JP
Japan
Prior art keywords
image
region
specific
drr
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019526128A
Other languages
English (en)
Other versions
JPWO2019003474A1 (ja
Inventor
渉 ▲高▼橋
翔太 押川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of JPWO2019003474A1 publication Critical patent/JPWO2019003474A1/ja
Application granted granted Critical
Publication of JP7099459B2 publication Critical patent/JP7099459B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1064Monitoring, verifying, controlling systems and methods for adjusting radiation treatment in response to monitoring
    • A61N5/1065Beam adjustment
    • A61N5/1067Beam adjustment in real time, i.e. during treatment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1049Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12Arrangements for detecting or locating foreign bodies
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/486Diagnostic techniques involving generating temporal series of image data
    • A61B6/487Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1049Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1061Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using an x-ray imaging system having a separate imaging source

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Radiation-Therapy Devices (AREA)

Description

この発明は、被検者の特定部位を含む画像から特定部位の位置を検出し、あるいは、特定部位の動きを追跡する放射線治療用追跡装置、位置検出装置および動体追跡方法に関する。
腫瘍などの患部に対してX線や陽子線等の放射線を治療ビームとして照射する放射線治療においては、放射線を患部に正確に照射する必要がある。しかしながら、被検者が体を動かしてしまう場合があるばかりではなく、患部自体に動きが生ずる場合がある。例えば、肺の近くの腫瘍は呼吸に基づき大きく移動する。このため、腫瘍の近傍に球形状を有する金製のマーカを留置し、このマーカの位置をX線透視装置により検出して、治療ビームの照射のタイミングを制御する構成を有するマーカトラッキング方式の放射線照射装置が提案されている(特許文献1参照)。
このような放射線照射装置においては、第1X線管と第1X線検出器から成る第1X線透視機構と、第2X線管と第2X線検出器から成る第2X線透視機構とを使用して体内に留置されたマーカを撮影し、第1X線透視機構による二次元の透視画像と第2X線透視機構による二次元の透視画像を利用して三次元の位置情報を得る。そして、連続してX線透視を行い、リアルタイムでマーカの三次元の位置情報を演算することで、移動を伴う部位のマーカを高精度で検出する。そして、検出されたマーカの位置情報に基づいて治療ビームの照射タイミングを制御することで、腫瘍の動きに応じた高精度の放射線照射を実行することが可能となる。このマーカの位置情報を得るときには、テンプレートを利用したテンプレートマッチングが実行される。
ところで、上述したようにマーカを利用して腫瘍の動きを検出するためには、被検者の体内に、予めマーカを留置する必要がある。一方、近年、患者の腫瘍の領域などの特定部位をマーカのかわりに使用することで、マーカの留置を省略するマーカレストラッキングと呼称される方法も提案されている。
特許第3053389号公報
被検者の特定部位を球状のマーカのかわりに使用するマーカレストラッキングにおいては、被検者の呼吸位相により特定部位の認識される形状が異なることから、特定部位を単一の呼吸位相から撮影した画像を利用してテンプレートを作成しても、これだけでは正確なテンプレートマッチングは実行し得ない。このため、被検者の呼吸位相により特定部位の認識される形状が異なることに対応するため、放射線治療の直前に異なる呼吸位相で撮影された特定部位を含む画像をテンプレート画像として複数記憶するとともに、一定時間毎に撮影される画像に対して、予め記憶された複数のテンプレート画像を利用してテンプレートマッチングを行う必要がある。
このように複数のテンプレートを使用するときには、オペレータが放射線治療の直前に被検者をX線透視し、X線画像を見ながら呼吸位相毎の腫瘍の位置を指定してテンプレートを作成する必要がある。このため、複数のテンプレートを作成するために時間がかかり、患者にとって苦痛であるばかりではなく、治療のためのスループットの低下をもたらすという問題が生ずる。
上述したマーカトラッキング方式を採用した場合においては、点状のマーカを追跡するのに対して、マーカレストラッキングを採用した場合においては、所定の大きさを持った特定部位そのものを追跡する。しかし、従来の追跡方法では、例えば、特定部位の中心等の、特定部位におけるいずれか一点の位置を算出する構成となっており、特定部位の領域を直接的に考慮したものではなかった。これに対して、治療ビームを照射する領域は、一定の大きさを持った領域として登録されており、特定部位についても、その領域を考慮することが望まれている。
一方、特定部位の追跡に、テンプレートマッチングにかえて機械学習等の他の追跡方法を使用することも提案されている。このような場合においては、CNN(畳み込みニューラルネットワーク)におけるスライディングウインドウを使用することが考えられる。しかしながら、CNNのスライディングウインドウは、実装が容易である一方で、非常に冗長な計算を行う必要があることから、計算に時間がかかりリアルタイム処理が困難であるという問題がある。
これに対して、腫瘍等の特定部位は、治療中においても、呼吸等に伴って移動しながら形状を変化させることになる。また、放射線治療を行うときには、治療ビームを複数回に分けて照射する分割照射が行われることが多いが、照射を繰り返すと腫瘍が縮小するなどして形状が変化する場合がある。このような場合においては、腫瘍形状の変化に応じてリアルタイムで腫瘍の領域を認識しなければ、高精度の放射線治療が実行し得ない。
この発明は上記課題を解決するためになされたものであり、予めDRR画像と教師ラベル画像を利用して識別器を学習し、この識別器とX線透視画像とを利用して識別を実行することにより、リアルタイムで特定部位の位置を検出し、あるいは、追跡することが可能な放射線治療用追跡装置、位置検出装置および動体追跡方法を提供することを目的とする。
第1の発明は、被検者の特定部位を含むX線透視画像を収集して前記特定部位の位置を検出し、前記特定部位に対して治療ビームを照射するために前記特定部位の動きを追跡する放射線治療用追跡装置であって、治療計画時に作成された前記特定部位を含む領域のCT画像データに対して、前記被検者に対するX線管とX線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位を含むDRR画像を作成するDRR画像作成部と、前記DRR画像作成部で作成されたDRR画像と前記特定部位の領域を示す教師ラベル画像とを使用して機械学習を実行することにより、前記特定部位の領域を認識するための識別器を学習する識別器学習部と、前記特定部位を含むX線透視画像に対して、前記識別器学習部で学習された識別器を使用して識別を行うことにより、前記特定部位の領域を検出する特定部位領域検出部と、を備えることを特徴とする。
第2の発明は、治療計画時において前記特定部位を含む領域のCT画像データ上に登録された前記特定部位の領域に対して、前記被検者に対する前記X線管と前記X線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位の領域を表す投影領域画像を作成する特定部位投影部をさらに備え、前記識別器学習部は、前記特定部位投影部により作成された前記特定部位の領域を表す投影領域画像を前記教師ラベル画像として識別器を学習する。
第3の発明は、前記DRR画像作成部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも1つを含む画像処理を施して前記DRR画像を作成するとともに、前記特定部位投影部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも1つを含む画像処理を施して前記特定部位の領域を表す投影領域画像を作成し、前記DRR画像作成部と前記特定部位投影部とは、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを同一条件で変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも1つを含む画像処理を同一条件で施す。
第4の発明は、前記DRR画像作成部は、作成後のDRR画像に対して、コントラスト変化、ノイズ付加及びエッジ強調の少なくとも1つを実行する。
第5の発明は、前記識別器学習部は、前記DRR画像を入力層とし前記特定部位の領域を表すラベル画像を出力画像とした畳み込み層から構成されるニューラルネットワークである識別器を学習する。
第6の発明は、前記識別器学習部は、機械学習を実行するときの損失関数の計算時に、前記教師ラベル画像における特定部位ラベルと背景ラベルとの面積に基づいて特定部位ラベルの重みを大きくして計算を行った後、学習の進捗に応じて特定部位ラベルの重みを順次小さくして計算を行う。
第7の発明は前記識別器学習部は、機械学習を実行するときの損失関数の計算時に、画像全体の損失関数に対して、特定部位周辺をトリミングした画像に対する損失関数を重みづけした上で加算する。
第8の発明は、前記DRR画像と前記X線透視画像とを画像処理する画像処理部をさらに備え、前記識別器学習部は、前記DRR画像と前記画像処理部で画像処理されたDRR画像とを使用して機械学習を実行するとともに、前記特定部位領域検出部は、前記特定部位を含むX線透視画像と前記画像処理部で前記DRR画像と同一条件により画像処理された前記特定部位を含むX線透視画像とに対して前記識別記学習部で学習された識別器を使用して識別を行う。
第9の発明は、被検者の特定部位を含むX線透視画像に基づいて前記特定部位の位置を検出する位置検出装置であって、前記特定部位を含む領域のCT画像データに対して、前記被検者に対するX線管とX線検出器との幾何学的透視条件を模擬した仮想的投影を行うことにより、前記特定部位を含むDRR画像を作成するDRR画像作成部と、前記DRR画像作成部で作成されたDRR画像と前記特定部位の領域を示す教師ラベル画像とを使用して機械学習を実行することにより、前記特定部位の領域を認識するための識別器を学習する識別器学習部と、前記特定部位を含むX線画像に対して、前記識別器学習部で学習された識別器を使用して識別を行うことにより、前記特定部位の領域を検出する特定部位領域検出部と、を備えることを特徴とする。
第10の発明は、治療計画時において前記特定部位を含む領域のCT画像データ上に登録された前記特定部位の領域に対して、前記被検者に対する前記X線管と前記X線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位の領域を表す投影領域画像を作成する特定部位投影部をさらに備え、前記識別器学習部は、前記特定部位投影部により作成された前記特定部位の領域を表す投影領域画像を前記教師ラベル画像として識別器を学習する。
第11の発明は、前記DRR画像作成部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも1つを含む画像処理を施して前記DRR画像を作成するとともに、前記特定部位投影部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも1つを含む画像処理を施して前記特定部位の領域を表す投影領域画像を作成し、前記DRR画像作成部と前記特定部位投影部とは、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを同一条件で変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも1つを含む画像処理を同一条件で施す。
第12の発明は、前記DRR画像作成部は、作成後のDRR画像に対して、コントラスト変化、ノイズ付加及びエッジ強調の少なくとも1つを実行する。
第13の発明は、前記識別器学習部は、前記DRR画像を入力層とし前記特定部位の領域を表すラベル画像を出力画像とした畳み込み層から構成されるニューラルネットワークである識別器を学習する。
第14の発明は、前記識別器学習部は、機械学習を実行するときの損失関数計算時に、前記教師ラベル画像における特定部位ラベルと背景ラベルとの面積に基づいて特定部位ラベルの重みを大きくして計算を行った後、学習の進捗に応じて特定部位ラベルの重みを順次小さくして計算を行う。
第15の発明は、前記識別器学習部は、機械学習を実行するときの損失関数計算時に、画像全体の損失関数に対して、特定部位周辺をトリミングした画像に対する損失関数を重みづけした上で加算する。
第16の発明は、前記DRR画像と前記X線透視画像とを画像処理する画像処理部をさらに備え、前記識別器学習部は、前記DRR画像と前記画像処理部で画像処理されたDRR画像とを使用して機械学習を実行するとともに、前記特定部位領域検出部は、前記特定部位を含むX線透視画像と前記画像処理部で前記DRR画像と同一条件により画像処理された前記特定部位を含むX線透視画像とに対して前記識別記学習部で学習された識別器を使用して識別を行う。
第17の発明は、被検者の特定部位を含むX線透視画像を収集して前記特定部位の位置を検出し、前記特定部位に対して治療ビームを照射するために前記特定部位の動きを追跡する動体追跡方法であって、治療計画時に作成された前記特定部位を含む領域のCT画像データに対して、前記被検者に対するX線管とX線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位を含むDRR画像を作成するDRR画像作成工程と、治療計画時において前記特定部位を含む領域のCT画像データ上に登録された前記特定部位の領域に対して、前記被検者に対する前記X線管と前記X線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位の領域を表す投影領域画像を作成する特定部位投影工程と、前記DRR画像作成工程において作成されたDRR画像と、前記特定部位投影工程において作成された投影領域画像とを使用して機械学習を実行することにより、前記特定部位の位置を認識するための識別器を学習する識別器学習工程と、前記X線管から照射され前記被検者を通過したX線を前記X線検出器により検出して得た前記特定部位を含むX線透視画像に対して、前記識別器学習工程において学習された識別器を使用して識別を行うことにより、前記特定部位の領域を検出する特定部位領域検出工程と、を含むことを特徴とする。
第1および第17の発明によれば、放射線治療に先だって、予め識別器を学習し、この識別器とX線透視画像とを利用して識別を実行することにより、リアルタイムで特定部位の位置を検出し、あるいは、特定部位の追跡することが可能となる。このとき、従来のようにテンプレートを予め作成する必要がないことから、複数のテンプレートを作成する必要がなく患者に苦痛を与えることはない。また、治療のためのスループットを向上させることが可能となる。
第2および第10の発明によれば、特定部位を含む領域のCT画像データ上に登録された特定部位の領域に対して仮想的透視投影を行うことにより作成した特定部位の領域を表す投影領域画像を教師ラベル画像として識別器を学習することから、ラベル画像を正確かつ容易に作成することができる。
第3および第11の発明によれば、幾何学的透視条件の投影座標および角度を含むパラメータを変化させ、あるいは、画像の回転、変形、拡大縮小を含む画像処理を施すことから、特定部位が再現性なく移動または変形した場合においても、特定部位の位置を正確に検出することが可能となる。そして、大量のDRR画像を作成することができることから、各患者に対応したオーダーメイドの識別器を学習することができ、さらには、低フレームレートのCT画像データから作成されたDRR画像を使用する場合においても、また、特定部位に対して背景が映り込んだ場合においても、特定部位の位置を正確に検出することが可能となる。
第4および第12の発明によれば、作成後のDRR画像に対して、コントラスト変化、ノイズ付加、エッジ強調を実行することから、DRR画像とX線画像に画質の差異が生じた場合においても、特定部位の位置を正確に検出することが可能となる。
第5および第13の発明によれば、DRR画像を入力層とし前記特定部位の領域を表すラベル画像を出力画像とした畳み込み層から構成されるニューラルネットワークである識別器を学習することから、冗長な計算が不要と成り、リアルタイムでの処理が可能となる。
第6および第14の発明によれば、機械学習における損失関数の計算時に特定部位ラベルと背景ラベルとを同等に扱うことができ、特定部位をより確実に検出することが可能となる。そして、学習の前半においては特定部位を確実に検出できるように識別器を学習し、学習の後半においては背景部分の誤判定をなくすように学習することから、特定部位の検出信頼性と誤検出の抑制を両立した識別器の学習を行うことが可能となる。
第7および第15の発明によれば、識別が困難な特定部位ラベルと背景ラベルとの境界付近の重みを大きくして学習を実行することができ、これにより、特定部位ラベルと背景ラベルとの境界付近誤判定を抑制して、特定部位をより確実に検出することが可能となる。
第8および第16の発明によれば、より正確な識別器を作成することができ、また、特定部位の領域をより正確に検出することが可能となる。
第9の発明によれば、放射線治療に先だって、予めDRR画像と教師ラベル画像を利用して識別器を学習し、この識別器とX線透視画像とを利用して識別を実行することにより、リアルタイムで特定部位の位置を検出することが可能となる。
この発明に係る放射線治療用追跡装置を、放射線照射装置90とともに示す斜視図である。 この発明に係る放射線治療用追跡装置の主要な制御系を示すブロック図である。 この発明に係る放射線治療用追跡装置により機械学習を利用して特定部位の領域の位置を検出する工程を説明するための模式図である。 この発明に係る放射線治療用追跡装置を使用した動体追跡動作を示すフローチャートである。 X線管11とフラットパネルディテクタ21との幾何学的透視条件を模擬した仮想的透視撮影によりDRR画像を作成する状態を模式的に示す説明図である。 DRR画像100と、特定部位の領域を表す投影領域の画像であるラベル画像101、102とを示す模式図である。 特定部位ラベルの重みと繰り返し回数との関係を示すグラフである。 重みづけの範囲を模式的に示す説明図である。 X線透視画像200と、特定部位の領域を表すラベル画像201、202等とを示す模式図である。 この発明の第2実施形態に係る放射線治療用追跡装置の主要な制御系を示すブロック図である。 DRR画像100およびそれを画像処理した画像100b、100cと、特定部位の領域を表す投影領域の画像であるラベル画像101、102とを示す模式図である。 X線透視画像200およびそれを画像処理した画像200b、200cと、特定部位の領域を表すラベル画像201、202等とを示す模式図である。
以下、この発明の実施の形態を図面に基づいて説明する。図1は、この発明に係る放射線治療用追跡装置を、放射線照射装置90とともに示す斜視図である。これらの放射線治療用追跡装置と放射線照射装置90とにより、放射線治療装置が構成される。
放射線照射装置90は、カウチとも呼称される検診台29上の被検者に対して放射線照射を行うものであり、治療室の床面に設置された基台91に対して揺動可能に設置されたガントリー92と、このガントリー92に配設された治療ビームを出射するヘッド93とを備える。この放射線照射装置90によれば、ガントリー92が基台91に対して揺動することにより、ヘッド93から照射される治療ビームの照射方向を変更することができる。このため、被検者における腫瘍等の患部に対して様々な方向から治療ビームを照射することが可能となる。
この放射線照射装置90とともに使用される放射線治療用追跡装置は、被検者の患部の位置を特定する動体追跡を行うためのX線透視を実行するX線透視装置である。すなわち、上述した放射線照射装置90を使用した放射線治療時においては、放射線を被検者の体動に伴って移動する患部に正確に照射する必要がある。このため、被検者における腫瘍等の特定の形状を有する部位を特定部位として予め登録し、この特定部位を連続的にX線透視して、特定部位の三次元の位置情報を演算することで、特定部位を高精度で検出する、所謂、動体追跡を行う構成となっている。このように、従来の被検者における患部付近にマーカを留置する代わりに、被検者における腫瘍等の特定部位の画像をマーカとして使用する動体追跡の手法は、マーカレストラッキングと呼称されている。
この放射線治療用追跡装置は、第1X線管11a、第2X線管11b、第3X線管11c、第4X線管11dと、第1フラットパネルディテクタ21a、第2フラットパネルディテクタ21b、第3フラットパネルディテクタ21c、第4フラットパネルディテクタ21dとを備える。第1X線管11aから照射されたX線は、検診台29上の被検者を透過した後、第1フラットパネルディテクタ21aにより検出される。第1X線管11aと第1フラットパネルディテクタ21aとは、第1X線撮影系を構成する。第2X線管11bから照射されたX線は、検診台29上の被検者を透過した後、第2フラットパネルディテクタ21bにより検出される。第2X線管11bと第2フラットパネルディテクタ21bとは、第2X線撮影系を構成する。第3X線管11cから照射されたX線は、検診台29上の被検者を透過した後、第3フラットパネルディテクタ21cにより検出される。第3X線管11cと第3フラットパネルディテクタ21cとは、第3X線撮影系を構成する。第4X線管11dから照射されたX線は、検診台29上の被検者を透過した後、第4フラットパネルディテクタ21dにより検出される。第4X線管11dと第4フラットパネルディテクタ21dとは、第4X線撮影系を構成する。
なお、動体追跡を行うためのX線透視を実行するとき、あるいは、被検者の特定部位の撮影のためのX線撮影を実行するときには、第1X線撮影系、第2X線撮影系、第3X線撮影系、第4X線撮影系のうちの2つのX線撮影系が選択されて使用される。
図2は、この発明に係る放射線治療用追跡装置の主要な制御系を示すブロック図である。
この放射線治療用追跡装置は、論理演算を実行するプロセッサーとしてのCPU、装置の制御に必要な動作プログラムが格納されたROM、制御時にデータ等が一時的にストアされるRAM等を備え、装置全体を制御する制御部30を備える。この制御部30は、上述した第1X線管11a、第2X線管11b、第3X線管11cおよび第4X線管11dと、第1フラットパネルディテクタ21a、第2フラットパネルディテクタ21b、第3フラットパネルディテクタ21cおよび第4フラットパネルディテクタ21dとに接続されている。
この制御部30は、後述するように、治療計画時に作成された特定部位を含む領域のCT画像データに対して、被検者に対するX線管11とフラットパネルディテクタ21との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、特定部位を含むDRR画像を作成するDRR画像作成部31と、治療計画時において特定部位を含む領域のCT画像データ上に登録された特定部位の領域に対して、被検者に対するX線管11とフラットパネルディテクタ21との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、特定部位の領域を表す投影領域画像を作成する特定部位投影部32と、DRR画像作成部31で作成されたDRR画像と教師ラベル画像としての投影領域画像とを使用して機械学習を実行することにより、特定部位の領域を認識するための識別器を学習する識別器学習部33と、X線管11から照射され被検者を通過したX線をフラットパネルディテクタ21により検出して得た特定部位を含むX線透視画像に対して、識別器学習部33で学習された識別器を使用して識別を行うことにより、特定部位の領域を検出する特定部位領域検出部34と、特定部位領域検出部34により検出した特定部位の領域が治療ビームの照射領域に含まれたときに、放射線照射装置90に対して治療ビームの照射信号を送信する照射信号発生部35と、を備える。
また、この制御部30は、上述した放射線照射装置90と、治療計画装置99とに接続されている。なお、制御部30と治療計画装置99とは、病院内の被検者管理システムの院内通信である放射線科情報システム(RIS)を介して接続されてもよい。ここで、治療計画装置99は、放射線治療を行うに先だって、治療計画を作成するためのものである。この治療計画装置99においては、CT撮影装置により被検者の3次元CT撮影を連続して複数回行うことにより得た、被検者の連続する複数の呼吸位相における特定部位を含む領域の3次元のCT画像データ群からなる4次元CT画像データを記憶している。そして、この4次元CT画像データと被検者のその他のデータとに基づいて、被検者の治療計画が作成される。
この治療計画の作成時には、特定部位を含む領域のCT画像データに対して、特定部位の領域の情報が付与された上で記憶される。この特定部位の領域の情報は、例えば、オペレータにより付与される。この特定部位の領域の情報を、その他の方法により自動的に付与するようにしてもよい。
次に、以上のような構成を有する放射線治療用追跡装置を使用することにより、被検者の体動に伴って移動する特定部位の位置を検出し、その動きを追跡する動体追跡を実行する動作について説明する。
最初に、特定部位の位置を検出するための基本的な考え方について説明する。図3は、この発明に係る放射線治療用追跡装置により機械学習を利用して特定部位の領域の位置を検出する工程を説明するための模式図である。
機械学習を利用して特定部位の領域の位置を検出するためには、最初に、識別器を学習する。この識別器学習工程においては、治療計画時に作成されたDRR画像を入力層とし、治療計画時に特定された特定部位の領域を表す2チャンネルのラベル画像を出力層として、機械学習により、識別器として使用する畳み込み層を学習する。次に、特定部位の領域を検出する。この特定部位領域検出工程においては、X線透視画像を入力層とし、先に学習された識別器を利用して識別を行うことにより、出力層としての特定部位の領域の位置を示す2チャンネルのラベル画像を作成する。
次に、このような工程による特定部位の位置の検出を含む動体追跡動作について詳細に説明する。図4は、この発明に係る放射線治療用追跡装置を使用した動体追跡動作を示すフローチャートである。なお、以下の動作は、上述した第1X線撮影系、第2X線撮影系、第3X線撮影系、第4X線撮影系のうちの2つのX線撮影系を使用して実行されるが、以下においては、それらのうちの一方についてのみ説明を行う。以下の動作は、2つのX線撮影系に対して同様に実行される。
動体追跡動作を実行するときには、被検者に対するX線透視を実行するに先だって、図2に示すDRR画像作成部31により、治療計画記憶時に作成された4次元CT画像データに対して、X線管11とフラットパネルディテクタ21との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、特定部位を含む複数のDRR画像を作成する(ステップS1)。ここで、治療計画時に作成される4次元CTデータとは、治療計画記憶時において、連続する複数の呼吸位相において、経時的に連続して撮影される特定部位を含む領域の3次元のCT画像データ群である。
図5は、X線管11とフラットパネルディテクタ21との幾何学的透視条件を模擬した仮想的透視撮影によりDRR画像を作成する状態を模式的に示す説明図である。
図5において、符号300はCT画像データを示している。このCT画像データ300は、治療計画装置99から取得されたものであり、複数の2次元のCT画像データの集合である3次元のボクセルデータである。このCT画像データ300は、例えば、512×512ピクセルの2次元画像が被検者を横断する方向(図5に示す線分L1またはL2に沿った方向)に200枚程度積層された構造を有する。
DRR画像作成部31によりDRR画像を作成する時には、CT画像データ300に対して仮想的に透視投影を行う。このときには、コンピュータ上に三次元のCT画像データ300を配置する。そして、コンピュータ上にX線撮影系の幾何学的配置であるジオメトリを再現する。この実施形態においては、CT画像データ300を挟んで、両側に、図1に示すX線管11とフラットパネルディテクタ21を配置する。これらのCT画像データ300と、X線管11およびフラットパネルディテクタ21の配置は、図1に示す放射線治療用追跡装置で透視を実行するときの被検者とX線管11およびフラットパネルディテクタ21との配置と同じジオメトリとなっている。ここで、ジオメトリとは、撮影対象とX線管11およびフラットパネルディテクタ21の幾何学的配置関係を意味する。
この状態で、X線管11と、CT画像データ300の各画素を介してフラットパネルディテクタ21の各画素とを結ぶ多数の線分Lを設定する。なお、図5においては、説明の便宜上、2本の線分L1、L2を図示している。そして、この線分L上に、各々、複数の計算点を設定する。そして、各計算点のCT値を演算する。このCT値の演算時には、計算点の周囲のCTデータボクセルにおけるCT値を利用した補間が実行される。しかる後、線分L上の各計算点のCT値を累積する。この累積値が、線減弱係数の線積分に変換されて、X線の減弱を算出することにより、DRR画像が作成される。
このDRR画像の作成時には、CT画像データ300に対して投影座標及び角度の少なくとも一方を含むDRR画像作成のためのパラメータを変化させてDRR画像を作成する。あるいは、わずかな平行移動、回転、変形及び拡大縮小の少なくとも1つを含む画像処理を実行する。この平行移動、回転、変形、拡大縮小を実行するのは、腫瘍等の被検者の特定部位が被検者の体内でCT画像データ300に対して再現性のない移動をし、または、変形が生じたときにも特定部位をより確実に追跡できるようにするためである。
ここで、DRR画像のもとになるCT画像データ300のフレームレートはX線透視画像のフレームレートより小さいが、DRR画像作成のためのパラメータを変化させることにより、DRR画像におけるフレーム間の特定部位を模擬することが可能となり、特定部位の領域をより正確に検出することが可能となる。また、X線透視画像は透過像であるため、特定部位の領域に骨部や横隔膜などの特定部位より高コントラストな背景が重畳して写り込むことになる。これに対して、上述したようにパラメータを変化させると、特定部位に対する背景の重なり方が様々に変化するので、それを学習することで、背景の重なりを無視して、特定部位をより確実に識別することが可能となる。
また、作成されたDRR画像にコントラスト変化、ノイズ付加及びエッジ強調の少なくとも1つを実行する。このコントラスト変化、ノイズ付加、エッジ強調を実行するのは、DRR画像とX線画像の画質の違いを吸収し、特定部位をより確実に追跡できるようにするためである。
上述した、投影座標や角度などのDRR画像作成のためのパラメータの変化、または、コントラスト変化、ノイズ付加、エッジ強調は、所定の範囲内でランダムに、あるいは、等間隔で様々に変化を与える態様で実施される。これにより、患者一人のCT画像データ300から、多量のDRR画像を作成することができる。このため、このようにして作成された多量のDRR画像を使用して、各患者に対応したオーダーメイドの識別器を学習することが可能となる。なお、多数の患者のDRR画像を利用して識別器の学習を行うことも可能である。
次に、治療計画時において特定部位を含む領域のCT画像データ上に登録された特定部位の領域に対して、被検者に対するX線管11とフラットパネルディテクタ21との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、特定部位の領域を表す投影領域画像を作成する(ステップS2)。この特定部位の領域を表す投影領域画像は、機械学習時に教師ラベル画像として使用される。
このときにも、特定部位の領域に対して、図5に示す場合と同様に、仮想的な透視投影を実行する。この特定部位の領域を表す投影領域画像の作成時にも、特定部位の領域に対して投影座標や角度などの投影領域画像作成のためのパラメータを変化させて投影領域画像を作成する。すなわち、わずかな平行移動、回転、変形、拡大縮小を実行する。そして、この投影領域画像の作成時においては、上述したDRR画像の作成時と幾何学的透視条件の投影座標および角度を含むパラメータを同一条件で変化させ、あるいは、画像の回転、変形、拡大縮小を含む画像処理を同一条件で施す。これにより、上述したように、腫瘍等の被検者の特定部位が被検者の体内でCT画像データ300に対して再現性のない移動し、または、変形が生じたときにも特定部位をより確実に追跡することができる。
図6は、DRR画像100と、特定部位の領域を表す投影領域の画像であるラベル画像101、102とを示す模式図である。
特定部位の領域を表す投影領域画像は、2枚(2チャンネル)のラベル画像101、102となる。ここで、ラベル画像101は、特定部位以外の領域を表す背景ラベル画像である。また、ラベル画像102は、特定部位の領域を表す特定部位ラベル画像である。
以上の工程が終了すれば、DRR画像100を入力層とし、2チャンネルのラベル画像101、102を出力層として機械学習を実行することにより、特定部位の領域を認識するための識別器を学習する(ステップS3)。
画素ごとにその画素が属するクラスに分類する(ラベル付けする)手法をセマンティック・セグメンテーションという。高精度かつ高速なセマンティック・セグメンテーションの手法として、FCN(Fully Convolutional Networks)が知られている。FCNで用いる畳み込みニューラルネットワークは、例えば図3のような構成となる。すなわち、識別器を学習する場合においては、入力層はDRR画像で、出力層は図6に示す2チャンネルのラベル画像101、102である。ラベル画像はチャンネル1が背景ラベル画像であり、チヤンネル2が特定部位ラベル画像である。すなわち、ラベル画像101、102の各チヤンネルの各画素値は入力画像の各画素が各クラスに属する確率に相当する値となる。中間層は識別器となる畳み込み層のみで構成され、学習によりパラメータが決定される。
なお、上述した実施形態においては、2チャンネルのラベル画像101、102を作成しているが、画像を背景と特定部位とに分類するだけであることから、ラベル画像を1チャンネルとしてもよい。また、逆に、呼吸位相毎に背景と特定部位とを分類する場合においては、2チャンネルより多いnチャンネルとしてもよい。例えば、この発明を人工関節や治療ビームの照射禁止臓器の識別等に使用するときには、nクラスに分類を行い、nチャンネルのラベル画像を作成すればよい。
以上の作業は、放射線治療に先だって、予め実行しておくことが可能となる。このため、従来のテンプレートマッチングを利用する場合のように、放射線治療の直前にテンプレートを作成する必要はない。従って、被検者を時間的に拘束することなく、また、放射線治療のスループットを向上させることが可能となる。
なお、上述した機械学習を実行する場合において、DRR画像100のうちの特定部位が占める割合は小さいことから、教師ラベル画像としてのラベル画像101、102においては、画像領域のほとんどが背景ラベルとなる。このため、識別器を学習するときの損失関数は、背景ラベルの一致度を主要な要因として決まってしまうことになる。その結果、特定部位ラベルが無視されて、画像全体を背景ラベルとして識別するような学習がなされてしまうことがあり、このような場合には特定部位を検出できないことがあった。
このため、機械学習における損失関数の計算時に特定部位ラベルの重みを大きくして学習することにより、特定部位ラベルも識別可能とすることが考えられる。しかしながらこのような構成を採用した場合には、背景ラベルが損失関数に寄与する割合が減少することから、背景ラベルの識別の学習が不十分となり、学習が進んでも背景部分を特定部位として誤判定してしまう場合がある。
このような問題に対応するためには、特定部位ラベルの重みづけを学習の進捗度に合わせて順次小さくする構成を採用することが好ましい。すなわち、識別器学習部33は、最初は、教師ラベル画像における特定部位ラベルと背景ラベルの面積比(図6におけるラベル画像102とラベル画像101におけるハッチング領域の面積比)に基づいて、損失関数を計算するときの特定部位ラベルの重みを大きくして識別器を学習する。そして、識別器の学習の進捗度に応じて特定部位ラベルの重みを徐々に小さくしていく。このときの識別器の学習の進捗度は、例えば、学習の繰り返し回数に基づいて判断する。
図7は、特定部位ラベルの重みと繰り返し回数との関係を示すグラフである。このグラフにおいて、縦軸は特定部位(腫瘍)に対する重みを示し、横軸は繰り返し回数であるエポックを示す。ここで、エポックとは、一つの訓練データセットを何回か繰り返して学習させる単位である。
このグラフに示すように、特定部位の重みを、特定部位ラベルと背景ラベルの面積比に基づいて、例えば、10000に設定する。そして、学習を繰り返すに従って重みを小さくし、最終的には1以上(例えば、20程度)に収束させる。
このような構成を採用することにより、機械学習における損失関数の計算時に、教師ラベル画像の特定部位ラベルと背景ラベルとを同等に扱うことができ、特定部位をより確実に検出することが可能となる。そして、学習の前半においては特定部位を確実に検出できるように識別器を学習し、学習の後半においては背景部分の誤判定をなくすように学習することから、特定部位の検出信頼性と誤検出の抑制を両立した識別器の学習を行うことが可能となる。
なお、繰り返し回数のかわりに、損失関数の値が小さくなることにより学習が進んだと判断し、学習が進むに従って重みを小さくする構成を採用してもよい。
また、上述した機械学習を実行する場合において、特定部位ラベルと背景ラベルとの境界領域においては、特定部位であるか背景であるかの判定が困難であることから、機械学習後の識別結果が誤判定となることがある。このため、識別器学習部33は、機械学習を実行するときの損失関数の計算時に、画像全体の損失関数に対して、特定部位周辺をトリミングした画像に対する損失関数を重みづけした上で加算する構成を採用することが好ましい。
図8は、重みづけの範囲を模式的に示す説明図である。
識別器学習部33は、機械学習を実行するときの損失関数の計算時に、画像全体を示すエリアE1の損失関数に対して、特定部位周辺をトリミングした画像のエリアE2に対する損失関数を重みづけした上で加算する。
このような構成を採用することにより、識別が困難な特定部位ラベルと背景ラベルとの境界付近の重みを大きくして学習を実行することができ、これにより、特定部位ラベルと背景ラベルとの境界付近誤判定を抑制して、特定部位をより確実に検出することが可能となる。
以上の工程により識別器が学習されれば、次に、被検者に対してX線透視を開始する(ステップS4)。
そして、先に学習した識別器(畳み込み層)を利用して識別を行うことにより、特定部位領域を検出する(ステップS5)。すなわち、X線透視により所定のフレームレートで得られる透視画像に対して、先に学習した識別器を使用し、出力層として2チャンネルのラベル画像を出力する。すなわち、X線透視画像の各フレーム毎に、特定部位である確率の大きい領域を認識する。
図9は、X線透視画像200と、特定部位の領域を表すラベル画像201、202等とを示す模式図である。
この図に示すように、X線透視画像200に対して先に学習した識別器を利用して識別を行うことにより、背景ラベルの画像201と特定部位ラベルの画像202の2チャンネルのラベル画像が作成される。この2チャンネルのラベル画像は、X線透視画像200の各フレーム毎に作成される。そして、特定部位の領域204が決定され、特定部位の領域204を表す表示と透視画像とを重ね合わせた画像203が作成される。
なお、特定部位の領域204を決定するときには、ラベル画像の確率に所定の閾値を設け、確率がこの閾値を越えた領域を特定部位の領域204とすればよい。このときには、モルフォロジー演算などを利用して、適宜、境界の平滑化や微小領域の削除・統合を行ってもよい。また、CTV(臨床標的体積)から予想される腫瘍形状と違いが大きい場合は、エラーとして治療ビームの照射を停止してもよい。なお、特定部位の領域204については、CTV全域に対応する必要はなく、CTVの中心付近などCTV領域の一部のみを特定し、例えば、そこを重心とした一定の領域を特定部位の領域204としてもよい。このときには、例えば、治療計画時に作成されたCTVを利用し、ラベル画像における重心と治療計画時に作成されたCTVの重心とを一致させることにより、特定部位の領域204を決定するようにしてもよい。
CNNにおけるスライディングウインドウでは、検出窓をスライドする度にCNNの順伝幡計算が必要であり、スライドした検出窓同士が重なっている領域では冗長な畳み込み演算が行われるため、リアルタイム処理が困難である。これに対し、FCNでは、入力画像全体または探索領域全体に対して一度の順伝播計算でラベル画像全体が得られるため、リアルタイムで特定部位の形状を認識することが可能となる。
X線透視を実行しているときに、そのX線透視画像における特定部位の領域が検出できれば、放射線照射装置90により治療ビームを照射する(ステップS6)。すなわち、特定部位の領域204の位置が被検者の呼吸位相における特定の位相において特定の位置となったときにのみ、治療ビームを照射して、放射線治療を行う。
次に、この発明の第2実施形態について説明する。図10は、この発明の第2実施形態に係る放射線治療用追跡装置の主要な制御系を示すブロック図である。図11は、DRR画像100およびそれを画像処理した画像100b、100cと、特定部位の領域を表す投影領域の画像であるラベル画像101、102とを示す模式図である。図12は、X線透視画像200およびそれを画像処理した画像200b、200cと、特定部位の領域を表すラベル画像201、202等とを示す模式図である。
この第2実施形態に係る放射線治療用追跡装置は、制御部30が、図6に示すDRR画像100に対して、エッジ強調を行った画像100bと周波数分割を行った画像100cのように、DRR画像100を画像処理した画像100b、100cを作成するとともに、図9に示すX線透視画像200に対して、エッジ強調を行った画像200bと周波数分割を行った画像200cのように、X線透視画像200を画像処理した画像200b、200cを作成する画像処理部36を備える。
上述した実施形態においては、図6に示すように、DRR画像100を入力層とし、2チャンネルのラベル画像101、102を出力層として機械学習を実行している。これに対して、この第2実施形態においては、図11に示すように、DRR画像100およびそれを画像処理した画像100b、100cを入力層とし、2チャンネルのラベル画像101、102を出力層として機械学習を実行する。また、上述した実施形態においては、図9に示すように、X線透視画像200に対して先に学習した識別器を利用して識別を行うことにより、背景ラベルの画像201と特定部位ラベルの画像202の2チャンネルのラベル画像を作成している。これに対して、この第2実施形態においては、図12に示すように、X線透視画像200およびそれを画像処理した画像200b、200cに対して先に学習した識別器を利用して識別を行うことにより、背景ラベルの画像201と特定部位ラベルの画像202の2チャンネルのラベル画像を作成する。そして、前記画像処理部36は、DRR画像とX線透視画像とに対して同一条件の画像処理、すなわち、同じ画像処理を実行する。
このような構成を採用した場合においては、DRR画像100だけではなく、DRR画像100を画像処理した画像をも使用して機械学習を実行することから、より正確な識別器を作成することができる。そして、この識別器を使用して、X線透視画像200だけではなく、X線透視画像200を画像処理した画像を利用して識別を行うことから、特定部位の領域をより正確に検出することが可能となる。
以上のように、この発明に係る放射線治療用追跡装置および動体追跡方法によれば、治療計画時に作成されたDRR画像を入力層とし、治療計画時に特定された特定部位の領域を表す2チャンネルのラベル画像を出力層として、機械学習により識別器として使用する畳み込み層を学習し、次に、X線透視画像を入力層とし、先に学習された識別器を利用して識別を行うことにより、出力層としての特定部位の領域の位置認識することから、リアルタイムで特定部位の位置を検出し、あるいは、特定部位の追跡することが可能となる。
なお、上述した実施形態において、X線透視画像をガウスフィルタなどでぼかした後に識別器に入力してもよい。一般的に、DRR画像は低解像度のCT画像から作成されているため、X線透視画像と比べると低解像度である。このため、X線透視画像をぼかして、X線透視画像を、ノイズを低減しつつ学習時のDRR画像と同等の解像度とすることにより、より確実に特定部位を識別することが可能となる。
また、上述した実施形態において、識別器に入力するDRR画像およびX線透視画像はあらかじめコントラスト正規化を行ったうえで入力してもよい。また、中間層に局所コントラスト正規化層または局所応答正規化層を加えてもよい。
なお、上述した実施形態においては、特定部位投影部32により作成された特定部位の領域を表す投影領域画像を教師ラベル画像として識別器を学習しているが、特定部位の領域を表す画像であれば、その他の教師ラベル画像を使用してもよい。
また、上述した実施形態においては、特定部位に対して治療ビームを照射するために特定部位の動きを追跡する放射線治療用追跡装置について説明したが、被検者の特定部位を含むX線透視画像に基づいて特定部位の位置を検出する位置検出装置についても同様にこの発明を適用することができる。
11a 第1X線管
11b 第2X線管
11c 第3X線管
11d 第4X線管
21a 第1フラットパネルディテクタ
21b 第2フラットパネルディテクタ
21c 第3フラットパネルディテクタ
21d 第4フラットパネルディテクタ
30 制御部
31 DRR画像作成部
32 特定部位投影部
33 識別器学習部
34 特定部位領域検出部
35 照射信号発生部
90 放射線照射装置
99 治療計画装置

Claims (17)

  1. 被検者の、治療ビームが照射される部位である特定部位を含むX線透視画像を収集して前記特定部位の位置を検出し、前記特定部位の動きを追跡する放射線治療用追跡装置であって、
    治療計画時に作成された前記特定部位を含む領域のCT画像データに対して、前記被検者に対するX線管とX線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位を含むDRR画像を作成するDRR画像作成部と、
    記DRR画像を入力層とし、前記特定部位の領域を示す教師ラベル画像を出力層として機械学習を実行することにより、前記特定部位の領域を認識するための識別器を学習する識別器学習部と、
    前記特定部位を含むX線透視画像に対して、前記識別器学習部で学習された前記識別器を使用して識別を行うことにより、前記特定部位の領域を検出する特定部位領域検出部と、
    を備えることを特徴とする放射線治療用追跡装置。
  2. 請求項1に記載の放射線治療用追跡装置において、
    治療計画時において前記特定部位を含む領域のCT画像データ上に登録された前記特定部位の領域に対して、前記被検者に対する前記X線管と前記X線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位の領域を表す投影領域画像を作成する特定部位投影部をさらに備え、
    前記識別器学習部は、前記特定部位投影部により作成された前記特定部位の領域を表す投影領域画像を前記教師ラベル画像として前記識別器を学習する放射線治療用追跡装置。
  3. 請求項2に記載の放射線治療用追跡装置において、
    前記DRR画像作成部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも1つを含む画像処理を施して前記DRR画像を作成するとともに、
    前記特定部位投影部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも1つを含む画像処理を施して前記特定部位の領域を表す投影領域画像を作成し、
    前記DRR画像作成部と前記特定部位投影部とは、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを同一条件で変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも1つを含む画像処理を同一条件で施す放射線治療用追跡装置。
  4. 請求項2に記載の放射線治療用追跡装置において、
    前記DRR画像作成部は、作成後のDRR画像に対して、コントラスト変化、ノイズ付加及びエッジ強調の少なくとも1つを実行する放射線治療用追跡装置。
  5. 請求項2に記載の放射線治療用追跡装置において、
    前記識別器は前記入力層と前記出力層の畳み込み層から構成されるニューラルネットワークである放射線治療用追跡装置。
  6. 請求項2に記載の放射線治療用追跡装置において、
    前記識別器学習部は、機械学習を実行するときの損失関数の計算時に、前記教師ラベル画像における特定部位ラベルと背景ラベルとの面積に基づいて特定部位ラベルの重みを大きくして計算を行った後、学習の進捗に応じて特定部位ラベルの重みを順次小さくして計算を行う放射線治療用追跡装置。
  7. 請求項2に記載の放射線治療用追跡装置において、
    前記識別器学習部は、機械学習を実行するときの損失関数の計算時に、画像全体の損失関数に対して、特定部位周辺をトリミングした画像に対する損失関数を重みづけした上で加算する放射線治療用動体追跡装置。
  8. 請求項2に記載の放射線治療用追跡装置において、
    前記DRR画像と前記X線透視画像とを画像処理する画像処理部をさらに備え、
    前記識別器学習部は、前記DRR画像と前記画像処理部で画像処理されたDRR画像とを使用して前記機械学習を実行するとともに、
    前記特定部位領域検出部は、前記特定部位を含むX線透視画像と前記画像処理部で前記DRR画像と同一条件により画像処理された前記特定部位を含むX線透視画像とに対して前記識別学習部で学習された前記識別器を使用して識別を行う放射線治療用追跡装置。
  9. 被検者の特定部位を含むX線透視画像に基づいて前記特定部位の位置を検出する位置検出装置であって、
    前記特定部位を含む領域のCT画像データに対して、前記被検者に対するX線管とX線検出器との幾何学的透視条件を模擬した仮想的投影を行うことにより、前記特定部位を含むDRR画像を作成するDRR画像作成部と、
    記DRR画像を入力層とし、前記特定部位の領域を示す教師ラベル画像を出力層として機械学習を実行することにより、前記特定部位の領域を認識するための識別器を学習する識別器学習部と、
    前記特定部位を含むX線透視画像に対して、前記識別器学習部で学習された前記識別器を使用して識別を行うことにより、前記特定部位の領域を検出する特定部位領域検出部と、
    を備えることを特徴とする位置検出装置。
  10. 請求項9に記載の位置検出装置において、
    治療計画時において前記特定部位を含む領域のCT画像データ上に登録された前記特定部位の領域に対して、前記被検者に対する前記X線管と前記X線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位の領域を表す投影領域画像を作成する特定部位投影部をさらに備え、
    前記識別器学習部は、前記特定部位投影部により作成された前記特定部位の領域を表す投影領域画像を前記教師ラベル画像として識別器を学習する位置検出装置。
  11. 請求項10に記載の位置検出装置において、
    前記DRR画像作成部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも1つを含む画像処理を施して前記DRR画像を作成するとともに、
    前記特定部位投影部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも1つを含む画像処理を施して前記特定部位の領域を表す投影領域画像を作成し、
    前記DRR画像作成部と前記特定部位投影部とは、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを同一条件で変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも1つを含む画像処理を同一条件で施す位置検出装置。
  12. 請求項10に記載の位置検出装置において、
    前記DRR画像作成部は、作成後のDRR画像に対して、コントラスト変化、ノイズ付加及びエッジ強調の少なくとも1つを実行する位置検出装置。
  13. 請求項10に記載の位置検出装置において、
    前記識別器は前記入力層と前記出力層の畳み込み層から構成されるニューラルネットワークである位置検出装置。
  14. 請求項10に記載の位置検出装置において、
    前記識別器学習部は、機械学習を実行するときの損失関数計算時に、前記教師ラベル画像における特定部位ラベルと背景ラベルとの面積に基づいて特定部位ラベルの重みを大きくして計算を行った後、学習の進捗に応じて特定部位ラベルの重みを順次小さくして計算を行う位置検出装置。
  15. 請求項10に記載の位置検出装置において、
    前記識別器学習部は、機械学習を実行するときの損失関数計算時に、画像全体の損失関数に対して、特定部位周辺をトリミングした画像に対する損失関数を重みづけした上で加算する位置検出装置。
  16. 請求項10に記載の位置検出装置において、
    前記DRR画像と前記X線透視画像とを画像処理する画像処理部をさらに備え、
    前記識別器学習部は、前記DRR画像と前記画像処理部で画像処理されたDRR画像とを使用して前記機械学習を実行するとともに、
    前記特定部位領域検出部は、前記特定部位を含むX線透視画像と前記画像処理部で前記DRR画像と同一条件により画像処理された前記特定部位を含むX線透視画像とに対して前記識別記学習部で学習された前記識別器を使用して識別を行う位置検出装置。
  17. 放射線治療用追跡装置によって実施される、被検者の、治療ビームが照射される部位である特定部位を含むX線透視画像を収集して前記特定部位の位置を検出し、前記特定部位の動きを追跡する動体追跡方法であって、
    前記放射線治療用追跡装置が、治療計画時に作成された前記特定部位を含む領域のCT画像データに対して、前記被検者に対するX線管とX線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位を含むDRR画像を作成するDRR画像作成工程と、
    前記放射線治療用追跡装置が、治療計画時において前記特定部位を含む領域のCT画像データ上に登録された前記特定部位の領域に対して、前記被検者に対する前記X線管と前記X線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位の領域を表す投影領域画像を作成する特定部位投影工程と、
    前記放射線治療用追跡装置が、前記DRR画像作成工程において作成されたDRR画像を入力層とし、前記特定部位投影工程において作成された投影領域画像を出力層として機械学習を実行することにより、前記特定部位の位置を認識するための識別器を学習する識別器学習工程と、
    前記放射線治療用追跡装置が、前記X線管から照射され前記被検者を通過したX線を前記X線検出器により検出して得た前記特定部位を含むX線透視画像に対して、前記識別器学習工程において学習された前記識別器を使用して識別を行うことにより、前記特定部位の領域を検出する特定部位領域検出工程と、
    を含むことを特徴とする動体追跡方法。
JP2019526128A 2017-06-30 2017-12-27 放射線治療用追跡装置、位置検出装置および動体追跡方法 Active JP7099459B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/JP2017/024214 WO2019003434A1 (ja) 2017-06-30 2017-06-30 放射線治療用追跡装置、位置検出装置および動体追跡方法
JPPCT/JP2017/024214 2017-06-30
PCT/JP2017/046856 WO2019003474A1 (ja) 2017-06-30 2017-12-27 放射線治療用追跡装置、位置検出装置および動体追跡方法

Publications (2)

Publication Number Publication Date
JPWO2019003474A1 JPWO2019003474A1 (ja) 2020-04-30
JP7099459B2 true JP7099459B2 (ja) 2022-07-12

Family

ID=64740519

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019526128A Active JP7099459B2 (ja) 2017-06-30 2017-12-27 放射線治療用追跡装置、位置検出装置および動体追跡方法

Country Status (3)

Country Link
US (1) US11224763B2 (ja)
JP (1) JP7099459B2 (ja)
WO (2) WO2019003434A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10823685B2 (en) * 2018-01-16 2020-11-03 Creative Electron, Inc. Method and system to automatically inspect parts using x-rays
JP6945474B2 (ja) * 2018-02-28 2021-10-06 富士フイルム株式会社 学習用データ作成支援装置、学習用データ作成支援方法、および学習用データ作成支援プログラム
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
JP7287828B2 (ja) * 2019-04-26 2023-06-06 株式会社日立製作所 患者位置決めシステム、方法およびプログラム
US11067786B2 (en) * 2019-06-07 2021-07-20 Leica Microsystems Inc. Artifact regulation methods in deep model training for image transformation
JP7252847B2 (ja) * 2019-07-08 2023-04-05 株式会社日立製作所 動体追跡装置および放射線治療システム、ならびに動体追跡装置の作動方法
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
JP7226199B2 (ja) * 2019-09-04 2023-02-21 株式会社島津製作所 画像解析方法、画像処理装置および骨密度測定装置
JP2021041089A (ja) * 2019-09-13 2021-03-18 株式会社島津製作所 医用画像処理装置、x線画像処理システム、および、学習モデルの生成方法
JP7226207B2 (ja) * 2019-09-13 2023-02-21 株式会社島津製作所 医用画像処理装置、x線画像処理システム、および、学習モデルの生成方法
JP7292721B2 (ja) * 2019-10-08 2023-06-19 国立大学法人 筑波大学 標的外形推定装置および治療装置
CN113066099B (zh) * 2019-12-13 2023-12-19 视云融聚(广州)科技有限公司 一种基于球形坐标系的摄像机标签轨迹跟随方法
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
CN111709890B (zh) * 2020-06-12 2023-11-24 北京小米松果电子有限公司 一种图像增强模型的训练方法、装置及存储介质
US12053648B2 (en) * 2020-07-02 2024-08-06 Mim Software Inc. Focal therapy pre-planning and predictive fusion
US11690581B2 (en) * 2020-09-07 2023-07-04 C-Rad Positioning Ab Tumor position determination
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
WO2024057210A1 (en) 2022-09-13 2024-03-21 Augmedics Ltd. Augmented reality eyewear for image-guided medical intervention

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001511372A (ja) 1997-07-25 2001-08-14 アーチ・デベロップメント・コーポレーション 放射線検査での識別診断における精度を向上させるための方法
JP2007279967A (ja) 2006-04-05 2007-10-25 Fuji Heavy Ind Ltd 画像処理装置
JP2011014051A (ja) 2009-07-03 2011-01-20 Nikon Corp 生成装置、生成方法、および生成プログラム
JP2016011659A (ja) 2014-06-30 2016-01-21 三菱自動車工業株式会社 燃料噴射制御装置
JP2016099668A (ja) 2014-11-18 2016-05-30 キヤノン株式会社 学習方法、学習装置、画像認識方法、画像認識装置及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3046326B2 (ja) 1990-06-15 2000-05-29 株式会社東芝 画像処理装置及び画像処理方法
US5943435A (en) * 1997-10-07 1999-08-24 Eastman Kodak Company Body part recognition in radiographic images
JP3053389B1 (ja) 1998-12-03 2000-06-19 三菱電機株式会社 動体追跡照射装置
JP2010246883A (ja) * 2009-03-27 2010-11-04 Mitsubishi Electric Corp 患者位置決めシステム
US9155470B2 (en) * 2012-01-24 2015-10-13 Siemens Aktiengesellschaft Method and system for model based fusion on pre-operative computed tomography and intra-operative fluoroscopy using transesophageal echocardiography
US20150223773A1 (en) * 2014-02-11 2015-08-13 Siemens Medical Solutions Usa, Inc. Method and Apparatus for Image Fusion Based Planning of C-Arm Angulation for Structural Heart Disease
JP6095112B2 (ja) * 2013-04-23 2017-03-15 株式会社日立製作所 放射線治療システム
US20170065832A1 (en) * 2014-02-26 2017-03-09 Brainlab Ag Tracking Soft Tissue in Medical Images
CN107206252B (zh) * 2014-12-11 2020-03-10 医科达有限公司 核磁共振引导直线加速器中的运动管理
JP2016116659A (ja) * 2014-12-19 2016-06-30 株式会社東芝 医用画像処理装置、治療システム、医用画像処理方法、および医用画像処理プログラム
JP6281849B2 (ja) * 2016-04-22 2018-02-21 国立研究開発法人量子科学技術研究開発機構 放射線治療における患者自動位置決め装置及び方法並びに患者自動位置決め用プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001511372A (ja) 1997-07-25 2001-08-14 アーチ・デベロップメント・コーポレーション 放射線検査での識別診断における精度を向上させるための方法
JP2007279967A (ja) 2006-04-05 2007-10-25 Fuji Heavy Ind Ltd 画像処理装置
JP2011014051A (ja) 2009-07-03 2011-01-20 Nikon Corp 生成装置、生成方法、および生成プログラム
JP2016011659A (ja) 2014-06-30 2016-01-21 三菱自動車工業株式会社 燃料噴射制御装置
JP2016099668A (ja) 2014-11-18 2016-05-30 キヤノン株式会社 学習方法、学習装置、画像認識方法、画像認識装置及びプログラム

Also Published As

Publication number Publication date
US11224763B2 (en) 2022-01-18
US20200155870A1 (en) 2020-05-21
JPWO2019003474A1 (ja) 2020-04-30
WO2019003434A1 (ja) 2019-01-03
WO2019003474A1 (ja) 2019-01-03

Similar Documents

Publication Publication Date Title
JP7099459B2 (ja) 放射線治療用追跡装置、位置検出装置および動体追跡方法
JP7125700B2 (ja) X線透視装置およびx線透視方法
KR102094737B1 (ko) 의료 영상 처리 장치, 의료 영상 처리 방법, 컴퓨터 판독가능한 의료 영상 처리 프로그램, 이동 대상물 추적 장치 및 방사선 치료 시스템
JP6964309B2 (ja) 放射線治療用追跡装置
JP6785485B2 (ja) X線透視装置
JP6208535B2 (ja) 放射線治療装置およびシステムおよび方法
JP7092190B2 (ja) 画像解析方法、セグメンテーション方法、骨密度測定方法、学習モデル作成方法および画像作成装置
EP3766541B1 (en) Medical image processing device, treatment system, and medical image processing program
EP3892200B1 (en) Methods and systems for user and/or patient experience improvement in mammography
CA3102807A1 (en) Orientation detection in fluoroscopic images
JP2018153277A (ja) X線透視装置
KR102409284B1 (ko) 종양을 추적하기 위한 움직임 자동 평가 장치 및 이를 이용한 방사선 치료 시스템
JP7093075B2 (ja) 医用画像処理装置、医用画像処理方法、およびプログラム
CN114067994A (zh) 一种目标部位的方位标记方法及***
JP2021041090A (ja) 医用画像処理装置、x線画像処理システム、および、学習モデルの生成方法
JP6792840B2 (ja) X線透視装置及びx線透視方法
WO2022022723A1 (zh) 一种医学操作的相关参数的确定方法以及***
JP2019170884A (ja) X線透視装置
JP2018079011A (ja) X線透視方法およびx線透視装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220613

R151 Written notification of patent or utility model registration

Ref document number: 7099459

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151