JPWO2020054019A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

画像処理装置３は、臓器の撮影画像から、人工知能によって対象組織の領域を推定する領域推定部３０４と、該領域推定部３０４により推定された対象組織の領域に基づいて、対象組織の領域に含まれるガイド線を決定するガイド線決定部３０６と、ガイド線決定部３０６により決定されたガイド線に基づいて、撮影画像から、対象組織に相当する画像領域を抽出する画像抽出部とを有する。また、対象組織は、管状組織であり、領域推定部３０４は、管状組織の領域を推定し、ガイド線決定部３０６は、管状組織が広がる方向及び範囲の少なくとも一方を示すガイド線を決定し、画像抽出部は、管状組織に相当する画像領域を抽出する。

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

例えば、非特許文献１には、診断画像データからＡｕｔｏ-Ｓｅｅｄｉｎｇとして冠動脈の始点(上行大動脈から冠動脈末端に伸びる始点）を検索し、その始点からＶｉｒｔｕａｌ Ｃｏｎｔｒａｓｔ Ｉｎｊｅｃｔｉｏｎ法にて冠動脈をたどって抽出（分離、骨格化）する方法が開示されている。

また、特許文献２には、現在診断画像をセグメント化するシステムであって、複数の患者から生成された、選択された関心ボリュームの以前に生成された診断画像において、関心ボリュームをセグメント化する１又は複数のワークステーションと、前記以前に生成されセグメント化された画像を位置合わせし、前記以前に生成されセグメント化された画像をマージして、（１）各ボクセルが前記関心ボリュームを表す確率、（２）各ボクセルがバックグラウンドを表す確率、及び（３）平均セグメント化境界、を示す確率マップを与えるようにプログラムされる１又は複数のプロセッサと、前記確率マップを現在患者の関心ボリュームの現在診断画像と位置合わせして、変換された確率マップを生成するセグメント化プロセッサとを有するシステムが開示されている。

また、特許文献３には、生体内部を示す３次元ボリュームデータを用いて医用画像を生成する医用画像処理装置であって、前記３次元ボリュームデータで示される所定の管状組織の断面を含む領域を複数指定する断面領域指定部と、前記断面領域指定部が指定した各断面領域に含まれる前記３次元ボリュームデータを用いて、当該断面領域に含まれる前記管状組織の断面を画像化する画像化部と、前記管状組織の断面を示す画像の中心位置を示す３次元ボリュームデータを特定する中心特定部と、前記中心特定部が特定した各断面領域における管断面の中心位置を示す３次元ボリュームデータに基づいて、前記管状組織の長尺方向中心線を示す前記３次元ボリュームデータを特定する中心線特定部とを備えることを特徴とする医用画像処理装置が開示されている。

Ａｎ Ａｕｔｏｍａｔｉｃ Ｓｅｅｄｉｎｇ Ｍｅｔｈｏｄ Ｆｏｒ Ｃｏｒｏｎａｒｙ Ａｒｔｅｒｙ Ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ Ｓｋｅｌｅｔｏｎｉｚａｔｉｏｎ ｉｎ ＣＴＡ 特表２０１３−５２１８４４号公報 特開２００４‐３１３７３６号公報

臓器の撮影画像において、対象組織の特定を容易にする画像処理装置を提供することを目的とする。

本発明に係る画像処理装置は、臓器の撮影画像から、人工知能によって対象組織の領域を推定する領域推定部と、前記領域推定部により推定された対象組織の領域に基づいて、対象組織の領域に含まれるガイド線を決定するガイド線決定部と、前記ガイド線決定部により決定されたガイド線に基づいて、前記撮影画像から、対象組織に相当する画像領域を抽出する画像抽出部とを有する。

本発明に係る画像処理装置は、臓器の撮影画像から、人工知能によって対象組織の領域を推定する領域推定部と、前記領域推定部により推定された対象組織の領域に基づいて、対象組織の領域に含まれるガイド線を決定するガイド線決定部と、前記ガイド線決定部により決定されたガイド線に沿ったガイド画像を、前記撮影画像に重ね合わせて表示する画像表示部とを有する。

好適には、前記対象組織は、管状組織であり、前記領域推定部は、管状組織の領域を推定し、前記ガイド線決定部は、管状組織が広がる方向及び範囲の少なくとも一方を示すガイド線を決定し、前記画像抽出部は、管状組織に相当する画像領域を抽出する。

好適には、前記撮影画像は、冠動脈が含まれた領域のＭＲＩ画像であり、前記領域推定部は、冠動脈の領域を推定し、前記ガイド線決定部は、冠動脈が広がる方向及び範囲の少なくとも一方を示すガイド線を決定し、前記画像抽出部は、ＭＲＩ画像から、冠動脈に相当する画像領域を抽出する。

好適には、前記ガイド線決定部は、管状組織の中央部をとおる中心線を前記ガイド線として決定し、前記画像抽出部は、前記中心線に相当する位置の輝度情報と、この周囲の輝度情報とを比較して、管状組織に相当する画像領域を抽出する。

好適には、前記領域推定部は、冠動脈が含まれた領域の複数のＭＲＩ画像と、これらのＭＲＩ画像から抽出された冠動脈の画像領域とのセットを教師データとして構成された人工知能を用いて、冠動脈の領域を推定する。

好適には、前記ガイド線決定部は、推定された対象組織の領域を、既定の補間法でつないで、曲線からなるガイド線を決定する。

本発明に係る画像処理方法は、臓器の撮影画像から、人工知能によって対象組織の領域を推定するステップと、推定された対象組織の領域に基づいて、対象組織の領域に含まれるガイド線を決定するステップと、決定されたガイド線に基づいて、前記撮影画像から、対象組織に相当する画像領域を抽出するステップとを有する。

本発明に係るプログラムは、臓器の撮影画像から、人工知能によって対象組織の領域を推定するステップと、推定された対象組織の領域に基づいて、対象組織の領域に含まれるガイド線を決定するステップと、決定されたガイド線に沿ったガイド画像を、前記撮影画像に重ね合わせて表示するステップとをコンピュータに実行させる。

臓器の撮影画像において、対象組織の特定を容易にすることができる。

画像処理システム１のシステム構成を例示する図である。 画像処理装置３のハードウェア構成を例示する図である。 画像処理装置３の機能構成を例示する図である。 冠動脈抽出処理（Ｓ１０）を説明するフローチャートである。 ガイド線決定処理（Ｓ２０）を説明するフローチャートである。 （ａ）は、点在する中心線を例示する図であり、（ｂ）は、点在する中心線のつなぎ方を例示する図である。 ガイド画像８とＭＲＩ画像９とを重ね合わせた画像を例示する図である。

［背景］
本発明がなされた背景を説明する。
循環器診断ではコンピュータ断層診断装置による診断を行う。診断の手順は、例えば、（１）コンピュータ断層診断装置で撮影、（２）撮影画像から関心領域（ＶＯＩ）を抽出(トリミング）、（３）冠動脈を抽出、（４）心臓ＶＲ(立体三次元画像)データを抽出、（５）これらの情報をもとに数値化などを行い医師が見やすい形式で表示、という流れである。
撮影方法の主流は造影剤を用いた放射線ＣＴであるが造影剤の副作用や放射線リスクが伴う。これらリスクのないＭＲＩ(核磁気共鳴画像)方式も今後導入が進むと考えられるが、解像度の荒さやアーチファクト(特有のノイズ）のため、従来の画像処理技術では冠動脈の抽出（分離、骨格化）を自動化することが難しく、熟練した読影医が半手動で抽出を行っている。そしてそのような読影医は不足気味である。そのため診療の現場では、熟練した読影医に頼らずＭＲＩ画像などから自動的に冠動脈を抽出し、更に、患者説明に有効な心臓ＶＲデータを抽出して医師が見やすい適切な形式で表示する手段の実現が望まれている。

一般にＭＲＩ画像、とりわけ冠動脈始点が識別困難な画像では、コンピュータ処理による冠動脈の自動的な検出は成功率が低い。成功率が低い要因は、手法上の要因と画像特性の要因とがある。手法上の要因として、従来、画像全体の中で血管がどれであるかを認識する方法は、冠動脈の始点から探索する方法を取っているので、冠動脈の始点が見つからないと、冠動脈は検出できないこと、そして、同様の理由で、狭窄や他の原因で冠動脈の一部に画素情報が認識できないと、その先にある箇所の冠動脈が輝点として存在していても探索対象にならないこと、が挙げられる。
また、画像特性の要因として、冠動脈直径（約３ｍｍ）に対して、ＭＲＩ画像の解像度（１．２ｍｍ）が十分でない（ＣＴの解像度は０．６ｍｍであり、比較的成功率は高い）こと、そして、アーチファクトの問題により冠動脈が脂肪細胞など他組織に埋没して見えてしまうことが多く、特に冠動脈の始点は他組織に埋没することが多いことが挙げられる。

上記課題に対して、本発明は、読影医の介入無しに人工知能によって冠動脈の領域を推定し、推定した領域において冠動脈中心線を決定し、その中心線に沿ってもとの冠動脈の撮影画像（ＭＲＩ画像）から輝度情報を基に血管の画素部分を抽出し、冠動脈画像を自動で抽出する方法である。

本発明の実施形態を、図面を参照して説明する。
図１は、画像処理システム１の全体構成を例示する図である。
図１に例示するように、画像処理システム１は、画像送信装置２a、画像送信装置２ｂ、画像送信装置２ｃ及び画像処理装置３を含み、ネットワーク７を介して互いに接続している。画像送信装置２a、画像送信装置２ｂ、画像送信装置２ｃを合わせて画像送信装置２と称する
画像送信装置２は、コンピュータ端末であり、臓器の撮影画像を画像処理装置に送信する。具体的には、画像送信装置２は、ＭＲＩ（磁気共鳴画像装置）により撮像された、患者の体の断層画像データ（以下、画像データとする。）を画像処理装置３に送信する。
画像処理装置３は、コンピュータ端末であり、画像送信装置２により受信した画像データに基づいて、対象組織の画像領域を抽出する。本例において、対象組織は管状組織であり、本例においては、冠動脈である。画像処理装置３は、抽出した画像領域を画像送信装置２に送信する。

図２は、画像処理装置３のハードウェア構成を例示する図である。
図２に例示するように、画像処理装置３は、ＣＰＵ２００、メモリ２０２、ＨＤＤ２０４、ネットワークインタフェース２０６（ネットワークＩＦ２０６）、表示装置２０８、及び入力装置２１０を有し、これらの構成はバス２１２を介して互いに接続している。
ＣＰＵ２００は、例えば、中央演算装置である。
メモリ２０２は、例えば、揮発性メモリであり、主記憶装置として機能する。
ＨＤＤ２０４は、例えば、ハードディスクドライブ装置であり、不揮発性の記録装置としてコンピュータプログラムやその他のデータファイルを格納する。
ネットワークＩＦ２０６は、有線又は無線で通信するためのインタフェースである。
表示装置２０８は、例えば、液晶ディスプレイである。
入力装置２１０は、例えば、キーボード及びマウスである。

図３は、画像処理装置３の機能構成を例示する図である。
図３に例示するように、画像処理装置３には、画像処理プログラム３０がインストールされ、画像処理プログラム３０は、例えば、ＣＤ−ＲＯＭ等の記録媒体に格納されており、この記録媒体を介して、画像処理装置３にインストールされると共に学習データデータベース６００（学習データＤＢ６００）を構成する。
なお、画像処理プログラム３０の一部又は全部は、ＡＳＩＣなどのハードウェアにより実現されてもよく、また、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の機能を一部借用して実現されてもよい。また、このプログラム全体が一台のコンピュータ端末にインストールされてもよいし、クラウド上の仮想マシンにインストールされてもよい。

画像処理プログラム３０は、画像取得部３００、領域切取部３０２、領域推定部３０４、ガイド線決定部３０６、画像抽出部３０８、及び画像表示部３１０を有する。

画像処理プログラム３０において、画像取得部３００は、画像送信装置２により送信されたＭＲＩの画像データを取得する。
領域切取部３０２は、画像データから解析に必要な領域（ＶＯＩ）のみを抽出する。
領域推定部３０４は、臓器の撮影画像から、人工知能によって対象組織の領域を推定する。具体的には、対象組織は管状組織であり、より具体的には、領域推定部３０４は、冠動脈の領域を推定する。領域推定部３０４は、冠動脈が含まれた領域の複数のＭＲＩ画像と、これらのＭＲＩ画像から抽出された冠動脈の画像領域とのセットを教師データとして構成された人工知能を用いて、冠動脈の領域を推定する。
なお、本発明における人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）は、ニューラルネットワークにおいて、ディープラーニングにより教師データを学習する。教師データは、ＭＲＩ画像データに関連付けられた、医師が抽出した冠動脈の３Ｄデータである。人工知能は、教師データを学習し、これに基づいて冠動脈の領域を推定する。学習データＤＢ６００は、教師データを保持し、新たな教師データが入力された場合に、人工知能は再学習してもよい。

ガイド線決定部３０６は、領域推定部３０４により推定された冠動脈の領域に基づいて、冠動脈の領域に含まれるガイド線を決定する。具体的には、ガイド線決定部３０６は、冠動脈が広がる方向及び範囲の少なくとも一方を示すガイド線を決定する。より具体的には、ガイド線決定部３０６は、冠動脈の中央部を通る中心線をガイド線として決定する。ガイド線の決定方法として、ガイド線決定部３０６は、推定された冠動脈の領域を、既定の補間法でつないで、曲線からなるガイド線を決定する。ガイド線は、方向又は範囲を示すものであり、線幅やパターンは任意である。ガイド線は、点線や、破線、鎖線、矢印線、中抜き線等であってもよい。

画像抽出部３０８は、ガイド線決定部３０６により決定されたガイド線に基づいて、撮影画像から、冠動脈に相当する画像領域を抽出する。具体的には、画像抽出部３０８は、ＭＲＩ画像から、冠動脈に相当する画像領域を抽出する。さらに、画像抽出部３０８は、中心線に相当する位置の輝度情報と、この周囲の輝度情報とを比較して、冠動脈に相当する画像領域を抽出する。より具体的には、画像抽出部３０８は、抽出した画像領域を抽出図として表す。

画像表示部３１０は、ガイド線決定部３０６により決定されたガイド線に沿ったガイド画像を、ＭＲＩ画像に重ね合わせて表示する。また、画像表示部３１０は、冠動脈抽出画像と共に、冠動脈の３Ｄ画像、または冠動脈直径値等をレポート出力する。

図４は、冠動脈抽出処理（Ｓ１０）を説明するフローチャートである。
図４に例示するように、ステップ１００（Ｓ１００）において、画像取得部３００は、ＭＲＩで撮影された、診断対象である画像データを取得する。
ステップ１０５（Ｓ１０５）において、領域切取部３０２は、画像データから解析に必要な領域（ＶＯＩ）のみを抽出する。そして、領域切取部３０２は、抽出した領域をニューラルネットワークへ入力するために、データファイル形式変換等の前処理を実施する。
ステップ１１０（Ｓ１１０）において、領域推定部３０４は、ニューラルネットワークを用いて、抽出した領域において冠動脈を推定し、抽出する。
ステップ１１５（Ｓ１１５）において、ガイド線決定部３０６は、冠動脈の中央部を通る中心線をガイド線として決定する。
ステップ１２０（Ｓ１２０）において、画像抽出部３０８は、ガイド線決定部３０６により決定されたガイド線に基づいて、元の患者データ（診断対象のＭＲＩ画像データ）の輝度信号をつなぎ、冠動脈抽出図を作成する。
ステップ１２５（Ｓ１２５）において、画像表示部３１０は、医師の診断に有用な形状（例えば、３Ｄ画像）、または冠動脈直径値等をレポート出力する。

図５は、ガイド線決定処理（Ｓ２０）を説明するフローチャートである。
図５に例示するように、ステップ２００（Ｓ２００）において、領域推定部３０４は、教師データ及び血管走行の学習に基づいて、冠動脈の画像のうち、ＡＩにより対象組織の一部であると推定される期待値が、閾値以上のピクセルを特定する。
ステップ２０５（Ｓ２０５）において、ガイド線決定部３０６は、特定されたピクセルを含む領域を細線化し、冠動脈の中心線を得る。図６（ａ）に例示するように、プログラム上において線構造は、空間内での点の列であるから、中心線は冠動脈に沿って点在している状態である。
ステップ２１０（Ｓ２１０）において、点在する中心線の先端と後端とが近接している場合は、ガイド線決定部３０６は、Ｓ２１５へ移行し、近接していない場合は、Ｓ２２０へ移行する。
ステップ２１５（Ｓ２１５）において、ガイド線決定部３０６は、図６（ｂ）に例示するように、点在している点群を一つの列と捉え、列の降端の点から近い別の列の先端の点を検索し、その間をつなぎ、ガイド線を決定する。
ステップ２２０（Ｓ２２０）において、ガイド線決定部３０６は、血管推定技術を用いて、点在する中心線をつなぎ、ガイド線を決定する。具体的には、ガイド線決定部３０６は、抽出点を通過する曲線回帰手法（例えば、ｎ次スプライン補間）により中心線をつなぐ。

以上説明したように、本実施形態の画像処理システム１によれば、ＭＲＩ画像のような低解像度やノイズを持つ、とりわけ冠動脈始点の識別が難しい画像でも、ＡＩによる冠動脈の推定とガイド線とに基づいて冠動脈の抽出処理が可能であるため、より高精度且つ高成功率で冠動脈抽出処理が可能である。また、医師の介在を必要とせずに自動で冠動脈抽出処理を行うことができるため、医師の技量への依存を低減することも可能である。また、ＡＩによる出力は、冠動脈中心線を出力するためのみに用いるため、ＡＩのみを用いた冠動脈抽出よりも学習データによるＡＩの精度によるばらつきを低減でき、かつ、最終的に輝度情報を基に冠動脈を抽出することから、従来と同等の信頼度で診断に利用可能な情報を得ることができる。

上記実施形態では、画像抽出部３０８により、冠動脈の抽出図を作成しているが、これに限定されず、例えば、図７に例示するように、画像表示部３１０が、ガイド線決定部３０６により決定されたガイド線に沿ったガイド画像８を、ＭＲＩ画像９に重ね合わせて表示し、表示された画像に基づいて、読影医により冠動脈の抽出図を作成してもよい。

１…画像処理システム
２…画像送信装置
３…画像処理装置
３０…画像処理プログラム

Claims (9)

1. 臓器の撮影画像から、人工知能によって対象組織の領域を推定する領域推定部と、
   前記領域推定部により推定された対象組織の領域に基づいて、対象組織の領域に含まれるガイド線を決定するガイド線決定部と、
   前記ガイド線決定部により決定されたガイド線に基づいて、前記撮影画像から、対象組織に相当する画像領域を抽出する画像抽出部と
   を有する画像処理装置。
2. 臓器の撮影画像から、人工知能によって対象組織の領域を推定する領域推定部と、
   前記領域推定部により推定された対象組織の領域に基づいて、対象組織の領域に含まれるガイド線を決定するガイド線決定部と、
   前記ガイド線決定部により決定されたガイド線に沿ったガイド画像を、前記撮影画像に重ね合わせて表示する画像表示部と
   を有する画像処理装置。
3. 前記対象組織は、管状組織であり、
   前記領域推定部は、管状組織の領域を推定し、
   前記ガイド線決定部は、管状組織が広がる方向及び範囲の少なくとも一方を示すガイド線を決定し、
   前記画像抽出部は、管状組織に相当する画像領域を抽出する
   請求項１又は２に記載の画像処理装置。
4. 前記撮影画像は、冠動脈が含まれた領域のＭＲＩ画像であり、
   前記領域推定部は、冠動脈の領域を推定し、
   前記ガイド線決定部は、冠動脈が広がる方向及び範囲の少なくとも一方を示すガイド線を決定し、
   前記画像抽出部は、ＭＲＩ画像から、冠動脈に相当する画像領域を抽出する
   請求項３に記載の画像処理装置。
5. 前記ガイド線決定部は、管状組織の中央部をとおる中心線を前記ガイド線として決定し、
   前記画像抽出部は、前記中心線に相当する位置の輝度情報と、この周囲の輝度情報とを比較して、管状組織に相当する画像領域を抽出する
   請求項３に記載の画像処理装置。
6. 前記領域推定部は、冠動脈が含まれた領域の複数のＭＲＩ画像と、これらのＭＲＩ画像から抽出された冠動脈の画像領域とのセットを教師データとして構成された人工知能を用いて、冠動脈の領域を推定する
   請求項４に記載の画像処理装置。
7. 前記ガイド線決定部は、推定された対象組織の領域を、既定の補間法でつないで、曲線からなるガイド線を決定する
   請求項３に記載の画像処理装置。
8. 臓器の撮影画像から、人工知能によって対象組織の領域を推定するステップと、
   推定された対象組織の領域に基づいて、対象組織の領域に含まれるガイド線を決定するステップと、
   決定されたガイド線に基づいて、前記撮影画像から、対象組織に相当する画像領域を抽出するステップと
   を有する画像処理方法。
9. 臓器の撮影画像から、人工知能によって対象組織の領域を推定するステップと、
   推定された対象組織の領域に基づいて、対象組織の領域に含まれるガイド線を決定するステップと、
   決定されたガイド線に沿ったガイド画像を、前記撮影画像に重ね合わせて表示するステップと
   をコンピュータに実行させるプログラム。

Images