JP7483528B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

Description

本発明は、撮像装置で撮影された画像中に描出されている注目領域を指示する正解画像を作成する画像処理装置、画像処理方法およびプログラムに関する。

近年、医用画像解析の分野において、機械学習を利用したセグメンテーションが重要になってきている。セグメンテーションとは、画像中に描出されている注目領域と注目領域以外の領域を区別する処理のことであり、領域抽出、領域分割、画像分割とも呼ばれる。機械学習に基づくセグメンテーションの精度を向上させるためには、大量の学習画像と正解画像を準備する必要がある。非特許文献１では、すでに作成されている複数の正解画像の中から二つの正解画像を選択し、選択された正解画像から新たな正解画像を人工的に生成する技術が開示されている。

Ｚａｃｈ Ｅａｔｏｎ－Ｒｏｓｅｎ， "Ｉｍｐｒｏｖｉｎｇ Ｄａｔａ Ａｕｇｍｅｎｔａｔｉｏｎ ｆｏｒ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ"， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ｗｉｔｈ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ２０１８

ＣＴ画像のように複数枚のスライスから構成される３次元医用画像においては、例え同じ注目領域であっても、スライスの間隔またはスライスの厚さが異なると、注目領域の見え方が異なる。そのため、スライス間隔とスライス厚を考慮して、正解画像を作成することが重要である。しかし、非特許文献１で開示されている技術では、スライス間隔とスライス厚を考慮することなく、正解画像を作成する。

本発明は、スライス間隔とスライス厚を考慮した正解画像を簡便に作成することのできる画像処理装置を提供することを目的とする。

本発明の第一の態様に係る画像処理装置は、
被写体を撮影して得られた複数の第一の断層画像と、前記複数の第一の断層画像のそれぞれに対して注目領域を示す正解画像である複数の第二の断層画像とを取得する第一の取得部と、
前記複数の第一の断層画像のうち、所定の厚さの範囲内に含まれる前記第一の断層画像を用いて、前記被写体を表す第三の断層画像を生成する第一の生成部と、
前記複数の第二の断層画像のうち、前記所定の厚さの範囲内に含まれる前記第二の断層画像を用いて、前記第三の断層画像中の注目領域を示す正解画像である第四の断層画像を生成する第二の生成部と、
前記第三の断層画像と前記第四の断層画像を用いて、前記注目領域を抽出するための識別器の学習を行う学習部と、
を備える。

本発明の第二の態様に係る画像処理方法は、
コンピュータが行う画像処理方法であって、
被写体を撮影して得られた複数の第一の断層画像と、前記複数の第一の断層画像のそれぞれに対して注目領域を示す正解画像である複数の第二の断層画像とを取得する第一の取得ステップと、
前記複数の第一の断層画像のうち、所定の厚さの範囲内に含まれる前記第一の断層画像を用いて、前記被写体を表す第三の断層画像を生成する第一の生成ステップと、
前記複数の第二の断層画像のうち、前記所定の厚さの範囲内に含まれる前記第二の断層画像を用いて、前記第三の断層画像中の注目領域を示す正解画像である第四の断層画像を生成する第二の生成ステップと、
前記第三の断層画像と前記第四の断層画像を用いて、前記注目領域を抽出するための識別器の学習を行う学習ステップと、
を含む。

本発明によれば、スライス間隔とスライス厚を考慮した正解画像を簡便に作成することができる。

第一の実施形態に係る画像処理装置の構成を示す図。 教示データ生成部１０１の処理手順を示すフローチャート。 教示データＳｉｎｐｕｔに含まれているＣＴ画像と正解画像を説明した図。 第一の生成部１２０により生成されるＣＴ画像を説明した図。 第二の生成部１３０により生成される正解画像を説明した図。 第二の生成部１３０により生成される正解画像を説明した図。 学習処理実行部１０２の処理手順を示すフローチャート。

以下、図面を参照して本発明の実施形態を説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において構成要素、部材、処理の一部は省略して表示する。

以下では、Ｘ線コンピュータ断層撮像（Ｘ線ＣＴ）装置で撮影されたＣＴ画像中に描出されている肝臓を注目領域として例に挙げ、本発明について説明する。しかしながら、本発明は、肝臓のみならず、他の臓器、骨、筋肉など人体のあらゆる構造物に対して適用可能である。また本発明は、ＣＴ画像のみならず、核磁気共鳴画像撮像装置（ＭＲＩ）装置、ポジトロン断層撮像（ＰＥＴ）装置、超音波撮像装置等、Ｘ線ＣＴ装置以外のモダリティで撮像された断層画像に対しても適用可能である。なお、本発明の実施形態は以下の実施形態に限定されるものではない。

＜第一の実施形態＞
図１を参照して、第一の実施形態に係る画像処理装置１００の構成について説明する。画像処理装置１００は、ＣＴ画像から肝臓領域を抽出する識別器の学習を行う装置である。画像処理装置１００は、教示データ生成部１０１と学習処理実行部１０２からなる。教示データ生成部１０１は、操作者等により指定されたスライス厚とスライス間隔からなる所定の厚さに基づいて、事前に作成されている教示データから、新たな教示データを生成する。学習処理実行部１０２は、教示データ生成部１０１によって生成された教示データを用いて、識別器１０３の学習を行う。識別器１０３は、ＣＴ画像を入力として受け付け、ＣＴ画像中に描出されている注目領域を抽出する識別器である。学習処理実行部１０２により学習された識別器１０３は、操作者等により指定されたスライス厚とスライス間隔を持つＣＴ画像から、注目領域を高い精度で抽出することが可能となる。

画像処理装置１００は、プロセッサとメモリとを含み、メモリに格納されたプログラムをプロセッサが実行することによって上述の各機能部が実現される。なお、各機能部の一部または全部は専用のハードウェア装置によって実現されてもよい。

画像処理装置１００のほかに、画像処理装置１００への入力となるデータ、および画像処理装置１００が出力するデータを保存するためのデータサーバ２００が存在する。デー
タサーバ２００はコンピュータ記憶媒体の一例であり、ハードディスクドライブ（ＨＤＤ）やソリッドステイトドライブ（ＳＳＤ）に代表される大容量情報記憶装置である。データサーバ２００は、画像処理装置１００内に保持されていてもよいし、画像処理装置１００外に別途設けられネットワークを介して通信可能に構成されていてもよい。

教示データは、セグメンテーション処理の対象となるデータと同等の入力データと、この入力データが識別器１０３に入力されたときに期待される出力である正解データを含む。本実施例では、入力データはＣＴ画像であり、正解データはＣＴ画像中の注目領域を示す画像である。教示データは、教師データあるいはトレーニングデータとも呼ばれる。入力データは、入力画像、学習画像、学習データとも呼ばれる。正解データは、正解画像とも呼ばれる。

［教示データ生成部］
図１を参照して、教示データ生成部１０１の構成をさらに詳しく説明する。

第一の取得部１１０は、被写体を撮影して得られる複数の第一の断層画像と、複数の第一の断層画像のそれぞれに対して注目領域を示す複数の第二の断層画像とを取得する。第一の取得部１１０は、また、第一の断層画像および第二の断層画像の第一のスライス間隔および第一のスライス厚と、第三の断層画像および第四の断層画像の第二のスライス間隔および第二のスライス厚とを取得する。

第一の取得部１１０は、データサーバ２００に格納されている教示データＳｉｎｐｕｔの中から一組のＣＴ画像（入力画像）と正解画像を取得する。また、第一の取得部１１０は、識別器１０３が処理の対象とするＣＴ画像のスライス厚やスライス間隔の値をデータサーバ２００から取得して、新たに生成するＣＴ画像と正解画像のスライス厚とスライス間隔に関する情報を生成する。第一の取得部１１０は、取得したＣＴ画像と、新たに生成するＣＴ画像のスライス厚とスライス間隔に関する情報を、第一の生成部１２０に送信する。また、第一の取得部１１０は、取得した正解画像と、新たに生成する正解画像のスライス厚とスライス間隔に関する情報を、第二の生成部１３０に送信する。

図３を参照して、第一の取得部１１０により取得されるＣＴ画像と正解画像について説明する。第一の取得部１１０により取得されるＣＴ画像（入力画像）は、複数枚の断層画像から構成される３次元画像（複数の第一の断層画像）である。図３の断層画像３１０、断層画像３２０、断層画像３３０、断層画像３４０は、ひとつのＣＴ画像を構成する断層画像の一例である。断層画像３１０、断層画像３２０、断層画像３３０、断層画像３４０は、連続するＮｉｎｐｕｔ枚のスライスであり、患者の体軸に沿って並んでいる。注目領域３１１、注目領域３２１、注目領域３３１、注目領域３４１はＣＴ画像に描出された肝臓であり、識別器１０３が抽出しようとする領域（注目領域）である。また、領域３１２、領域３１３、領域３２４、領域３２５、領域３２６はそれぞれ、ＣＴ画像に描出された胴体、胃、背骨、右腎臓、左腎臓である。これらの領域は、正解画像において注目領域として設定された領域ではない。すべての断層画像にはこのような注目領域として設定された領域ではない領域が写っているが、図３では見やすさを考慮して、一部の非注目領域には符号を付与していない。

正解画像もまた、複数枚の断層画像から構成される３次元画像（複数の第二の断層画像）である。図３の断層画像３５０、断層画像３６０、断層画像３７０、断層画像３８０は、ひとつの正解画像を構成する断層画像の一例である。正解画像のそれぞれの断層画像は、ＣＴ画像の断層画像に対応する。図３では、断層画像３５０、断層画像３６０、断層画像３７０、断層画像３８０は、それぞれ、断層画像３１０、断層画像３２０、断層画像３３０、断層画像３４０に対応する。正解画像の各断層画像は、対応するＣＴ画像の断層画
像中に描出されている肝臓の領域を示す２値画像である。領域３５１、領域３６１、領域３７１、領域３８１は、それぞれ、注目領域３１１、注目領域３２１、注目領域３３１、注目領域３４１を示している。尚、断層画像には注目領域が描出されていることは必須ではなく、注目領域が描出されていない断層画像に対して、注目領域が描出されていないことを示す正解画像が組として教示データに含まれていてもよい。

第一の取得部１１０により取得されたＣＴ画像と正解画像は、スライス厚やスライス間隔についての情報を保持している。スライス厚とは、それぞれの断層画像を構成する面（スライス）の厚みである。一般に、ひとつのＣＴ画像を構成するすべての断層画像は、同じスライス厚を持つ。スライス間隔とは、連続して並ぶ二つの断層画像間の撮像空間での距離のことである。一般に、ひとつのＣＴ画像を構成するすべての断層画像は、患者の体軸に沿って等しい間隔で配置される。そのため、ひとつのＣＴ画像（断層画像３１０、断層画像３２０、・・・、断層画像３３０、断層画像３４０）は、一つの（同じ）スライス間隔を持つ。また、一般的なＣＴ画像では、スライス厚とスライス間隔は同じ値をとる。ここで、正解画像の各断層画像は、ＣＴ画像の断層画像に対応するため、正解画像のスライス厚やスライス間隔は、ＣＴ画像のスライス厚やスライス間隔と等しい。以降、第一の取得部１１０により取得されたＣＴ画像と正解画像のスライス厚をＴｉｎｐｕｔ、スライス間隔をＤｉｎｐｕｔと記述する。Ｔｉｎｐｕｔが第一のスライス厚に相当し、Ｄｉｎｐｕｔが第一のスライス間隔に相当する。

また、第一の取得部１１０は、データサーバ２００より、識別器１０３が処理の対象とするＣＴ画像のスライス厚やスライス間隔の値を取得する。そして、新たに生成するＣＴ画像と正解画像のスライス間隔とスライス厚の値を設定する。以降、第一の取得部１１０が設定したスライス厚とスライス間隔をそれぞれ、Ｔｔａｒｇｅｔ、Ｄｔａｒｇｅｔと記述する。Ｔｔａｒｇｅｔが第二のスライス厚に相当し、Ｄｔａｒｇｅｔが第二のスライス間隔に相当する。

第一の取得部１１０は、Ｔｔａｒｇｅｔを、識別器１０３で処理したいＣＴ画像のスライス厚と等しい値に設定する。例えば、識別器１０３で５ｍｍ厚のＣＴ画像に描出されている肝臓を抽出したいとする。この時、Ｔｔａｒｇｅｔを５とする。すると、画像処理装置１００は、最終結果（第二の出力部１７０の出力）として、５ｍｍ厚のＣＴ画像に描出されている肝臓を抽出するために最も効果的な識別器１０３のパラメータを出力する。

識別器１０３がＣＴ画像を３次元画像として入力して識別する識別器である場合には、第一の取得部１１０は、Ｄｔａｒｇｅｔを、Ｔｔａｒｇｅｔと等しい値に設定する。これによると、生成する教示データのスライス厚とスライス間隔を、識別器１０３が処理する対象のＣＴ画像と一致させることができる。一方、識別器１０３がＣＴ画像を断層画像毎に２次元画像として入力して識別する識別器である場合には、第一の取得部１１０は、Ｄｔａｒｇｅｔを、Ｄｉｎｐｕｔと等しい値に設定する。これによると、入力する教示データに近い数の教示データを生成することができる。なお、識別器１０３が２次元の場合のＤｔａｒｇｅｔの値は、３次元の場合と同様にＴｔａｒｇｅｔと同じ値にしてもよいし、ＤｉｎｐｕｔともＴｔａｒｇｅｔとも異なる値に設定してもよい。

上記では、第一の取得部１１０は、データサーバ２００より、識別器１０３が処理の対象とするＣＴ画像のスライス厚やスライス間隔の値を取得しているが、これらの値をユーザからの入力として取得してもよい。第一の取得部１１０は、スライス厚とスライス間隔のいずれか又は両方を数値としてユーザから取得してもよい。あるいは第一の取得部１１０は、識別器１０３に入力される画像の種類をユーザから取得して、この画像の種類に応じてスライス厚とスライス間隔のいずれかまたは両方を設定してもよい。

第一の生成部１２０は、第一の取得部１１０から受け取ったＣＴ画像（複数の第一の断層画像）から、新たなＣＴ画像（複数の第三の断層画像）を生成する。第一の生成部１２０は、前記複数の第一の断層画像のうち、所定の厚さの範囲内に含まれる前記第一の断層画像を用いて、前記被写体を表す第三の断層画像を生成する。今、第一の生成部１２０が第一の取得部１１０から受け取ったＣＴ画像をＣｉｎｐｕｔ、第一の生成部１２０が生成するＣＴ画像をＣｔａｒｇｅｔと記述する。第一の生成部１２０は、Ｃｉｎｐｕｔを構成する断層画像Ｃｉｎｐｕｔ［ｉ］（ｉ＝１，・・・，Ｎｉｎｐｕｔ）のうち、所定の厚みの範囲Ｒｊに含まれる複数枚の断層画像を平均化することで、新たな一枚の断層画像Ｃｔａｒｇｅｔ［ｊ］（ｊ＝１，・・・，Ｎｔａｒｇｅｔ）を生成する。ここで、厚みの範囲Ｒｊは、それぞれのｊごとに、次式で計算される。

なお、断層画像Ｃｉｎｐｕｔ［ｉ］は厚みを有するので、その一部分のみが厚みの範囲Ｒｊに含まれることがある。第一の生成部１２０は、少なくとも一部分が厚みの範囲Ｒｊに含まれる断層画像を平均化して新たな断層画像Ｃｔａｒｇｅｔ［ｊ］を生成してもよい。あるいは、第一の生成部１２０は、所定割合以上の部分が厚みの範囲Ｒｊに含まれる断層画像を平均化して新たな断層画像Ｃｔａｒｇｅｔ［ｊ］を生成してもよい。また、第一の生成部１２０は、少なくとも一部分が厚みの範囲Ｒｊに含まれる断層画像を、厚みの範囲Ｒｊに含まれる部分の割合に応じた重みを用いて加重平均して、新たな断層画像Ｃｔａｒｇｅｔ［ｊ］を生成してもよい。

図４は、新たな断層画像の生成例を説明する図である。この例では、Ｄｔａｒｇｅｔ＝Ｔｔａｒｇｅｔ＝２×Ｄｉｎｐｕｔ＝２×Ｔｉｎｐｕｔである。第一の生成部１２０は、二枚の断層画像３１０、３２０を平均化して、新たな断層画像４１０を生成し、また、二枚の断層画像３３０、３４０を平均化して、新たな断層画像４２０を生成している。断層画像３２０と断層画像３３０の間に存在する不図示の断層画像についても、同様の処理を行う。第一の生成部１２０は、生成された断層画像４１０、・・・、断層画像４２０を新しい一つのＣＴ画像とみなす。

第二の生成部１３０は、第一の取得部１１０から受け取った正解画像（複数の第二の断層画像）から、新たな正解画像（複数の第四の断層画像）を生成する。第二の生成部１３０は、複数の第二の断層画像のうち、所定の厚さの範囲内に含まれる第二の断層画像を用いて、第三の断層画像中の注目領域を示す第四の断層画像を生成する。第四の断層画像の各座標の画素値は、所定の厚さの範囲に含まれる第二の断層画像の座標の画素値の代表値として決定すればよい。第二の生成部１３０が新たに生成する正解画像は、二値画像であってもよいし連続値画像であってもよい。いずれの表現の正解画像を生成するかは、学習処理実行部１０２が実行する識別器１０３の学習に必要な正解画像の表現に応じて（必要な表現の正解画像が得られるように）決定する。

今、第二の生成部１３０が第一の取得部１１０から受け取った正解画像をＭｉｎｐｕｔ、第二の生成部１３０が生成する新たな正解画像をＭｔａｒｇｅｔと記述する。正解画像が二値画像である場合、正解画像の各画素は、二つの画素値のいずれか一つを取る。一つめの画素値は、当該画素が注目領域に含まれる画素であることを示す。もう一つの画素値は、当該画素が注目領域に含まれない画素であることを示す。一方、正解画像が連続値画像である場合、正解画像の各画素は、二つの所定の値、例えば０と１の間の任意の値を取る。この時、画素値の大きさは、当該画素が注目領域に含まれる確からしさを表す。すなわち、画素値が大きな値であればあるほど、当該画素は注目領域に含まれる可能性が高い。

まず、新たな正解画像Ｍｔａｒｇｅｔを二値画像として生成する場合について説明する。このとき、第二の生成部１３０は、Ｍｉｎｐｕｔを構成する断層画像Ｍｉｎｐｕｔ［ｉ］（ｉ＝１，・・・，Ｎｉｎｐｕｔ）のうち、所定の厚みの範囲Ｒｊに含まれる複数枚の断層画像を平均化する。そして、その結果に対してしきい値処理を適用することで、新たな一枚の断層画像Ｍｔａｒｇｅｔ［ｊ］（ｊ＝１，・・・，Ｎｔａｒｇｅｔ）を生成する。Ｒｊは、上述の数式（式１）で計算される。

なお、新たな正解画像の生成は上記に限られない。新たな正解画像Ｍｔａｒｇｅｔ［ｊ］における各座標の画素値が、範囲Ｒｊに含まれる各断層画像Ｍｉｎｐｕｔ［ｉ］の当該座標の画素値の代表値に基づいて定められればどのような方法で新たな正解画像を生成してもよい。たとえば、新たな正解画像の各座標の画素値を、範囲Ｒｊに含まれる各断層画像Ｍｉｎｐｕｔ［ｉ］の当該座標の画素値の多数決で定めてもよい。また、当該座標の画素値の平均を閾値処理することで、新たな正解画像の画素値を定めてもよい。この場合、画素値の平均は単純平均であってもよいし、範囲Ｒｊの中心に近い断層画像の重みを相対的に大きく設定した加重平均であってもよい。また、画素値の積によって新たな正解画像の画素値を定めてもよい。

図５は、新たな正解画像を二値画像として生成する例を説明する図である。スライス厚およびスライス間隔の設定は図４の場合と同様である。第二の生成部１３０は、二枚の断層画像３５０、３６０から、新たな断層画像５１０を生成し、また、断層画像３６０、３７０から、新たな断層画像５２０を生成している。断層画像３６０と断層画像３７０の間に存在する不図示の断層画像についても、同様の処理を行う。第二の生成部１３０は、生成された断層画像５１０、・・・、断層画像５２０を新しい一つの正解画像とみなす。

次に、新たな正解画像Ｍｔａｒｇｅｔを連続値画像として生成する場合について説明する。このとき、第二の生成部１３０は、Ｍｉｎｐｕｔを構成する断層画像Ｍｉｎｐｕｔ［ｉ］（ｉ＝１，・・・，Ｎｉｎｐｕｔ）のうち、所定の厚みの範囲Ｒｊに含まれる複数枚の断層画像を平均化することで、新たな一枚の断層画像Ｍｔａｒｇｅｔ［ｊ］を生成する。Ｒｊは、上述の数式（式１）で計算される。なお、新たな正解画像Ｍｔａｒｇｅｔ［ｊ］における各座標の画素値が、範囲Ｒｊに含まれる各断層画像Ｍｉｎｐｕｔ［ｉ］の当該座標の画素値の代表値に基づいて定められればどのような方法で新たな正解画像を生成してもよい。例えば、単純平均の代わりに、加重平均や和によって新たな正解画像の各座標の画素値を決定してもよい。

図６は、新たな正解画像を連続画像として生成する例を説明する図である。スライス厚およびスライス間隔の設定は図４の場合と同様である。第二の生成部１３０は、二枚の断層画像３５０、３６０から、新たな断層画像６１０を生成し、また、断層画像３６０、３７０から、新たな断層画像６２０を生成している。断層画像３６０と断層画像３７０の間に存在する不図示の断層画像についても、同様の処理を行う。第二の生成部１３０は、生成された断層画像６１０、・・・、断層画像６２０を新しい一つの正解画像とみなす。

第一の出力部１４０は、第一の生成部１２０から受け取ったＣＴ画像と第二の生成部１３０から受け取った正解画像を一つの組として対応付ける。そして、第一の出力部１４０は、対応付けられたＣＴ画像と正解画像を、データサーバ２００に格納されている教示データに追加する。

なお、第一の出力部１４０は、ＣＴ画像に対応する正解画像を図１には不図示の表示部に出力してもよい。表示部に含まれる表示装置の一例は、ディスプレイである。表示部は、ＣＴ画像に対応する正解画像のみを表示してもよい。また、表示部は、ＣＴ画像と、対
応する正解画像を同時に表示してもよい。また、表示部は、データサーバ２００から取得したＣＴ画像および正解画像と、教示データ生成部１０１が生成したＣＴ画像および正解画像を同時に表示してもよいし、いずれかのみを表示してもよい。

次に図２を参照して、教示データ生成部１０１が行う画像処理方法の処理手順を説明する。

（Ｓ１１０）
ステップＳ１１０において、第一の取得部１１０は、データサーバ２００に格納されている教示データの中から、一組のＣＴ画像と正解画像を取得する。また、第一の取得部１１０は、データサーバ２００から、識別器１０３が処理の対象とするＣＴ画像のスライス厚やスライス間隔の値を取得して、新たに生成するＣＴ画像と正解画像のスライス厚とスライス間隔に関する情報を設定する。処理の詳細については、第一の取得部１１０の説明で述べた通りである。そして、第一の取得部１１０は、取得したＣＴ画像と、新たに生成するＣＴ画像のスライス厚とスライス間隔に関する情報を、第一の生成部１２０に送信する。また、第一の取得部１１０は、取得した正解画像と、新たに生成する正解画像のスライス厚とスライス間隔に関する情報を、第二の生成部１３０に送信する。

（Ｓ１２０）
ステップＳ１２０において、第一の生成部１２０は、第一の取得部１１０からＣＴ画像とスライス間隔に関する情報を取得する。そして、第一の生成部１２０は、第一の取得部１１０から受け取ったＣＴ画像から、新たなＣＴ画像を生成する。処理の詳細については、第一の生成部１２０の説明で述べた通りである。最後に、第一の生成部１２０は、新たに生成された抽出されたＣＴ画像を第一の出力部１４０に送信する。

（Ｓ１３０）
ステップＳ１３０において、第二の生成部１３０は、第一の取得部１１０から正解画像とスライス間隔に関する情報を取得する。そして、第二の生成部１３０は、第一の取得部１１０から受け取った正解画像から、新たな正解画像を生成する。処理の詳細については、第二の生成部１３０の説明で述べた通りである。最後に、第二の生成部１３０は、新たに生成された抽出された正解画像を第一の出力部１４０に送信する。

（Ｓ１４０）
ステップＳ１４０において、第一の出力部１４０は、第一の生成部１２０から受信したＣＴ画像と、第二の生成部１３０から受信した正解画像を対応付ける。そして、第一の出力部１４０は、データサーバ２００に格納されている教示データＳｎｅｗに、対応付けられたＣＴ画像と正解画像を追加する。もしデータサーバにＳｎｅｗが存在していない場合、第一の出力部１４０はデータサーバ２００にＳｎｅｗを作成する。そして、作成されたＳｎｅｗに対応付けられたＣＴ画像と正解画像を追加する。

（Ｓ１５０）
ステップＳ１５０において、画像処理装置１００の不図示の制御部は、データサーバ２００に格納されている教示データＳｉｎｐｕｔにまだ処理していないＣＴ画像と正解画像が存在しているか否かを判定する。もし、処理していないＣＴ画像と正解画像が存在している場合、不図示の制御部は教示データ生成部１０１にステップＳ１１０の処理を実行させる。逆に、処理していないＣＴ画像と正解画像が存在しない場合、不図示の制御部は教示データ生成部１０１の処理を終了させる。

以上の手順に従い、教示データ生成部１０１は、データサーバ２００に格納されている教示データＳｉｎｐｕｔから、新たな教示データＳｎｅｗを生成する。

［学習処理実行部］
続いて、図１を参照して、学習処理実行部１０２の構成を説明する。第二の取得部１５０は、データサーバ２００から、教示データ生成部１０１により生成された教示データＳｎｅｗを取得し、それを学習部１６０に送信する。教示データＳｎｅｗは、複数個のＣＴ画像と正解画像からなる。それぞれの正解画像は、対応するＣＴ画像と関連付けられており、一つのＣＴ画像と一つの正解画像で一組のデータをなしている。これらのＣＴ画像と正解画像は、第一の生成部１２０と第二の生成部１３０で生成されたＣＴ画像と正解画像である。第二の取得部１５０は、Ｓｎｅｗに加えて、データサーバ２００から教示データＳｉｎｐｕｔを取得し、ＳｉｎｐｕｔとＳｎｅｗを学習部１６０に送信してもよい。

学習部１６０は、第二の取得部１５０から教示データを取得する。そして、学習部１６０は、取得した教示データを用いて注目領域を抽出するための識別器１０３の学習を行う。学習の結果、学習部１６０は、識別器１０３のパラメータを取得する。最後に、学習部１６０は、取得した識別器１０３のパラメータを第二の出力部１７０に送信する。

識別器１０３は、セグメンテーションに利用可能な識別器であれば、どのような識別器であってもよい。識別器１０３の種類に応じて、学習部１６０が実行する学習アルゴリズムは一意に決まる。そのため、学習部１６０は、識別器１０３に対応する学習アルゴリズムを実行する。これらの学習アルゴリズムは公知の技術であり、その処理手順は文献等で開示されている。そのため、ここでは処理手順の詳細については説明を省略する。以下では、ＣＴ画像を２次元の断面画像毎に処理し、注目領域を抽出した結果の画像を２次元の断面画像として出力する、２次元の識別器を構成する場合を例に説明する。

学習アルゴリズムの処理ステップの一つに、損失の計算がある。損失の計算に利用される損失関数は、識別器１０３が、ＣＴ画像中の各画素について、当該画素が注目領域に含まれるか否かを二値で出力する識別器か、当該画素が注目領域に含まれる確からしさ（連続値）を出力する識別器か、に応じて選択される。

識別器１０３が二値を出力する識別器である場合、正解画像には二値画像が用いられる。このとき、学習部１６０は、損失関数としてｂｉｎａｒｙ ｃｒｏｓｓ ｅｎｔｒｏｐｙ等を用いる。今、教示データにＴ組のＣＴ画像Ｉｉと正解画像Ｒｉが格納されているとする。ただし、ｉ＝１，・・・，Ｔである。Ｔ個のＣＴ画像Ｉｉに学習途中の識別器１０３を適用して、注目領域を抽出した結果の画像をＯｉとする。画像ＲｉとＯｉの画像サイズをＭ×Ｎとし、正解画像の画素値をＲｉ（ｘ，ｙ）、抽出画像の画素値をＯｉ（ｘ，ｙ）とする。ただし、１＜＝ｘ＜＝Ｗ、１＜＝ｙ＜＝Ｈである。すると、ｂｉｎａｒｙ ｃｒｏｓｓ ｅｎｔｒｏｐｙは以下のように計算される。

一方、識別器１０３が確からしさを出力する識別器である場合、正解画像には連続値画像が用いられる。このとき、学習部１６０は、損失関数として二乗誤差等を用いる。二乗誤差は、以下のように計算される。

学習部１６０が損失関数（式３）を用いて識別器１０３の学習を行うとき、結果として得られる識別器１０３は、ＣＴ画像中の各画素について、当該画素が注目領域に含まれる確からしさを出力するようになる。

第二の出力部１７０は、学習部１６０から受け取った識別器１０３のパラメータをデータサーバ２００に格納する。

以上で、学習処理実行部１０２の説明を終える。

次に、図７を参照して、学習処理実行部１０２の処理手順を説明する。上述の通り、損失関数の計算方法が異なることを除き、学習処理実行部１０２は公知の学習アルゴリズムと同じ処理を実行する。そこで、以下では、学習処理実行部１０２の処理手順を短く説明する。

（Ｓ２１０）
ステップＳ２１０において、第二の取得部１５０は、データサーバ２００から教示データを取得する。

（Ｓ２２０）
ステップＳ２２０において、学習部１６０は、識別器１０３の種類に応じて決定される学習アルゴリズムを実行する。本ステップで実行される処理の詳細については、学習部１６０の説明で述べたとおりである。

（Ｓ２３０）
ステップＳ２３０において、第二の出力部１７０は、ステップＳ２２０で得られた識別器１０３のパラメータをデータサーバ２００に格納する。

以上の手順に従い、学習処理実行部１０２は、識別器１０３の学習を行う。

第一の実施形態に係る画像処理装置１００は、識別器１０３に処理させるＣＴ画像のスライス厚とスライス間隔を考慮した正解画像を効率よく生成することが出来る。そして、その取得結果に基づいて識別器１０３を学習させる。結果として得られる識別器１０３は、当該スライス厚とスライス間隔を有するＣＴ画像から、注目領域を高い精度で抽出することができるようになる。

なお、上記の説明では、識別器１０３が処理の対象とするＣＴ画像のスライス厚が固定値である場合を例として、その学習に用いる教示データとしてＳｎｅｗを生成する場合を例として説明したが、それ以外の実施形態でもよい。

たとえば、領域抽出を行いたいＣＴ画像のスライス厚が複数（たとえば、１ｍｍ、２ｍｍ、３ｍｍ、５ｍｍ）ある場合に、それぞれのスライス厚に対して個々に上記の処理を行ってもよい。言い換えると、スライス厚毎に、新たな正解画像の生成および識別器の学習を行ってもよい。この場合、教示データ生成部１０１は、想定されるスライス厚ごとに、新たな教示データＳｎｅｗを生成する。また、学習処理実行部１０２は、それぞれのスラ
イス厚に対応する識別器１０３を、それぞれ、対応するスライス厚の教示データＳｎｅｗを用いて学習して生成する。このとき、学習した識別器１０３を用いて未知のＣＴ画像の領域抽出を行う際には、処理を行うＣＴ画像のスライス厚に基づいて当該スライス厚の識別器１０３を選択し、当該識別器を用いて領域抽出処理を行えばよい。また、スライス厚だけでなく、スライス間隔も複数設定してもよい。例えば、想定されるスライス厚およびスライス間隔の複数の組のそれぞれについて、対応するスライス厚およびスライス間隔の教示データを生成して、識別器１０３の学習に用いてもよい。

また、想定されるスライス厚Ｔをいくつかのグループにグループ分けして（たとえば、Ｔ≦１ｍｍ、１ｍｍ＜Ｔ≦２ｍｍ、２ｍｍ＜Ｔ≦３ｍｍ、３ｍｍ＜Ｔ≦５ｍｍ、５ｍｍ＜Ｔ）、それぞれのグループに対応する識別器１０３を生成するようにしてもよい。この場合、教示データ生成部１０１は、想定されるスライス厚のグループごとに、当該グループの範囲に含まれる様々なスライス厚をＴｔａｒｇｅｔとして設定しながら、新たな教示データＳｎｅｗを生成する。また、学習処理実行部１０２は、それぞれのグループに対応する識別器１０３を、それぞれ、対応するグループの教示データＳｎｅｗを用いて学習して生成する。このとき、学習した識別器１０３を用いて未知のＣＴ画像の領域抽出を行う際には、処理を行うＣＴ画像のスライス厚に基づいて当該スライス厚が含まれるグループの識別器１０３を選択し、当該識別器を用いて領域抽出処理を行えばよい。また、グループ分けは必ずしも必要ではなく、すべてのスライス厚を一つのグループとして同様の処理を行ってもよい。上記のいずれの方法によっても、様々なスライス厚のＣＴ画像に対して注目領域を高い精度で抽出することができる。

上記の説明では、処理対象の画像はＸ線ＣＴ装置で撮像したＣＴ画像を例にとって説明しているが、処理対象の画像は、ＭＲＩ断層画像、ＰＥＴ断層画像、超音波断層画像等の任意の断層画像であってもよい。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００：画像処理装置
１１０：第一の取得部
１２０：第一の生成部
１３０：第二の生成部

Claims (16)

1. 被写体を撮影して得られた複数の第一の断層画像と、前記複数の第一の断層画像のそれぞれに対して注目領域を示す正解画像である複数の第二の断層画像とを取得する第一の取得部と、
   前記複数の第一の断層画像のうち、所定の厚さの範囲内に含まれる前記第一の断層画像を用いて、前記被写体を表す第三の断層画像を生成する第一の生成部と、
   前記複数の第二の断層画像のうち、前記所定の厚さの範囲内に含まれる前記第二の断層画像を用いて、前記第三の断層画像中の注目領域を示す正解画像である第四の断層画像を生成する第二の生成部と、
   前記第三の断層画像と前記第四の断層画像を用いて、前記注目領域を抽出するための識別器の学習を行う学習部と、
   を備える、画像処理装置。
2. 前記第一の生成部は、前記所定の厚さの範囲に含まれる前記第一の断層画像を平均化して前記第三の断層画像を生成する、
   請求項１に記載の画像処理装置。
3. 前記第二の生成部は、前記第四の断層画像の各座標の画素値を、前記所定の厚さの範囲に含まれる前記第二の断層画像の当該座標の画素値の代表値として決定する、
   請求項１または２に記載の画像処理装置。
4. 前記第二の生成部は、前記所定の厚さの範囲に含まれる前記第二の断層画像を平均化することにより、あるいは、平均化した後に閾値処理を施すことにより、前記第四の断層画像を生成する、
   請求項３に記載の画像処理装置。
5. 前記第二の生成部が行う前記平均化は、前記所定の厚さ範囲の中心に近い前記第二の断層画像の重みを相対的に大きく設定した加重平均である、
   請求項４に記載の画像処理装置。
6. 前記第二の生成部は、前記第三の断層画像中のそれぞれの画素が、当該画素が前記注目領域に含まれるか含まれないかを示す二つの画素値のいずれかをとる前記第四の断層画像を生成し、
   前記学習部は、前記識別器が、前記第三の断層画像中のそれぞれの画素について、当該画素が前記注目領域に含まれるか含まれないかを示す二つの画素値のいずれかを出力するように学習を行う、
   請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記第二の生成部は、前記第三の断層画像中のそれぞれの画素が、当該画素が前記注目領域に含まれる確からしさを表す値をとる前記第四の断層画像を生成し、
   前記学習部は、前記識別器が、前記第三の断層画像中のそれぞれの画素について、当該画素が前記注目領域に含まれる確からしさを表す値を出力するように学習を行う、
   請求項１から５のいずれか１項に記載の画像処理装置。
8. 前記第一の取得部は、前記第一の断層画像および前記第二の断層画像の第一のスライス間隔および第一のスライス厚と、前記第三の断層画像および前記第四の断層画像の第二のスライス間隔および第二のスライス厚とを取得し、
   前記所定の厚さの範囲は、前記第二のスライス間隔および前記第二のスライス厚に基づいて求められ、
   前記所定の厚さの範囲内に含まれる前記第一の断層画像および前記第二の断層画像は、前記第一のスライス間隔および前記第一のスライス厚に基づいて求められる、
   請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記第一の取得部は、前記識別器に入力される画像の種類を取得し、前記識別器に入力される画像の種類に基づいて、前記第二のスライス間隔および前記第二のスライス厚を決定する、
   請求項８に記載の画像処理装置。
10. 前記第一の取得部は、前記第二のスライス間隔と前記第二のスライス厚の複数の組を取得し、
    前記第一の生成部は、前記第二のスライス間隔と前記第二のスライス厚の組ごとに、前記第三の断層画像を生成し、
    前記第二の生成部は、前記第二のスライス間隔と前記第二のスライス厚の組ごとに、前記第四の断層画像を生成する、
    請求項８または９に記載の画像処理装置。
11. 前記学習部は、前記第二のスライス間隔と前記第二のスライス厚の組ごとに、識別器を学習する、
    請求項１０に記載の画像処理装置。
12. 前記第一の生成部は、前記第一の断層画像を用いて、第一のスライス厚に対応する第三の断層画像および第二のスライス厚に対応する第三の断層画像を生成し、
    前記第二の生成部は、前記第二の断層画像を用いて、前記第一のスライス厚に対応する第四の断層画像および前記第二のスライス厚に対応する第四の断層画像を生成し、
    前記学習部は、
    前記第一のスライス厚に対応する前記第三の断層画像および前記第一のスライス厚に対応する前記第四の断層画像を含み構成される第１の教示データと、
    前記第二のスライス厚に対応する前記第三の断層画像および前記第二のスライス厚に対
    応する前記第四の断層画像を含み構成される第２の教示データと、を用いて、
    前記第一のスライス厚を有する処理対象画像と、前記第二のスライス厚を有する処理対象画像と、に対して注目領域を抽出する推論を行う識別器の学習を行う、
    ことを特徴とする請求項１に記載の画像処理装置。
13. 前記第一の断層画像は、ＣＴ画像、ＭＲＩ断層画像、ＰＥＴ断層画像、超音波断層画像のいずれかを構成する断層画像である、
    請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記第一の取得部は、データサーバから前記第一の断層画像および前記第二の断層画像を取得し、
    前記第一の生成部および前記第二の生成部は、前記第三の断層画像および前記第四の断層画像を前記データサーバに出力する、
    請求項１から１３のいずれか１項に記載の画像処理装置。
15. コンピュータが行う画像処理方法であって、
    被写体を撮影して得られた複数の第一の断層画像と、前記複数の第一の断層画像のそれぞれに対して注目領域を示す正解画像である複数の第二の断層画像とを取得する第一の取得ステップと、
    前記複数の第一の断層画像のうち、所定の厚さの範囲内に含まれる前記第一の断層画像を用いて、前記被写体を表す第三の断層画像を生成する第一の生成ステップと、
    前記複数の第二の断層画像のうち、前記所定の厚さの範囲内に含まれる前記第二の断層画像を用いて、前記第三の断層画像中の注目領域を示す正解画像である第四の断層画像を生成する第二の生成ステップと、
    前記第三の断層画像と前記第四の断層画像とを含み構成される教示データを用いて、前記注目領域を抽出するための識別器の学習を行う学習ステップと、
    を含む、画像処理方法。
16. 請求項１５に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。

Images