JP6632361B2 - 画像処理装置、画像処理システム、画像処理方法、及びプログラム。 - Google Patents

Description

本発明は、画像処理装置、画像処理システム、画像処理方法、及びプログラムに関する。

医用画像を用いた画像診断において、撮像装置や、撮像された時期や、撮像パラメータや、被検体の***が異なる複数の画像を比較することがある。病変部をより正確に比較するため、異なる画像間の位置合わせを行うことがある。一般的に、画像間の位置合わせは誤差を含む。特許文献１には、一方の画像上で注目した点の、他方の画像上における対応点の推定位置に、位置合わせ誤差の範囲を付加した領域を表示することが開示されている。

特開２０１３−１６５９３６号公報

しかし、特許文献１に記載の誤差の推定方法は、対応点の位置における局所的な位置合わせ誤差は分かるものの、注目する断面内における位置合わせ誤差の全体的な傾向が分かりづらいという課題があった。

本発明にかかる画像処理装置は、一つの態様として、被検体の第一の三次元画像を変形させて前記第一の三次元画像とは異なる第二の三次元画像に位置合わせした第三の三次元画像を得るための位置合わせにおける誤差の推定値を、前記第二の三次元画像あるいは前記第三の三次元画像を注目画像として、前記注目画像の複数の位置について取得する推定値取得手段と、前記注目画像における注目断面を指定する指定手段と、前記指定手段により指定された前記注目断面における前記位置合わせの誤差の統計値を、前記注目断面の複数の位置について前記推定値取得手段により取得された前記推定値に基づいて取得する統計値取得手段と、前記統計値取得手段により取得された前記統計値を表示させる表示制御手段と、を有することを特徴とする。

本発明によれば、注目する断面における位置合わせ誤差の全体的な傾向を、誤差推定値の統計値に基づいてユーザは容易に把握することができる。

第一の実施形態に係る画像処理装置の機能構成の一例を示す図である。 第一の実施形態に係る画像処理装置による処理の一例を示すフローチャートである。 第一の実施形態に係る画像処理装置により表示される画面の一例を示す図である。 第一の実施形態に係る画像処理装置により表示される画面の一例を示す図である。 第一の実施形態に係る画像処理装置により表示される画面の一例を示す図である。 第二の実施形態に係る画像処理装置の機能構成の一例を示す図である。 第二の実施形態に係る画像処理装置による処理の一例を示すフローチャートである。 第三の実施形態に係る画像処理装置の機能構成の一例を示す図である。 第三の実施形態に係る画像処理装置による処理の一例を示すフローチャートである。 第三の実施形態に係る画像処理装置により表示される画面の一例を示す図である。 本発明の実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。

［第一の実施形態］
第一の実施形態においては、被検体を撮像した第一の三次元画像を、第二の三次元画像に位置や形状が合うように変形させる、変形位置合わせを行う。そして、変形位置合わせにより得られる変形画像である第三の三次元画像における誤差の推定値と統計値を取得する例について説明する。なお、第一の実施形態においては第一の三次元画像が予め第二の三次元画像に変形位置合わせされている場合について説明する。すなわち、第一の実施形態においては、第一の三次元画像と第二の三次元画像の間の変形情報（以下、変形パラメータと称する。）が予め取得されていることとする。さらに、第一の実施形態においては、第一の三次元画像と第二の三次元画像との間の位置合わせの誤差に関する情報として、第三の三次元画像上の各ボクセル位置における位置合わせ誤差の推定値を示す誤差画像が予め生成されていることとする。誤差画像とは、各ボクセル値が、その位置における位置合わせ誤差の推定値を示す三次元画像である。

図１は、第一の実施形態に係る画像処理装置の機能構成の一例を示す図である。第一の実施形態に係る画像処理装置は、図１に示す画像処理装置１０である。情報システム１は、画像処理装置１０と、データサーバ１５０と、ディスプレイ１５２とを有する。

データサーバ１５０は、被検体の第一の三次元画像と第二の三次元画像を保持している。また、第一の三次元画像と第二の三次元画像の間の変形パラメータを保持している。また、第二の三次元画像に位置や形状が合うように第一の三次元画像を変形させた第三の三次元画像（以下、変形画像と称する。）を保持している。また、変形画像の誤差画像を保持している。なお、それぞれの三次元画像は、付帯情報として、画像のサイズ、解像度、当該三次元画像の撮像に用いられた撮像装置（以下、モダリティと称する。）の種類、撮像情報、症例情報、（画像間の対応情報等を含む。撮像情報とは、たとえば当該三次元画像の撮像パラメータ、撮像部位、***などを示す情報である。症例情報とは、たとえば患者情報、検査情報、診断情報、臓器領域情報、関心領域情報である。これらの付帯情報は、必要に応じて、画像と共に画像処理装置１０へと送信される。

ディスプレイ１５２は、表示部の一例である。ディスプレイ１５２は、たとえば液晶ディスプレイである。ディスプレイ１５２は画像処理装置１０の表示制御部１１４により制御された画面を表示する。

画像処理装置１０は、三次元画像取得部１０２と、領域情報取得部１０４と、誤差推定部１０６と、断面指定部１０８と、断面画像生成部１１０と、統計値取得部１１２と、表示制御部１１４と、出力部１１６とを有する。

三次元画像取得部１０２は、被検体の第二の三次元画像と変形画像とを、データサーバ１５０から取得する。

領域情報取得部１０４は、第二の三次元画像中の関心領域に関する情報を取得する。第一の実施形態では、関心領域に関する情報として、被検体の表面より内側の体内領域を表すラベル画像を取得するものとする。また、ユーザからの指示があった場合には、直方体や球形などの任意の領域を関心領域として設定する。

誤差推定部１０６は、第一の三次元画像と第二の三次元画像との間の位置合わせの誤差に関する情報として、変形画像上の各ボクセル位置における位置合わせ誤差の推定値の分布を示す誤差画像を、データサーバ１５０から取得する。なお、誤差画像は、公知のいずれの手法で生成したものであってもよい。例えば、第一の三次元画像と第二の三次元画像の間に多数の真の対応点を与え、変形後の対応点間の誤差（残差）を補間することによって生成できる。また、両画像間の対応点に基づいて変形情報を取得している場合には、最も近い対応点からの距離に応じた（例えば、距離に比例した）推定誤差を各ボクセル位置に設定する手法を用いることができる。また、異なる２つの位置合わせ手法の間における各ボクセル位置での変位の差異に基づいて、解の曖昧性から誤差を推定する手法を用いることができる。異なる２つの位置合わせ手法としては、例えば、ＦＦＤ（Ｆｒｅｅ−Ｆｏｒｍ ＤｅｆｏｒｍａｔｉｏｎおよびＴＰＳ（Ｔｈｉｎ−Ｐｌａｔｅ Ｓｐｌｉｎｅ）を用いることができる。

断面指定部１０８は、ユーザによる操作の入力情報に基づいて、三次元画像を切断する断面を指定する。断面指定部１０８は特に、変形画像の断面を指定する。ユーザは、図１１に示す操作部１１０９を用いてこれらの操作入力を行うことができる。

断面画像生成部１１０は、指定された断面における第二の三次元画像と変形画像のそれぞれの断面画像を生成する。なお、第一の実施形態においては、断面が所定の厚み（以下、スラブ厚と称する）を有するものとする。

統計値取得部１１２は、取得された位置合わせ誤差に関する情報に基づいて、変形画像に対して指定された断面における全体的な誤差の傾向を示す情報を取得する。位置合わせ誤差に関する情報とは、ここでは誤差の推定値である。また、指定された断面における全体的な誤差の傾向を示す情報とは、当該断面における誤差推定値の統計値である。

表示制御部１１４は、第二の三次元画像と変形画像のそれぞれの断面画像をディスプレイ１５２に表示する制御を行う。また、取得された誤差統計値を断面画像に関連付けてディスプレイ１５２に表示する制御を行う。その他、ユーザに情報を報知するための画面をディスプレイ１５２に表示する制御を行う。

出力部１１６は、断面画像生成部１１０により生成された断面画像や、統計値取得部１１２により取得された誤差の統計値をデータサーバ１５０に出力する。その際、当該断面画像と統計値とを対応付けてデータサーバ１５０に保存可能となるように、統計値を出力してもよい。また、出力部１１６による画像ならびに統計値の出力は、ユーザの操作入力に基づいて行うようにしてもよいし、自動的に出力するようにしてもよい。

図１１は、画像処理装置１０のハードウェア構成の一例を示す図である。画像処理装置１０は、ＣＰＵ１１０１と、ＲＯＭ１１０２と、ＲＡＭ１１０３と、ＨＤＤ１１０４と、ＵＳＢ１１０５と、通信回路１１０６と、ＧＰＵボード１１０７と、ＨＤＭＩ（登録商標）１１０８とを有する。これらは内部バスにより通信可能に接続されている。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０１は画像処理装置１０及びこれに接続する各部を統合的に制御する制御回路である。ＣＰＵ１１０１はＲＯＭ１１０２に格納されているプログラムを実行することにより制御を実施する。またＣＰＵ１１０１は、ディスプレイ１５２を制御するためのソフトウェアであるディスプレイドライバを実行し、ディスプレイ１５２に対する表示制御を行う。さらにＣＰＵ１１０１は、操作部１１０９に対する入出力制御を行う。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１０２は、ＣＰＵ１１０１による制御の手順を記憶させたプログラムやデータを格納する。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１０３は、画像処理装置１０を及びこれに接続する各部における処理を実行するためのプログラムや、画像処理で用いる各種パラメータを記憶するためのメモリである。ＲＡＭ１１０３は、ＣＰＵ１１０１が実行する制御プログラムを格納し、ＣＰＵ１１０１が各種制御を実行する際の様々なデータを一時的に格納する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１１０４は、Ｘ線画像データなど各種データを保存する補助記憶装置である。

ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）１１０５は操作部１１０９と接続している。

通信回路１１０６は情報システム１を構成する各部との通信を行うための回路である。通信回路１１０６は、所望の通信形態にあわせて、複数の構成により実現されていてもよい。

ＧＰＵボード１１０７は、ＧＰＵ、及びビデオメモリを含む汎用グラフィックスボードである。ＧＰＵボード１１０７を有することにより、専用ハードウェアを必要とせずに高速に画像処理の演算や画像表示を行うことが可能となる。第一の実施形態においては、変形画像および誤差画像をデータサーバ１５０から取得する構成となっているので、画像処理装置１０はＧＰＵボード１１０７を有していなくてもよい。

ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）１１０８は、ディスプレイ１５２と接続している。

図２は、画像処理装置１０が実施する処理の一例を示すフローチャートである。図２に示す処理により、画像処理装置１０は、変形画像の指定された断面における誤差の統計値を取得し、表示させる。以下、詳述する。

ステップＳ２００において、三次元画像取得部１０２は、被検体の第二の三次元画像と変形画像をデータサーバ１５０から取得する。そして、取得した画像を、断面画像生成部１１０に送信する。ここでは、第三の三次元画像である変形画像が注目画像である。

ステップＳ２１０において、領域情報取得部１０４は、第二の三次元画像中の関心領域に関する情報として、被検体の表面より内側の体内領域を表すラベル画像（三次元画像）を取得する。これにより、注目画像に含まれる領域が関心領域として特定される。この観点では、領域情報取得部１０４は特定手段の一例として機能する。そして、取得した情報を統計値取得部１１２に送信する。この処理は、三次元画像から被検体の体内領域を抽出する二値化等の公知の画像処理手法によって行う。なお、変形画像における被検体の体内領域の情報をデータサーバ１５０が予め保持している場合には、該情報をデータサーバ１５０から取得する構成でもよい。なお、診断の対象が三次元画像中の一部の部位臓器に限定できる場合には、当該臓器を公知の手法によって三次元画像から抽出した臓器領域を関心領域として設定してもよい。なお、関心領域の取得は、変形画像に対する画像処理によって行ってもよい。

ステップＳ２２０において、誤差推定部１０６は、第一の三次元画像と第二の三次元画像との間の位置合わせ誤差に関する情報として、データサーバ１５０から誤差画像を取得する。この観点では、誤差推定部１０６は推定値取得手段の一例として機能する。そして、取得した誤差画像を統計値取得部１１２に送信する。

ステップＳ２３０において、断面指定部１０８は、ステップＳ２００で取得した三次元画像を切断する断面を、ユーザによる操作部１１０９を介した操作入力に基づいて指定する。この観点では、断面指定部１０８は指定手段の一例として機能する。そして、断面指定部１０８は指定した断面の情報を、断面画像生成部１１０および統計値取得部１１２に送信する。

例えば、初期状態では三次元画像の中心を通るアキシャル断面を設定し、ユーザによる所定のキーの押下に応じて、アキシャル断面の位置を断面の法線方向に所定の距離だけ移動させる。例えば「ｆ」キーの押下に応じて断面の位置を断面の法線方向に１ｍｍ移動させて、「ｂ」キーの押下に応じて断面の位置を「ｆ」キーの押下時とは逆の方向に１ｍｍ移動させる。また、ユーザによる所定のキーの押下に応じて、断面のスラブ厚を設定する。例えば「Ｄ」キーの押下に応じて断面の厚みを１ｍｍ増加させて、「ｄ」キーの押下に応じて断面の厚みを１ｍｍ減少させる。なお、厚みは０ｍｍに設定することもできる。なお、後述するステップＳ２６０の処理で複数の三次元画像を表示する場合には、断面の設定はそれぞれの三次元画像に独立して行ってもよいし、連動させることにより共通の断面を設定してもよい。ただし、断面画像同士の重畳表示を行う場合には、双方に共通の断面を設定することが望ましい。

ステップＳ２４０において、断面画像生成部１１０は、ステップＳ２００で取得した第二の三次元画像および変形画像のそれぞれから、ステップＳ２３０で指定した断面を切り出した二次元画像である、それぞれの断面画像を生成する。この観点では、断面画像生成部１１０は生成手段の一例として機能する。また、注目画像である第二の三次元画像や変形画像について、ステップＳ２３０で指定された断面を注目断面とする。すなわち、断面画像生成部１１０は注目断面の二次元画像を生成する。ステップＳ２３０で設定した厚みが０ｍｍより大きい場合には、ステップＳ２３０で設定した断面に対して、以下の処理を行う。すなわち、ステップＳ２３０で設定した厚みの範囲内（スラブ内）における、三次元画像のボクセル値の代表値を投影した投影画像を断面画像として生成する。代表値とは、たとえば輝度値の最大値や最小値である。すなわち、断面画像生成部１１０は、注目画像における所定の厚みの範囲内での代表値を投影した投影画像を生成する。三次元画像のボクセル値の最大値を投影した画像とは、たとえばＭａｘｉｍｕｍ Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ（ＭＩＰ）画像、スラブＭＩＰ画像である。三次元画像のボクセル値の最小値を投影した画像とは、たとえばＭｉｎｉｍｕｍ Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ（ＭｉｎＩＰ）画像、スラブＭｉｎＩＰ画像である。そして、断面画像生成部１１０は生成した断面画像を表示制御部１１４に送信する。

ステップＳ２５０において、統計値取得部１１２は、変形画像に対して設定した断面と関心領域との交差領域に関して、ステップＳ２２０で取得した位置合わせ誤差推定値の統計値（以下、誤差統計値と称する。）を取得する。そして、取得した情報を表示制御部１１４に送信する。

具体的には、まず、変形画像に対してステップＳ２３０で設定した断面と、ステップＳ２１０で取得した関心領域を表すラベル画像との重なる領域すなわち交差領域を取得する。ただし、後述するステップＳ２７０の処理により関心領域が変更されている場合は、当該関心領域と断面との交差領域を取得する。そして、交差領域内のボクセル数Ｎを求める。次に、誤差画像の交差領域内における各ボクセルのボクセル値、すなわち誤差推定値を取得し、それらの総和Ｔを取得する。そして、ＴをＮで除算することにより、関心領域内の誤差推定値の平均値を取得する。同様に、誤差推定値の標準偏差、最大値、および中央値などの誤差統計値を、公知の手法を用いて取得する。なお、関心領域が表示断面に含まれていない場合、すなわち、交差領域が存在しない場合には、誤差統計値の取得は行わない。

ここで、交差領域内の全てのボクセルにおける誤差推定値の統計値を取得する代わりに、ステップＳ２４０で生成した投影画像の元となったボクセル位置における誤差推定値のみに基づいて、誤差推定値の統計値を取得してもよい。これにより、投影画像として表示されている部位の誤差推定値により近い統計値を得ることができる。

ステップＳ２６０において、表示制御部１１４は、ステップＳ２５０で取得された誤差統計値をディスプレイ１５２に表示する制御を行う。第一の実施形態においては、さらにステップＳ２４０で生成した断面画像に関連付けて表示部の一例であるディスプレイ１５２に表示する制御を行う。この観点では、表示制御部１１４は表示制御手段の一例として機能する。断面画像に関連付けて誤差統計値を表示する方法としては、たとえば変形画像の断面画像に重畳して当該断面画像における誤差統計値を表示部の一例であるディスプレイ１５２に表示させる。なお、ステップＳ２５０で誤差統計値が取得されなかった場合には、誤差統計値の表示は行わない。

ステップＳ２６０において、表示制御部１１４は第二の三次元画像の断面画像と変形画像の断面画像とを重畳して表示するように制御してもよいし、並列して表示するように制御してもよい。また、不図示のＧＵＩを介したユーザからの指示を取得して、重畳表示・並列表示・何れかの断面画像のみの表示を変更できるようにしてもよい。このとき、誤差推定値の統計値の表示は、重畳表示や並列表示の場合にのみ行うようにしてもよい。あるいは、変形画像の断面画像を表示する場合にのみ行うようにしてもよい。

図３に、ディスプレイ１５２に表示される被検体の変形画像の断面画像３０１と、断面画像に関連付けられた誤差統計値３０２と、関心領域３０３の例を示す。図３は、被検体が***である場合を示している。図３は、誤差推定値の統計値として、最大値、中央値、平均値、標準偏差を表示する場合を例示しているが、これに限らず、例えば最小値といった他の誤差統計値を取得して併せて表示してもよい。あるいは、これらの複数の誤差統計値の内の少なくとも一つの誤差統計値を選択的に表示してもよい。また、誤差統計値として、誤差推定値のヒストグラムをグラフの形態で表示してもよい。

ステップＳ２７０において、領域情報取得部１０４は、ユーザによる領域指定の指示が行われた場合に、当該領域を新たな関心領域として設定する処理を行う。これにより、関心領域が更新される。そして、領域情報取得部１０４は取得した情報を統計値取得部１１２に送信する。

このとき、関心領域に関する情報は、第二の三次元画像または変形画像の空間中に、例えば、表示中の断面画像に対する操作部１１０９を介した操作入力に基づいて、直方体や球形の領域によって設定することができる。例えば、球の中心座標と半径を表示断面上で指定する不図示のＧＵＩによって実現できる。図４に、関心領域を立方体で設定した場合の表示例を示す。図４において、４０４は設定断面と関心領域の交差領域を示しており、４０２は関心領域内の誤差統計値を示している。なお、関心領域の設定は、現在の表示断面内の領域（例えば、スラブと同じ厚みを持った円形や矩形）として行ってもよい。また、関心領域に関する情報は、点や線によって設定してもよい。

本ステップの処理により、ユーザによる指示の前後で、ステップＳ２１０で取得する体内領域や臓器領域のような解剖学的な構造に基づく関心領域と、本ステップで取得するユーザによる入力情報に基づく関心領域とを切り替えることができる。ここで、ユーザからの更なる指示があった場合には、解剖学的な構造に基づく領域に関心領域を再設定する、すなわち戻す処理を行うこともできる。

なお、ステップＳ２１０で得た領域と本ステップで得た領域の両方を関心領域として並列して設定してもよい。その場合、図５に示すように、それぞれの関心領域内における誤差統計値を両方とも表示することが望ましい。さらに、ユーザによる入力情報に基づく複数の関心領域を設定して、それぞれの関心領域における誤差統計値を表示するようにしてもよい。この場合、現在の表示断面に含まれている関心領域に関する誤差統計値のみを表示することが望ましい。

ステップＳ２８０において、画像処理装置１０は、全体の処理を終了するか否かの判定を行う。例えば、ディスプレイ１５２上に配置された終了ボタンを操作者が不図示のマウスでクリックするなどして、終了の判定を入力する。終了すると判定した場合には、画像処理装置１０の処理の全体を終了させる。一方、終了すると判定しなかった場合には、ステップＳ２３０へと処理を戻し、ステップＳ２３０からステップＳ２７０までの処理を再度実行する。

ステップＳ２８０において、出力部１１６は、全体の処理を終了する指示があった際に誤差統計値を注目画像に対応付けて、データサーバ１５０といった外部装置に出力してもよい。たとえば出力部１１６は、ステップＳ２５０で取得した誤差統計値や、ステップＳ２７０で更新された関心領域の情報を、データサーバ１５０に出力してもよい。その場合、データサーバ１５０において誤差統計値と変形画像といった注目画像が対応付けられて保存される。

以上説明したように、第一の実施形態によれば、指定された断面画像における位置合わせ誤差統計値をユーザに提示することができる。また、断面画像と併せて誤差統計値が表示させることにより、ユーザは、表示された断面画像がどの程度ずれているのかを、容易に把握することができる。

［変形例］
第一の実施形態においては、変形画像の各ボクセル位置における位置合わせ誤差の推定値を誤差画像として保持する場合を例に説明したが、これに限らず、第二の三次元画像の各ボクセル位置における位置合わせ誤差の推定値を誤差画像として保持してもよい。この場合、ステップＳ２５０において、統計値取得部１１２は、第二の三次元画像に対して設定した断面と関心領域との交差領域に関して誤差推定値の統計値を取得する処理を行う。そして、ステップＳ２６０において、表示制御部１１４は、第二の三次元画像の断面画像に重畳して誤差統計値を表示させる。この観点では、第二の三次元画像も注目画像となる。

また、第一の実施形態においては、三次元画像中の関心領域に関する誤差統計値を表示する場合を例に説明したが、これに限らず、関心領域を考慮せずに断面画像の全範囲における誤差統計値を取得して提示してもよい。また、データサーバ１５０が関心領域に関する情報を保持しているか否かに応じて、表示断面と関心領域との交差領域内の誤差統計値を表示するか、表示断面の全範囲の誤差統計値を表示するかを切り替えてもよい。何れの場合であっても、ユーザによる関心領域の設定があった場合には、表示断面と関心領域との交差領域内の誤差統計値を表示するようにできる。また、解剖学的な構造に基づく関心領域の設定のみを可能とする構成であってもよいし、ユーザによる関心領域の設定のみを可能とする構成であってもよい。全体の誤差の傾向と、ユーザが設定した関心領域における誤差の傾向とを比較したい場合には、両方の誤差統計値を表示させることができる。関心領域が設定されている場合には、関心領域の誤差統計値のみを表示することとしてもよい。

さらに、表示制御部１１４は変形位置合わせに用いられた対応点と、誤差統計値とを併せて表示する制御を行ってもよい。変形画像において、誤差が小さいと考えられる対応点と、全体の誤差の傾向とを併せて表示することにより、ユーザはより的確に、当該変形画像の誤差の傾向を把握することができる。

第一の実施形態においては、ステップＳ２８０において関心領域や誤差統計値の情報をデータサーバ１５０といった外部装置に出力する例を示した。断面画像といった二次元画像が生成された際に当該二次元画像を外部装置に出力部１１６は出力することとしてもよい。また、誤差統計値が取得された際に当該誤差統計値を外部装置に出力部１１６は出力することとしてもよい。その際に、第一の三次元画像、第二の三次元画像、第三の三次元画像のそれぞれを一意に識別する情報を付帯させて出力することにより、外部装置に置いてそれぞれを関連付けて保存できるようにしてもよい。

第一の実施形態においては、第一の三次元画像を第二の三次元画像に一致させるように変形することにより得られた第三の三次元画像を注目画像とした。本発明はこれに限らず、第一の三次元画像と、第二の三次元画像をそれぞれ変形することにより、位置合わせされた第三の三次元画像と、第四の三次元画像の位置合わせ誤差を誤差画像として取得してもよい。この観点では、第三の三次元画像と第四の三次元画像が注目画像となる。

第一の実施形態においては、第一の三次元画像や第二の三次元画像は撮像装置により取得された画像である場合について説明した。これに限らず、撮像装置により取得された画像を加工することにより得られる加工画像を位置合わせすることにより得られる画像を用いても良い。加工画像とは、たとえば三次元画像の座標空間を変換して得られる画像である。

［第二の実施形態］
第二の実施形態に係る画像表示装置は、被検体を撮像した第一の三次元画像と第二の三次元画像の変形位置合わせ処理を行う。すなわち、第一の三次元画像と第二の三次元画像の間の変形パラメータを取得して、第一の三次元画像を第二の三次元画像に位置や形状が合うように変形させた変形画像（第三の三次元画像）を生成する。そして、第二の三次元画像と第三の三次元画像の断面画像を比較可能なように表示する。その際に、第二の実施形態に係る画像表示装置は、表示断面における位置合わせ誤差の推定値の統計値すなわち誤差統計値を取得して、断面画像と関連付けて表示する。ユーザによる対応情報の入力に基づいて位置合わせを対話的に行う構成であるため、位置合わせ誤差の推定値やその統計値の取得も動的に実行される。以下、第二の実施形態に係る画像表示装置について、第一の実施形態とは異なる部分についてのみ説明する。第一の実施形態及び第一の実施形態の変形例における説明と同様の部分については、上述した説明を援用することにより詳しい説明を省略する。

図６は、第二の実施形態に係る情報システム６の構成を示す。第二の実施形態における情報システム６は、画像処理装置６０と、データサーバ１５０と、ディスプレイ１５２とを有している。なお、図１と同じ部分については同じ番号、記号を付し、説明を省略する。

データサーバ６５０は、被検体の第一の三次元画像と第二の三次元画像を保持している。また、これらの三次元画像の付帯情報として、第一の三次元画像と第二の三次元画像との間の対応点の情報を保持している。なお、データサーバ６５０は、第一の実施形態とは異なり、第一の三次元画像と第二の三次元画像の変形パラメータ、第一の三次元画像の変形画像、および誤差画像を保持していない。

画像処理装置６０は、三次元画像取得部６０２と、領域情報取得部６０４と、対応情報取得部６０５と、誤差情報取得部６０６と、変形画像生成部６０７と、断面指定部１０８と、断面画像生成部１１０と、統計値取得部１１２と、表示制御部１１４とを有する。

三次元画像取得部６０２は、被検体の第一の三次元画像と第二の三次元画像とを、データサーバ６５０から取得する。

領域情報取得部６０４は、第一の実施形態における領域情報取得部１０４と同様に、第二の三次元画像中の関心領域に関する情報を取得する。また、ユーザからの指示があった場合には、矩形や球形などの任意の領域を関心領域として設定する。なお、領域情報取得部６０４は、第一の実施形態における領域情報取得部１０４と異なる処理として、第一の三次元画像における関心領域を取得することもできる。この場合、第一の三次元画像の変形画像を生成する処理を行う際に、関心領域に対しても同様の変形処理を施して変形関心領域を取得する処理を実行する。

対応情報取得部６０５は、第一の三次元画像と第二の三次元画像との間の対応点の情報をデータサーバ１５０が保持している場合には、当該情報をデータサーバ１５０から取得する。また、ユーザによる入力に基づいて、第一の三次元画像と第二の三次元画像との間の対応点の更新情報、すなわち追加・変更・削除に関する情報を取得する。

誤差情報取得部６０６は、現時点で取得されている対応点の情報に基づいて、変形画像上の各ボクセル位置における位置合わせ誤差の分布を示す誤差画像を取得する。

変形画像生成部６０７は、現時点で取得されている対応点の情報に基づいて、第一の三次元画像と第二の三次元画像との間の変形パラメータを推定する。そして、該変形情報に基づいて、第二の三次元画像に位置や形状が合うように第一の三次元画像を変形させた変形画像を生成する。

図７は、画像処理装置６０が実施する処理の一例を示すフローチャートである。画像処理装置６０は、第一の三次元画像と第二の三次元画像から、変形位置合わせ処理により第三の三次元画像を取得する。そして画像処理装置６０は、第三の三次元画像の断面を指定し、指定された断面における誤差統計値を取得する。ここで、ステップＳ７３０からＳ７７０の処理は、第一の実施形態におけるステップＳ２３０からＳ２７０の処理と同様であるので、説明を省略する。

ステップＳ７００において、三次元画像取得部６０２は、被検体の第一の三次元画像および第二の三次元画像を、データサーバ１５０から取得する。そして、取得した画像を、変形画像生成部６０７および断面画像生成部１１０に送信する。

ステップＳ７１０において、領域情報取得部６０４は、第一の三次元画像または第二の三次元画像上における関心領域を表すラベル画像（三次元画像）を取得する。そして、関心領域が第二の三次元画像上で定義されている場合には、取得した情報を統計値取得部１１２に送信する。一方、関心領域が第一の三次元画像上で定義されている場合には、取得した情報を変形画像生成部６０７に送信する。

ステップＳ７１３において、対応情報取得部６０５は、ステップＳ７００で取得した２つの三次元画像に関する画像間の対応点の情報を、データサーバ１５０から取得する。第二の実施形態における画像間の対応点の情報は、たとえば血管の分岐部といった画像間の対応する位置に指定された複数の対応点の位置情報である。すなわち、対応点の位置情報とは、第一の三次元画像と、第二の三次元画像に共通して含まれる点の位置情報である。そして、取得した画像間の対応点の情報を、変形画像生成部６０７および誤差情報取得部６０６に送信する。

ステップＳ７１７において、変形画像生成部６０７は、ステップＳ７１３やＳ７７５で指定された最新の対応点情報に基づいて、第一の三次元画像と第二の三次元画像との間の変形位置合わせを行う。すなわち、ある設定条件下で第一の三次元画像を変形した場合に第二の三次元画像との間での対応点位置の残差や、当該残差を含むコスト関数が最小となるような変形情報（以下、変形パラメータと称する。）を推定する。そして、得られた変形パラメータに基づいて、第二の三次元画像と位置や形状が一致するように第一の三次元画像に座標変換を施した、第一の三次元画像の変形画像（第三の三次元画像）を生成する。そして、生成した変形画像を断面画像生成部１１０に送信する。

また、関心領域が第一の三次元画像上で定義されている場合には、関心領域の情報にも変形情報に基づく座標変換を施し、第二の三次元画像に位置合わせした変形関心領域を取得する。そして、生成した変形関心領域の情報を、関心領域の情報として統計値取得部１１２に送信する。

なお、対応点が１点も取得されていない場合、たとえばデータサーバ１５０が対応点情報を保持しておらず、ステップＳ７７５で対応点が追加されていない場合には、第一の三次元画像そのものを第三の三次元画像とする。

ステップＳ７２０において、誤差情報取得部６０６は、変形画像上の各ボクセル位置における位置合わせ誤差を、ステップＳ７１３やＳ７７５で指定された最新の対応点情報に基づいて取得し、その分布を示す誤差画像を生成する。そして、生成した誤差画像を、統計値取得部１１２に送信する。この観点では、誤差情報取得部６０６は推定手段の一例として機能する。

具体的には、まず、ステップＳ７１３やＳ７７５で指定された最新の複数の対応点情報の中から誤差取得の対象となる対応点を選定し、当該対応点を除いた対応点を位置合わせに用いるための対応情報として選択する。次に、選択した対応情報に基づいて、第一の三次元画像と第二の三次元画像の位置合わせ処理を実行する。位置合わせ処理は、第一の三次元画像の変形を推定する処理である。そして、位置合わせ処理の結果に対して、選定した対応点、すなわち位置合わせ処理には用いていない対応点の位置における位置の誤差ベクトルを取得する。位置の誤差ベクトルとは、ＴＲＥ（Ｔａｒｇｅｔ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｅｒｒｏｒ）である。最後に、それぞれの対応点の位置におけるＴＲＥに基づいて、それらの値を補間して各ボクセル位置における位置合わせ誤差を取得する。その際の補間モデルとしては、例えば、ＴＰＳ（Ｔｈｉｎ Ｐｌａｔｅ Ｓｐｌｉｎｅ）関数等の放射基底関数をそれぞれの対応点位置に配置した関数群を用いることができる。

なお、現時点での対応点の情報が所定の条件を満たしていない場合には、本ステップによる誤差情報の取得処理は実施しない。例えば、対応点が０点の場合には対応点に基づく誤差推定を行うことができないので、この場合は誤差情報を取得しない。あるいは、対応点数が予め定めた閾値を超えるまでは誤差情報を取得しない構成とすることもできる。これによると、信頼度が低い誤差情報がユーザに提示されることを防ぐことができるという効果がある。

ステップＳ７７５において、対応情報取得部６０５は、第一の三次元画像と第二の三次元画像との間の対応点の情報を追加で設定する。すなわち、ユーザによる不図示のマウスの操作の入力情報に基づいて、第一の三次元画像から生成した断面画像と、第二の三次元画像から生成した断面画像との間の、血管の分岐部といった対応点の位置情報を設定する。そして、ステップＳ７１３で取得した画像間の複数の対応点の位置情報に、指定された対応点の位置情報を追加する。ここで、新たに対応点を追加する代わりに、既存の対応点を移動または削除してもよい。そして、取得した画像間の対応点の情報を、変形画像生成部６０７および誤差情報取得部６０６に送信する。

ステップＳ７８０において、画像処理装置６０は、全体の処理を終了するか否かの判定を行う。終了すると判定した場合には、画像処理装置６０の処理の全体を終了させる。一方、終了すると判定しなかった場合には、ステップＳ７１７へと処理を戻し、ステップＳ７１７からステップＳ７７５までの処理を再度実行する。

第二の実施形態によれば、ユーザによる対応情報の入力に基づく画像間位置合わせを行う場合に、位置合わせ誤差推定値の統計値を逐次更新しながら表示することが可能となる。これによると、ユーザは、対応点の入力による断面画像のずれの変化を、容易に把握することができる。

［変形例］
第二の実施形態にかかる画像処理装置の機能構成として出力部を省略した。変形例として、第一の実施形態と同様に、変形画像生成部６０７や断面画像生成部１１０により生成された画像や、統計値取得部１１２により取得された誤差統計値をデータサーバ１５０に出力する出力部が画像処理装置６０に含まれていてもよい。

［第三の実施形態］
第三の実施形態に係る画像表示装置は、表示断面以外の断面に関する位置合わせ誤差推定値の統計値を提示する。より具体的には、所定の基準からの距離に応じた位置合わせ誤差推定値の統計値を取得することを特徴とする。第三の実施形態では、所定の基準として、被検体の表面を用いるものとする。以下、第三の実施形態に係る画像表示装置について、第一実施形態と異なる部分についてのみ説明する。

図８は、第三の実施形態に係る情報システム８の構成を示す。同図に示すように、第三の実施形態における情報システム８は、画像処理装置８０と、データサーバ１５０と、ディスプレイ１５２とを有している。なお、図１と同じ部分については同じ番号、記号を付けており、その説明を省略する。

画像処理装置８０は、三次元画像取得部１０２と、領域情報取得部１０４と、誤差推定部１０６と、統計値取得部８１２と、表示制御部８１４と、距離取得部８２２と、を有する。

統計値取得部８１２は、被検体の表面からの距離に基づいて分類される複数の領域のそれぞれについて、位置合わせ誤差統計値を取得する。ここでは、被検体の表面からの距離に基づいて複数の曲断面領域について、誤差統計値を取得するものとする。

表示制御部８１４は、誤差統計値をディスプレイ１５２に表示する制御を行う。また、変形画像をディスプレイ１５２に表示する制御を行う。

距離取得部８２２は、体内領域のそれぞれのボクセルについて、所定の基準から各ボクセル位置までの距離を取得する。ここでは、距離取得部８２２は被検体の表面を基準として距離を取得することとする。

図９は、画像処理装置８０が実施する処理の一例を示すフローチャートである。画像処理装置８０は、被検体の表面からの距離に応じた複数の領域について、誤差統計値を取得する。ここで、ステップＳ９００からＳ９２０までの処理は、第一の実施形態におけるステップＳ２００からＳ２２０までの処理と同様であるので、説明を省略する。

ステップＳ９３０において、距離取得部８２２は、ステップＳ９１０で取得した被検体の表面より内側の体内領域における各ボクセル位置の、所定の基準からの距離を取得する。すなわち、被検体の表面からの距離を取得する。ここで，被検体の表面を表す情報は、ステップＳ９１０で取得した、被検体の表面より内側の体内領域を表すラベル画像から、公知の処理によって取得することができる。そして、取得した距離を、統計値取得部８１２に送信する。

ステップＳ９４０において、統計値取得部８１２は、ステップＳ９３０で取得した所定の基準からの距離に基づいて分類される複数の領域、ここでは曲断面領域のそれぞれについて、位置合わせ誤差統計値を取得する。そして、取得した情報を表示制御部８１４に送信する。

具体的には、まず、ステップＳ９３０で取得した各ボクセル位置の被検体の表面からの距離に基づいて、被検体の表面からの距離が０〜１０ｍｍの曲断面領域内のボクセル数Ｎ１０を求める。次に、誤差画像の、被検体の表面からの距離が０〜１０ｍｍの曲断面領域内における各ボクセルのボクセル値、すなわち位置合わせ誤差を取得し、それらの総和Ｔ１０を取得する。そして、Ｔ１０をＮ１０で除算することにより、被検体の表面からの距離が０〜１０ｍｍの曲断面領域内の位置合わせ誤差の平均値を取得する。同様に、位置合わせ誤差の標準偏差、最大値、および中央値やヒストグラム等の誤差統計値を、公知の手法を用いて取得する。

また、被検体の表面からの距離が１０〜２０ｍｍ，２０〜３０ｍｍ，およびそれ以上の距離の曲断面領域についても、上述の、被検体の表面からの距離が０〜１０ｍｍの場合と同様にして、位置合わせ誤差推定値の統計値を取得する。

ステップＳ９５０において、表示制御部８１４は、誤差統計値をディスプレイ１５２に表示する制御を行う。また、表示制御部８１４はステップＳ９００で取得した第三の三次元画像をディスプレイ１５２に表示する制御を行ってもよい。ここで、表示制御部８１４は、ステップＳ９４０で取得した誤差統計値を、第三の三次元画像に関連付けてディスプレイ１５２に表示させてもよい。

図１０に、ディスプレイ１５２に表示される被検体の第三の三次元画像１００１と、第三の三次元画像に関連付けられた誤差推定値の統計値１００２の例を示す。図１０では、第三の三次元画像１００１の全体の厚みの範囲内、すなわちスラブ内におけるボクセル値の最大値をアキシャル断面に投影した投影画像（ＭＩＰ画像）を表示している。図３における点線１００５、１００６、１００７は、被検体の表面である関心領域３０３からの距離が１０ｍｍ，２０ｍｍ，３０ｍｍのラインをそれぞれ示している。また、それらの距離に応じた位置合わせの誤差推定値の統計値を、１００２に示している。図３は、誤差推定値の統計値として、複数の統計値の内の一つの統計値（例えば中央値や平均値）を選択的に表示する場合を例示しているが、これに限らず、複数の統計値を同時に表示してもよい。

第三の実施形態によれば、所定の基準からの距離に応じた位置合わせ誤差推定値の統計値を取得することができる。これによると、ユーザは、所定の基準からの距離と位置合わせ誤差との関係を、容易に把握することができる。

［変形例］
第三の実施形態にかかる画像処理装置の機能構成として出力部を省略したが、第一の実施形態と同様に、統計値取得部８１２により取得された誤差統計値をデータサーバ１５０に出力する出力部が画像処理装置６０に含まれていてもよい。

なお、第三の実施形態では、所定の基準が被検体の表面である場合を例に説明したが、これに限らず、所定の基準は被検体の大胸筋面といった特徴的な面や、病変の位置といった特徴的な点であってもよい。また、例えば、被検体が***である場合には、所定の基準が乳頭位置であってもよい。この場合には、乳頭からの距離に応じた位置合わせの誤差推定値の統計値が取得されることになる。

また、第一の実施形態と同様に三次元画像の断面画像を表示する場合には、上記の曲断面領域と表示断面との交差領域に関する誤差統計値を表示するようにしてもよい。この場合には、ステップＳ９４０の処理において、それぞれの曲断面領域に関して表示断面との交差領域を求め、当該交差領域における誤差統計値を取得すればよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の各実施形態における情報処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。画像処理装置および画像処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。

本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。

したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。

Claims (18)

1. 被検体の第一の三次元画像を変形させて前記第一の三次元画像とは異なる第二の三次元画像に位置合わせした第三の三次元画像を得るための位置合わせにおける誤差の推定値を、前記第二の三次元画像あるいは前記第三の三次元画像を注目画像として、前記注目画像の複数の位置について取得する推定値取得手段と、
   前記注目画像における注目断面を指定する指定手段と、
   前記指定手段により指定された前記注目断面における前記位置合わせの誤差の統計値を、前記注目断面の複数の位置について前記推定値取得手段により取得された前記推定値に基づいて取得する統計値取得手段と、
   前記統計値取得手段により取得された前記統計値を表示部に表示させる表示制御手段と、
   を有することを特徴とする画像処理装置。
2. 被検体の第一の三次元画像と、前記第一の三次元画像とは異なる第二の三次元画像とをそれぞれ変形することにより位置合わせされた第三の三次元画像と第四の三次元画像を得るための位置合わせにおける誤差の推定値を、前記第三の三次元画像あるいは前記第四の三次元画像を注目画像として、前記注目画像の複数の位置について取得する推定値取得手段と、
   前記注目画像における注目断面を指定する指定手段と、
   前記指定手段により指定された前記注目断面における前記位置合わせの誤差の統計値を、前記注目断面の複数の位置について前記推定値取得手段により取得された前記推定値に基づいて取得する統計値取得手段と、
   前記統計値取得手段により取得された前記統計値を表示部に表示させる表示制御手段と、
   を有することを特徴とする画像処理装置。
3. 前記注目画像に含まれる領域を関心領域として特定する特定手段をさらに有し、
   前記統計値取得手段は、前記指定手段により指定された前記注目断面と、前記特定手段により特定された関心領域とが重なる領域に含まれる複数の位置について、前記推定値取得手段により取得された前記推定値に基づいて、該注目断面と該関心領域とが重なる領域における前記位置合わせの誤差の統計値を取得することを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記表示制御手段は、前記注目断面における前記位置合わせの誤差の統計値と、前記注目断面と前記関心領域とが重なる領域における前記位置合わせの誤差の統計値とを、前記表示部に表示させることを特徴とする請求項３に記載の画像処理装置。
5. 前記表示制御手段は、前記特定手段により前記関心領域が特定された場合には、前記注目断面と前記関心領域とが重なる領域における前記位置合わせの誤差の統計値を前記表示部に表示させ、前記注目断面における前記位置合わせの誤差の統計値を前記表示部に表示させないことを特徴とする請求項３に記載の画像処理装置。
6. 前記指定手段により指定された前記注目断面の二次元画像を生成する生成手段をさらに有することを特徴とする請求項１乃至請求項５のいずれか一項に記載の画像処理装置。
7. 前記生成手段は、前記注目画像における所定の厚みの範囲内での輝度値の最大値または最小値のいずれかを投影した投影画像を生成し、
   前記統計値取得手段は、前記投影画像を構成する輝度値の元となる位置について前記推定値取得手段により取得された前記推定値に基づいて、前記投影画像における前記位置合わせの誤差の統計値を取得することを特徴とする請求項６に記載の画像処理装置。
8. 前記生成手段は前記位置合わせを行うことを特徴とする請求項６又は請求項７記載の画像処理装置。
9. 前記生成手段により生成された画像を外部装置に出力する出力手段をさらに有することを特徴とする請求項６乃至請求項８のいずれか一項に記載の画像処理装置。
10. 前記出力手段は、前記統計値取得手段により取得された統計値を、前記注目画像と対応付けて出力することを特徴とする請求項９に記載の画像処理装置。
11. 前記指定手段は、前記注目画像に含まれる所定の領域からの距離に基づいて断面を指定することを特徴とする請求項１乃至請求項１０のいずれか一項に記載の画像処理装置。
12. 前記統計値取得手段は、前記第一の三次元画像と前記第二の三次元画像に共通して含まれる対応点の情報に基づいて、前記統計値を取得することを特徴とする請求項１乃至請求項１１のいずれか一項に記載の画像処理装置。
13. 前記統計値は、平均値、中央値、最大値、最小値の少なくともいずれかを含むことを特徴とする、請求項１乃至請求項１２のいずれか一項に記載の画像処理装置。
14. 前記位置合わせにおける誤差を推定する推定手段を更に有し、
    前記推定値取得手段は、前記推定手段による推定に基づいて前記推定値を取得することを特徴とする請求項１乃至請求項１３のいずれか一項に記載の画像処理装置。
15. 前記表示制御手段は、前記注目断面と前記統計値とをともに前記表示部に表示させることを特徴とする請求項１乃至請求項１４のいずれか一項に記載の画像処理装置。
16. 被検体の第一の三次元画像を変形させて前記第一の三次元画像とは異なる第二の三次元画像に位置合わせした第三の三次元画像を得るための位置合わせにおける誤差の推定値を、前記第二の三次元画像あるいは前記第三の三次元画像を注目画像として、前記注目画像の複数の位置について取得する推定値取得手段と、
    前記注目画像における注目断面を指定する指定手段と、
    前記指定手段により指定された前記注目断面における前記位置合わせの誤差の統計値を、前記注目断面の複数の位置について前記推定値取得手段により取得された前記推定値に基づいて取得する統計値取得手段と、
    前記統計値取得手段により取得された前記統計値を表示部に表示させる表示制御手段と、
    を有することを特徴とする画像処理システム
17. 被検体の第一の三次元画像を変形させて前記第一の三次元画像とは異なる第二の三次元画像に位置合わせした第三の三次元画像を得るための位置合わせにおける誤差の推定値を、前記第二の三次元画像あるいは前記第三の三次元画像を注目画像として、前記注目画像の複数の位置について取得する推定値取得ステップと、
    前記注目画像における注目断面を指定する指定ステップと、
    前記指定ステップにおいて指定された前記注目断面における前記位置合わせの誤差の統計値を、前記注目断面の複数の位置について前記推定値取得ステップにおいて取得された前記推定値に基づいて取得する統計値取得ステップと、
    前記統計値取得ステップにより取得された前記統計値を表示部に表示させる表示制御ステップと、
    を有することを特徴とする画像処理方法。
18. 請求項１７に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images