JP6821403B2 - 画像処理装置、画像処理方法、画像処理システム、及びプログラム。 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、画像処理システム、及びプログラムに関する。

複数の画像を位置合わせして表示させたり、解析したりする技術が、たとえば医療分野における画像診断に活用されている。位置合わせの精度を向上するために、位置合わせを行う画像間の対応する点である対応点の情報を取得し、位置合わせに用いることがある。そこで、対応点の情報の取得を支援するための技術が提案されている。たとえば特許文献１や特許文献２には、同一の被検体の異なる形状を撮像した画像について、対応点を目視で同定しやすい画像とするために当該被検体の特定の構造に基づいた座標変換をそれぞれの画像に施し、当該座標変換が施された画像間で対応点の情報を取得することが開示されている。

特開２０１５−１３０９７２号公報 特開２０１５−１５０２４３号公報

複数の画像に対して、対応点を同定しやすくするためにそれぞれ座標変換を施すと、変形された画像に描出される被検体の形状は、元の画像に描出されている被検体の形状と大きく異なる場合がある。したがって、座標変換を施すことにより対応点が同定しやすくなる代わりに、座標変換を施されて変形された画像間で位置合わせを行うことが難しくなる場合がある。

本発明にかかる画像処理装置は、被検体を撮像して得られる第一の画像と第二の画像のそれぞれを、前記被検体の注目部位の輪郭と前記輪郭上にある基準点とに基づいて第一の変換画像と第二の変換画像に変換するための座標変換を取得する座標変換取得手段と、前記第一の変換画像と前記第二の変換画像のそれぞれに含まれる対応点の情報である対応情報を取得する情報取得手段と、前記情報取得手段により取得された前記対応情報と、前記変換取得手段により取得された前記座標変換とに基づいて、前記第一の変換画像に含まれる対応点の位置を前記第一の画像における位置に変換し、前記第二の変換画像に含まれる対応点の位置を、前記第二の画像における位置に変換する変換手段と、前記第一の画像と前記第二の画像における位置にそれぞれ前記変換手段により変換された前記対応点の情報と、前記第一の画像と前記第二の画像における前記被検体の変形を規定する正則化の情報とに基づいて、前記第一の画像と前記第二の画像とを位置合わせするための変形変換を取得する変形変換取得手段と、を有することを特徴とする。

本発明によれば、対応点を同定しやすい画像に変形するための座標変換が施された画像間で取得された対応点の情報を、元の画像における対応点の情報に変換することで、元の画像の特性に応じた位置合わせのための変形変換を取得することができる。これにより、対応点を同定しやすくするために変形された画像間で位置合わせを行うことが難しい場合に、元の画像に基づいて位置合わせを行えるようになるので、精度の高い位置合わせを行うための仕組みを提供することができる。

第一の実施形態乃至第三の実施形態にかかる画像処理装置の機能構成の一例を示す図である。 第一の実施形態乃至第三の実施形態にかかる画像処理装置のハードウェア構成の一例を示す図である。 第一の実施形態乃至第三の実施形態にかかる画像処理装置により行われる処理の一例を示すフローチャートである。 第一の実施形態乃至第三の実施形態にかかる画像処理装置により処理の一例を示す図である。 第一の実施形態乃至第三の実施形態にかかる画像処理装置により行われる処理の一例を示すフローチャートである。 本発明の実施形態にかかる画像処理装置により行われる処理の一例を示す図である。 第四の実施形態にかかる画像処理装置の機能構成の一例を示す図である。 第四の実施形態にかかる画像処理装置により行われる処理の一例を示すフローチャートである。 第四の実施形態にかかる画像処理装置により行われる処理の一例を示すフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。

［第一の実施形態］
医療分野における画像診断には、たとえば複数の撮像装置（モダリティ）、異なる日時、異なる***、異なる撮像モードで撮像された複数の画像が用いられることがある。複数の画像を用いた画像診断において、複数の画像間の位置合わせが行われることがある。位置合わせの精度を向上するために、たとえばそれぞれの画像に描出されている構造などを対応点として目視で対応付ける作業が行われる。

第一の実施形態にかかる画像処理装置１００は、互いに異なる変形状態で被検体を撮像した第一の画像と第二の画像を入力として、第一の画像と第二の画像との間の位置合わせのための変形変換を取得する。そして、画像処理装置１００は、第一の画像と第二の画像のうちの一方を他方の画像に一致させるように変形させる変形画像を生成する。この、位置合わせに用いる対応点を取得するために、当該入力画像の間で対応する位置を取得するために、第一の画像と第二の画像を比較して観察しやすい空間、たとえば正規化空間へ投影する。そして、画像処理装置１００は、正規化空間に投影された画像上で、ユーザの操作入力等により対応する位置を取得する。さらに、画像処理装置１００は、取得した位置に対応する位置を元の画像の空間すなわち実空間に投影し、この実空間において被検体の物理的な変形の適切さを考慮するための正則化の情報に基づいて（変形に正則化を施した）位置合わせを行う。ここで、実空間とはモダリティによる撮像で得られる画像の画像座標系で定義される空間である、第一の画像や第二の画像の画像座標系で定義される空間である。正規化空間については、後に詳しく説明する。

図１は、画像処理装置１００の機能構成の一例を示すブロック図である。画像処理装置１００は、データサーバ１７０、操作部１８０、及び表示部１９０と接続されている。

データサーバ１７０は、ネットワークを介して画像処理装置１００と接続されており、以下に説明する第一の画像及び第二の画像を保持している。データサーバ１７０が保持する第一の画像及び第二の画像は、それぞれ異なる条件で被検体を予め撮像して得られた医用画像である。ここで、条件とは撮像に用いられたモダリティの種類や、撮像モードや、日時や、被検体の***等である。医用画像とは、たとえば、ＭＲＩ（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）装置、Ｘ線ＣＴ（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）装置、超音波撮影装置、光音響トモグラフィ（ＰＡＴ：ｐｈｏｔｏａｃｏｕｓｔｉｃ ｔｏｍｏｇｒａｐｈｙ）装置、ＰＥＴ（ｐｏｓｉｔｒｏｎ ｅｍｉｓｓｉｏｎ ｔｏｍｏｇｒａｐｈｙ）／ＳＰＥＣＴ（ｓｉｎｇｌｅ ｐｈｏｔｏｎ ｅｍｉｓｓｉｏｎ ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）、ＯＣＴ（ｏｐｔｉｃ ｃｏｈｅｒｅｎｃｅ ｔｏｍｏｇｒａｐｈｙ）装置といったモダリティにより撮像される三次元断層画像等である。第一の実施形態において第一の画像及び第二の画像は、同一の被検体を撮像して得られる２つの医用画像であり、同一の被検体をそれぞれ異なる変形状態で撮像して得られる２つの医用画像である。第一の画像及び第二の画像は、例えば、異なるモダリティや異なる撮像モードで同時期に撮像されたものであってもよく、経過観察のために同一患者を同一モダリティ、同一***で異なる日時に撮像した画像であってもよい。第一の画像及び第二の画像は、データ取得部１０２を介して画像処理装置１００に入力される。

操作部１８０は、たとえばマウスやキーボードである。操作部１８０は、ユーザの操作を受け付ける。ユーザが操作部１８０を介した操作入力により指定する、第一の画像と第二の画像との間の対応点の位置が、対応点取得部１０６を介して画像処理装置１００に入力される。

表示部１９０は、画像処理装置１００からの出力に基づいて表示を行う。たとえば、画像処理装置１００が生成する表示画像を表示し、ユーザからの指示を取得するためのＧＵＩを提供する。

画像処理装置１００は、データ取得部１０２、正規化変換取得部１０３、正規化画像生成部１０４、表示制御部１０５、対応点取得部１０６、対応点変換部１０７、変換変形取得部（変形推定部）１０８、変形画像生成部１０９を有する。データ取得部１０２は、データサーバ１７０から、入力画像である第一の画像及び第二の画像を取得する。正規化変換取得部１０３は、第一の画像及び第二の画像のそれぞれを、対応点を同定しやすい画像に変形するための座標変換を取得する。第一の実施形態においては、正規化変換取得部１０３は第一の画像及び第二の画像に関する正規化変換を取得する。正規化変換取得部１０３は、座標変換取得手段の一例である。正規化画像生成部１０４は、第一の画像及び第二の画像のそれぞれを正規化変換した正規化画像である第一の正規化画像と第二の正規化画像とを生成する。正規化画像生成部１０４は、変換画像生成手段の一例である。表示制御部１０５は、第一の画像、第二の画像、第一の正規化画像、第二の正規化画像及び後述する変形画像を、ユーザの操作入力又は所定のプログラムによる制御に応じて表示部１９０に表示させる。表示制御部１０５は、たとえば表示部１９０といった外部の装置に対して、表示可能な画像データを出力する出力手段としても機能する。対応点取得部１０６は、ユーザによる操作部１８０の操作に従って、第一の正規化画像上と第二の正規化画像上とにおける対応点の位置に関する情報を取得する。対応点取得部１０６は、情報取得手段の一例である。対応点変換部１０７は、正規化変換に基づいて、対応点の位置を正規化空間からそれぞれの元の画像の空間である実空間へと変換する。対応点変換部１０７は、変換手段の一例である。変形変換取得部（変形推定部）１０８は、変換された実空間における対応点の位置に基づいて、第一の画像と第二の画像の間の変形推定を行い、画像間の変形変換を取得する。変形変換取得部１０８は、変形変換取得手段の一例である。変形画像生成部１０９は、画像間の変形変換に基づいて、第一の画像と第二の画像の少なくともいずれか一方を変形させることにより位置合わせがされた第一の変形画像あるいは第二の変形画像を生成する。以下では、一つの画像上に、他の画像上の位置と対応する位置を示す点である対応点として指定された一つの点或いは複数の点のそれぞれの位置を対応点位置と称する。

図２は、画像処理装置１００のハードウェア構成の一例を示す図である。画像処理装置１００はたとえばコンピュータである。画像処理装置１００は、主制御部であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、記憶部であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）２０４、通信部である通信回路２０５、接続部であるＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）２０６、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）２０８、グラフィック制御部であるＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０７、を有し、これらは内部バスにより通信可能に接続されている。ＣＰＵ２０１は画像処理装置１００及びこれに接続する各部を統合的に制御する制御回路である。ＲＡＭ２０２は画像処理装置１００及びこれに接続する各部における処理を実行するためのプログラムや、画像処理で用いる各種パラメータを記憶するためのメモリである。ＲＡＭ２０２は、ＣＰＵ２０１が実行する制御プログラムを格納し、ＣＰＵ２０１が各種制御を実行する際の様々なデータを一時的に格納する。ＲＯＭ２０３は、ＣＰＵ２０１による制御の手順を記憶させたプログラムやデータを格納する。ＳＳＤ２０４はプログラムやデータを格納する。通信回路２０５はネットワークを介してデータサーバ１７０と通信を行う。ＵＳＢ２０６は操作部１８０と接続している。ＧＰＵ２０７は画像処理ユニットであり、ＣＰＵ２０１からの制御に応じて画像処理を実行する。画像処理の結果得られる画像はＨＤＭＩ（登録商標）２０８を介して表示部１９０に出力され、表示される。操作部１８０と表示部１９０はタッチパネルモニタとして統合されていても良い。

図１に示される各構成が有する機能は、実施形態の一つでは、ＲＡＭ２０２、ＲＯＭ２０３、ＳＳＤ２０４に格納されているプログラムをＣＰＵ２０１が実行することにより実現される。別の実施形態では、図１に示される各構成が有する機能を、上述のＣＰＵ２０１に加えてＧＰＵ２０７やＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）（不図示）といった回路により実現される。この場合、ＧＰＵ２０７やＦＰＣＡ（不図示）に対する入力、画像処理にかかるパラメータの設定、ＧＰＵ２０７やＦＰＧＡ（不図示）からの出力の受け取りの少なくともいずれかの処理はＣＰＵ２０１により制御される。表示制御部１０５の機能は、ＣＰＵ２０１及びＧＰＵ２０７により実現される。この際にＣＰＵ２０１はＧＰＵ２０７に対して表示部１９０への所定の情報の表示を指示し、ＧＰＵ２０７が表示部１９０に表示させるための表示データを生成及び当該表示データの表示部１９０への出力を行う。別の実施形態では通信回路２０５は単一のＮＩＣ（ｎｅｔｗｏｒｋ ｉｎｔｅｒｆａｃｅ ｃａｒｄ）又は必要に応じて複数のＮＩＣにより実現される。別の実施形態では、ＣＰＵ２０１は装置の中に複数含まれていてもよい。

図３は、画像処理装置１００が行う全体の処理の一例を示すフローチャートである。図４はステップＳ３０１の処理の一例を説明するための図である。図５はステップＳ３０１の処理の一例を示すフローチャートである。図６は、画像処理装置１００が行う全体の処理の一例を説明するための図である。以下、図３乃至図６を適宜参照して、画像処理装置１００が行う処理について説明する。

（ステップＳ３００：画像データの取得）
図３に示すステップＳ３００において、データ取得部１０２は、データサーバ１７０から、第一の画像及び第二の画像を取得する。第一の実施形態では、第一の画像としてＭＲＩ画像を、第二の画像としてＰＡＴ画像を取得する場合を例に説明する。以下、第一の実施形態では、第一の画像をＩ１、第二の画像をＩ２と表記する。ここで第一の画像Ｉ１と第二の画像Ｉ２は同一被検体の***であって、変形状態の異なる***を撮像した画像とする。被検体はＭＲＩ撮像時とＰＡＴ撮像時とで異なる***をとることや、ＭＲＩ装置、ＰＡＴ装置と***が接触することによって、第一の画像Ｉ１と第二の画像Ｉ２では描出される***の形状が異なっている。なお、第一の画像Ｉ１と第二の画像Ｉ２はそれぞれ三次元画像であり、それぞれの画像には画像座標系が定義されているものとする。第一の実施形態では、第一の画像Ｉ１や第二の画像Ｉ２の画像座標系で定義される空間を実空間と称する。ステップＳ３００の処理は、図６に示す第一の画像Ｉ１（６００）と第二の画像Ｉ２（６０１）を取得する処理である。

（ステップＳ３０１：正規化変換の取得）
図３に示すステップＳ３０１において、正規化変換取得部１０３は、第一の画像Ｉ１及び第二の画像Ｉ２のそれぞれを正規化した画像へと変換する第一の正規化変換Ｔｎ１及び第二の正規化変換Ｔｎ２を取得する。すなわち、実空間上に定義された座標系を持つ第一の画像Ｉ１及び第二の画像Ｉ２を、正規化空間へと投影する変換を取得する処理を実行する。ステップＳ３０１の処理は、図６に示す座標変換Ｔｎ１（６０２）と座標変換Ｔｎ２（６０３）を取得する処理である。

第一の実施形態における正規化とは、被検体の注目部位の輪郭と当該輪郭上にある基準点とに基づいて、第一の画像と第二の画像をそれぞれ第一の変換画像と第二の変換画像に変換するための座標変換である。より詳細には、第一の実施形態における正規化とは、複数の異なる変形状態で撮像された被検体の画像である第一の画像と第二の画像における解剖学的特徴の位置・形状を、それらが略同一の位置・形状となる共通空間（正規化空間）へと投影する座標変換である。第一の実施形態における正規化の座標変換である正規化変換は、異なる変形状態で撮像された第一の画像Ｉ１と第二の画像Ｉ２に共通して描出される乳頭や体表などの解剖学的特徴の位置・形状に基づき、各画像の解剖学的特徴の位置・形状が略同一の位置・形状となる正規化空間への座標変換である。第一の画像を正規化変換して得られる第一の変換画像を、以下では第一の正規化画像とする。また、第二の画像を正規化変換して得られる第二の変換画像を、以下では第二の正規化画像とする。以下に、正規化変換の取得方法の一例を説明する。

図４（Ａ）は、第一の画像Ｉ１の模式図である。第一の実施形態における第一の画像は三次元のＭＲＩ画像であり、図４（Ａ）に示す断面画像４００は、第一の画像Ｉ１のある断面画像を表す模式図である。ステップＳ３００において、正規化変換取得部１０３は、第一の画像Ｉ１の断面画像４００から被検体の乳頭４０１の位置座標Ｐ１及び体表４０２の形状情報Ｓ１を取得する。これらの情報は、第一の画像Ｉ１の座標系における位置情報、すなわち実空間における位置情報として取得される。

図４（Ｂ）は、後述するステップＳ３０２で生成する第一の正規化画像Ｉ１´のある断面画像を表す模式図である。ステップＳ３００において、正規化変換取得部１０３は、図４（Ａ）の断面画像４００に表されるような第一の画像Ｉ１を、図４（Ｂ）の断面画像４１０に表されるような第一の正規化画像Ｉ１´へと変形させるための座標変換を取得する。図４（Ｂ）に示す第一の正規化画像Ｉ１´の断面画像４１０において乳頭４１１は、図４（Ａ）に示す第一の画像Ｉ１の断面画像４００の乳頭４０１の位置座標Ｐ１をステップＳ３００で取得される正規化変換により変換した座標位置Ｐ１´に位置する。同様に、体表４１２は、図４（Ａ）の体表４０２を正規化変換により変換した形状Ｓ１´により表される。体表４１２は第一の正規化画像Ｉ１´において、所定の平面上に位置する形状である。また、体表４１２上の各位置における乳頭４１１との間の体表に沿った測地線距離は、正規化変換の前後で略同一の距離を保つものとする。すなわち、正規化変換により図４（Ａ）の体表４０２は乳頭４０１を中心として伸縮することなく、または小さな伸縮の範囲内で、図４（Ｂ）の体表４１２に変換される。

上記の正規化変換を取得するために、ステップＳ３０１で正規化変換取得部１０３が実行する処理を、図５のフローチャートを用いて詳細に説明する。

（ステップＳ３０１０：体表形状の取得）
図５に示すステップＳ３０１０において、正規化変換取得部１０３は、第一の画像Ｉ１における被検体の体表形状を取得する。この処理は、例えば第一の画像Ｉ１に対してエッジ検出といった画像処理を行うことで自動的に取得することができる。また第一の画像Ｉ１を、表示制御部１０５を介して表示部１９０に表示させてユーザが観察できるようにし、ユーザの操作入力等に基づいて体表形状を取得するようにしてもよい。ここで取得される体表形状をＳ１と表記する。第一の実施形態ではＳ１は体表形状を表す点群により構成され、それらの点群は第一の画像Ｉ１の座標系における位置情報、すなわち実空間における位置情報として取得される。

（ステップＳ３０１１：乳頭位置の取得）
ステップＳ３０１１において、正規化変換取得部１０３は、第一の画像Ｉ１における被検体の乳頭位置を取得する。この処理は、例えば第一の画像に対してエッジ検出等の画像処理を行うことで取得することができる。あるいは、ステップＳ３０１０で取得した体表形状Ｓ１に基づき、その形状の曲率の変曲点や頂点位置などを取得することで取得するようにしてもよい。また、ユーザによる入力操作等に基づいて取得してもよい。第一の実施形態では、取得した乳頭位置をＰ１と表記する。乳頭位置Ｐ１は、第一の画像の画像座標系における位置情報、すなわち実空間における位置情報として取得される。

（ステップＳ３０１２：正規化空間における乳頭位置、体表形状の取得）
ステップＳ３０１２において、正規化変換取得部１０３は、正規化空間すなわち第一の正規化画像Ｉ１´の座標系における乳頭位置及び体表形状を取得する。以下では、正規化空間における乳頭位置をＰ１´と表記する。第一の実施形態においてＰ１´は、正規化空間における原点位置（ｘ，ｙ，ｚ）＝（０，０，０）とする。また、以下では正規化空間における体表形状をＳ１´と表記する。Ｓ１´は正規化空間における点群により構成する。第一の実施形態においてＳ１´は、正規化空間のｙ＝０の平面上の位置とする。Ｓ１´を構成する各点のｘ座標値及びｚ座標値は、正規化前後における乳頭との体表に沿った測地線距離の変化が小さくなるように定める。またＳ１を構成する点群の相互の距離を保つように、正規化空間におけるＳ１´の位置を定める。Ｓ１´の位置は、例えば多次元尺度構成法といった低歪な次元縮退方法など、公知の手法を用いて決定される。

（ステップＳ３０１３：正規化変換の取得）
ステップＳ３０１３において、正規化変換取得部１０３は、Ｐ１とＰ１´及びＳ１とＳ１´の位置の関係に基づいて、第一の画像Ｉ１を正規化するための第一の正規化変換Ｔｎ１を取得する。具体的にはＦＦＤ法（Ｆｒｅｅ Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ法）やＴＰＳ法（Ｔｈｉｎ Ｐｌａｔｅ Ｓｐｌｉｎｅ法）などの公知の変形補間方法または変形取得手法を用いて、正規化変換を取得することができる。例えば、ＦＦＤ法を用いる場合であれば、元の画像である第一の画像Ｉ１のＰ１及びＳ１を構成する各点の位置が、正規化変換後にＰ１´及びＳ１´に近づくように繰り返し計算を行うことにより、変形の最適化を行う。この時、変換による空間の歪や急激な変化、極端な伸縮等を抑制、するための条件に基づいて正規化変換を取得することが好ましい。例えば、被検体の***の内部の位置において、正規化変換による体表からの距離の変動を抑制する拘束を加えて正規化変換を取得するようにしてもよい。すなわち正規化変換とは、被検体の体表の位置と形状が第一の変換画像Ｉ１´と第二の変換画像Ｉ２´とで略一致するように変形される正規化空間への非線形変換である。

以上の処理により、第一の正規化変換Ｔｎ１が取得される。ここでＴｎ１は、第一の画像Ｉ１の画像座標系における位置座標ｘを、後述する第一の正規化画像Ｉ１´の座標系における位置座標ｘ´へと変換する変換関数である。第一の実施形態では、第一の正規化変換Ｔｎ１の作用を式１のように表記する。
（式１）ｘ´＝Ｔｎ１（ｘ）
さらに、ステップＳ３０１３において、正規化変換取得部１０３は、上記の処理で取得した第一の正規化変換Ｔｎ１の逆変換Ｔｎ１＿ｉｎｖを取得する。このとき、Ｔｎ１＿ｉｎｖの作用は、式２のように表記できる。
（式２）ｘ＝Ｔｎ１＿ｉｎｖ（ｘ´）
すなわち、Ｔｎ１＿ｉｎｖは、第一の正規化画像Ｉ１´の画像座標系における位置座標ｘ´を、第一の画像Ｉ１の画像座標系における位置座標ｘへと変換する変換関数である。Ｔｎ１＿ｉｎｖは、Ｔｎ１に対して逆変換の誤差（Σ｜｜ｘ―Ｔｎ１＿ｉｎｖ（Ｔｎ１（ｘ））｜｜）を極力小さくなるような変換である。なお、ある変換Ｔが定義された際にその逆変換Ｔ＿ｉｎｖを求める方法は公知であるので、詳細な説明は省略する。

上記のステップＳ３０１０からＳ３０１３では、第一の画像Ｉ１に関する第一の正規化変換Ｔｎ１とその逆変換Ｔｎ１＿ｉｎｖを取得する場合を説明した。第一の実施形態の正規化変換取得部１０３は、さらに、ステップＳ３０１の処理において、上記ステップＳ３０１０からＳ３０１３と同様の処理を第二の画像Ｉ２に対しても実行する。すなわち、第二の画像Ｉ２から体表形状Ｓ２及び乳頭位置Ｐ２を検出し、これらの情報に基づいて、第二の画像Ｉ２を正規化するための第二の正規化変換Ｔｎ２と、その逆変換Ｔｎ２＿ｉｎｖを取得する。このように、ステップＳ３０１において図６に示す第一の正規化変換Ｔｎ１（６０２）とその逆変換Ｔｎ１＿ｉｎｖ（６０４）、及び第二の正規化変換Ｔｎ２（６０３）とその逆変換Ｔｎ２＿ｉｎｖ（６０５）が取得される。

（ステップＳ３０２：正規化画像の生成）
ステップＳ３０２において、正規化画像生成部１０４は、ステップＳ３００で取得した第一の画像Ｉ１をステップＳ３０１で取得した第一の正規化変換Ｔｎ１に基づいて変形した第一の正規化画像Ｉ１´を生成する。同様に正規化画像生成部１０４は、第二の画像Ｉ２を第二の正規化変換Ｔｎ２に基づいて変形した第二の正規化画像Ｉ２´を生成する。ここで、変換関数に基づいて画像を変形させた変形画像を生成する処理は公知のいかなる手法を用いて実行してもよい。また画像の変換においては、それぞれの正規化変換の逆変換Ｔｎ１＿ｉｎｖ及びＴｎ２＿ｉｎｖを用いてもよい。すなわち、ステップＳ４０２において、図６に示す第一の変換画像Ｉ１´（６０６）と、第二の変換画像Ｉ２´（６０７）が取得される。

（ステップＳ３０３：正規化空間での対応点の取得）
ステップＳ３０３において、対応点取得部１０６は、第一の正規化画像Ｉ１´と第二の正規化画像Ｉ２´の間における複数の対応点の位置を取得する。以後ではこれを、正規化空間での対応点位置と称する。第一の実施形態で対応点として用いる点は、例えば、血管分岐点といった、被検体の特徴的な構造を表す特徴点である。すなわち対応点取得部１０６は、第一の正規化画像Ｉ１´と第二の正規化画像Ｉ２´に共通して描出されている、血管分岐点といった被検体の同一の特徴点の位置を、正規化空間での対応点位置として取得する。ここで、正規化空間での対応点位置は、第一の正規化画像Ｉ１´と第二の正規化画像Ｉ２´のそれぞれの座標系（正規化画像座標系）における位置情報の対の群である。第一の実施形態では、正規化空間におけるｉ番目の対応点位置を、Ｃ１＿ｉ´及び、Ｃ２＿ｉ´と表記する。ここで添え字のｉは対応点のインデックスを表す。第一の実施形態では、ステップＳ３０３で取得される対応点の数をＮｃとする。すなわち、１≦ｉ≦Ｎｃである。同一のインデックスが付された対応点位置は互いに対応する位置を表す。つまり、被検体における、ある一つの（ｉ番目の）特徴点の位置が、第一の正規化画像ではＣ１＿ｉ´の位置に描出され、同一の分岐点が第二の正規化画像ではＣ２＿ｉ´の位置に描出されていることを表している。

正規化空間での対応点位置の取得方法の一例は、ユーザによる操作入力によって取得する方法である。すなわち、表示制御部１０５が正規化画像生成部１０４から出力された第一の正規化画像Ｉ１´及び第二の正規化画像Ｉ２´とそれらの断面画像を表示部１９０に表示させることで、ユーザが各画像を観察できるようにする。そして、各画像を観察したユーザが、画像間で対応する位置を発見できるようにする。特に、正規化画像のＸＺ断面を表示することで、体表から等距離の位置にある部位を切り出した断面が提示される。このとき、ＸＺ断面のＹ座標は体表からの距離すなわち深さを表しており、ユーザは、表示するＸＺ断面のＹ座標を操作することができる。これによると、体表から等距離の部位が同一平面内に描出されるため、体表に沿って走行する血管等の全体像を把握しやすくなる効果がある。また、被検体内の部位の体表からの距離（深さ）は被検体が変形しても変化しにくいので、その情報を、対応点を画像間で同定する際の参考情報として用いることができる。例えば、同じＹ座標の近辺でＸＺ断面を比較することで、対応点の同定を効率的に行うことができる。ユーザが対応する位置を操作部１８０を介して入力することにより、対応点取得部１０６は対応点の情報を取得できる。ここで操作部１８０は、例えばマウスやキーボードなどの入力デバイスである。これにより、対応点取得部１０６は、ユーザが発見した正規化空間での対応点位置を取得することができる。そして、対応点入力を終了する指示をユーザから受信したときに、対応点取得部１０６は、その時点までに取得した正規化空間における対応点位置を、対応点変換部１０７へと送信する。そして、ステップＳ３０４へと処理を進める。ここで、第一の正規化画像Ｉ１´及び第二の正規化画像Ｉ２´は、第一の画像Ｉ１及び第二の画像Ｉ２と比較して、正規化変換が施されているために、双方の画像に描出される被検体の共通する解剖学的特徴は空間的に近い位置となっている。そのため、ユーザは第一の画像Ｉ１及び第二の画像Ｉ２を目視で観察する場合よりも、より対応点位置を発見しやすいというメリットがある。

なお、正規化空間での対応点位置の所得方法は、上記の方法に限らず、第一の正規化画像Ｉ１´及び第二の正規化画像Ｉ２´の画像を画像処理することにより自動的に取得するようにしてもよい。例えば、対応点取得部１０６は各画像から特徴点を複数検出し、その複数の特徴点に関する位置情報や画像の輝度パターン等に基づいて対応付けを行うことで正規化空間での対応点位置を取得することができる。当該処理の具体的な方法は、公知のいかなる手法を用いて実行してもよい。第一の正規化画像Ｉ１´及び第二の正規化画像Ｉ２´は、第一の画像Ｉ１及び第二の画像Ｉ２と比較して、正規化変換が施されているために、双方の画像に描出される被検体の共通する解剖学的特徴は空間的に近い位置となっている。そのため、対応点位置を自動的に取得する方法を実施する場合には、第一の画像Ｉ１及び第二の画像Ｉ２を用いるよりも、精度や安定性、計算処理負荷の面でメリットがある。

以上のようにして、ステップＳ３０３では図６に示す正規化空間における対応点の情報である対応情報（６０８）を取得する。

（ステップＳ３０４：実空間への対応点位置の変換）
ステップＳ３０４において、対応点変換部１０７は、ステップＳ３０１で取得した正規化変換の逆変換Ｔｎ１＿ｉｎｖ及びＴｎ２＿ｉｎｖに基づいて、ステップＳ３０３で取得した正規化空間での対応点位置を変換して実空間における対応点位置を取得する。実空間における対応点位置の取得は、具体的には、以下の式に示す計算処理により行われる。
（式３）Ｃ１＿ｉ＝Ｔｎ１＿ｉｎｖ（Ｃ１＿ｉ´） （１≦ｉ≦Ｎｃ）
（式４）Ｃ２＿ｉ＝Ｔｎ２＿ｉｎｖ（Ｃ２＿ｉ´） （１≦ｉ≦Ｎｃ）
ここで、Ｃ１＿ｉ（１≦ｉ≦Ｎｃ）は、第一の正規化画像Ｉ１´上におけるｉ番目の対応点位置Ｃ１＿ｉ´（１≦ｉ≦Ｎｃ）に対応する第一の画像Ｉ１上の対応点位置である。同様にＣ２＿ｉ（１≦ｉ≦Ｎｃ）は、第二の正規化画像Ｉ２´上におけるｉ番目の対応点位置Ｃ２＿ｉ´（１≦ｉ≦Ｎｃ）に対応する第二の画像Ｉ２上の対応点位置である。第一の実施形態では、前記Ｃ１＿ｉ、Ｃ２＿ｉ（１≦ｉ≦Ｎｃ）を、実空間での対応点位置と総称する。

以上のようにして、ステップＳ３０４では図６に示す実空間における対応点の情報である対応情報（６０９）を取得する。

（ステップＳ３０５：変形変換の取得）
ステップＳ３０５において、変形変換取得部（変形推定部）１０８は、ステップＳ３０４で取得した実空間での対応点位置に基づいて、第一の画像Ｉ１と第二の画像Ｉ２との間の変形変換を取得する処理を実行する。変形変換は、実空間における被検体の変形を規定する正則化の情報に基づいて取得される。変形変換を取得する処理は、画像間の変形を推定する変形推定処理、あるいは画像間の変形位置合わせを行う変形位置合わせ処理と捉えてもよい。

ここで、実空間での対応点位置に基づく画像間の変形処理は公知のいかなる手法を用いてもよく、例えば、ＴＰＳ法を用いて実行することができる。この方法によれば、第一の画像Ｉ１と第二の画像Ｉ２の各画像上の位置座標値であるＣ１＿ｉ、Ｃ２＿ｉ（１≦ｉ≦Ｎｃ）を合致させ、かつ変形による曲げエネルギーを最小化した変形変換を取得できる。具体的には、Ｃ１＿ｉ（１≦ｉ≦Ｎｃ）のそれぞれがＣ２＿ｉ（１≦ｉ≦Ｎｃ）へと変換され、かつその変換による、実空間における空間的な歪をエネルギーとして定義する。歪のエネルギーは、たとえば、変形変換の空間的な二次微分により算出される値として定義できる。そして、その歪のエネルギーの総量が最少となる変形変換を取得する。すなわち変形変換取得部（変形推定部）１０８は、被検体の実空間において妥当な変形となるように変形を規定する正則化の情報に基づいて、変形変換を取得する。正則化の情報に基づく変形変換の取得は、前述の変形変換の空間的な二次微分により算出される値に基づく場合に限らない。たとえば、変形変換による変位量の空間的に高周波な成分の大きさや、変形変換による局所的な体積変化率の大きさ等に基づいて定義することもできる。

また変形変換の取得は、第一の画像Ｉ１及び第二の画像Ｉ２における乳頭位置及び体表形状の情報にも基づいて実行するようにできる。例えば、第一の画像Ｉ１における乳頭位置Ｐ１と第二の画像Ｉ２における乳頭位置Ｐ２とを合致させる拘束をさらに加えて変形変換を取得するようにできる。また、体表形状Ｓ１とＳ２とを合致させる拘束をさらに加えて変形変換を取得するようにできる。このとき、体表形状Ｓ１とＳ２はそれぞれを構成する点群同士が対応付けられているわけではないため、体表形状Ｓ１を構成する点群により表現される体表の曲面と、体表形状Ｓ２を構成する点群により表現される体表の曲面との間の位置合わせを行う必要がある。この処理は、例えば、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）法などの公知の手法を用いて実行することができる。また、実空間における対応点位置や乳頭位置に基づいてＴＰＳ法で取得した変形変換を体表形状Ｓ１に適用して体表形状Ｓ２に形状を近づけた変形形状を取得した上で、２つの形状を表す点群の間で、ＩＣＰ法などを用いて体表形状上の点群を対応付けるようにしてもよい。そして、対応付けられた体表上の点群の情報を追加して、再びＴＰＳ法で変形変換を取得すればよい。さらに、変形変換の取得と対応付けの更新を、収束するまで反復実行するようにしてもよい。

これにより、第一の画像Ｉ１から第二の画像Ｉ２への変形変換、すなわち、第一の画像Ｉ１の座標系における位置ｘ１を第二の画像Ｉ２の座標系における対応する位置ｘ２に投影する変換を取得できる。第一の実施形態では当該変形変換をＴ１＿２と表記する。このとき、Ｔ１＿２の作用は式５のように表記できる。
（式５）ｘ２＝Ｔ１＿２（ｘ１）

つまり、変形変換Ｔ１＿２は、被検体における任意の位置が、第一の画像Ｉ１においては座標ｘ１の位置に描出され、一方、第二の画像においては座標ｘ２の位置に描出される場合に、ｘ１からｘ２への間の変換を与える。なお、ステップＳ３０５において、変形変換取得部（変形推定部）１０８は、前記Ｔ１＿２の逆変換、すなわち、第二の画像Ｉ２から第一の画像Ｉ１への変形変換をさらに求めるようにしてもよい。なお、逆変換の取得はステップＳ３０１３で説明した正規化変換の逆変換の取得と同様であるので、説明は省略する。ここでＴ１＿２の逆変換をＴ２＿１と表記する。このとき、Ｔ２＿１の作用は式６のように表記できる。
（式６）ｘ１＝Ｔ２＿１（ｘ２）

以上の処理により、第一の画像Ｉ１と第二の画像Ｉ２との間の変形変換が取得される。ステップＳ３０５の処理において、図６に示す第一の画像Ｉ１から第二の画像Ｉ２への変形変換（６１０）が取得される。仮に、第一の正規化画像Ｉ１´と第二の正規化画像Ｉ２´の少なくとも一方を変形することにより位置合わせを行おうとしても、実空間における変形の物理的な妥当性を反映した正則化の情報を用いることは難しい。第一の実施形態においては、対応点を同定しやすいように変形された正規化空間での対応点位置を、実空間での対応点位置に変換することにより、実空間における変形の物理的な妥当性を反映した位置合わせを行うための変形変換を取得することができる。

（ステップＳ３０６：変形画像の生成）
ステップＳ３０６において、変形画像生成部１０９は、ステップＳ３０５で取得した変形変換Ｔ１＿２に基づいて、第一の画像Ｉ１を第二の画像Ｉ２と略合致するように変形させた第一の変形画像Ｉ１＿ｄを生成する。また変形画像生成部１０９は、ステップＳ３０５で取得した変形変換Ｔ２＿１に基づいて、第二の画像Ｉ２を第一の画像Ｉ１と略合致するように変形させた第二の変形画像Ｉ２＿ｄを生成してもよい。なお、変形変換を用いた変形画像の生成方法は公知であるので、詳細な説明は省略する。

（ステップＳ３０７：変形画像の表示）
ステップＳ３０７において、表示制御部１０５は、ステップＳ３０６で生成した第一の変形画像Ｉ１＿ｄ及び第二の変形画像Ｉ２＿ｄを表示部１９０に表示させる制御を行う。また表示制御部１０５は、ユーザの入力操作等に応じて、第一の画像Ｉ１と第二の変形画像Ｉ２＿ｄとを比較可能な形態で表示部１９０に表示するようにしてもよい。同様に、第一の変形画像Ｉ１＿ｄと第二の画像Ｉ２とを比較可能な形態で表示部１９０に表示するようにしてもよい。

以上により、第一の実施形態における画像処理装置の処理が実行される。第一の実施形態によれば、画像を観察するユーザにとって対応点位置の同定が行いやすい正規化画像を表示し、その画像上で指定された対応点位置に基づいて画像を変形する仕組みを提供できる。ユーザが入力した正規化画像上での対応点を、元の入力画像上の対応する位置に変換した上で、画像間の変形を取得できるため、元の入力画像における変形に関する、曲げエネルギーの最小化といった実空間での物理的な拘束、すなわち正則化の情報を反映した変換が行える。すなわち、被検体の変形について物理的な実態に即した変形変換を取得できる。特に、第一の画像と第二の画像が実空間の画像である場合には、これまでに提案されている、位置合わせに関する種々のアルゴリズムを利用することができる。

（変形例１−１）
第一の実施形態では、ステップＳ３０１の処理として、体表からの距離が等しい点を同一平面に変換するような正規化変換を行っていた。しかし、対応点を同定しやすくするための座標変換の方法はこれに限定されるものではない。例えば、特許文献２に開示されているような技術を用いて、画像中の乳頭位置からの距離が等しい点を同一平面に変換するような正規化変換を取得してもよい。

また別の変形例としては、被検体の胸壁形状に基づいた座標変換を用いてもよい。たとえば、第一の画像と第二の画像として、被検体である***の周辺のより広い範囲を撮像しているＭＲＩ画像やＣＴ画像を用いる場合にこのような座標変換を利用できる。この場合、第一の画像及び第二の画像の双方には、乳頭位置や体表形状に加えて、胸壁形状も描出される。そのため、ステップＳ３０１で正規化変換取得部１０３が実行する正規化変換の取得処理として、画像に描出される被検体の乳頭位置、体表形状及び胸壁形状に基づく正規化変換を取得するようにできる。例えば特許文献１に開示されているような技術を用いて、第一の画像及び第二の画像のそれぞれを正規化する正規化変換を取得できる。この方法によれば、被検体の検査対象部位である***の深部、すなわち被検体の体表より内部の側に位置する胸壁が所定の位置に投影される正規化変換が取得できるため、当該位置の画像間の比較が容易になる効果がある。

また、第一の実施形態では、***の画像が位置合わせの対象である場合を例として説明したが、対象はこれに限定されるものではない。例えば、心臓や肝臓などの他の臓器の画像が位置合わせの対象あってもよい。この場合、対象とする臓器の画像を正規化空間に変換するための、公知の様々な正規化手法を用いることができる。このとき、正規化の方法として、第一の実施形態と同様な、臓器の表面からの距離に基づく正規化を用いてもよい。また、特許文献２に開示されているような、特定のランドマーク位置からの距離に基づく正規化を用いてもよい。

（変形例１−２）
第一の実施形態では、ステップＳ３０３において正規化空間における対応点位置を取得し、ステップＳ３０４において正規化空間における対応点位置を実空間における対応点位置に変換する処理を実行する場合を例として説明した。しかし本発明の実施はこれに限らない。例えば、ステップＳ３０４の処理で取得する対応点位置は、正規化空間における対応点位置を実空間に変換して取得した位置に加えて、実空間の画像である第一の画像及び第二の画像から直接取得した対応点位置を含んでもよい。この場合、表示制御部１０５は、第一の画像及び第二の画像を表示部１９０に表示させる制御を行う。そして、対応点取得部１０６は、各画像に共通して描出されている解剖学的に特徴のある位置などを、操作部１８０を介したユーザの操作入力により取得するようにできる。そして取得した位置を、前記実空間における対応点位置に加えるようにしてもよい。これにより、正規化画像では同定しづらく、かつ、元の入力画像では同定が可能な対応点位置を追加で取得できる。

また別の変形例としては、変形例１−１に示したような様々な座標変換により得られる複数の変換画像において対応点位置を取得し、それぞれ実空間における対応点位置に変換してもよい。例えば、被検体の体表付近の対応点を同定しやすくするような座標変換を施した変換画像と、被検体の内部の対応点を同定しやすくするような座標変換を施した変換画像とを併用してもよい。これにより、対応点の取得をより精度良く行うことができる。

これらの変形例によれば、より多くの対応点位置に基づいてステップＳ３０５以降の処理を実行できるため、精度の高い変形変換を取得し、変形画像を表示させることができる効果がある。

（変形例１−３）
第一の実施形態におけるステップＳ３０５の処理は、上述した処理に加えて、さらに以下の処理を実行するようにしてもよい。すなわち、ステップＳ３０４で取得した実空間での対応点位置や、ステップＳ３０２の処理で取得した乳頭位置Ｐ１、Ｐ２、体表形状Ｓ１、Ｓ２に関する情報を、データサーバ１７０に保存するようにしてもよい。この場合、ステップＳ３００でデータ取得部１０２が取得した第一の画像Ｉ１及び第二の画像Ｉ２に関係づけて保存することが望ましい。また、ステップＳ３００の処理は、上記に説明した説明に加えて、さらに以下の処理を実行するようにしてもよい。すなわち、第一の画像Ｉ１及び第二の画像Ｉ２に対応付けられた実空間における対応点位置、乳頭位置、体表形状に関する情報がデータサーバ１７０に保存されている場合には、これらを読み出して取得する処理を行うようにしてもよい。そして、これらの情報を読み出して取得した場合には、ステップＳ３０１の処理は、ステップＳ３０１０、Ｓ３０１１の処理を省略し、読み出した情報に基づいてＳ３０１２、Ｓ３０１３を処理するようにできる。また、ステップＳ３０３及びＳ３０４の処理を省略するようにしてもよい。または、ステップＳ３０３及びＳ３０４の処理を実行して取得した実空間での対応点位置を、データサーバ１７０から読み出して取得した実空間における対応点位置と統合して、以降の処理を実行するようにしてもよい。データサーバ１７０から読み出した実空間における対応点位置などの情報は、正規化空間に変換する処理を施し、第一の正規化画像Ｉ１´や第二の正規化画像Ｉ２´と共に表示部１９０に表示させるようにしてもよい。また、データサーバ１７０から読み出した情報に限らず、第一の実施形態におけるステップＳ３０３で取得した情報に対して同様の処理を行ってもよい。これにより、ユーザ操作を必要とする対応点位置の取得を、複数回に分けて実行することができるため、対応点位置の情報の追加などを柔軟に行える仕組みを提供できる。

［第二の実施形態］ ＦＰＤ法を用いる実施形態
第一の実施形態では、画像間の変形変換をＴＰＳ法により取得する場合を例として説明したが、本発明の実施はこれに限らない。第二の実施形態では、画像間の変形変換をＦＦＤ法（Ｆｒｅｅ Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ法）を用いて取得する場合について説明する。

第二の実施形態における機能構成は、第一の実施形態における機能構成を例示した図１と同様である。ここでは説明を省略する。また、第二の実施形態における全体の処理手順は、第一の実施形態における処理手順を例示した図２を用いて説明できる。以下、第二の実施形態における処理の詳細について説明する。

ステップＳ３００からステップＳ３０４の処理は、第一の実施形態と同様の処理を実行する。ここでは説明を省略する。

（ステップＳ３０５）
ステップＳ３０５において、変形変換取得部（変形推定部）１０８は、ステップＳ３０４の変換処理によって取得した実空間における対応点位置Ｃ１＿ｉおよびＣ２＿ｉに基づいて、第一の画像Ｉ１と第二の画像Ｉ２との間の変形変換を取得する処理を実行する。第二の実施形態では、実空間における対応点位置Ｃ１＿ｉ、Ｃ２＿ｉのそれぞれを略一致させる変形変換を、ＦＦＤ法を用いて求める。ＦＦＤ法は、グリッド状に制御点を配置し、その各制御点における制御量を変形パラメータとして、空間中の変位量を取得する変形表現方法である。ＦＦＤ法による変形表現取得は公知であるため、詳細な説明は省略する。ここではＦＦＤ法において変形変換の特性を定める制御量すなわち変形パラメータの取得方法について説明する。

第二の実施形態において、変形変換取得部（変形推定部）１０８は、式７に示すコスト関数を最小化する変形変換Φを取得する。

式７においてＥ_{ｄｉｓｔａｎｃｅ}（Φ）は、コスト関数におけるデータ項であり、具体的には式８に示す計算により変形変換による対応点の位置の距離の誤差が計算される。

ここでΦ（ｘ）は位置座標ｘの変形変換Φによる変換結果の位置座標を取得する関数である。式７におけるＥ_{ｓｍｏｏｔｈｎｅｓｓ}（Φ）は滑らかな変形を取得するための正則化項（正則化の情報）であり、例えば式９に示す計算で取得される変形変換Φの曲げエネルギーにより計算できる。

式７においてＥ_{ｃｏｍｐｒｅｓｓｉｏｎ}（Φ）は、変形変換Φがもたらす空間の変換における局所的な体積変化に関する正則化項（正則化の情報）であり、例えば式１０に示す計算で取得できる。

ここでＪ（Φ）は変形変換Φに関する空間微分であるヤコビ行列を返す関数であり、三次元の変形を対象とする第二の実施形態では３行３列の行列を返す関数である。また、ｄｅｔ（）は引数の行列の行列式を求める関数である。式１０は変形変換Φがもたらす空間変換において、局所的な体積変化の大きさを取得し、それを空間的に積分する演算を表している。

また、式７においてλ_{ｓｍｏｏｔｈｎｅｓｓ}及びλ_{ｃｏｍｐｒｅｓｓｉｏｎ}は、それぞれ変形の滑らかさに関する正則化パラメータ、体積変化に関する正則化パラメータであり、それぞれの正則化の影響の強さを制御する。

以上の処理により求めた変形変換Φを、第二の実施形態ではＴ１＿２と表記する。変形変換Ｔ１＿２は、第一の画像Ｉ１の画像座標系における位置座標を、第二の画像Ｉ２の画像座標系における対応する位置座標へと変換する変換関数である。

ステップＳ３０６およびステップＳ３０７の処理は、第一の実施形態と同様の処理を実行する。ここでは説明を省略する。

以上の処理により、第二の実施形態における画像処理装置の処理が実行される。第二の実施形態によれば、第一の実施形態と比較して、被検体の局所的な体積変化を伴う変形を抑制した変形変換を取得することができる。ユーザが正規化空間において入力した対応点を、元の入力画像上の対応する位置に変換した上で、画像間の変形変換を取得できるため、元の入力画像における変形に関する局所的な体積変化を抑制した変形変換が取得できる。すなわち、被検体の変形について、実空間での正則化の情報に基づいた、より精度の高い変形変換を取得できる。

［第三の実施形態］ 正規化空間での正則化を併用する実施形態
第一の実施形態及び第二の実施形態では、第一の画像Ｉ１と第二の画像Ｉ２との間の変形変換を取得する際に、実空間における被検体の変形に関する正則化を施す場合を例として説明した。一方、第三の実施形態に係る画像処理装置は、正規化空間における正則化をさらに併用することを特徴とする。

第三の実施形態に係る画像処理装置の機能構成や全体の処理手順は、第二の実施形態と同様である。ただし、ステップＳ３０５で変形変換取得部（変形推定部）１０８が行う処理の一部のみが異なっている。以下では、第二の実施形態との差異のみを説明する。

（ステップＳ３０５）
ステップＳ３０５において、変形変換取得部（変形推定部）１０８は、ステップＳ３０４で取得した実空間における対応点位置に基づいて、第一の画像と第二の画像との間の変形変換を取得する。このとき、第三の実施形態における変形変換取得部（変形推定部）１０８は、第二の実施形態の式７で定義した変形変換取得のコスト関数に、さらに、正規化空間での正則化を行うコスト項（正則化項）を追加したものを、変形変換取得のコスト関数として用いる。つまり、ステップＳ３０５で取得する変形変換は、正規化空間における変形に関する正則化の制約を含むように構成される。この点のみが、第二の実施形態のステップＳ３０５で変形変換取得部（変形推定部）１０８が行う処理との差異である。

以下では、正規化空間での正則化を行うコスト項（正則化項）の取得方法を説明する。まず、変形変換取得部（変形推定部）１０８は、第一の画像Ｉ１と第二の画像Ｉ２との間の変形変換Ｔ１＿２の候補値に基づいて、第一の正規化画像Ｉ１´と第二の正規化画像Ｉ２´の間の変形変換Ｔ１＿２´を取得する。ここで、第一の正規化画像Ｉ１´と第二の正規化画像Ｉ２´の間の変形変換Ｔ１＿２´は、以下のように作用する変形関数である。
（式１１） ｘ２´＝Ｔ１＿２´（ｘ１´）

このとき、Ｔ１＿２´は、第一の正規化画像Ｉ１´から第一の画像Ｉ１への変換Ｔｎ１＿ｉｎｖ、第一の画像Ｉ１から第二の画像Ｉ２への変換Ｔ１＿２、さらに第二の画像Ｉ２から第二の正規化画像Ｉ２´への変換Ｔｎ２を、この順番につなぎ合わせることで取得できる。すなわち、これらの変換は次式の関係を満たしている。
（式１２） ｘ２´＝Ｔｎ２（Ｔ１＿２（Ｔｎ１＿ｉｎｖ（ｘ１´）））

すなわち、変形変換Φ（＝Ｔ１＿２）の候補値に対してＴ１＿２´が取得できる。したがって、実空間と同様に正規化空間での任意の正則化項を定式化しておけば、Φの候補値に対するその値を、Ｔ１＿２´に基づき取得することができる。具体例としては、正規化空間において体表面と深部との間の剪断変形を抑制する正則化を導入できる。この正則化は、被検体の変形を精度よく推定するために効果的である。

以上の方法によれば、第一の画像Ｉ１および第二の画像Ｉ２においては曲面となる被検体の体表形状が、正規化空間では所定の平面上に投影されるため、被検体の体表形状を基準とした正則化をより簡易な処理で実現できる効果がある。

［第四の実施形態］ 正規化画像上で対応点を入力する実施形態
第一の実施形態では、対応点の位置に関する情報を正規化画像上で取得する場合を例として説明したが、本発明はこれに限らない。第四の実施形態では、第一の画像を第二の画像に位置合わせして得られた第一の変形画像を用いて対応点の位置に関する情報を取得する場合を説明する。

図７は、第四の実施形態に係る画像処理装置７００の機能構成の一例を示すブロック図である。なお、図１と同様の構成については同じ符号を付し、上述した説明を援用することにより、ここでの詳しい説明を省略する。

画像処理装置７００は、データ取得部１０２、正規化変換取得部１０３、正規化画像生成部１０４、表示制御部７０５、対応点取得部７０６、対応点変換部７０７、変形変換取得部（変形推定部）７０８、変形画像生成部１０９を有する。

表示制御部７０５は、第一の画像、第二の画像、第一の正規化画像、第二の正規化画像、第一の変形画像、後述する第一の正規化変形画像を、ユーザの操作入力又は所定のプログラムによる制御に応じて表示部１９０に表示させる。第一の正規化変形画像は、第一の変形画像を正規化して得られる画像である。

対応点取得部７０６は、ユーザによる操作部１８０の操作に従って、第一の正規化画像上と第二の正規化画像上とにおける対応点の位置に関する情報を取得する。また、対応点取得部７０６は、第一の画像上と第二の画像上とにおける対応点の位置に関する情報を取得する。また、対応点取得部７０６は、第一の変形画像上と第二の画像上とにおける対応点の位置に関する情報を取得する。また、対応点取得部７０６は、第一の正規化変形画像上と第二の正規化画像上とにおける対応点の位置に関する情報を取得する。

対応点変換部７０７は、正規化変換取得部１０３が取得する正規化変換に基づいて、対応点位置を正規化空間からそれぞれの元の画像の空間である実空間へと変換する。また、対応点変換部７０７は、該正規化変換に基づいて、第一の正規化変形画像上の対応点位置を第一の変形画像上の位置へと変換する。また、対応点変換部７０７は、変形変換取得部（変形推定部）７０８が取得する変形変換に基づいて、第一の変形画像上の対応点位置を第一の画像上の位置へと変換する。すなわち、第一の変形画像上の対応点の位置を、元の画像の空間である実空間における位置へと変換する。さらに、対応点変換部７０７は、該正規化変換に基づいて、第一の画像、第二の画像、第一の変形画像における対応点の位置を、それぞれ第一の正規化画像、第二の正規化画像、第一の正規化変形画像における位置へと変換する。また、対応点変換部７０７は、該変形変換に基づいて、第一の画像における対応点の位置を、第一の変形画像における位置へと変換する。

変形変換取得部（変形推定部）７０８は、実空間で取得した対応点位置、及び正規化画像上や変形画像上や正規化変形画像上で取得し実空間へと変換された実空間における対応点位置に基づいて、第一の画像と第二の画像の間の変形推定を行い、画像間の変形変換を取得する。

画像処理装置７００のハードウェア構成は、図２に示した例と同様である。上述した説明を援用することにより、ここでは詳しい説明を省略する。

図８は、画像処理装置７００が行う全体の処理の一例を示すフローチャートである。ここで、ステップＳ８００からステップＳ８０２までの処理は図３に示すステップＳ３００からステップＳ３０２までの処理と同様である。ステップＳ８０４からステップＳ８０５までの処理は、ステップＳ８０５の後にステップＳ８１５に進むこと以外は、図３に示すステップＳ３０３からステップＳ３０４までの処理と同様である。同様の処理については、上述した説明を援用することにより、ここでは詳しい説明を省略する。

（ステップＳ８０３：正規化画像上で対応点位置を取得するか否かの判定）
ステップＳ８０３において、対応点取得部７０６は、正規化画像上で対応点位置を取得するか否かの判定を行う。例えば、対応点取得部７０６は、ユーザが操作部１８０を介して入力した指示の情報を取得し、当該指示の内容に応じて上述の判定を行う。当該指示は、例えば表示部１９０に表示される正規化画像上の対応点を指定する操作入力により行われる。あるいは、当該指示は表示部１９０に表示される、対応点を入力する画像を選択可能なユーザインタフェースに対する操作入力により行われる。正規化画像上で対応点位置を取得すると判定された場合にはステップＳ８０４へ進み、正規化画像上で対応点位置を取得すると判定されなかった場合にはステップＳ８０６へ進む。

（ステップＳ８０６：実画像上で対応点位置を取得するか否かの判定）
ステップＳ８０６において、対応点取得部７０６は、実画像上で対応点位置を取得するか否かの判定を行う。実画像とは、第一の画像Ｉ１及び第二の画像Ｉ２である。例えば、対応点取得部７０６は、ユーザが操作部１８０を介して入力した指示の情報を取得し、当該指示の内容に応じて上述の判定を行う。当該指示は、例えば表示部１９０に表示される実画像上の対応点を指定する操作入力により行われる。あるいは、当該指示は表示部１９０に表示される、対応点を入力する画像を選択可能なユーザインタフェースに対する操作入力により行われる。実画像上で対応点位置を取得すると判定された場合にはステップＳ８０７へ進み、実画像上で対応点位置を取得すると判定されなかった場合にはステップＳ８０８へ進む。

（ステップＳ８０７：実画像上での対応点の取得）
ステップＳ８０７において、対応点取得部７０６は、第一の画像Ｉ１と第二の画像Ｉ２の間における対応点の位置を取得する。対応点取得部７０６は、対応点位置を、表示部１９０に表示された第一の画像Ｉ１と第二の画像Ｉ２のそれぞれに対する操作入力に基づいて取得する。対応点が取得されると、ステップＳ８１５に進む。

（ステップＳ８０８：変形画像上で対応点位置を取得するか否かの判定）
ステップＳ８０８において、画像処理装置７００は、変形画像上または正規化変形画像上で対応点位置を取得するか否かの判定を行う。変形画像とは、ステップＳ８１４で取得される第一の変形画像Ｉ１＿ｄである。正規化変形画像とは、ステップＳ８１４で取得される第一の正規化変形画像Ｉ１＿ｄ´である。例えば、対応点取得部７０６は、ユーザが操作部１８０を介して入力した指示の情報を取得し、当該指示の内容に応じて上述の判定を行う。当該指示は、例えば表示部１９０に表示される変形画像上の対応点を指定する操作入力により行われる。あるいは、当該指示は表示部１９０に表示される、対応点を入力する画像を選択可能なユーザインタフェースに対する操作入力により行われる。変形画像上で対応点位置を取得すると判定された場合にはステップＳ８０９へ進み、変形画像上で対応点位置を取得すると判定されなかった場合にはステップＳ８１１へ進む。

（ステップＳ８０９：変形変換を取得済みか否かの判定）
ステップＳ８０９において、変形変換取得部７０８は、変形変換を既に取得しているか否かの判定を行う。第一の画像Ｉ１と第二の画像Ｉ２に関する変形変換Ｔ１＿２が変形変換取得部７０８により既に取得されている場合にはステップＳ８１０へ進む。変形変換Ｔ１＿２が取得されていない場合にはステップＳ８１１へ進む。

（ステップＳ８１０：変形画像上での対応点位置の取得）
ステップＳ８１０において、対応点取得部７０６は、変形画像上の対応点を取得する。以下では、変形変換Ｔ１＿２により第一の画像Ｉ１から第一の変形画像Ｉ１＿ｄが生成されている場合を例に説明する。対応点取得部７０６は、第一の変形画像Ｉ１＿ｄと第二の画像Ｉ２との間における対応点の位置を取得する。取得した対応点の位置は、変形変換Ｔ２＿１により実空間における位置に変換される。また、対応点取得部７０６は、第一の正規化変形画像Ｉ１＿ｄ´と第二の正規化画像Ｉ２´の間における対応点位置を取得する。取得した対応点の位置は、正規化変換Ｔｎ１＿ｄの逆変換及び変形変換Ｔ１＿２により、実空間における位置に変換される。対応点取得部７０６は、変形画像または正規化変形画像において取得された対応点位置を、実空間における対応点位置に変換した情報を取得する。対応点が取得されると、ステップＳ８１５に進む。

図９は、ステップＳ８１０の処理の一例を説明するためのフローチャートである。

（ステップＳ８１００：正規化変形画像上で対応点位置を取得するか否かの判定）
ステップＳ８１００において、対応点取得部７０６は、正規化変形画像上で対応点位置を取得するか否かの判定を行う。正規化変形画像とは、変形変換により生成された変形画像を、さらに正規化することにより得られる画像である。対応点取得部７０６は、ユーザが操作部１８０を介して入力した指示の情報を取得し、当該指示の内容に応じて上述の判定を行う。当該指示は、例えば表示部１９０に表示される正規化変形画像上の対応点を指定する操作入力により行われる。あるいは、当該指示は表示部１９０に表示される、対応点を入力する画像を選択可能なユーザインタフェースに対する操作入力により行われる。正規化変形画像上で対応点位置を取得すると判定された場合にはステップＳ８１０３へ進み、正規化変形画像上で対応点位置を取得すると判定されなかった場合にはステップＳ８１０１へ進む。

（ステップＳ８１０１：変形画像上での対応点位置の取得）
ステップＳ８１０１において、対応点取得部７０６は、第一の変形画像Ｉ１＿ｄと第二の画像Ｉ２の間における対応点位置を取得する。対応点取得部７０６は、ユーザによる操作部１８０を介した操作入力に応じて、第一の変形画像Ｉ１＿ｄと第二の画像Ｉ２との間の対応点位置を取得する。

（ステップＳ８１０２：正規化変形画像上での対応点位置の取得）
ステップＳ８１０２において、対応点取得部７０６は、第一の正規化変形画像Ｉ１＿ｄ´と第二の正規化画像Ｉ２´の間における対応点位置を取得する。対応点取得部７０６は、ユーザによる操作部１８０を介した操作入力に応じて、第一の正規化変形画像Ｉ１＿ｄ´と第二の正規化画像Ｉ２´との間の対応点位置を取得する。

（ステップＳ８１０３：実画像上への対応点位置の変換）
ステップＳ８１０３において、対応点変換部７０７は、ステップＳ８１０１からステップＳ８１０２までの処理で取得された対応点位置を、実空間における対応点位置に変換する。

対応点変換部７０７は、変形変換Ｔ２＿１に基づいて、ステップＳ８１０１で取得した第一の変形画像Ｉ１＿ｄ上での対応点位置を変換し、第一の画像Ｉ１上すなわち実画像上における対応点位置を取得する。第一の変形画像Ｉ１＿ｄにおける対応点位置を第一の画像Ｉ１における対応点位置に変換する処理は、たとえば式１３のように表される。
（式１３）Ｃ１＝Ｔ２＿１（Ｃ１＿ｄ）
ここで、Ｃ１＿ｄは、第一の変形画像Ｉ１＿ｄ上に指定された対応点である。

また、対応点変換部７０７は、ステップＳ８１０２で取得した正規化変換Ｔｎ１＿ｄと変形変換Ｔ１＿２とに基づいて、第一の正規化変形画像Ｉ１＿ｄ´上での対応点位置を変換し、第一の画像Ｉ１上すなわち実画像上における対応点位置を取得する。第一の正規化変形画像Ｉ１＿ｄ´における対応点位置を第一の画像Ｉ１における対応点位置に変換する処理は、たとえば式１４のように表される。
（式１４）Ｃ１＝Ｔ２＿１（Ｔｎ１＿ｄ＿ｉｎｖ（Ｃ１＿ｄ））
ここでＴｎ１＿ｄ＿ｉｎｖはＴｎ１＿ｄの逆変換であり、逆変換は公知の方法により取得される。以上により、変形画像上での対応点位置の取得処理が実行され、ステップＳ８１５に進む。

（ステップＳ８１１：変形変換を取得するか否かの判定）
ステップＳ８１１において、変形変換取得部７０８は、変形変換を取得するか否かの判定を行う。例えば、変形変換取得部７０８は、ユーザによる操作部１８０を介した操作入力によって判定の指示を取得する。当該指示は、変形変換を取得することを指示するためのユーザインタフェースに対する操作入力により行われる。変形変換を取得すると判定された場合にはステップＳ８１２へ進み、変形変換を取得すると判定されなかった場合にはステップＳ８１５へ進む。

（ステップＳ８１２：対応点数が十分か否かの判定）
ステップＳ８１２において、変形変換取得部７０８は、対応点数が変形変換の取得に十分であるか否かの判定を行う。たとえば、変形変換取得部７０８は、対応点の個数が所定の数より多い場合に、十分であると判定する。対応点数が十分である場合には、ステップＳ８１３へ進み、対応点数が十分でない場合にはステップＳ８１５へ進む。

（ステップＳ８１３：変形変換の取得）
ステップＳ８１３において、変形変換取得部（変形推定部）７０８は、ステップＳ８１３までに取得された、実空間における対応点位置に基づいて、第一の画像Ｉ１と第二の画像Ｉ２との間の変形変換Ｔ１＿２を取得する。変形変換Ｔ１＿２を取得するための処理は、ステップＳ３０５の処理と同様であるので、上述した説明を援用することによりここでの詳しい説明を省略する。

（ステップＳ８１４：変形画像の生成）
ステップＳ８１４において、変形画像生成部１０９は、ステップＳ８１３で取得した変形変換Ｔ１＿２に基づいて、第一の画像Ｉ１を第二の画像Ｉ２と略合致するように変形させた第一の変形画像Ｉ１＿ｄを生成する。また変形画像生成部１０９は、ステップＳ３０５で取得した変形変換Ｔ２＿１に基づいて、第二の画像Ｉ２を第一の画像Ｉ１と略合致するように変形させた第二の変形画像Ｉ２＿ｄを生成してもよい。なお、変形変換を用いた変形画像の生成方法は公知であるので、詳細な説明は省略する。

さらに、ステップＳ８１４において、正規化変換取得部１０３は、第一の変形画像Ｉ１＿ｄを正規化変形画像に変換するための正規化変換Ｔｎ１＿ｄを取得する。正規化変換Ｔｎ１＿ｄは、ステップＳ８０１と同様の方法、すなわち図５に例示する処理により求められる。ただし、正規化変換取得部１０３は、第一の変形画像Ｉ１＿ｄにおける体表形状や乳頭位置を、ステップＳ８０１で求めた第一の画像Ｉ１の体表形状や乳頭位置に変形変換Ｔ１＿２を施して第一の変形画像における形状や位置に変換することにより取得する。さらに、ステップＳ８１４において、正規化画像生成部１０４は、正規化変換Ｔｎ１＿ｄに基づいて第一の変形画像Ｉ１＿ｄを変換し、第一の正規化変形画像Ｉ１＿ｄ´を生成する。なお、第一の変形画像Ｉ１＿ｄは、第一の画像Ｉ１を第二の画像Ｉ２と略合致するように変形させて生成した画像であることから、ステップＳ８０１で取得した第二の正規化変換Ｔｎ２に基づいて第一の変形画像Ｉ１＿ｄを変換して、第一の正規化変形画像Ｉ１＿ｄ´を生成してもよい。

（ステップＳ８１５：画像と対応点の表示）
ステップＳ８１５において、表示制御部７０５は、ステップＳ８１５までに取得された対応点位置を示す情報を、表示部１９０に表示させる。また、表示制御部７０５は、ステップＳ８１４で生成された変形画像を表示部１９０に表示させる。表示制御部７０５は、ステップＳ８１４までに生成された他の画像をさらに表示部１９０に表示させてもよい。たとえば表示制御部７０５は、第一の画像、第二の画像、第一の正規化画像、第二の正規化画像、第一の変形画像、及び第一の正規化変形画像のうちステップＳ８１４までに生成された画像を、表示部１９０にタイル状に並べて表示させてもよい。表示制御部７０５は、対応点が入力された画像を区別可能に、対応点の位置を表示させてもよい。たとえば、表示制御部７０５は、対応点位置を表す図形を、当該対応点が入力された画像の種類に応じて異なる表示態様（例えば異なる色や形）で表示させる。また、変形変換Ｔ１＿２とＴ２＿１が不可逆である場合には、第一の変形画像または第一の正規化変形画像上で取得して変換していない対応点位置は、それらを変換しさらに逆変換した位置と一致しない。したがって表示制御部７０５は、第一の変形画像および第一の正規化変形画像上には、第一の変形画像または第一の正規化変形画像上で取得して変換していない対応点位置を表す図形は表示させないようにしてもよい。

（ステップＳ８１６：全体の終了判定）
ステップＳ８１６において、画像処理装置７００は、全体の処理を終了するか否かの判定を行う。例えば、画像処理装置７００は、ユーザによる操作部１８０の操作入力によって終了の指示を取得する。当該終了の指示は、表示部１９０に表示されるユーザインタフェースに対する操作入力により行われる。ステップＳ８１２において対応点の個数が不足していると判定された場合には、表示制御部７０５は対応点の個数が不足している旨をユーザに報知する画面を表示部１９０に表示させてもよい。全体の処理を終了すると判定された場合には図８に示す処理を終了し、全体の処理を終了すると判定されなかった場合にはステップＳ８０３へ処理を戻す。

以上により、第四の実施形態における画像処理装置の処理が実行される。第四の実施形態によれば、画像を観察するユーザにとって対応点位置の同定が行いやすいように変形状態を揃えた（一方の画像に他方の画像を変形位置合わせした）画像を表示し、その画像上で指定した対応点位置に基づいて画像を変形する仕組みを提供できる。また、第四の実施形態によれば、第一の正規化画像上で入力した対応点、及び第一の変形画像上で入力した対応点を、第一の画像上の位置に変換した上で、第一の画像上で入力した対応点と共に一元管理することができる。このように、第一の画像上の位置で対応点が管理されるので、変形変換が更新された後にも、対応点の位置は第一の変形画像上の適切な位置に変換されることになる。

［第四の実施形態の変形例］
（変形例４−１）
第四の実施形態では、第一の変形画像上に、第一の変形画像上で取得して変換していない対応点位置を表す図形を表示しない場合について説明した。しかし、本発明の実施はこれに限らず、第一の変形画像上で取得して変換および逆変換した対応点位置を表す図形や、第一の画像上で取得して逆変換した対応点位置を表す図形とは異なる表示態様で表示してもよい。

（変形例４−２）
第四の実施形態では、第一の画像を第二の画像に位置合わせして第一の変形画像を生成し、生成した第一の変形画像上と第二の画像上とにおける対応点の位置に関する情報を取得する場合について説明した。本発明はこれに限らず、第二の変形画像と第一の画像との間の対応点の位置に関する情報を取得してもよい。あるいは、第一の画像と第二の画像とを変形させた変形画像間における対応点の位置に関する情報を取得してもよい。

（変形例４−３）
第四の実施形態では、原画像、変形画像、正規化画像、および正規化変形画像上で対応点を入力する場合について説明した。しかし、本発明の実施はこれに限らず、正規化画像および／または正規化変形画像は生成せずに、当該画像上では対応点を入力しないようにしてもよい。

（変形例４−４）
第四の実施形態にかかる画像処理装置７００による処理を図８及び図９に例示したが、当該処理の順序はこれに限らない。たとえば、ステップＳ８０３、Ｓ８０４、Ｓ８０５からなる処理と、ステップＳ８０６、Ｓ８０７からなる処理と、ステップＳ８０８、Ｓ８０９、Ｓ８１０からなる処理とを、図８に例示した順序とは異なる順序で行ってもよい。また、ステップＳ８０５、Ｓ８０７、Ｓ８１０のそれぞれが終了した際にステップＳ８１５に進む例を示したが、当該処理の順序はこれに限らない。たとえば、それぞれのステップが終了した際に、対応点の表示処理を行った上で、それぞれの次のステップ（Ｓ８０５の場合はＳ８０６、Ｓ８０７の場合はＳ８０８、Ｓ８１０の場合はＳ８１１）に進んでもよい。ステップＳ８０３、Ｓ８０６、Ｓ８０８の順に判定する例を示したが、これに限らない。たとえば、画像処理装置７００はユーザの指示を待ち受けるモードで待機し、対応点を入力する画像を選択する操作入力に基づいて、特定のステップに進んでもよい。

（変形例４−５）
第四の実施形態において、様々な画像を用いて入力された対応点位置の情報を実空間における対応点位置にそれぞれ変換する例を説明した。画像処理装置７００は、実画像すなわち第一の画像及び第二の画像の少なくともいずれかに、実空間における対応点位置の情報を付帯させてもよい。第四の実施形態では、ステップＳ８０５やステップＳ８１０３においてそれぞれ対応点位置を実空間に変換する処理を行うが、所定のタイミングで対応点位置を実空間に変換する処理を行ってもよいし、対応点が入力される都度行ってもよい。また、様々な画像を用いて入力された対応点位置の情報を、所定のタイミング（たとえばステップＳ８１５）で表示部１９０に表示してもよいし、それまでに入力された対応点位置を、表示部１９０に表示されている画像における位置に変換した状態で表示部１９０に表示してもよい。

［変形例］
第一の実施形態乃至第四の実施形態においては、画像間の変形変換をＴＰＳ法やＦＦＤ法で表す場合を例として説明したが、実空間での正則化を考慮して変形パラメータの最適化を行える変形表現方法であれば、対象はこれに限定されるものではない。例えば、ＴＰＳとは別の放射基底関数を用いる方法を用いることができる。また、速度場の積分によって変形変換を表現するＬＤＤＭＭ（Ｌａｒｇｅ Ｄｅｆｏｒｍａｔｉｏｎ Ｄｉｆｆｅｏｍｏｒｐｈｉｃ Ｍｅｔｒｉｃ Ｍａｐｐｉｎｇ）法などを用いてもよい。

第一の実施形態乃至第四の実施形態においては、第一の画像と第二の画像のそれぞれに対して座標変換を施すことにより、第一の変換画像と第二の変換画像を取得する例について説明したが、本発明はこれに限らない。たとえば、第一の画像に描出されている被検体の形状を第二の画像に描出されている被検体の形状に近づけるような座標変換を施して、第一の変換画像のみを取得してもよい。第一の変換画像と、第二の画像に描出されている被検体の形状が近づくことにより、対応点の同定が容易になる。この場合、対応点変換部１０７は、第一の変換画像と第二の画像にそれぞれ含まれる対応点の情報であって、第一の変換画像上の当該対応点の位置を、第一の画像における位置に変換する。そして対応点変換部１０７は、第一の画像と第二の画像における対応点の位置を変形変換取得部（変形推定部）１０８に出力する。

第一の実施形態乃至第四の実施形態において説明した機能を、たとえばサーバ装置（不図示）とクライアント装置（不図示）により構成されるシステムにより実現してもよい。たとえば、図１に示す変形変換取得部（変形推定部）１０８と変形画像生成部１０９とを有するサーバ装置（不図示）と、正規化変換取得部１０３．正規化画像生成部１０４、表示制御部１０５、対応点取得部１０６、対応点変換部１０７とを有し、操作部１８０と表示部１９０と接続されているクライアント装置（不図示）である。この場合、クライアント装置（不図示）はデータサーバ１７０から取得した画像に座標変換を施し、座標変換された空間で対応点位置を取得し、元の画像の空間における対応点位置に変換する。そして、クライアント装置（不図示）は、サーバ装置（不図示）に位置合わせを行いたい複数の画像と、対応点位置とを出力する。サーバ装置（不図示）は、クライアント装置（不図示）から入力された複数の画像と、対応点位置の情報とに基づいて変形変換を取得し、クライアント装置（不図示）に出力する。クライアント装置（不図示）は、サーバ装置（不図示）から入力された変形変換に基づいて、位置合わせされた画像を生成し、表示部１９０に表示させる。サーバ装置（不図示）は、さらに正規化変換取得部１０３を有していてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の各実施形態における画像処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。画像処理装置及び画像処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。

本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。

したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。

Claims (22)

1. 被検体を撮像して得られる第一の画像と第二の画像のそれぞれを、第一の変換画像と第二の変換画像に変換するための座標変換に関する情報を取得する座標変換取得手段と、
   前記第一の変換画像と前記第二の変換画像のそれぞれに含まれる対応点の情報である対応情報を取得する情報取得手段と、
   前記情報取得手段により取得された前記対応情報と、前記変換取得手段により取得された前記座標変換とに基づいて、前記第一の変換画像に含まれる対応点の位置を前記第一の画像における位置に変換し、前記第二の変換画像に含まれる対応点の位置を、前記第二の画像における位置に変換する変換手段と、
   前記第一の画像と前記第二の画像における位置にそれぞれ前記変換手段により変換された前記対応点の情報に基づいて、前記第一の画像と前記第二の画像とを位置合わせするための変形変換に関する情報を取得する変形変換取得手段と、
   を有することを特徴とする画像処理装置。
2. 前記変形変換取得手段は、前記第一の画像と前記第二の画像における前記被検体の変形を規定する正則化の情報に基づいて前記変形変換に関する情報を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記座標変換取得手段により取得された前記座標変換に関する情報に基づいて、前記第一の画像と前記第二の画像のそれぞれを前記第一の変換画像と前記第二の変換画像に変換する変換画像生成手段と、
   前記第一の変換画像と前記第二の変換画像とを表示部に表示させる表示制御手段をさらに有し、
   前記情報取得手段は、前記表示部に表示された前記第一の変換画像と前記第二の変換画像に対するユーザの操作入力に基づいて、前記対応情報を取得することを特徴とする、請求項１又は請求項２に記載の画像処理装置。
4. 前記変形変換取得手段は、前記第一の変換画像及び前記第二の変換画像における、前記被検体の変形を規定する正則化の情報にさらに基づいて、前記変形変換に関する情報を取得することを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像処理装置。
5. 前記第一の画像と前記第二の画像は同一の被検体の異なる形状を撮像して得られる画像であって、実空間の画像であることを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像処理装置
6. 前記座標変換取得手段は、前記被検体の体表の形状と前記体表上にある基準点とに基づいて前記体表の形状を所定の形状に変形した第一の変換画像と第二の変換画像に変換するための座標変換に関する情報を取得することを特徴とする請求項１乃至請求項５のいずれか一項に記載の画像処理装置。
7. 前記座標変換取得手段は前記座標変換に関する情報として、前記第一の画像及び前記第二の画像の空間から、前記被検体の体表の位置と形状が前記第一の変換画像と前記第二の変換画像とで略一致するように変形される正規化空間への非線形変換に関する情報をそれぞれ取得することを特徴とする請求項１乃至請求項６のいずれか一項に記載の画像処理装置。
8. 前記変形変換取得手段は、前記第一の画像と前記第二の画像のそれぞれにおける前記被検体の体表形状を略一致させる変形変換に関する情報を取得することを特徴とする、請求項１乃至請求項７のいずれか一項に記載の画像処理装置。
9. 前記変形変換取得手段は、変形に伴う歪みを最小化するように制御するための正則化の情報に基づいて、前記変形変換に関する情報を取得することを特徴とする請求項１乃至請求項８のいずれか一項に記載の画像処理装置。
10. 前記第一の画像と、前記第二の画像と、前記第一の変換画像と、前記第二の変換画像と、前記変形変換取得手段により取得された前記変形変換により位置合わせされた画像と、の少なくともいずれかの画像を外部の装置において表示可能なデータを出力する出力手段をさらに有することを特徴とする請求項１乃至請求項９のいずれか一項に記載の画像処理装置。
11. 前記座標変換取得手段は、前記第一の画像と前記第二の画像のそれぞれを、前記対応点の位置を取得しやすい空間に変換するための座標変換に関する情報を取得することを特徴とする請求項１乃至請求項１０のいずれか一項に記載の画像処理装置。
12. 前記情報取得手段は、さらに前記第一の画像と前記第二の画像に基づいて対応点の情報を取得し、
    前記変形変換取得手段は、前記情報取得手段により前記第一の画像と前記第二の画像に基づいて取得された対応点の情報と、前記第一の変換画像と前記第二の変換画像のそれぞれに含まれる対応点の位置を前記第一の画像と前記第二の画像における位置に変換された対応点の情報とに基づいて前記変形変換に関する情報を取得することを特徴とする請求項１乃至請求項１１のいずれか一項に記載の画像処理装置。
13. 前記座標変換取得手段は、前記第一の画像と前記第二の画像を変換するための異なる複数の座標変換に関する情報を取得し、
    前記情報取得手段は、前記座標変換取得手段により取得された前記異なる複数の座標変換をそれぞれ前記第一の画像と前記第二の画像に施して得られる、異なる複数の変換画像の組にそれぞれ含まれる対応点の情報を前記対応情報として取得することを特徴とする請求項１乃至請求項１２のいずれか一項に記載の画像処理装置。
14. 前記情報取得手段により取得された対応情報を、前記第一の画像または前記第二の画像の少なくともいずれかに対応付けて記憶させる記憶手段をさらに有することを特徴とする請求項１乃至請求項１３のいずれか一項に記載の画像処理装置。
15. 被検体を撮像して得られる第一の画像と第二の画像のそれぞれを、第一の変換画像と第二の変換画像に変換するための座標変換を取得する座標変換取得手段と、
    前記第一の変換画像と前記第二の変換画像のそれぞれに含まれる対応点の情報である対応情報を取得する情報取得手段と、
    前記情報取得手段により取得された前記対応情報と、前記変換取得手段により取得された前記座標変換とに基づいて、前記第一の変換画像と前記第二の変換画像のそれぞれに含まれる対応点の位置を、前記第一の画像と前記第二の画像における位置にそれぞれ変換する変換手段と、
    前記変換手段により前記第一の画像と前記第二の画像における位置に変換された前記対応点の位置と、前記第一の画像と、前記第二の画像とを、画像間の位置合わせの変形変換を取得するための装置に出力する出力手段と、
    を有することを特徴とする画像処理装置。
16. 前記変形変換取得手段により取得された前記変形変換に基づいて第一の画像を変形して第一の変形画像を生成する変形画像生成手段をさらに有し、
    前記情報取得手段は、前記第一の変形画像と前記第二の画像のそれぞれに含まれる対応点の情報である第二の対応情報を取得し、
    前記変形変換取得手段は、前記第二の対応情報に基づいて前記第一の画像と前記第二の画像とを位置合わせするための変形変換に関する情報を取得することを特徴とする請求項１乃至請求項１５のいずれか１項に記載の画像処理装置。
17. 被検体を撮像して得られる第一の画像と第二の画像のそれぞれに含まれる対応点の情報である第一の対応情報を取得する第一の情報取得手段と、
    前記第一の対応情報に基づいて、前記第一の画像と前記第二の画像とを位置合わせするための変形変換に関する情報を取得する変形変換取得手段と、
    前記変形変換に関する情報に基づいて、前記第一の画像と前記第二の画像とのうち少なくともいずれかを変形して変形画像を生成する変形画像生成手段と、
    前記変形画像に基づいて、前記第一の画像と前記第二の画像のそれぞれに含まれる対応点の情報である第二の対応情報を取得する第二の情報取得手段と、を有し
    前記変形変換取得手段は、さらに前記第二の対応情報に基づいて、前記第一の画像と前記第二の画像とを位置合わせするための変形変換に関する情報を取得することを特徴とする画像処理装置。
18. 前記第二の情報取得手段は、前記第二の対応情報を前記第一の画像と前記第二の画像における対応点の位置に変換して得られる情報である第３の対応情報を取得し、
    前記変形変換取得手段は、前記第３の対応情報に基づいて、前記変形変換に関する情報を取得することを特徴とする、請求項１７に記載の画像処理装置。
19. 前記第二の情報取得手段により前記第二の対応情報を変換して得られる、前記第一の画像における対応点の位置を、前記第一の座標変換に関する情報に基づいて前記第一の変形画像における位置に変換する逆変換手段と、
    前記逆変換手段が算出した前記第一の変形画像における位置を、該第一の変形画像上に表示させる表示制御手段と、
    をさらに有することを特徴とする、請求項１８に記載の画像処理装置。
20. 被検体を撮像して得られる第一の画像と第二の画像のそれぞれを、第一の変換画像と第二の変換画像に変換するための座標変換を取得する座標変換取得手段と、
    前記第一の変換画像と前記第二の変換画像のそれぞれに含まれる対応点の情報である対応情報を取得する情報取得手段と、
    前記情報取得手段により取得された前記対応情報と、前記変換取得手段により取得された前記座標変換とに基づいて、前記第一の変換画像に含まれる対応点の位置を前記第一の画像における位置に変換し、前記第二の変換画像に含まれる対応点の位置を、前記第二の画像における位置に変換する変換手段と、
    前記第一の画像と前記第二の画像における位置にそれぞれ前記変換手段により変換された前記対応点の情報に基づいて、前記第一の画像と前記第二の画像とを位置合わせするための変形変換を取得する変形変換取得手段と、
    を有することを特徴とする画像処理システム。
21. 被検体を撮像して得られる第一の画像と第二の画像のそれぞれを、第一の変換画像と第二の変換画像に変換するための座標変換を取得する座標変換取得ステップと、
    前記第一の変換画像と前記第二の変換画像のそれぞれに含まれる対応点の情報である対応情報を取得する情報取得ステップと、
    前記情報取得ステップにおいて取得された前記対応情報と、前記変換取得ステップにおいて取得された前記座標変換とに基づいて、前記第一の変換画像に含まれる対応点の位置を前記第一の画像における位置に変換し、前記第二の変換画像に含まれる対応点の位置を、前記第二の画像における位置に変換する変換ステップと、
    前記第一の画像と前記第二の画像における位置にそれぞれ前記変換ステップにおいて変換された前記対応点の情報に基づいて、前記第一の画像と前記第二の画像とを位置合わせするための変形変換を取得する変形変換取得ステップと、
    を有することを特徴とする画像処理方法。
22. 請求項２１に記載の画像処理方法をコンピュータに実行させるためのプログラム。
    

Images