JP2018110615A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】複数の被検体画像を合成する画像処理装置においてより高い精度を得る。【解決手段】被検体を複数回撮像して得られた複数の被検体画像を取得する画像取得手段と、前記被検体の形状を表す情報である形状情報を取得する形状取得手段と、前記形状情報に基づいて、前記複数の被検体画像を、それぞれ二つ以上の部分画像に分割する画像分割手段と、前記分割された部分画像同士の位置合わせを行う位置合わせ手段と、を有する。【選択図】図１

Description

本発明は、被検体を撮像して得られた画像を処理する装置に関する。

近年、医療分野において、被検体内の構造情報や、生理的情報、すなわち機能情報をイメージングするための研究が進められている。このような技術の一つとして、近年、光音響トモグラフィ（ＰＡＴ：ＰｈｏｔｏＡｃｏｕｓｔｉｃ Ｔｏｍｏｇｒａｐｈｙ）が提案されている。
レーザ光などの光を被検体である生体に照射すると、光が被検体内の生体組織で吸収される際に音響波（典型的には超音波）が発生する。この現象を光音響効果と呼び、光音響効果により発生した音響波を光音響波と呼ぶ。被検体を構成する組織は、光エネルギーの吸収率がそれぞれ異なるため、発生する光音響波の音圧も異なったものとなる。ＰＡＴでは、発生した光音響波を探触子で受信し、受信信号を数学的に解析することにより、被検体内の特性情報を取得することができる。

光音響イメージングでは、一回の光照射で観測した光音響波から一枚の画像（以下、ショット画像）が生成される。また、ノイズ低減や撮像範囲の拡大を目的として、複数回の光照射を行い、それぞれ得られた一連のショット画像を合成して被検体の画像（以下、統合画像）を生成する手法がある。

しかし、複数回の光照射を行う間に被検体が動いてしまうと、被検体の同じ部位が、それぞれのショット画像上でずれて記録されてしまうおそれがある。すなわち、各ショット画像間で位置ずれが生じてしまう。また、位置ずれが生じたショット画像同士を合成すると、統合画像の精度（品質）が低下してしまう。
この課題に対して、複数のショット画像を比較することで、各ショット画像同士の位置ずれ量（動きベクトル）を推定し、位置合わせを行う手法が知られている（特許文献１）。

特開２０１４−１４０７１６号公報

しかしながら、特許文献１における位置ずれ補正方法では、位置合わせの精度が十分に得られないケースがある。すなわち、さらなる位置合わせ精度の向上が望まれている。

本発明はこのような従来技術の課題に鑑みてなされたものであり、複数の被検体画像を合成する画像処理装置においてより高い精度を得ることを目的とする。

本発明に係る画像処理装置は、
被検体を複数回撮像して得られた複数の被検体画像を取得する画像取得手段と、前記被検体の形状を表す情報である形状情報を取得する形状取得手段と、前記形状情報に基づいて、前記複数の被検体画像を、それぞれ二つ以上の部分画像に分割する画像分割手段と、前記分割された部分画像同士の位置合わせを行う位置合わせ手段と、を有することを特徴とする。

また、本発明に係る画像処理方法は、
被検体を複数回撮像して得られた複数の被検体画像を取得する画像取得ステップと、前記被検体の形状を表す情報である形状情報を取得する形状取得ステップと、前記形状情報に基づいて、前記複数の被検体画像を、それぞれ二つ以上の部分画像に分割する画像分割ステップと、前記分割された部分画像同士の位置合わせを行う位置合わせステップと、を含むことを特徴とする。

本発明によれば、複数の被検体画像を合成する画像処理装置においてより高い精度を得ることができる。

第一の実施形態における画像処理装置の機能ブロックを示す図。 光照射時における探触子の位置を説明する図。 第一の実施形態におけるショット画像を説明する図。 本発明に係る画像処理装置のハードウェア構成を示す図。 第一の実施形態における画像処理装置の処理手順を示すフローチャート。 第一の実施形態における集合データの選択方法を説明する図。 第一の実施形態における集合画像を示す図。 第一の実施形態における集合画像を示す図。 第一の実施形態における集合画像を示す図。 第一の実施形態における画像分割処理を説明するフローチャート図。 集合画像を分割する面を説明する図。 第二の実施形態における画像分割処理を説明するフローチャート図。

以下に図面を参照しつつ、本発明の好適な実施の形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状およびそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものである。よって、この発明の範囲を以下の記載に限定する趣旨のものではない。

本発明の画像処理装置は、被検体に光（電磁波）を照射することにより被検体内で発生した音響波を受信して、被検体の特性情報を画像データとして取得する光音響効果を利用した装置に適用することができる。この場合、特性情報とは、光音響波を受信することにより得られる受信信号を用いて生成される、被検体内の複数位置のそれぞれに対応する特性値の情報である。

光音響測定により取得される特性情報は、光エネルギーの吸収率を反映した値である。例えば、光照射によって生じた音響波の発生源、被検体内の初期音圧、あるいは初期音圧から導かれる光エネルギー吸収密度や吸収係数、組織を構成する物質の濃度を含む。また、物質濃度として酸化ヘモグロビン濃度と還元ヘモグロビン濃度を求めることにより、酸素飽和度分布を算出できる。また、グルコース濃度、コラーゲン濃度、メラニン濃度、脂肪や水の体積分率なども求められる。

被検体内の各位置の特性情報に基づいて、二次元または三次元の特性情報分布が得られる。分布データは画像データとして生成され得る。特性情報は、数値データとしてではなく、被検体内の各位置の分布情報として求めてもよい。すなわち、初期音圧分布、エネルギー吸収密度分布、吸収係数分布や酸素飽和度分布などの分布情報である。

本明細書における音響波とは、典型的には超音波であり、音波、音響波と呼ばれる弾性波を含む。探触子等により音響波から変換された電気信号を音響信号とも呼ぶ。ただし、本明細書における超音波または音響波という記載には、それらの弾性波の波長を限定する意図はない。光音響効果により発生した音響波は、光音響波または光超音波と呼ばれる。光音響波に由来する電気信号を光音響信号とも呼ぶ。超音波エコーに由来する電気信号を超音波信号とも呼ぶ。

（第一の実施形態）
<システム構成>
第一の実施形態における画像処理装置は、人体である被検体（本実施形態では人の***）を時系列で撮像した複数のショット画像を合成して統合画像を生成する装置である。また、複数のショット画像を合成する際に、単純に足し合わせるのではなく、各ショット画像を複数の部分画像（分割画像）にそれぞれ分割したうえで、部分画像同士で位置合わせを行うという特徴を有する。

図１は、第一の実施形態に係る画像処理システムの構成を示す機能ブロック図である。
第一の実施形態に係る画像処理システム１は、画像処理装置１００と、データサーバ１５０と、ディスプレイ１６０と、を有するシステムである。
画像処理装置１００は、取得部１０２、選択部１０４、合成部１０６、分割部１０８、ずれ推定部１１０、表示制御部１１２を有している。

本実施形態に係る画像処理システムでは、データサーバ１５０が、被検体を撮像した画像と、当該被検体についての情報を保持しており、画像処理装置１００に供給する。
具体的には、データサーバ１５０は、（１）被検体を複数回撮像して得られた画像（以下、ショット画像）と、（２）被検体の表面形状を表すデータ（本発明における形状情報。以下、表面形状データ）と、（３）画像を処理する際に用いられる、被検体表面からの距離を表す情報（以下、距離データ）とを記憶しており、これらの情報を、要求に応じて画像処理装置１００に送信する。

まず、データサーバ１５０によって記憶されるデータについて説明する。
<ショット画像>
本実施形態では、被検体画像（ショット画像）として、三次元に配列したボクセルに、対応する値をそれぞれ収めたボリュームデータを利用する。ショット画像は、三次元ボリュームデータ、三次元画像、三次元断層像とも呼べる。なお、本実施形態では、ショット画像は三次元データであるものとするが、ショット画像は二次元データであってもよい。なお、被検体画像とは、被検体が表現された画像のことを指す。

一連のショット画像は、付帯情報として、画像のサイズ、解像度、撮像パラメータ、撮像時における送受信部（パルス光を被検体に照射する手段と、光音響波を受信する手段が一体となったもの。以下、探触子と称する）の位置情報などを含んでいる。本実施形態において処理されるショット画像は、探触子を所定の位置に機械的に移動させながら、それぞれの位置において光照射と光音響波の受信を複数回行い、得られた信号に基づいて生成された画像である。
なお、本実施形態においては、被検体のショット画像として、光音響波の発生音圧（初期音圧）の三次元空間分布（初期音圧分布）を取得するものとして説明を行う。また、以下の説明において、ｉ番目のショット画像をＩ_ｓ＿ｉ（１≦ｉ≦Ｎであり、ｉは正の整数、Ｎは総ショット数）と表記する。また、ショット画像に含まれるボクセル値を、Ｉ_ｓ＿ｉ（ｘ，ｙ，ｚ）のように関数表現によって表記する。

図２は、光照射時における探触子の位置を例示した図である。図２における各点は、各
光照射時における探触子の位置をプロットしたものである。探触子は、移動しながらＮ回の光照射を行い、Ｎ箇所で光音響波を受信する。図２において、光照射回数は２０５０回であり、光照射間における探触子の平均移動距離は約１．５ｍｍである。
図３は、被検体を撮像して得られた３０枚のショット画像（Ｉ_ｓ＿１〜Ｉ_ｓ＿３０）を示した図である。なお、本実施形態におけるショット画像は三次元ボリュームデータであるが、説明の都合上、ここではショット画像をＸＹ平面で表す。本実施形態では、一回の光照射によって取得されるショット画像の大きさを６０ｍｍ角の立方体領域であるものとする。
この場合、一回の光照射によって取得されるショット画像の大きさ（６０ｍｍ）は、光照射間における探触子２００の移動量（１．５ｍｍ）よりも大きい。そのため、図３に示したように、連続して取得した二つ以上のショット画像が互いにオーバーラップすることとなる。
ここでは、基準位置Ｏに対する各ショット画像の左上端部の位置（図３において、Ｘ座標値が最小かつＹ座標値が最大となる位置）を、各ショット画像の位置とする。
なお、探触子を代表する位置とショット画像を代表する位置が異なる場合、適宜座標を変換するようにしてもよい。
図３では、一例として、ショット画像Ｉ_ｓ＿１の位置ＰｏｓＩ_ｓ＿１を示している。図２に示すように探触子の位置は光照射毎に異なるため、各ショット画像は、基準位置Ｏに対して互いに異なる位置にある。

なお、本実施形態では、探触子を機械的に移動させる構成について述べたが、ユーザが、探触子を把持して移動させることで撮像を行ってもよい。この場合、探触子に装着した位置センサ等を用いて、探触子の位置（ショット画像に対応づく位置）を計測することができる。また、複数回の光照射のそれぞれにおいて、同じ領域に対応するショット画像を取得し、それらを合成して統合画像を生成してもよい。

<表面形状データおよび距離データ>
表面形状データは、撮像対象である被検体の表面の形状を表すデータであり、例えば点群データによって表される。表面形状データは、任意の測定手法によって得ることができる。例えば、超音波を被検体に送信して反射波を解析することで、被検体表面（例えば皮膚）の形状を取得することができる。また、赤外光などを用いて被検体を光学的に測定することで形状を取得してもよい。
また、被検体を保持する保持部材（保持プレートや保持カップ等）を利用する場合、当該部材の形状を表す情報を予め保持しておき、読み出して利用してもよい。また、被検体を保持する部材の形状を測定し、被検体の表面形状とみなすようにしてもよい。
距離データは、被検体の表面から分割位置までの距離を表すデータである。距離データについては、画像の分割を説明する際に説明する。
以上で説明したショット画像、表面形状データ、距離データは、画像処理装置１００の求めに応じて、データサーバ１５０から画像処理装置１００へ伝送される。

次に、画像処理装置１００の構成について説明する。
取得部１０２（本発明における画像取得手段および形状取得手段）は、対象の被検体について、複数のショット画像と、表面形状データと、距離データとを、データサーバ１５０から取得する手段である。
選択部１０４は、取得した複数のショット画像から、時間的に一続きの光照射に対応する二つ以上のショット画像を選択する手段である。
合成部１０６（本発明における画像生成手段）は、選択部１０４によって選択されたショット画像を合成することにより、集合画像を生成する手段である。また、後述する分割部１０８が分割した分割画像を合成することにより、統合画像を生成する手段である。
分割部１０８（本発明における画像分割手段）は、取得した距離データに基づいて、合
成部１０６が生成した各集合画像をそれぞれ二つの分割画像に分割する手段である。
ずれ推定部１１０は、分割部１０８が分割した画像間の位置ずれ量を推定する手段である。
選択部１０４、合成部１０６、分割部１０８、ずれ推定部１１０が行う具体的な処理の内容について後述する。
表示制御部１１２は、一連のショット画像、集合画像、分割画像、および統合画像と、その他ユーザに情報を報知するための画面をディスプレイ１６０に出力する制御を行う手段である。

画像処理装置１００は、ＣＰＵ、主記憶装置、補助記憶装置を有する情報処理装置として構成することができる。補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、ＣＰＵによって実行されることで、図１に図示した各手段が機能する。なお、図示した機能の全部または一部は、専用に設計された回路（半導体集積回路など）を用いて実行されてもよい。

情報処理装置によって画像処理装置１００を構成する場合の例を挙げる。
図４は、画像処理装置１００のハードウェア構成の一例を示す図である。画像処理装置１００は、ＣＰＵ１３０１と、ＲＯＭ１３０２と、ＲＡＭ１３０３と、ＨＤＤ１３０４と、ＵＳＢ１３０５と、通信回路１３０６と、ＧＰＵボード１３０７と、ＨＤＭＩ１３０８とを有する。これらはシステムバスにより通信可能に接続されている。

ＣＰＵ１３０１は、画像処理装置１００およびこれに接続する各部を統合的に制御する制御回路である。ＣＰＵ１３０１は、ＲＯＭ１３０２に格納されているプログラムを実行することにより制御を実施する。また、ＣＰＵ１３０１は、ディスプレイ１６０を制御するためのソフトウェアであるディスプレイドライバを実行し、ディスプレイ１６０に対する表示制御を行う。さらにＣＰＵ１３０１は、操作部１３０９に対する入出力制御を行う。

ＲＯＭ１３０２は、ＣＰＵ１３０１が実行する制御の手順を記憶させたプログラムやデータを格納するメモリである。
ＲＡＭ１３０３は、画像処理装置１００およびこれに接続する各部における処理を実行するためのプログラムや、画像処理で用いる各種パラメータを記憶するメモリである。ＲＡＭ１３０３は、ＣＰＵ１３０１が実行する制御プログラムを格納し、ＣＰＵ１３０１が各種制御を実行する際に用いる様々なデータを一時的に格納する。

ＨＤＤ１３０４は、ショット画像や表面形状データなど各種データを保存する補助記憶装置である。また、ＵＳＢ１３０５は、操作部１３０９を接続するためのインタフェースである。
通信回路１３０６は、画像処理システム１を構成する各部との通信を行うための回路である。通信回路１３０６は、所望の通信形態にあわせて、複数の装置により構成されていてもよい。
ＧＰＵボード１３０７は、ＧＰＵ、およびビデオメモリを含む汎用グラフィックスボードである。ＧＰＵボード１３０７を有することにより、専用ハードウェアを必要とせずに高速に画像処理の演算や画像表示を行うことが可能となる。なお、画像の変形処理などをデータサーバ１５０で行える場合、画像処理装置１００はＧＰＵボード１３０７を有していなくてもよい。
ＨＤＭＩ（登録商標）１３０８は、ディスプレイ１６０を接続するためのビデオインタフェースである。

<処理フローチャート>
次に、画像処理装置１００が行う処理について、処理フローチャート図である図５を参照しながら説明する。

まず、ステップＳ２１０で、取得部１０２が、データサーバ１５０に記憶された複数のショット画像Ｉ_ｓ＿ｉ（１≦ｉ≦Ｎ）を取得する。ここで取得されるショット画像は、Ｎ回の光照射によって撮像されたＮ枚の画像である。またこの際、各ショット画像に対応づいた位置情報を同時に取得する。

次に、ステップＳ２２０で、選択部１０４が、取得した複数のショット画像から、時間的に一続きの光照射に対応する二つ以上のショット画像を選択する。ここで選択された二つ以上のショット画像を総称して第１の集合データＧ_ｇ＿１と呼ぶ。
さらに、選択部１０４は、第１の集合データとはショット画像の組み合わせが異なり、かつ、第１の集合データに含まれるショット画像の一部を含む、時間的に一続きの光照射に対応する二つ以上のショット画像を選択する。ここで選択された二つ以上のショット画像を総称して第２の集合データＧ_ｇ＿２と呼ぶ。

同様の方法で、選択部１０４は、複数の集合データを生成する。
なお、以降の説明において、第ｊの集合データをＧ_ｇ＿ｊ（１≦ｊ≦Ｍ）と表記する（Ｍは総集合数）。また、添え字ｊが付されたアイテムは、第ｊの集合データに対応するアイテムであることを表す。ｊは正の整数であり、集合インデックスとも呼ぶ。添え字ｇが付されたアイテムは、一つの集合データに対応するアイテムであることを表す。

ここで、図６を参照しながら、集合データの選択方法について説明する。
本例では、選択部１０４が、一回目から１０回目の光照射に対応する１０個のショット画像Ｉ_ｓ＿１〜Ｉ_ｓ＿１０を、第１の集合データＧ_ｇ＿１として選択する。また、選択部１０４が、６回目から１５回目の光照射に対応する１０個のショット画像Ｉ_ｓ＿６〜Ｉ_ｓ＿１５を第２の集合データＧ_ｇ＿２として選択する。本例では、６回目から１０回目の光照射に対応するショット画像が、互いに重複するショット画像として選択されている。

このように、本例では、選択部１０４が、１０回分の光照射に対応するショット画像を、５回分ずつずらして選択することにより、複数の集合データＧ_ｇ＿１〜Ｇ_ｇ＿Ｍを生成する。すなわち、ｊ番目の集合データは、５ｊ−４番目から５ｊ＋５番目までのショット画像の集合となる。
本例の場合、それぞれ１０個のショット画像で構成された集合データを、５個ずつずらしながら生成する。よって、ショット画像の数（Ｎ）よりも集合データの数（Ｍ）の方が少なくなる。例えば、Ｎ＝２０５０である場合、Ｍ＝４０９となる。

なお、集合データは例示した方法以外で生成してもよい。例えば、集合データを構成するショット画像の数は１０個以外であってもよい。また、重複するショット画像の数は５個以外であってもよい。また、重複が無くてもよい。また、集合データを構成するショット画像の数は可変であってもよい。例えば、後述する集合画像のサイズが既定値内に収まるように、ショット画像の位置に基づいて数を設定してもよい。また、得られる画質に基づいてショット画像の数を動的に設定してもよい。例えば、最終的に所定の画質が得られるような数のショット画像を選択してもよい。なお、集合データを構成するショット画像の数は１個であってもよい。これば、夫々のショット画像をそのまま集合画像として使用することに相当する。この場合、ステップＳ２２０およびＳ２３０の処理を省略できる。

次に、ステップＳ２３０で、合成部１０６が、集合データに含まれる複数のショット画像を合成し、合成の結果得られる画像（集合画像と称する）を集合データごとに取得する。
ここで、第ｊの集合データＧ_ｇ＿ｊを合成することで得られる集合画像を、Ｉ_ｇ＿ｊと表記する。また、集合画像を取得するための合成を第１合成と称する。

図７Ａは、第１の集合データＧ_ｇ＿１に含まれる１０枚のショット画像を合成して得られた第１の集合画像Ｉ_ｇ＿１を示した図である。ここでは、合成対象のショット画像をすべて包含し、かつ、面積が最小となる矩形領域を集合画像の領域とする。また、ショット画像と同様に、集合画像の左上端部の座標を、集合画像の位置ＰｏｓＩ_ｇ＿ｊとする。

図７Ｂは、第１〜第５の集合データにそれぞれ含まれる１０枚のショット画像を用いて合成された、５枚の集合画像（Ｉ_ｇ＿１〜Ｉ_ｇ＿５）を表した図である。図７Ｂにおいて、実線はショット画像を表し、破線は集合画像を表す。
また、図７Ｃは、図７Ｂに含まれる集合画像Ｉ_ｇ＿１〜Ｉ_ｇ＿５のみを抽出して示した図である。実線は、集合画像Ｉ_ｇ＿１，Ｉ_ｇ＿３，Ｉ_ｇ＿５を表し、破線はＩ_ｇ＿２，Ｉ_ｇ＿４を表す。

なお、本実施形態では、選択されたショット画像に対して加算平均を行うことで集合画像を合成する。平均化処理は、各ショット画像が重なる領域について、集合画像のそれぞれのボクセルごとに、当該ボクセルに位置が対応する各ショット画像のボクセル値を加算し、重なるショット画像の数で除する演算により行われる。

なお、合成を行う際に、集合画像Ｉ_ｇ＿ｊとともに、信頼度の分布を表す重み画像Ｗ_ｇ＿ｊ（ｘ，ｙ，ｚ）を生成してもよい。重み画像Ｗ_ｇ＿ｊは、集合画像Ｉ_ｇ＿ｊ内の各位置における、ショット画像の重畳数（平均化処理の場合、除算する際の値）を表すボリュームデータである。集合画像に含まれる領域のうち、多くのショット画像が合成された領域については、値の信頼度が高いと言える。よって、集合画像における信頼度の分布を表す画像として、重み画像Ｗ_ｇ＿ｊを生成するようにしてもよい。

また、合成を行う際には、対象であるショット画像のそれぞれに対して予め重みづけを行うようにしてもよい。また、外れ値除去法などによって、ノイズを多く含む領域などを予め除外したうえで合成を行うようにしてもよい。
また、合成する手法は、平均化処理に限らない。一つのショット画像に比べて、被検体の特徴をより正確に再現したボリュームデータを取得できる限り、あらゆる手法を用いることができる。ただし、光照射間の被検体と受信部との相対位置の変動を補正する処理（例えば、ショット画像の位置を調整することで被検体の位置ずれを補正する処理）については、本明細書で述べる合成には含まれない。

以上に説明した合成処理を行うことで、各ショット画像に含まれるノイズを低減し、被検体の特徴をより正確に再現した画像を取得することができる。特に、ステップＳ２２０において、時間的に連続するショット画像を選択することにより、被検体の位置変動による影響が極力抑制された集合画像を生成することができる。

ステップＳ２３０までの処理を行うことにより、個々のショット画像よりも品質が高い画像を生成することができる。しかし、実際は、複数回の光照射を行う間に、被検体と探触子との相対的な位置関係が変化するため、当該変動に起因して、集合画像の品質が低下してしまうおそれがある。そこで、第一の実施形態に係る画像処理装置は、品質の低下を抑制するため、集合画像に対してさらに位置合わせ処理を行う。

位置合わせ処理（ステップＳ２３５〜Ｓ２７０）の詳細について説明する。
まず、ステップＳ２３５で、分割部１０８が、ステップＳ２３０で合成された集合画像のそれぞれを、被検体の表面からの距離に応じて複数の画像に分割する。
被検体が***である場合、***の表面からの距離が概ね１０ｍｍ未満の、***の表面に近接した領域（以下、浅部領域）は皮下脂肪層となっており、***の表面からの距離が概ね１０ｍｍ以上の、***の表面に近接していない領域（以下、深部領域）は乳腺層となっている。そして、それらの組成は大きく異なる。そこで、本実施形態では、浅部領域（皮下脂肪層）と深部領域（乳腺層）の境界付近で、複数の集合画像のそれぞれを二つに分割する。なお、深部領域は、浅部領域よりも***の表面から遠くに位置する領域である。
なお、***の表面からの距離が概ね４０ｍｍ以上の領域は胸壁となっており、その組成は皮下脂肪層や乳腺層と大きく異なる。よって、乳腺層と胸壁の境界付近で集合画像を分割するようにしてもよい。または、皮下脂肪層と乳腺層の境界付近、および、乳腺層と胸壁の境界付近で、集合画像を３つに分割してもよい。さらに、他の基準に基づいて４つ以上に分割してもよい。

図８は、ステップＳ２３５で行う処理をより詳細に示したフローチャート図である。
まず、ステップＳ２３５０にて、取得部１０２が、データサーバ１５０から、被検体に対応する表面形状データを取得する。

なお、被検体の表面形状データは、例えば、ショット画像同士を合成して予め得られた、位置ずれ補正を行っていない画像から、公知の画像処理手法によって取得したものであってもよい。また、既知の手法によってある程度の位置ずれ補正がなされた画像が存在する場合、当該画像に基づいて取得したものであってもよい。

なお、各ショット画像に基づいて被検体の表面形状データを取得する処理を、取得部１０２が本ステップで行うようにしてもよい。この場合、データサーバ１５０は被検体の表面形状データを保持している必要はない。

次に、ステップＳ２３５１で、取得部１０２が、データサーバ１５０から距離データ（被検体の表面から分割位置までの距離を表すデータ）を取得する。例えば、距離データが示す値が１０ｍｍである場合、被検体表面から１０ｍｍの深さにおいて画像が分割される。なお、距離データは、必ずしもデータサーバ１５０から配信される必要はなく、例えば、取得部１０２が予め保持しておいてもよい。
また、分割方法に応じて、複数の値から一つ以上の値を選択するようにしてもよい。例えば、「皮下脂肪層と乳腺層」に分割する場合は１０ｍｍという値を選択し、「乳腺層と胸壁」に分割する場合は４０ｍｍという値を選択してもよい。また、「皮下脂肪層、乳腺層、胸壁」に分割する場合、１０ｍｍと４０ｍｍという二つの値を選択してもよい。

なお、分割方法は、予め設定されていてもよいし、ユーザが操作部１３０９を介して入力してもよい。また、距離データが示す値は固定値である必要はなく、被検体に応じて適宜調整してもよい。例えば、被検体である***の大きさを入力し、当該大きさに応じて値を設定してもよい。例えば、***の大きさを数段階で指定できるようにし、それぞれの大きさに応じた値を読み出して利用するようにしてもよい。
また、被検体の臨床情報（性別、体重、身長、体脂肪率等）に基づいて、利用する値を決定するようにしてもよい。

次に、ステップＳ２３５２で、分割部１０８が、被検体の表面形状データと距離データに基づいて、各集合画像を分割する面（分割面）を算出する。
図９は、分割面を説明する図である。ここでは、被検体８００の表面８０１からの距離が所定の距離（本実施形態では１０ｍｍ）となる等値面（曲面）８０２を公知の方法で算出して、当該曲面を分割面とする。

なお、集合画像や分割画像は三次元ボリュームデータであるが、図９では、説明の都合
上、集合画像や分割画像を二次元画像であるものとして説明する。
また、各集合画像において、曲面８０２を構成する部分曲面を複数の平面で近似して、当該平面を分割面としてもよい。
さらに、各分割画像が直方体形状となるように、法線方向が図９のＺ軸と一致するような平面で部分曲面を近似して、当該平面を分割面としてもよい。なお、図９においては、被検体８００は腹臥位の***であり、Ｙ軸周りに１８０度回転した状態を示している。すなわち、重力方向はＺ軸正方向となっている。ただし、腹臥位である場合に限らず、仰臥位や座位などの任意の***であってもよい。

次に、ステップＳ２３５３で、分割部１０８が、各集合画像を分割面で分割し、分割画像を生成する。以下、第ｊの集合画像Ｉ_ｇ＿ｊをＰ個に分割して生成される分割画像のうち、ｐ番目の画像を、Ｉ_ｄ＿ｊ＿ｐ（１≦ｐ≦Ｐ）と表記する。ここではＰ＝２である場合について説明する。
図９の例では、分割部１０８が、集合画像Ｉ_ｇ＿１を、分割画像Ｉ_ｄ＿１＿１および分割画像Ｉ_ｄ＿１＿２に分割する。また、集合画像Ｉ_ｇ＿２を、分割画像Ｉ_ｄ＿２＿１および分割画像Ｉ_ｄ＿２＿２に分割する。同様に、各集合画像Ｉ_ｇ＿ｊを分割画像Ｉ_ｄ＿ｊ＿１および分割画像Ｉ_ｄ＿ｊ＿２に分割する。

なお、図９の例では、浅部領域に対応する分割画像と深部領域に対応する分割画像はオーバーラップしていない（すなわち、分割面を境界として完全に二つに分かれている）が、それぞれをオーバーラップさせてもよい。すなわち、分割面の前後にある一定の領域が両方の分割画像に含まれるようにしてもよい。
また、浅部領域に対応する分割画像と深部領域に対応する分割画像のサイズを、分割前の集合画像と同一サイズにしてもよい。その場合、不要な領域の画素値を削除（すなわち０に）してもよい。さらに、表面８０１よりも外側にある領域（体外に相当する領域）の画素値を０としてもよい。このようにすることで、後述するステップで、不要な領域に対して無用な処理が行われないようにすることができる。

なお、分割画像においても、ショット画像や集合画像と同様に、その位置を定義することができる。例えば、領域端部の座標を利用することができるが、分割画像が矩形でない場合、それ以外の座標（例えば重心の座標）を利用してもよい。本実施形態では、分割画像Ｉ_ｄ＿ｊ＿ｐの位置をＰｏｓＩ_ｄ＿ｊ＿ｐと定義する。

また、集合画像と同様に、分割画像についても、信頼度の分布を表す重み画像Ｗ_ｄ＿ｊ＿ｐ（ｘ，ｙ，ｚ）を生成してもよい。重み画像Ｗ_ｄ＿ｊ＿ｐは、集合画像に対して行う分割処理を、重み画像Ｗ_ｇ＿ｊに対して同様に行うことによって得られるボリュームデータである。部分重み画像Ｗ_ｄ＿ｊ＿ｐは、分割画像における信頼度の分布を表す画像となる。
以上が、ステップＳ２３５の説明である。

図５に戻り、フローチャートの説明を続ける。
ステップＳ２４０では、ずれ推定部１１０が、ステップＳ２３５で得られた複数の分割画像から、所定の条件を満たす二つの分割画像をペアとして選択する。
所定の条件とは、例えば、所定の体積以上のオーバーラップ領域を有することである。これにより、後述するステップＳ２５０において、無関係な分割画像同士を比較することを避けることができるため、冗長な計算を減らすことができる。

ステップＳ２４０では、例えば、図９における、Ｉ_ｄ＿１＿１とＩ_ｄ＿２＿１のペアや、Ｉ_ｄ＿ｊ＿２とＩ_ｄ＿ｊ＋１＿２のペア等を選択する。これらのペアは、互いにオーバーラップしているため、位置ずれの推定が有効に行えるためである。なお、Ｉ_ｄ＿１＿１
とＩ_ｄ＿１＿２のように、元の集合画像が同一である分割画像のペアは選択しないものとする。

ここで、ｋ個目のペアをＲ＿ｋと表記する。また、ペアＲ＿ｋを構成する分割画像の一方をＩ_ｄ＿ｋ，１と表記し、もう一方をＩ_ｄ＿ｋ，２と表記する。これらの分割画像Ｉ_ｄ＿ｋ，１とＩ_ｄ＿ｋ，２は、第ｊの集合画像から生成されるｐ番目の分割画像Ｉ_ｄ＿ｊ＿ｐのいずれかに対応している。以下、本実施形態では、ペアの選択を、浅部領域同士および深部領域同士で行う場合について説明する。そして、合計Ｋ個のペアが選択された場合について説明する。

なお、ペアの選択方法として、以下のような方法が挙げられる。
・オーバーラップ領域の面積や体積が所定の値（割合）以上であるペアを選択する
・分割画像内でショット画像の重畳数が多い領域同士が重なるようにペアを選択する
・ある分割画像に対して、当該分割画像の元となった集合画像から、集合インデックスが所定の範囲内にある（例えば、集合インデックスが±３の範囲内にある）集合画像を選択し、当該集合画像から得られる分割画像をペアとして選択する
・集合インデックスが連続する（時間的に連続する）集合画像から得られる分割画像をペアとして選択する

本実施形態では、ずれ推定部１１０が、分割画像に対するオーバーラップ領域が５０％以上存在する分割画像をペアとして選択するものとする。

次に、ステップＳ２５０で、ずれ推定部１１０が、各分割画像間の位置ずれ量を推定する。以下、各分割画像間の位置ずれ量を推定する方法の例を説明する。
まず、ずれ推定部１１０が、式（１）に示すように、ペアＲ＿ｋ（１≦ｋ≦Ｋ）のそれぞれについて、分割画像Ｉ_ｄ＿ｋ，１とＩ_ｄ＿ｋ，２との間の類似度関数Ｆ＿ｋを取得する。

類似度関数Ｆ＿ｋは、ペアＲ＿ｋを構成する片方の分割画像Ｉ_ｄ＿ｋ，１に対する、もう片方の分割画像Ｉ_ｄ＿ｋ，２の相対位置を（ｘ，ｙ，ｚ）だけ並進させた場合の類似度を算出する関数である。
また、関数ｆ_{ｓｉｍｉｌ}は、画像間の類似度が高いほど高い値を返す関数である。類似度関数Ｆ＿ｋを取得することは、各関数の引数である並進量（ｘ，ｙ，ｚ）、すなわち画像の相対位置を所定の範囲内で離散的に変化させた場合の関数値を取得することを意味する。例えば、ｘ，ｙ，ｚのそれぞれの値を−Ｌから＋Ｌまでの整数値として変化させた場合のそれぞれについて、Ｆ＿ｋが返す（２Ｌ＋１）×（２Ｌ＋１）×（２Ｌ＋１）個の値の集合を取得することを意味する。
より発展的には、当該集合に基づいて、バイリニア法やバイキュービック法などを用いて、より連続関数に近い類似度関数Ｆ＿ｋを導出してもよい。
また、Ｉ_ｄ＿ｋ，１に対するＩ_ｄ＿ｋ，２の相対位置（光照射間の探触子の移動量）だけ並進させた位置を基準として、Ｉ_ｄ＿ｋ，２の位置を所定の範囲内で離散的に変化させた場合の関数値を取得してもよい。

類似度を算出する関数として、ＳＳＤやＳＡＤ、相互情報量、相互相関など、任意の類似度尺度を利用できる。また、例えば、分割画像から特徴的な形態を抽出し、位置の一致度を測ることによって類似度関数を取得してもよい。
なお、ずれ推定部１１０は、式（１）に示す各位置の類似度の計算（ＳＳＤであれば各
画素値の差の二乗の計算）結果に、ステップＳ２３５で説明した部分重み画像Ｗ_ｄ＿ｋ，１とＷ_ｄ＿ｋ，２を乗ずる処理を施すことにより類似度関数を取得してもよい。この処理により、ずれ推定部１１０は、信頼度を反映した類似度関数を取得することができる。

また、類似度算出の対象となる分割画像間で正しく類似度を算出することができなかった場合、その結果を破棄し、以降の処理において使用しなくしてもよい。正しく類似度を算出することができない場合として、例えば、どのように並進させても類似度が高くならない（または変わらない）場合などが挙げられる。この処理によれば、同一の特徴が十分に現れている分割画像同士の比較結果（類似度関数）を選択的に生成することができる。

次に、ずれ推定部１１０が、式（２）に示すように、類似度関数Ｆ＿ｋの関数値が最大となる、分割画像Ｉ_ｄ＿ｋ，１に対する分割画像Ｉ_ｄ＿ｋ，２の並進量Ｍ＿ｋを取得する。また、ずれ推定部１１０は、各ペアについて、類似度関数Ｆ＿ｋの値が最大となる並進量Ｍ＿ｋを取得する。

次に、ずれ推定部１１０が、算出した並進量Ｍ＿ｋ（１≦ｋ≦Ｋ）に基づいて、それぞれの分割画像Ｉ_ｄ＿ｊ＿ｐにおける補正量ΔＰｏｓＩ_ｄ＿ｊ＿ｐを推定する。ここで推定する補正量は、当該分割画像を撮像した際の被検体の位置の変動（動き）量である。その算出のために、ペアＲ＿ｋに対する個別最適値である並進量Ｍ＿ｋをなるべく保つような評価関数を定義する。すなわち、Ｉ_ｄ＿ｋ，１に対するＩ_ｄ＿ｋ，２の位置が並進量Ｍ＿ｋから離れるにつれて、値が低下する評価関数を定義する。式（３）は、評価関数Ｅ＿ｋの例である。

ここで、ΔＰｏｓＩ_ｄ＿ｋ，１は、基準位置に対する分割画像Ｉ_ｄ＿ｋ，１の位置の補正量を表す。同様に、ΔＰｏｓＩ_ｄ＿ｋ，２は、基準位置に対する分割画像Ｉ_ｄ＿ｋ，２の位置の補正量を表す。なお、評価関数を定義する際に、類似度関数Ｆ＿ｋを、当該類似度関数Ｆ＿ｋにフィットするような二次関数に近似してもよい。また、類似度関数Ｆ＿ｋが、「並進量Ｍ＿ｋの周辺において二次関数に従って低下する」と近似できる場合には、式（３）は、類似度関数Ｆ＿ｋの値を並進量Ｍ＿ｋの周辺で近似する関数となる。

上記のようなペアＲ＿ｋ（Ｉ_ｄ＿ｋ，１とＩ_ｄ＿ｋ，２のペア）ごとの評価関数に基づいて、ずれ推定部１１０は、式（４）に示したコスト関数Ｅを最小化するような、基準位置に対する全ての分割画像Ｉ_ｄ＿ｊ＿ｐの位置の補正量ΔＰｏｓＩ_ｄ＿ｊ＿ｐを算出する。先述したように、分割画像Ｉ_ｄ＿ｋ，１とＩ_ｄ＿ｋ，２は、分割画像Ｉ_ｄ＿ｊ＿ｐのいずれかに対応している。

コスト関数を最小化したときの、基準位置に対する分割画像の補正後の位置は、被検体と探触子との相対的な位置関係の変動による位置ずれ後の分割画像の位置情報を表す。
例えば、ずれ推定部１１０は、式（４）に示すコスト関数Ｅを最小化する（０に最近接する）解を、線形最小二乗法を解くことによって得る。これにより、各分割画像の位置の補正量ΔＰｏｓＩ’_ｄ＿ｊ＿ｐを一意に算出する。式（４）に示すコスト関数においては、線形最小二乗法により一意に各分割画像の位置の補正量ΔＰｏｓＩ’_ｄ＿ｊ＿ｐを求めることができるため、計算コストを小さくできる。
なお、ペアの選択を浅部領域同士および深部領域同士のみで行う場合、ΔＰｏｓＩ’_ｄ＿ｊ＿１とΔＰｏｓＩ’_ｄ＿ｊ＿２を別々に解くこともできる。すなわち、式（１）〜（４）は、それぞれ浅部領域に関する式と深部領域に関する式に分けて解くこともできる。

なお、上記では、線形最適化によるコスト関数の最適化を例示したが、コスト関数の最適化にはいかなる方法を用いてもよい。例えば、最急降下法、ニュートン法のような繰り返し計算による非線形最適化の方法などによって最適化してもよい。
このように、ずれ推定部１１０は、コスト関数が最小化するような各分割画像の位置の補正量を探索することにより、基準位置に対する、分割画像の位置ずれ後の位置情報を取得する。

なお、コスト関数は、想定される被検体の位置変動（動き）に対して正則化をかけるように定義してもよい。例えば被検体として***を考えた場合、呼吸による動きが支配的であると想定される。この場合、被検体の動きは最大で数ｍｍ程度の動きであり、その動きは時間的に連続で滑らかなものであることが想定される。また、その動きは周期的な動きとなることが想定される。上記のように想定される被検体の動きから逸脱するような動きが算出されることに対して抑制を働かせるような正則化をかけることができる。
さらに、浅部領域における位置の補正量ΔＰｏｓＩ_ｄ＿ｊ＿１と、深部領域における位置の補正量ΔＰｏｓＩ_ｄ＿ｊ＿２とが乖離しないように、領域間の位置関係を制約する正則化をかけることもできる。その場合には、式（１）〜（４）において、ΔＰｏｓＩ’_ｄ＿ｊ＿１とΔＰｏｓＩ’_ｄ＿ｊ＿２を別々に解くことはできず、同時に解く必要がある。

正則化にはいかなる方法を用いてもよい。例えば、導出過程の被検体の変動量（移動距離）の総和に所定の重み係数をかけてコスト関数に加算することで、正則化を行うことができる。また、被検体の動きの時間微分（加速度）の総和をコスト関数に加算してもよい。また、被検体の動きの周波数成分値に基づいて算出された値をコスト関数に加算してもよい。また、被検体の典型的な動きをモデルとして用意し、当該モデルとの相違をコストとしてコスト関数に加算するようにしてもよい。

また、「コスト関数を最小化させる」とは、コスト関数が厳密に最小となる場合だけではなく、解の候補を変化させたときにコスト関数の値が所定の値以下となる場合や、コスト関数の変化量が所定の値以下となる場合も含む。すなわち、ずれ推定部１１０は、コスト関数が所定の条件を満たすことをもって、コスト関数が最小化した判断してもよい。また、ユーザが操作部１３０９を操作して、コスト関数が最小化した旨を入力してもよい。この場合、ずれ推定部１１０は、操作部１３０９からの指示を受けてコスト関数が最小化したと判断する。

以上の処理によって、ステップＳ２５０の処理が行われる。
なお、本ステップにおいては、被検体と探触子との相対位置の変動による、各分割画像の位置ずれ量を求めることができれば、いかなる手法を用いてもよい。

次に、ステップＳ２７０で、合成部１０６が、各分割画像の位置を、ステップＳ２５０で推定した位置ずれ量の分だけ補正する処理（並進処理）を行い、それらを合成すること
により、最終的に位置ずれが補正された画像（以下、統合画像）を取得する。統合画像を生成するための合成を第２合成と称する。生成された統合画像は、ディスプレイ１６０を介して出力される。
なお、第２合成において画像同士が重畳する領域については、加算してもよいし、任意の分割画像のみを残すようにしてもよい。

以上に説明したように、第一の実施形態に係る画像処理システムでは、ショット画像と比べて高い品質を有する集合画像を取得し、さらに集合画像を分割して深さ別に位置ずれ量を推定する。これにより、位置ずれ量を精度よく推定することができ、精度の高い統合画像を生成することができる。すなわち、光照射を行う間に、被検体と探触子との相対的な位置関係が変動した場合であっても、当該影響を十分に抑制することができる。

（第一の実施形態の変形例１）
第一の実施形態では、複数回の光照射を行う間に探触子が移動する場合を例に説明したが、探触子が移動しない構成であっても上記処理を適用することができる。すなわち、探触子を移動させる機能を有さない光音響装置が取得した画像について、同様の処理を行ってもよい。この場合、探触子やショット画像の位置情報を取得する必要はない。
また、この場合、全てのショット画像、および、集合画像がオーバーラップし、さらに、同じ領域の部分画像もオーバーラップする。そのため、全ての部分画像をペアとして選択できる。あるいは、時間的な連続性に基づいてペアを選択してもよい。この場合も、被検体の体動の影響などを抑制した画像データを取得することができる。

（第一の実施形態の変形例２）
第一の実施形態では、被検体の位置ずれとして並進が発生する場合を例示したが、回転が発生する場合であっても同様に本発明を適用することができる。

回転を考慮する場合、ずれ推定部１１０が、ステップＳ２５０において、並進量に加えて回転量を引数として、各分割画像の位置ずれ量および回転量を推定すればよい。そして、ずれ推定部１１０が、ステップＳ２７０において、推定された位置ずれ量および回転量に基づいて、各分割画像に対して補正を行った後に第２合成を行う。この処理により、品質の高い統合画像を取得することができる。なお、並進と回転は組み合わせてもよいし、どちらか片方のみであってもよい。

また、位置のずれ方に方向性があることが予め分かっている場合、一次元または二次元の移動のみを考慮するようにしてもよい。例えば、被検体がＺ方向に移動しにくいことが分かっている場合、ＸＹ平面における移動のみを未知のパラメータとしてもよい。このように、未知のパラメータのうち、不要なものを削減することで解を安定させることができる。例えば、被検体が保持板に接触しているような場合、保持板に直交する方向には被検体が移動しないものとしてもよい。

また、分割する領域ごとに動きの特性が異なることが予め分かっている場合、推定するパラメータを領域ごとに変更してもよい。例えば、浅部領域では並進量のみを未知のパラメータとし、深部領域では並進量と回転量を未知のパラメータとすることができる。あるいは、浅部領域ではＸＹ方向における位置ずれ量のみを未知のパラメータとし、深部領域では三次元方向における位置ずれ量を未知のパラメータとすることができる。例えば、保持板による拘束を考慮して、浅部領域に対応する未知のパラメータを限定してもよい。

（第一の実施形態の変形例３）
第一の実施形態では、浅部領域同士のペア、および、深部領域同士のペアを選択して位置ずれの補正を行った。しかし、分割画像のペアは任意に生成してもよい。
例えば、ある集合画像から得た浅部領域の部分画像と、他の集合領域から得た深部領域の部分画像をペアとしてもよい。なお、この場合、式（１）〜（４）において、ΔＰｏｓＩ’_ｄ＿ｊ＿１とΔＰｏｓＩ’_ｄ＿ｊ＿２を別々に解くことはできず、同時に解く必要がある。
本変形例によると、より多くの情報に基づく位置ずれ補正が可能となり、品質の高い統合画像を取得することができる。

（第一の実施形態の変形例４）
ステップＳ２５０において、三次元の画像データを二次元の投影画像データに変換し、当該投影画像データに基づいて位置ずれ量を推定するようにしてもよい。以下、その処理の一例を説明する。

本変形例では、ずれ推定部１１０が、分割画像Ｉ_ｄ＿ｊ＿ｐ（ｘ，ｙ，ｚ）について、Ｘ方向、Ｙ方向、Ｚ方向のそれぞれの方向に投影した投影画像データとして最大値投影（ＭＩＰ）データを取得する。
Ｘ方向に投影したＭＩＰデータは、Ｙ軸とＺ軸によって表わされる二次元の空間分布情報であり、Ｉ_ｘｄ＿ｊ＿ｐ（ｙ，ｚ）と表記される。Ｙ方向に投影したＭＩＰデータは、Ｚ軸とＸ軸によって表わされる二次元の空間分布情報であり、Ｉ_ｙｄ＿ｊ＿ｐ（ｚ，ｘ）と表記される。Ｚ方向に投影したＭＩＰデータは、Ｘ軸とＹ軸によって表わされる二次元の空間分布情報であり、Ｉ_ｚｄ＿ｊ＿ｐ（ｘ，ｙ）と表記される。

続いて、ずれ推定部１１０が、ＸＹ平面、ＹＺ平面、ＺＸ平面のそれぞれについて、Ｉ_ｄ＿ｋ，１のＭＩＰデータと、Ｉ_ｄ＿ｋ，２のＭＩＰデータとの類似度を取得する。すなわち、ずれ推定部１１０は、式（５）〜式（７）に示すような類似度を取得する。

ここで、ＲＸ＿ｋは、ＹＺ平面によって表わされる二つのＭＩＰデータ（Ｉ_ｘｄ＿ｋ，１およびＩ_ｘｄ＿ｋ，２）のペアを表したものである。同様に、ＲＹ＿ｋは、ＺＸ平面によって表わされる二つのＭＩＰデータ（Ｉ_ｙｄ＿ｋ，１およびＩ_ｙｄ＿ｋ，２）のペアを表したものである。また、ＲＺ＿ｋは、ＸＹ平面によって表わされる二つのＭＩＰデータ（Ｉ_ｚｄ＿ｋ，１およびＩ_ｙｄ＿ｋ，２）のペアを表したものである。
また、ＦＸ＿ｋ（ｙ，ｚ）は、ペアＲＸ＿ｋを構成する片方のＭＩＰデータに対する、もう片方のＭＩＰデータの相対位置を（ｙ，ｚ）だけ並進させた場合の類似度を算出する関数である。ＦＹ＿ｋ（ｘ，ｚ）は、ＺＸ平面に関する関数であり、ＦＺ＿ｋ（ｘ，ｙ）は、ＸＹ平面に関する関数である。なお、類似度算出の手法については、ステップＳ２５０で説明した手法を用いることができる。

続いて、ずれ推定部１１０が、式（８）〜（１０）に示すように、ＹＺ平面、ＺＸ平面、ＸＹ平面のそれぞれについて、関数値が最大となる並進量ＭＸ＿ｋ，ＭＹ＿ｋ，ＭＺ＿ｋ（Ｉ_ｄ＿ｋ，１に対するＩ_ｄ＿ｋ，２の並進量）を算出する。

例えば、式（１１）に示すように、並進量ＭＸ＿ｋ，ＭＹ＿ｋ，ＭＺ＿ｋの各座標軸の成分の平均値を、類似度が最大となる並進量Ｍ＿ｋ（Ｉ_ｄ＿ｋ１に対するＩ_ｄ＿ｋの三次元の並進量）の各成分値とする。

続いて、ずれ推定部１１０が、式（１１）に示した並進量Ｍ＿ｋを用いて、ステップＳ２５０で説明したように、式（４）に示したコスト関数が最小化したときの各分割画像の位置を推定する。

なお、三次元の分割画像を二次元の投影画像データに変換する際の投影方向は、表面形状データに基づいて決定してもよい。表面形状データに基づいて投影方向を決定する対象の分割画像は、浅部領域の分割画像のみであってもよいし、全ての分割画像であってもよい。この場合、分割画像Ｉ_ｄ＿ｊ＿ｐ（ｘ，ｙ，ｚ）について、表面形状データに沿った第１方向と第２方向、そして表面形状データの法線方向である第３方向のそれぞれの方向に投影した投影画像データとして、ＭＩＰデータを取得する。

以上の処理により、三次元の画像データから変換された二次元の画像データに基づいて、位置ずれ量を取得することができる。三次元画像データから二次元画像データに変換することにより、三次元画像データのまま処理を行う場合と比べて、計算コストを圧縮することができる。

なお、本変形例ではＭＩＰ画像を例示したが、三次元の画像データを二次元の画像データに変換できれば、ＭＩＰ以外の投影手法を採用してもよい。例えば、ＭＩＰ画像に代えて最小値投影（Ｍｉｎｉｍｕｍ Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ：ＭｉｎＩＰ）画像を生成してもよい。

（第一の実施形態の変形例５）
第一の実施形態では、被検体表面からの距離に応じて、各集合画像を、浅部領域と深部領域の二つにそれぞれ分割した。しかし、分割によって得られる領域は三つ以上であってもよい。例えば、図９のＸ軸方向またはＹ軸方向に、さらに二つ以上に領域を分割してもよい。例えば、浅部領域に対応する部分画像をさらに分割してもよいし、深部領域に対応する部分画像をさらに分割してもよい。これにより、より高次な位置変動に対応できるよ
うになる。

（第二の実施形態）
第一の実施形態では、被検体の表面からの距離に応じて、複数の集合画像を複数の分割画像にそれぞれ分割した。これに対し、第二の実施形態は、光音響装置以外のモダリティによって被検体を撮像して得られた画像（以下、第２画像）に基づいて分割面を決定する実施形態である。
本実施形態では、被検体に対して超音波エコー撮像を行うことで得られた画像（三次元超音波画像。以下、エコー画像）を第２画像とする。なお、超音波エコー撮像を行う手段は、ショット画像を撮像する光音響装置に組み込まれていてもよい。

第二の実施形態に係る画像処理装置の機能構成は図１と同様である。ただし、データサーバ１５０が保持しているデータと、取得部１０２および分割部１０８が行う処理の内容が第一の実施形態とは異なる。

第二の実施形態では、データサーバ１５０が、一連のショット画像と、表面形状データと、距離データに加え、被検体のエコー画像を保持している。
また、取得部１０２は、ショット画像、表面形状データ、距離データに加え、被検体のエコー画像をデータサーバ１５０から取得する。
また、分割部１０８は、取得したエコー画像に基づいて、各集合画像をそれぞれ複数の分割画像に分割する。

第二の実施形態に係る画像処理装置１００が実施する処理のフローチャートは図５と同様であるが、ステップＳ２３５の処理の一部が異なる。図１０は、第二の実施形態における処理の一例を説明するフローチャートである。
まず、ステップＳ１２３５０で、取得部１０２が、データサーバ１５０に記憶された第２画像を取得する。
次に、ステップＳ１２３５１で、取得部１０２が、データサーバ１５０に記憶された、被検体の表面形状データを取得する。なお、エコー画像から公知の画像処理手法によって被検体の表面形状を得ることができる場合、本ステップは省略してもよい。

次に、ステップＳ１２３５２で、分割部１０８が、第２画像に基づいて、複数の集合画像を複数の分割画像に分割する。具体的には、公知の画像解析手法を用いて、エコー画像から皮下脂肪層と乳腺層を抽出し、それらの境界を表す曲面を分割面として算出する。また、さらに胸壁を抽出して、乳腺層と胸壁の境界を表す曲面をもう一つの分割面としてもよい。
ステップＳ１２３５３の処理は、前述したステップＳ２３５３の処理と同様であるため、詳細な説明は省略する。

第二の実施形態によると、より適切な分割面で分割された分割画像を生成することができ、分割画像の位置ずれ量を精度良く推定することができる。

なお、第二の実施形態では、エコー画像に基づいて皮下脂肪層と乳腺層を抽出し、それらの境界を分割面としたが、分割面はこれ以外の方法で設定してもよい。例えば、エコー画像から血管を抽出し、公知の機械学習手法を用いて、抽出した血管を表在血管と深部血管とに分類し、それらの境界を分割面としてもよい。また、エコー画像から腫瘍が存在する領域（腫瘍領域）を抽出し、例えば、被検体の表面からの深さが腫瘍領域よりも浅い層と、腫瘍領域よりも深い層と、腫瘍領域を含む深さの層に分類して、それらの境界を分割面としてもよい。

（その他の実施形態）
なお、各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。
例えば、本発明は、上記処理の少なくとも一部を実施する画像処理装置として実施することもできる。また、本発明は、上記処理の少なくとも一部を含む画像処理方法として実施することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

また、本発明は、被検体から発生した音響波を音響素子によって変換して得られる信号を取得する信号取得手段と、取得した信号に対して演算を行うことで被検体画像を生成する情報取得手段と、を有する被検体情報取得装置の一部として実施することもできる。

また、実施形態の説明では、光音響装置が撮像した一連のショット画像に対して処理を行ったが、本発明の適用範囲はこれに限られず、本発明は、複数の画像データに対して位置合わせを行うあらゆる装置に対して適用することができる。
例えば、超音波エコーによって画像データを取得する超音波診断装置により得られた複数の画像に対して、前述した処理を行ってもよい。また、例えば、拡散光トモグラフィ（ＤＯＴ）装置や、光干渉トモグラフィ（ＯＣＴ）装置などにより得られた複数の画像に対して、前述した処理を行ってもよい。同様に、Ｘ線透視像取得装置やＸ線断層像取得装置など、Ｘ線を用いて得られた複数の画像に対して、前述した処理を行ってもよい。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータにおける一つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＦＰＧＡやＡＳＩＣ）によっても実現可能である。

１０２：取得部、１０４：選択部、１０６：合成部、１０８：分割部、１１０：ずれ推定部

Claims (14)

1. 被検体を複数回撮像して得られた複数の被検体画像を取得する画像取得手段と、
   前記被検体の形状を表す情報である形状情報を取得する形状取得手段と、
   前記形状情報に基づいて、前記複数の被検体画像を、それぞれ二つ以上の部分画像に分割する画像分割手段と、
   前記分割された部分画像同士の位置合わせを行う位置合わせ手段と、を有する
   ことを特徴とする、画像処理装置。
2. 前記位置合わせ後の部分画像を合成し、統合画像を生成する画像生成手段をさらに有する
   ことを特徴とする、請求項１に記載の画像処理装置。
3. 前記画像分割手段は、前記複数の被検体画像を、前記被検体の表面に近接した領域である浅部領域に対応する第一の部分画像と、前記浅部領域よりも前記被検体の表面から遠くに位置する領域である深部領域に対応する第二の部分画像の少なくとも二つにそれぞれ分割する
   ことを特徴とする、請求項１または２に記載の画像処理装置。
4. 前記形状情報は、前記被検体の表面形状を表す情報であり、
   前記画像分割手段は、前記被検体の表面からの距離に基づいて、前記複数の被検体画像をそれぞれ分割する
   ことを特徴とする、請求項３に記載の画像処理装置。
5. 前記画像分割手段は、前記被検体の臨床情報に基づいて、前記複数の被検体画像をそれぞれ分割する
   ことを特徴とする、請求項３に記載の画像処理装置。
6. 前記画像分割手段は、前記被検体画像を解析して得られた情報に基づいて、前記複数の被検体画像をそれぞれ分割する
   ことを特徴とする、請求項３に記載の画像処理装置。
7. 前記画像取得手段は、前記被検体画像を取得した際のモダリティとは異なるモダリティを用いて前記被検体を撮像した第二の被検体画像を取得し、
   前記画像分割手段は、前記第二の被検体画像を解析して得られた情報に基づいて、前記複数の被検体画像をそれぞれ分割する
   ことを特徴とする、請求項３に記載の画像処理装置。
8. 前記位置合わせ手段は、前記第一の部分画像同士で位置合わせを行い、かつ、前記第二の部分画像同士で位置合わせを行う
   ことを特徴とする、請求項３から７のいずれか１項に記載の画像処理装置。
9. 前記部分画像は三次元画像であり、
   前記位置合わせ手段は、前記部分画像から二次元の投影画像を生成し、前記生成した投影画像を用いて位置合わせを行う
   ことを特徴とする、請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記位置合わせ手段は、異なる被検体画像からそれぞれ分割された部分画像同士の位置合わせを行う
    ことを特徴とする、請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記被検体は人体であり、前記画像分割手段は、前記部分画像から体外に相当する領域の情報を削除する
    ことを特徴とする、請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記画像取得手段は、
    光を被検体に照射することにより前記被検体で発生する音響波を音響素子によって変換して得られる信号を取得する信号取得手段と、
    前記取得した信号に対して演算を行うことで前記被検体画像を生成する情報取得手段と、からなる
    ことを特徴とする、請求項１から１１のいずれか１項に記載の画像処理装置。
13. 被検体を複数回撮像して得られた複数の被検体画像を取得する画像取得ステップと、
    前記被検体の形状を表す情報である形状情報を取得する形状取得ステップと、
    前記形状情報に基づいて、前記複数の被検体画像を、それぞれ二つ以上の部分画像に分割する画像分割ステップと、
    前記分割された部分画像同士の位置合わせを行う位置合わせステップと、を含む
    ことを特徴とする、画像処理方法。
14. 請求項１３に記載の画像処理方法の各ステップをコンピュータに実行させるプログラム。

Images