JP2015152778A - 画像処理装置、画像表示装置、及びその制御方法 - Google Patents

Abstract

【課題】複数の異なる合焦距離で標本を撮像して得られる階層画像を表示する画像表示装置において、より少ない枚数の階層画像で標本内のより多くのオブジェクトを観察できるようにする。
【解決手段】複数のオブジェクトを含む標本の深さ方向の位置が異なる複数の階層の各々にフォーカスを合わせて撮像して得られる複数の階層画像を取得する取得手段と、複数の階層画像に基づき、各オブジェクトについて、オブジェクトが存在する階層及び深さ方向と垂直の平面内での存在領域を検出する検出手段と、各オブジェクトが存在する階層及び平面内での存在領域に基づき、複数の階層画像から、標本内のオブジェクトの位置を移動した場合の標本の各階層の階層画像を生成する生成手段と、を有し、生成手段は、標本内でオブジェクトが存在する階層の数が少なくなるようにオブジェクトを移動した場合の階層画像を生成する画像処理装置。
【選択図】図２

Description

本発明は、画像処理装置、画像表示装置、及びその制御方法に関する。

近年の病理診断では、従来の顕微鏡を使った病理診断から、スキャナで撮影したデジタル画像による診断が増加している。細胞診などのように厚みのある標本部位を観察する際は、標本部位に対して深さを変えてスキャンし、複数の階層画像からなる画像データを蓄積する。画像観察時には、ビューアを使って各階層画像を切り替えて表示することで、擬似的にフォーカスを調節するような感覚で観察できる。

図１８は、標本部位がのせられたプレパラートを側面からみた図である。（ａ）〜（ｆ）は標本部位に対して深さを変えてスキャンして得られた画像で、それぞれ図１９の（ａ）〜（ｆ）に対応している。（ａ）（ｃ）（ｆ）は細胞１８０１にも細胞１８０２にもフォーカスが合っておらず、ぼけた画像が表示されている。（ｂ）は細胞１８０１のみにフォーカスが合っている。（ｄ）（ｅ）は細胞１８０２のみにフォーカスが合っている。よって、図１８の標本を診断する診断医が全ての細胞を診断するには、（ｂ）（ｄ）（ｅ）の３枚を診断する必要がある。診断する必要のある階層画像の枚数が多いと、効率良く診断を行うことができない。

これに対し、フォーカスの合う位置を変更しながら複数の画像を撮影した後、各画像からフォーカスの合っている部分を抽出し単一の合成画像を作成することで、少ない枚数の画像を用いて効率良く診断することが図られている（例えば特許文献１）。

特開２００９−０８８７４２号公報

しかしながら、上述した従来技術では、撮影対象物の厚さを考慮せずに単一の合成画像を作成するので、厚みのある細胞の各階層の画像を観察できない。診断医が厚みのある細胞を正確に診断するためには、細胞の厚み方向の位置が異なる複数の階層で画像を観察する必要がある。従来技術では単一の画像が作成されるだけなので細胞の厚み方向の位置が異なる複数の階層の画像を観察することができない。よって、細胞の塊（以下、細胞塊）の位置関係を保ったまま複数層の画像を作成することが必要である。

そこで、本発明は、複数の異なる合焦距離で標本を撮像して得られる階層画像を表示する画像表示装置において、より少ない枚数の階層画像で標本内のより多くのオブジェクトを観察できるようにすることを目的とする。

本発明は、複数のオブジェクトを含む標本の深さ方向の位置が異なる複数の階層の各々にフォーカスを合わせて撮像して得られる複数の階層画像を取得する取得手段と、
前記複数の階層画像に基づき、前記各オブジェクトについて、オブジェクトが存在する階層及び深さ方向と垂直の平面内での存在領域を検出する検出手段と、
前記各オブジェクトが存在する階層及び平面内での存在領域に基づき、前記複数の階層画像から、前記標本内の前記オブジェクトの位置を移動した場合の前記標本の前記各階層
の階層画像を生成する生成手段と、
を有し、
前記生成手段は、前記標本内で前記オブジェクトが存在する階層の数が少なくなるように前記オブジェクトを移動した場合の階層画像を生成する画像処理装置である。

本発明は、複数のオブジェクトを含む標本の深さ方向の位置が異なる複数の階層の各々にフォーカスを合わせて撮像して得られる複数の階層画像を取得する取得工程と、
前記複数の階層画像に基づき、前記各オブジェクトについて、オブジェクトが存在する階層及び深さ方向と垂直の平面内での存在領域を検出する検出工程と、
前記各オブジェクトが存在する階層及び平面内での存在領域に基づき、前記複数の階層画像から、前記標本内の前記オブジェクトの位置を移動した場合の前記標本の前記各階層の階層画像を生成する生成工程と、
を有し、
前記生成工程では、前記標本内で前記オブジェクトが存在する階層の数が少なくなるように前記オブジェクトを移動した場合の階層画像を生成する画像処理装置の制御方法である。

本発明によれば、複数の異なる合焦距離で標本を撮像して得られる階層画像を表示する画像表示装置において、より少ない枚数の階層画像で標本内のより多くのオブジェクトを観察できるようにすることが可能となる。

実施例１に係るシステム構成図 実施例１に係るブロック図 標本部位の一例を表した図 図３の標本部位を側面から見た図 フォーカスマップの一例を表した図 フォーカスマップ比較処理を表した図 細胞塊識別部２０７で作成した細胞塊情報の一例を表した図 実施例１に係る細胞配置部２０８の処理フロー図 細胞配置部２０８で作成した細胞塊情報の一例を表した図 細胞塊位置の一例を表した図 原画像表示モードと一覧表示モードの病理画像の一例を表した図 実施例１・２に係るシステム動作の処理フロー図 実施例２に係るシステム構成図 実施例２に係るブロック図 実施例２に係る細胞配置部１４０８の処理フロー図 細胞配置部１４０８で作成した細胞塊情報の一例を表した図 細胞塊位置の一例を表した図 標本部位の一例を表した図（背景技術説明用） 病理画像の一例を表した図（背景技術説明用）

（実施例１）
本発明に係る画像表示装置の実施例１について説明する。実施例１に係る画像表示装置は、複数のオブジェクト（細胞塊）を含む標本の深さ方向の位置が異なる複数の階層の各々にフォーカスを合わせて撮像して得られる複数の階層画像から、標本内のオブジェクトの位置を移動した場合の新たな階層画像を生成する。

実施例１では、複数の異なる合焦距離で標本を撮像して得られる階層画像を表示する画像表示装置に本発明を適用した例を説明する。実施例１では、複数の階層画像から標本内の細胞塊を識別し、細胞塊の標本内での位置を仮想的に移動させた場合の階層画像を新たに生成する。これにより、少ない枚数の階層画像で標本内のより多くのオブジェクト（細胞塊）を観察することを可能にする。

図１は、実施例１に係る、画像データを機器間伝送するネットワークシステムを示す図である。図１に示すように、スキャナ１０１、画像管理サーバ１０２、画像表示装置１０３は、院内ＬＡＮ（Local Area Network）１００を介して接続されている。

スキャナ１０１は、診断対象の標本を載せたプレパラートに対して深さ（厚み）方向の合焦位置（合焦距離）を変えてスキャンし複数の階層画像を生成し、生成した階層画像の画像データ（階層画像データ）を画像管理サーバ１０２へ送信する。
画像管理サーバ１０２は、院内ＬＡＮ１００経由で受信した画像データを保管する。
画像表示装置１０３は、画像ビューアを搭載したＰＣ（Personal Computer）とディス
プレイで構成され、ユーザの要求により画像管理サーバ１０２から画像データを取得し、画像データに基づく画像を表示する。

図２は、実施例１に係る画像表示装置１０３の構成を示すブロック図である。画像表示装置１０３は、画像データ受信部２０１、記憶部２０２、モード管理部２０３、表示制御部２０４、表示部２０５、フォーカスマップ作成部２０６、細胞塊識別部２０７、細胞配置部２０８を備える。

画像データ受信部２０１は、ユーザの要求により、院内ＬＡＮ１００を介して画像管理サーバ１０２から画像データを入力（受信）して、記憶部２０２に送信する。
記憶部２０２は、画像データ受信部２０１から取得した画像データを保存する。

モード管理部２０３は、画像表示装置１０３による画像の表示モードを管理する。実施例１では、画像表示装置１０３は２種類の表示モードを切り替えることができる。第１の表示モードは、スキャナ１０１が取得した画像（原画像）をそのまま表示する「原画像表示モード」、第２の表示モードは、細胞塊の標本内での位置を仮想的に移動させた場合の画像を新たに作成して表示する「一覧表示モード」である。詳細は後述する。

表示制御部２０４は、モード管理部２０３から表示モードの情報を取得する。表示モードが「原画像表示モード」の場合、表示制御部２０４は、ユーザの要求により指定された層の階層画像データを記憶部２０２から取得し、表示部２０５へ送信する。表示モードが「一覧表示モード」の場合、表示制御部２０４は、フォーカスマップ作成部２０６へフォーカスマップの作成を要求する。その後、表示制御部２０４は、細胞配置部２０８から細胞塊情報を受信し、細胞塊情報に基づいて全ての層の階層画像の画像データを生成する。最後に、表示制御部２０４は、生成した画像データの中で、ユーザの要求により指定された層の階層画像データを表示部２０５へ送信する。表示部２０５は、表示制御部２０４から取得した一つの層の階層画像データに基づく画像を表示する。

以下に、フォーカスマップ作成部２０６、細胞塊識別部２０７、細胞配置部２０８について説明する。ここでは、図３のような標本が階層画像取得及び観察（診断）の対象である場合を例に説明する。図４は、図３の標本を矢印３０６の方向から見た図である。図４の細胞塊３０３〜３０５は、図３の細胞塊３０３〜３０５と対応している。（ａ）〜（ｇ）は、スキャナで深さ（合焦距離）を変えて撮影した各層の階層画像の深さ方向の位置を表す。

フォーカスマップ作成部２０６は、表示制御部２０４からフォーカスマップ作成要求を受信すると処理を開始する。フォーカスマップとは、一つの層の階層画像の中でフォーカスの合っている画像領域（以下、合焦領域という）の位置を示す情報である。フォーカスマップによって、階層画像内の細胞塊の位置が分かる。

具体的には、フォーカスマップ作成部２０６は、記憶部２０２から全階層の画像データを取得すると、階層画像毎に合焦領域を検出する。フォーカスマップ作成部２０６は、階層画像の全領域をマトリクス状に分割し、分割領域毎の空間周波数の周波数成分を評価することにより、各分割領域が合焦領域であるか否かを判断する。そして、連続する、合焦領域と判定された分割領域を繋ぎ合わせた領域を、階層画像内の合焦領域として検出する。

ぼけた画像のように画素間の隣接相関が高い場合は、空間周波数は低い値となる。逆にフォーカスの合っている画像は、物体の輪郭が明瞭となるため、画素間の隣接相関が低く、空間周波数は高い値となる。フォーカスマップ作成部２０６は、空間周波数が閾値以上である分割領域を合焦領域と判定し、空間周波数が閾値より低い分割領域を非合焦領域と判定する。

以上の処理で得られた階層画像内の合焦領域は、階層画像内の細胞塊の存在範囲を表す。フォーカスマップ作成部２０６は、合焦領域を画像データにマッピングすることでフォーカスマップを作成する。フォーカスマップ作成部２０６は、記憶部２０２から取得した全ての階層画像データについてフォーカスマップを作成し、細胞塊識別部２０７へ送信する。

図５は、図４の位置（ａ）〜（ｄ）の階層画像のフォーカスマップを表す。位置（ａ）の階層画像には合焦領域がないため、位置（ａ）の層には細胞塊が存在しないことがわかる。位置（ｂ）（ｃ）の階層画像には、合焦領域があるため、位置（ｂ）（ｃ）の層には細胞塊が存在することがわかる。この例では、位置（ｂ）（ｃ）の層に存在する細胞塊３０３であり、この層の階層画像の合焦領域は細胞塊３０３に合焦して撮像された画像である。位置（ｄ）の階層画像には、合焦領域があるため、位置（ｄ）の層には細胞塊が存在し、この例では、この層の階層画像の合焦領域は細胞塊３０４に合焦して撮像された画像である。

細胞塊識別部２０７は、フォーカスマップ作成部２０６からフォーカスマップを受信すると、フォーカスマップを重ね合わせて比較することで細胞塊毎にグルーピングし、細胞塊毎の位置情報を示す細胞塊情報を作成する。その後、細胞塊識別部２０７は、作成した細胞塊情報を細胞配置部２０８へ送信する。

具体的には、細胞塊識別部２０７は、隣接する２つの層のフォーカスマップ同士を比較し、合焦領域が重複しているか判定する。重複とは、２つのフォーカスマップの合焦領域を同一平面に射影した場合に重なる部分（共通部分）が存在することを表す。細胞塊識別部２０７は、重複していると判定した合焦領域は、層に垂直の方向（深さ方向）に連続している細胞塊の画像であると識別する。一方、隣接する２つの層の一方の層に存在する合焦領域と重複する合焦領域が他方の層に無い場合、当該一方の層の合焦領域は、細胞塊の端部の画像であると判断できる。細胞塊識別部２０７は、以上の処理を互いに隣接する層のフォーカスマップ全てに対して実行することで、標本に含まれる全ての細胞塊を細胞塊毎にグルーピングする。

図６は、隣接層のフォーカスマップ比較の一例を表す。図６（Ａ）は、図５の（ｂ）と（ｃ）のフォーカスマップ比較を表す。（ｂ）の合焦領域と（ｃ）の合焦領域は領域７０
１で重複しているため、細胞塊識別部２０７は、一つの細胞塊が（ｂ）と（ｃ）の層にまたがっていると判定する。細胞塊識別部２０７は、（ｂ）の合焦領域と（ｃ）の合焦領域はそれぞれ深さ方向に連続している一つの細胞塊の深さ方向の位置が異なる部分の画像として識別する。この細胞塊は、図４の細胞塊３０３に対応する。

図６（Ｂ）は、図５の（ｃ）と（ｄ）の比較を表す。（ｃ）の合焦領域と（ｄ）の合焦領域は重複していないため、細胞塊識別部２０７は、一つの細胞が（ｃ）と（ｄ）の層にまたがっておらず、それぞれ細胞塊の端部の画像であると識別する。合焦領域７０６は図４の細胞塊３０３に対応し、合焦領域７０７は細胞塊３０４に対応している。

全てのフォーカスマップ比較が完了後、細胞塊識別部２０７は、細胞塊情報を作成する。細胞塊情報には、細胞塊識別部２０７で格納する情報として、細胞塊毎に付された番号である細胞塊Ｎｏ、平面方向の細胞塊領域の位置（座標）、幅、及び高さ、並びに細胞塊がどの層にまたがっているかを示す情報がある。また、細胞配置部２０８で格納する情報として、細胞塊を移動したときの移動先の層、配置フラグ、細胞塊重複フラグが格納される。

平面方向の細胞塊領域は、各層の階層画像において当該細胞塊に対応するものと識別した合焦領域を同一の平面に射影した場合の全ての射影領域を包含する矩形領域とする。細胞塊領域は、標本の深さ方向と垂直の平面内での細胞塊の存在領域を示す。図６（Ａ）では、（ｂ）の合焦領域（を図６（Ａ）の平面に射影した領域）と（ｃ）の合焦領域（を図６（Ａ）の平面に射影した領域）との両方を包含する矩形領域７０２が、この細胞塊の細胞塊領域となる。細胞塊識別部２０７は、細胞塊領域を検出すると、細胞塊の領域の開始点７０３の座標、幅７０４、及び高さ７０５の情報を細胞塊情報に格納する。

図７は、細胞塊情報の一例を表す。図７は、図３の標本に対応する細胞塊情報である。以下に、細胞塊識別部２０７が細胞塊情報に情報を格納する処理について記載する。細胞塊Ｎｏ８０１は、細胞塊識別部２０７で識別した細胞塊毎に付与される識別番号である。細胞塊領域の位置を表す座標は、階層画像の最も左上の角の座標を（０，０）とした場合の座標で表す。位置ｘ８０２と位置ｙ８０３は、細胞塊領域の最も左上の角の画素（開始点）の座標を表す。位置ｗ８０４は細胞塊領域の幅、位置ｈ８０５は細胞塊領域の高さを表す。層８０６は、細胞塊がどの層にまたがっているかを表す。移動後の層８０７は、細胞塊を移動した場合の移動先の層を表す（細胞塊の移動については後述）。

配置フラグ８０８は、細胞塊の移動を検討したか否かを示すフラグで、ＯＮの場合は検討済み、ＯＦＦの場合は未検討であることを表す。細胞塊重複フラグ８０９は、細胞塊が平面領域で重複しているか否かを示すフラグで、ＯＮの場合は重複している、ＯＦＦの場合は重複していないことを表す。

細胞配置部２０８は、細胞塊識別部２０７から細胞塊情報を受信すると、細胞塊毎に移動先の層を算出し、細胞塊情報に細胞塊の移動先の層の情報を格納して、表示制御部２０４へ送信する。
図８は、細胞配置部２０８の処理フロー図である。本処理では、細胞配置部２０８は、全細胞塊の中で最も高い層にある細胞塊から順に配置の検討を行う。ある細胞塊についての配置検討は、次のように行う。細胞配置部２０８は、配置検討中の細胞塊が、それより高い層にある他の細胞塊と平面方向で重なっているかを確認する。すなわち、細胞配置部２０８は、配置検討中の細胞塊の細胞塊領域と、当該細胞塊より高い層にある他の細胞塊の細胞塊領域と、が平面方向で重複しているかを判定する。重複していない場合、細胞配置部２０８は、配置検討中の細胞塊を、最も高い層にある他の細胞塊の層へ移動し、重複している場合は、当該重複している他の細胞塊の下の層へ仮想的に移動する処理を行う。
以下に、本処理を詳細に説明する。

細胞配置部２０８は、細胞塊情報を取得すると、全細胞塊の中で最も高い層に存在する細胞塊を検出し、細胞塊の移動を検討したことを示す配置フラグを「オン」にする（Ｓ９０１）。なお、各細胞塊の配置フラグの初期値は「オフ」である。
次に、細胞配置部２０８は、配置フラグが「オフ」の細胞塊の中で最も高い層にある細胞塊を検出し（Ｓ９０２）、当該細胞塊（配置検討中の細胞塊）が、配置フラグ「オン」の他の細胞塊と平面方向で重複しているか確認する（Ｓ９０３）。すなわち、細胞配置部２０８は、配置検討中の細胞塊が、配置検討中の細胞塊より高い層にある他の細胞塊と、平面方向で重複しているか判定する。

配置検討中の細胞塊が他の細胞塊と平面方向で重複していない場合（Ｓ９０３：Ｎｏ）、細胞配置部２０８は、現在配置を検討している細胞塊を、最上位にある細胞塊と同じ層に移動する（Ｓ９０５）。すなわち、配置検討中の細胞塊の基準層の位置と、最上位にある細胞塊の基準層の位置とが同じになるように、配置検討中の細胞塊の標本内で仮想的に移動する。ここで、基準層とは、細胞塊が複数の層にまたがって存在する場合に、細胞塊が存在する層のうち最も高い位置の層である。細胞塊が１つの層にしか存在しない場合は、その層が基準層となる。細胞配置部２０８は、配置検討中の細胞塊の移動先の層の情報を細胞塊情報へ格納する。

配置検討中の細胞塊が他の細胞塊と平面方向で重複している場合（Ｓ９０３：Ｙｅｓ）、細胞配置部２０８は、細胞塊が重複していることを示す細胞塊重複フラグを「オン」にする（Ｓ９０４）。なお、各細胞塊の細胞塊重複フラグの初期値は「オフ」である。
細胞配置部２０８は、今回配置検討した細胞塊の配置フラグを「オン」にする（Ｓ９０６）。
細胞配置部２０８は、配置未検討の細胞塊（配置フラグが「オフ」の細胞塊）が有るか確認し（Ｓ９０７）、有る場合（Ｓ９０７：Ｙｅｓ）は配置検討処理（Ｓ９０２）へ戻る。配置未検討の細胞塊（配置フラグが「オフ」の細胞塊）がない場合（Ｓ９０７：Ｎｏ）、細胞配置部２０８は、細胞塊情報のうちに、細胞塊重複フラグが「オン」の細胞塊があるか確認する（Ｓ９０８）。

細胞塊重複フラグが「オン」の細胞塊がある場合（Ｓ９０８：Ｙｅｓ）、細胞配置部２０８は、当該細胞塊重複フラグが「オン」の細胞塊を、当該細胞塊と平面方向で重複している他の細胞塊がある層の下の層に配置するように標本内で移動する（Ｓ９０９）。具体的には、細胞塊重複フラグ「オン」の細胞塊と重複している他の細胞塊の存在する層のうち最も低い位置の層の１つ下の層を、当該細胞塊重複フラグ「オン」の細胞塊の基準層とするよう、当該細胞塊を標本内で仮想的に移動する。細胞配置部２０８は、当該細胞塊重複フラグ「オン」の細胞塊の移動先の層の情報を細胞塊情報へ格納し、当該細胞塊の細胞塊重複フラグを「オフ」にする（Ｓ９１０）。

細胞塊重複フラグが「オン」の細胞塊がない場合（Ｓ９０８：Ｎｏ）、細胞配置部２０８は、細胞塊情報を表示制御部２０４へ送信する。

図９は、細胞配置部２０８で作成した細胞塊情報の一例を表す。図９は、図７の細胞塊情報を基に細胞配置部２０８が細胞塊の配置を決定し、移動後の層８０７に情報を格納したものである。図８の処理フローに沿って、細胞塊毎の移動後の層を決定する処理について説明する。
まず、細胞配置部２０８は、全細胞塊の中で最も高い位置の細胞は、基準層がｂ層にある細胞塊１（図４の細胞塊３０３）であることを検出し、細胞塊１の配置フラグを「オン」にする。

次に細胞配置部２０８は、配置未検討細胞の中で最も高い位置にある細胞として細胞塊２（図４の細胞塊３０４）を検出し、細胞塊２が配置フラグ「オン」の細胞塊である細胞塊１と平面方向で重複しているか確認する。ここでは重複していないため、細胞配置部２０８は、細胞塊１の最上位層を、配置検討中の細胞塊２の基準層とするよう、細胞塊２を移動する。具体的には、ｄ層の細胞塊２の画像をｂ層に移動し、ｅ層の細胞塊２の画像をｃ層に移動する。
最後に、細胞配置部２０８は、細胞塊２の配置フラグを「オン」にする。

次に細胞配置部２０８は、配置フラグ「オフ」の細胞塊で最も高い層にある細胞塊として細胞塊３（図４の細胞塊３０５）を検出する。
細胞配置部２０８は、細胞塊３が、それより上に位置する配置フラグが「オン」の細胞塊である細胞塊１、２と平面方向で重複しているか確認する。細胞塊３は、細胞塊１と平面方向で重複しているため、細胞配置部２０８は、配置検討中の細胞塊３について、細胞塊重複フラグを「オン」にするとともに、配置フラグを「オン」にする。

以上で全細胞塊の配置フラグが「オン」になったため、細胞配置部２０８は、細胞塊情報のうちに、細胞塊重複フラグが「オン」の細胞塊があるか確認する。ここでは細胞塊３の細胞塊重複フラグが「オン」のため、当該細胞塊３と重複している細胞塊である細胞塊１が存在する層（ｂ、ｃ）のうち最も下の層ｃの１つ下の層ｄが、細胞塊３の基準層となるよう、細胞塊３を移動する。具体的には、ｆ層の細胞塊３の画像をｄ層に移動する。以上の処理によって、図９の細胞塊情報が生成される。

表示制御部２０４は、細胞配置部２０８から細胞塊情報を受信し、細胞塊情報に基づいて画像を生成する。図９の細胞塊情報を基に説明すると、表示制御部２０４は、細胞塊２については、ｄ層の階層画像における位置（ｘ、ｙ）、幅ｗ、高さｈの矩形の細胞塊領域の画像をコピーし、ｂ層の階層画像の同位置に貼り付ける。また、ｅ層の階層画像における位置（ｘ、ｙ）、幅ｗ、高さｈの矩形の細胞塊領域の画像をコピーし、ｃ層の階層画像の同位置に貼り付ける。表示制御部２０４は、細胞塊３については、ｆ層の階層画像における位置（ｘ、ｙ）、幅ｗ、高さｈの矩形の細胞塊領域の画像をコピーし、ｄ層の階層画像の同位置に貼り付ける。

図１０は、標本内の各細胞塊を上記の処理により仮想的に移動した場合の、階層画像と細胞塊との位置関係を示している。原画像表示モードでは図４に基づく画像表示が行われ、一覧表示モードでは図１０に基づく画像表示が行われる。図１０の細胞塊１００１（図９の細胞塊１）は、図４の細胞塊３０３と対応しており、位置は変わっていない。図１０の細胞塊１００２（図９の細胞塊２）は、図４の細胞塊３０４と対応しており、基準層の位置が細胞塊１００１の基準層の位置と同じになるように移動している。細胞塊１００３（図９の細胞塊３）は、図４の細胞塊３０５と対応しており、細胞塊１００１の存在する層の最も下の層のすぐ下の層が基準層になるように配置されている。

図１１（Ａ）は、図４の階層画像を示す。原画像表示モードでは、図１１（Ａ）に示す階層画像から観察者（診断医）が指定した階層の階層画像が表示される。観察者は、標本内の全細胞塊を各々の細胞塊が存在する全ての階層について観察するためには、ｂ、ｃ、ｄ、ｅ、ｆの５つの層の階層画像を観察する必要がある。
図１１（Ｂ）は、図１０の階層画像を示す。一覧表示モードでは、図１１（Ｂ）に示す階層画像から観察者が指定した階層の階層画像が表示される。観察者は、標本内の全細胞塊を各々の細胞塊が存在する全ての階層について観察するために、ｂ、ｃ、ｄの３つの層の階層画像を観察すれば良い。すなわち、原画像表示モードより少ない枚数の階層画像で効率良く全細胞塊を観察できる。

なお、各表示モードにおいて、細胞塊が存在しない階層画像については、ユーザが層を選択する際に選択候補から除外しても良い。また、細胞塊が存在しない階層画像をユーザが指定（選択）し表示した場合に、表示中の階層画像には細胞塊が存在しない旨の通知を表示しても良い。

以下に、実施例１に係る画像表示装置の動作について説明する。図１２は、実施例１に係る画像表示装置の動作を示すフロー図である。表示制御部２０４は、モード管理部２０３から表示モードの情報を取得する（Ｓ１２０１）。表示モードが「原画像表示モード」の場合、表示制御部２０４は、ユーザ操作による層の指定（選択）を受け付け（Ｓ１２０３）、指定された層の階層画像データを記憶部２０２から取得して表示部２０５へ送信する。表示部２０５は、表示制御部２０４から取得した階層画像データに基づく画像を表示する（Ｓ１２０４）。

表示モードが「一覧表示モード」の場合、表示制御部２０４は、細胞塊を移動した新たな階層画像を生成する処理を行う。まず、表示制御部２０４は、フォーカスマップ作成部２０６へフォーカスマップ作成を要求する。フォーカスマップ作成部２０６は、階層画像毎にフォーカスマップを作成し、細胞塊識別部２０７へフォーカスマップを送信する（Ｓ１２０５）。細胞塊識別部２０７は、取得したフォーカスマップを使って細胞塊を識別し、細胞塊毎の位置を格納した細胞塊情報を作成して、細胞配置部２０８へ送信する（Ｓ１２０６）。細胞配置部２０８は、取得した細胞塊情報に基づき細胞塊の移動先を算出し、細胞塊情報へ移動先の情報を格納して、表示制御部２０４へ送信する（Ｓ１２０７）。表示制御部２０４は、取得した細胞塊情報に基づき、細胞塊を移動した新たな階層画像を作成し、記憶部２０２に作成した階層画像データを保存する（Ｓ１２０８）。その後、表示制御部２０４は、上記の原画像表示モードと同様に、ユーザから表示すべき階層画像の指定を受け付け、指定された階層画像の表示を行う。

なお、図１２のフローでは、表示モードの判定後に細胞塊を移動した階層画像の生成処理を行う例を説明した。しかし、画像表示装置１０３が画像管理サーバ１０２から図４に示す階層画像を取得した時点で、図１０に示す細胞塊を移動した階層画像の生成を自動的に実行して、記憶部２０２に保存しても良い。記憶部２０２は、図４に示す原画像と、図１０に示す細胞塊を移動した階層画像と、の両方を記憶し、表示制御部２０４は、表示モードに応じて、記憶部２０２から読み出す階層画像を切り換えるようにしても良い。また、画像表示装置１０３は、細胞塊を移動した新たな階層画像を生成した後、生成した新たな階層画像を画像管理サーバ１０２に送信し、一度生成した一覧表示モード用の階層画像を後から再利用できるようにしても良い。また、画像管理サーバ１０２が、スキャナ１０１から取得した原画像から一覧表示モード用に細胞塊を移動した新たな階層画像を生成する処理を行っても良い。この場合、画像表示装置１０３は、表示モードに応じた画像データを画像管理サーバ１０２から取得する用にしても良い。

実施例１によれば、複数の異なる合焦距離で標本を撮像して得られる階層画像を表示する画像表示装置において、より少ない枚数の階層画像で標本内のより多くの細胞塊（オブジェクト）を観察することが可能になる。これにより、効率良く診断することが可能となる。また、実施例１の画像生成処理では、ＣＡＤ（Computer-Aided Diagnosis：コンピュータ支援診断）等の複雑な解析は不要であり、簡易な構成で実現できる。また、画像の生成に過去の診断医の観察履歴や操作履歴の情報は不要であり、初診の段階から効率的な診断が可能である。

なお、実施例１では、配置検討中の細胞塊の細胞塊領域がそれより上に位置する他の細胞塊の細胞塊領域と平面方向で重複しない場合、当該他の細胞塊のうち最も高い層にある
細胞塊の層へ、配置検討中の細胞塊を移動した。しかし、配置検討中の細胞塊の移動先はこれに限られず、少なくとも１つの層でも元の層より高い層に移動すれば本発明の効果は得られる。また、配置検討中の細胞塊の細胞塊領域がそれより上に位置する他の細胞塊の細胞塊領域と平面方向で重複する場合、当該重複する他の細胞塊の直ぐ下の層へ、配置検討中の細胞塊を移動した。しかし、配置検討中の細胞塊の移動先はこれに限られず、少なくとも１つの層でも元の層より高い層に移動すれば本発明の効果は得られる。

また、実施例１では、上位層の細胞塊から配置検討を行い、配置検討中の細胞塊をより高い層へ移動させる例を示したが、下位層の細胞塊から配置検討を行い、配置検討中の細胞塊をより低い層へ移動させるようにしても良い。いずれにしても、細胞塊領域が互いに重ならない２つの細胞塊があった場合、当該２つの細胞塊が共に存在する階層の数が増えるように、２つの細胞塊のうち少なくとも一方を移動させれば良い。実施例１では、２つの細胞塊の各々が存在する階層のうち最も高い階層（すなわち基準層）が当該２つの細胞塊で同じになるように移動する例を示した。しかし、２つの細胞塊の各々が存在する階層のうち最も低い階層が当該２つの細胞塊で同じになるように移動しても良い。

また、実施例１では、細胞塊領域が互いに重なる２つの細胞塊があった場合、一方の細胞塊（２つのうち上の階層に存在する細胞塊）の最も下の階層の１つ下の階層が、他方の細胞塊（２つのうち下の階層に存在する細胞塊）の基準層になるように移動した。しかし、一方の細胞塊（２つのうち下の階層に存在する細胞塊）の最も上の階層の１つ上の階層が、他方の細胞塊（２つのうち上の階層に存在する細胞塊）が存在する階層のうち最も下の階層と同じ階層になるように移動しても良い。

また、細胞塊領域が互いに重なる２つの細胞塊があった場合、当該２つの細胞塊の間に存在する階層の数が減るように、２つの細胞塊のうち少なくとも一方を移動させればよい。すなわち、上記実施例では、配置検討中の細胞塊を移動させる例を示したが、両方を移動しても良いし、配置検討中の細胞塊以外の細胞塊のみを移動しても良い。実施例１において、画像表示装置１０３を構成する表示制御部２０４、フォーカスマップ作成部２０６、細胞塊識別部２０７、細胞配置部２０８は、画像管理サーバ１０２から取得した原画像から新たな階層画像を生成する画像処理装置を構成する。実施例１では、画像表示装置１０３が画像処理装置を有する構成を例示した。しかし、画像管理サーバ１０２から取得した原画像から新たな階層画像を生成する画像処理装置と、表示モードに応じて原画像又は画像処理装置が生成した階層画像を表示する画像表示装置と、は別体構成であっても良い。

（実施例２）
実施例２では、画像表示装置において、多層画像から細胞塊を識別し、２つの細胞塊が平面方向で重複している場合は、重複しない位置まで一方の細胞塊を平面方向で移動したうえで、当該細胞塊を層方向（深さ方向）で移動して新たな階層画像を生成する。実施例２において、実施例１と同等の構成要素には同一の符号を付け、説明を省略する。

図１３は、実施例２に係る、画像データを機器間伝送するネットワークシステム示す図である。図１３に示すように、スキャナ１０１、画像管理サーバ１０２、画像表示装置１３０３は、院内ＬＡＮ（Local Area Network）１００を介して接続されている。画像表示装置１３０３は、画像ビューアを搭載したＰＣ（Personal Computer）とディスプレイで
構成され、ユーザの要求により画像管理サーバ１０２から画像データを取得し、画像データに基づく画像を表示する。

図１４は、実施例２に係る画像表示装置１３０３の構成を示すブロック図である。実施例２では、細胞配置部１４０８が、実施例１の細胞配置部２０８と異なる動作を行う。
実施例２においても、実施例１と同様、図３のような標本が階層画像取得及び観察（診断）の対象である場合を例に説明する。
細胞配置部１４０８は、細胞塊識別部２０７から細胞塊情報を受信すると、細胞塊毎に移動先の位置を算出し、細胞塊の移動先の情報を格納した細胞塊情報を表示制御部２０４へ送信する。

図１５は、実施例２に係る細胞配置部１４０８の処理フロー図である。本処理では、細胞配置部１４０８は、全細胞塊の中で最も高い層にある細胞塊から順に配置の検討を行う。細胞配置部１４０８は、配置検討中の細胞塊が、それより高い層にある他の細胞塊と平面方向で重なっているかを確認する。すなわち、細胞配置部１４０８は、配置検討中の細胞塊の細胞塊領域と、当該細胞塊より高い層にある他の細胞塊の細胞塊領域と、を同一平面に射影した場合に共有部分があるか判定する。

重なっていない場合、細胞配置部１４０８は、配置検討中の細胞塊を、最も高い層にある他の細胞塊の層へ移動する。重なっている場合、細胞配置部１４０８は、配置検討中の細胞塊より高い層にある他の細胞塊と平面方向で重ならない領域があるか確認する。すなわち、細胞配置部１４０８は、配置検討中の細胞塊より高い層にある他の細胞塊の細胞塊領域を全て同一平面上に射影した場合に、当該平面内でどの細胞塊領域の射影も存在しない領域があるか確認する。このような領域を「空き領域」と称する。更に、細胞配置部１４０８は、空き領域がある場合に、当該空き領域が、配置検討中の細胞塊の細胞塊領域の当該平面への射影を包含し得るスペースを有するか確認する。空き領域が配置検討中の細胞塊の細胞塊領域を包含し得るスペースを有している場合、細胞配置部１４０８は、配置検討中の細胞塊を、その細胞塊領域が空き領域に入るように平面方向に移動する。細胞配置部１４０８は、更に、実施例１と同様、最も高い層にある他の細胞塊と同じ層へ層方向に移動する。空き領域が配置検討中の細胞塊の細胞塊領域を包含し得るスペースを有していない場合、細胞配置部１４０８は、実施例１と同様、配置検討中の細胞塊を、重なっている他の細胞塊の下の層へ移動する。以下に、本処理を具体的に説明する。なお、実施例１と同等の処理には同一の符号を付け、説明を省略する。

細胞配置部１４０８は、Ｓ９０１〜Ｓ９０７の処理を実施例１と同様に行った後、全細胞塊の配置フラグが「オン」であることを確認後（Ｓ９０７：Ｎｏ）、細胞塊重複フラグが「オン」の細胞があるか確認する（Ｓ９０８）。
細胞塊重複フラグが「オン」の細胞塊がある場合（Ｓ９０８：Ｙｅｓ）、細胞配置部１４０８は、当該細胞塊重複フラグが「オン」の細胞塊より高い層にある他の細胞塊を検出し、空き領域を検出する（Ｓ１５０９）。次に、細胞配置部１４０８は、前記検出した空き領域に、細胞塊重複フラグが「オン」の細胞塊の細胞塊領域を包含できるスペースがあるか確認する（Ｓ１５１０）。

スペースがある場合（Ｓ１５１０：Ｙｅｓ）、細胞配置部１４０８は、前記細胞塊重複フラグが「オン」の細胞塊の細胞塊領域が当該空き領域内に入るように当該細胞塊重複フラグが「オン」の細胞塊を平面方向に移動する（Ｓ１５１１）。更に、細胞配置部１４０８は、当該細胞塊重複フラグが「オン」の細胞塊を、最も高い位置にある他の細胞塊の層に移動する（Ｓ１５１２）。すなわち、当該細胞塊重複フラグが「オン」の細胞塊の基準層の位置と、最上位にある細胞塊の基準層の位置とが同じになるように、当該細胞塊重複フラグが「オン」の細胞塊の配置を変更する。そして、細胞配置部１４０８は、当該細胞塊重複フラグが「オン」の細胞塊の移動先の位置座標と移動先の層の情報を細胞塊情報へ格納し、当該細胞塊の細胞塊重複フラグを「オフ」にする（Ｓ１５１４）。

スペースがない場合（Ｓ１５１０：Ｎｏ）、細胞配置部１４０８は、前記細胞塊重複フラグが「オン」の細胞塊を、当該細胞塊と平面方向で重複している他の細胞塊がある層の
下の層に配置するように標本内で仮想的に移動する（Ｓ１５１３）。具体的には、当該細胞塊重複フラグが「オン」の細胞塊と重複している他の細胞塊の存在する層のうち最も低い位置の層の１つ下の層を、当該細胞塊重複フラグが「オン」の細胞塊の基準層とするよう、当該細胞塊を標本内で仮想的に移動する。細胞配置部１４０８は、当該細胞塊重複フラグが「オン」の細胞塊の移動先の層の情報を細胞塊情報へ格納し、当該細胞塊の細胞塊重複フラグを「オフ」にする（Ｓ１５１４）。
細胞塊重複フラグが「オン」の細胞塊がない場合（Ｓ９０８：Ｎｏ）、細胞配置部１４０８は、細胞塊情報を表示制御部２０４へ送信する。

図１６は、細胞配置部１４０８で作成した細胞塊情報の一例を表す。図４の標本を例に、図１５の処理フローに沿って、細胞塊毎の移動後の位置及び層を決定する処理について説明する。細胞配置部１４０８は、全ての細胞塊の配置フラグが「オン」であることを確認後、細胞塊重複フラグが「オン」の細胞塊があるか確認する。図４の標本の場合、細胞塊３０５（図１６の細胞塊３）の細胞塊重複フラグが「オン」になる。細胞配置部１４０８は、細胞塊３より高い位置にある他の細胞塊１と細胞塊２と平面方向で重ならない領域（空き領域）を検出する。細胞配置部１４０８は、検出した空き領域において、細胞塊３が入り込むスペースがあるか判定し、スペースがある場合は当該空き領域へ平面方向に細胞塊３の全体を移動し、更に、細胞塊３の基準層が細胞塊１の基準層と同じになるよう層方向へ移動する。これにより、図１６に示すように、細胞塊３の位置Ｘが変更され（空き領域への平面方向の移動に対応）、細胞塊の存在する層がｆ層からｂ層へ移動する（層方向の移動に対応）。細胞配置部１４０８は、細胞塊３の移動先の座標と層の情報を細胞位置情報へ格納し、細胞塊重複フラグを「オフ」にする。以上の処理によって図１６の細胞塊情報が生成される。なお、細胞塊２の層がｄ，ｅからｂ、ｃに移動する点については実施例１と同様である。

図１７は、標本内の各細胞塊を上記の処理により仮想的に移動した場合の、階層画像と細胞塊との位置関係を示している。原画像表示モードでは図４に基づく画像表示が行われ、一覧表示モードでは図１７に基づく画像表示が行われる。図１７の細胞塊１７０１（図１６の細胞塊１）は、図４の細胞塊３０３と対応しており、位置は変わっていない。図１７の細胞塊１７０２（図１６の細胞塊２）は、図４の細胞塊３０４と対応しており、基準層の位置が細胞塊１７０１の基準層の位置と同じになるように層方向（深さ方向）に移動している。図１７の細胞塊１７０３（図６の細胞塊３）は、図４の細胞塊３０５と対応している。細胞塊１７０３は、細胞塊１７０１と細胞塊１７０２に重ならない空き領域に平面方向に移動するとともに、基準層の位置が細胞塊１７０１の基準層の位置と同じになるように層方向（深さ方向）に移動している。

観察者（診断医）は、標本内の全細胞塊を各々の細胞塊が存在する全ての階層について観察するために、原画像表示モードではｂ、ｃ、ｄ、ｅ、ｆの５つの層の階層画像を観察する必要がある。しかし、上記の処理により作成された階層画像を用いる一覧表示モードでは、ｂ、ｃの２つの層の階層画像を観察すればよく、より少ない枚数の階層画像で効率良く全細胞塊を観察できる。

なお、実施例２では、細胞塊３の基準層が細胞塊１の基準層と同じになる位置（図１７のｂ層）まで細胞塊３を層方向に移動する例を説明したが、これに限らない。元の層より高い層（図１７のｃ層）まで移動する場合でも、全細胞塊を観察するために必要な階層画像の枚数を減らすことができる。

実施例２では、平面内での存在領域が互いに重なる第１の細胞塊と第２の細胞塊がある場合、上位階層の第１の細胞塊が存在しない空き領域に下位階層の第２の細胞塊の細胞塊領域を包含し得るスペースがあるときは、当該空き領域に第２の細胞塊を移動した。すな
わち、第１の細胞塊は移動せずに第２の細胞塊のみ移動する例を示したが、もし、第１の細胞塊も移動すれば第２の細胞塊の細胞塊領域を包含し得る空き領域を作り出すことができるならば、両方の細胞塊を移動するようにしても良い。すなわち、第１の細胞塊が存在しない空き領域に第２の細胞塊の細胞塊領域を包含し得るスペースが無い場合には、第１の細胞塊を適当に移動することで第２の細胞塊の細胞塊領域を包含し得るスペースを有する空き領域を作り出せるか判定する。判定方法は、第１の細胞塊と第２の細胞塊の細胞塊領域の形状、面積、階層画像の平面領域の形状、面積等に基づき幾何学的に判定する。作り出せると判定した場合、まず第１の細胞塊を平面内で移動し、それによって確保された広い空き領域に、第２の細胞塊の細胞塊領域が入るように、第２の細胞塊を平面内で移動するようにしても良い。

２０１：画像データ受信部、２０４：表示制御部、２０６：フォーカスマップ作成部、２０７：細胞塊識別部、２０８：細胞配置部

Claims (25)

1. 複数のオブジェクトを含む標本の深さ方向の位置が異なる複数の階層の各々にフォーカスを合わせて撮像して得られる複数の階層画像を取得する取得手段と、
   前記複数の階層画像に基づき、前記各オブジェクトについて、オブジェクトが存在する階層及び深さ方向と垂直の平面内での存在領域を検出する検出手段と、
   前記各オブジェクトが存在する階層及び平面内での存在領域に基づき、前記複数の階層画像から、前記標本内の前記オブジェクトの位置を移動した場合の前記標本の前記各階層の階層画像を生成する生成手段と、
   を有し、
   前記生成手段は、前記標本内で前記オブジェクトが存在する階層の数が少なくなるように前記オブジェクトを移動した場合の階層画像を生成する画像処理装置。
2. 前記生成手段は、平面内での存在領域が互いに重ならない２つのオブジェクトが検出された場合、当該２つのオブジェクトが共に存在する階層の数が増えるように、当該２つのオブジェクトのうち少なくとも一方のオブジェクトを移動した場合の階層画像を生成する請求項１に記載の画像処理装置。
3. 前記生成手段は、前記２つのオブジェクトの各々の存在する階層のうち最も高い位置にある階層が同じ階層になるように前記オブジェクトを移動した場合の階層画像を生成する請求項２に記載の画像処理装置。
4. 前記生成手段は、前記２つのオブジェクトの各々の存在する階層のうち最も低い位置にある階層が同じ階層になるように前記オブジェクトを移動した場合の階層画像を生成する請求項２に記載の画像処理装置。
5. 前記生成手段は、平面内での存在領域が互いに重なる２つのオブジェクトが検出された場合、当該２つのオブジェクトの間に存在する階層の数が減るように、当該２つのオブジェクトのうち少なくとも一方のオブジェクトを移動した場合の階層画像を生成する請求項１又は２に記載の画像処理装置。
6. 前記生成手段は、前記２つのオブジェクトのうち一方のオブジェクトが存在する階層のうち最も低い位置にある階層の１つ下の階層と、他方のオブジェクトが存在する階層のうち最も高い階層と、が同じ階層になるように前記オブジェクトを移動した場合の階層画像を生成する請求項５に記載の画像処理装置。
7. 前記生成手段は、前記２つのオブジェクトのうち一方のオブジェクトが存在する階層のうち高い低い位置にある階層の１つ上の階層と、他方のオブジェクトが存在する階層のうち最も低い階層と、が同じ階層になるように前記オブジェクトを移動した場合の階層画像を生成する請求項５に記載の画像処理装置。
8. 前記生成手段は、平面内での存在領域が互いに重なる２つのオブジェクトが検出された場合、平面内の一方のオブジェクトが存在しない空き領域であって、他方のオブジェクトの存在領域を包含し得る空き領域が存在するときは、当該他方のオブジェクトの平面内での存在領域が当該空き領域に入るように、前記他方のオブジェクトを移動し、更に、前記一方のオブジェクトと前記移動した他のオブジェクトとが共に存在する階層の数が増えるように、当該２つのオブジェクトのうち少なくとも一方のオブジェクトを移動した場合の階層画像を生成する請求項５〜７のいずれか１項に記載の画像処理装置。
9. 前記検出手段は、前記各階層画像においてフォーカスが合っている合焦領域を検出し、
   ある階層画像に存在する合焦領域と、当該階層画像の階層に隣接する階層の階層画像に存在する合焦領域と、が共通部分を有する場合、当該合焦領域は同じオブジェクトの画像であると判定し、当該隣接する２つの階層を当該オブジェクトの存在する階層として検出する請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記検出手段は、同じオブジェクトの画像であると判定された全ての合焦領域を包含する領域を、当該オブジェクトの平面内での存在領域として検出する請求項９に記載の画像処理装置。
11. 複数のオブジェクトを含む標本の深さ方向の位置が異なる複数の階層の各々にフォーカスを合わせて撮像して得られる複数の階層画像を取得する取得工程と、
    前記複数の階層画像に基づき、前記各オブジェクトについて、オブジェクトが存在する階層及び深さ方向と垂直の平面内での存在領域を検出する検出工程と、
    前記各オブジェクトが存在する階層及び平面内での存在領域に基づき、前記複数の階層画像から、前記標本内の前記オブジェクトの位置を移動した場合の前記標本の前記各階層の階層画像を生成する生成工程と、
    を有し、
    前記生成工程では、前記標本内で前記オブジェクトが存在する階層の数が少なくなるように前記オブジェクトを移動した場合の階層画像を生成する画像処理装置の制御方法。
12. 前記生成工程では、平面内での存在領域が互いに重ならない２つのオブジェクトが検出された場合、当該２つのオブジェクトが共に存在する階層の数が増えるように、当該２つのオブジェクトのうち少なくとも一方のオブジェクトを移動した場合の階層画像を生成する請求項１１に記載の画像処理装置の制御方法。
13. 前記生成工程では、前記２つのオブジェクトの各々の存在する階層のうち最も高い位置にある階層が同じ階層になるように前記オブジェクトを移動した場合の階層画像を生成する請求項１２に記載の画像処理装置の制御方法。
14. 前記生成工程では、前記２つのオブジェクトの各々の存在する階層のうち最も低い位置にある階層が同じ階層になるように前記オブジェクトを移動した場合の階層画像を生成する請求項１２に記載の画像処理装置の制御方法。
15. 前記生成工程では、平面内での存在領域が互いに重なる２つのオブジェクトが検出された場合、当該２つのオブジェクトの間に存在する階層の数が減るように、当該２つのオブジェクトのうち少なくとも一方のオブジェクトを移動した場合の階層画像を生成する請求項１１又は１２に記載の画像処理装置の制御方法。
16. 前記生成工程では、前記２つのオブジェクトのうち一方のオブジェクトが存在する階層のうち最も低い位置にある階層の１つ下の階層と、他方のオブジェクトが存在する階層のうち最も高い階層と、が同じ階層になるように前記オブジェクトを移動した場合の階層画像を生成する請求項１５に記載の画像処理装置の制御方法。
17. 前記生成工程では、前記２つのオブジェクトのうち一方のオブジェクトが存在する階層のうち高い低い位置にある階層の１つ上の階層と、他方のオブジェクトが存在する階層のうち最も低い階層と、が同じ階層になるように前記オブジェクトを移動した場合の階層画像を生成する請求項１５に記載の画像処理装置の制御方法。
18. 前記生成工程では、平面内での存在領域が互いに重なる２つのオブジェクトが検出された場合、平面内の一方のオブジェクトが存在しない空き領域であって、他方のオブジェク
    トの存在領域を包含し得る空き領域が存在するときは、当該他方のオブジェクトの平面内での存在領域が当該空き領域に入るように、前記他方のオブジェクトを移動し、更に、前記一方のオブジェクトと前記移動した他のオブジェクトとが共に存在する階層の数が増えるように、当該２つのオブジェクトのうち少なくとも一方のオブジェクトを移動した場合の階層画像を生成する請求項１５〜１７のいずれか１項に記載の画像処理装置の制御方法。
19. 前記検出工程では、前記各階層画像においてフォーカスが合っている合焦領域を検出し、ある階層画像に存在する合焦領域と、当該階層画像の階層に隣接する階層の階層画像に存在する合焦領域と、が共通部分を有する場合、当該合焦領域は同じオブジェクトの画像であると判定し、当該隣接する２つの階層を当該オブジェクトの存在する階層として検出する請求項１１〜１８のいずれか１項に記載の画像処理装置の制御方法。
20. 前記検出工程では、同じオブジェクトの画像であると判定された全ての合焦領域を包含する領域を、当該オブジェクトの平面内での存在領域として検出する請求項１９に記載の画像処理装置の制御方法。
21. 請求項１〜１０のいずれか１項に記載の画像処理装置と、
    前記画像処理装置から入力される画像を表示する表示手段と、
    を有する画像表示装置。
22. 前記取得手段が取得した階層画像を表示する第１の表示モードと、前記生成手段が生成した階層画像を表示する第２の表示モードと、を切り替える制御手段を更に有する請求項２１に記載の画像表示装置。
23. 前記制御手段は、オブジェクトの画像が存在しない階層画像を表示しない請求項２２に記載の画像表示装置。
24. 請求項１〜１０のいずれか１項に記載の画像処理装置と、
    前記画像処理装置から入力される画像を表示する表示手段と、
    を有する画像表示装置の制御方法であって、
    前記取得手段が取得した階層画像を表示する第１の表示モードと、前記生成手段が生成した階層画像を表示する第２の表示モードと、を切り替える制御工程を有する画像表示装置の制御方法。
25. 前記制御工程では、オブジェクトの画像が存在しない階層画像を表示しない請求項２４に記載の画像表示装置の制御方法。

Images