JP6338730B2

JP6338730B2 - 表示データを生成する装置、方法、及びプログラム

Info

Publication number: JP6338730B2
Application number: JP2017075099A
Authority: JP
Inventors: 村上　友近; 友近村上; 辻本　卓哉; 卓哉辻本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-12-26
Filing date: 2017-04-05
Publication date: 2018-06-06
Anticipated expiration: 2032-10-03
Also published as: JP2017161912A

Description

本発明は、表示データを生成する装置、方法、及びプログラムに関する。

近年、病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料（検体）の撮像と画像のデジタル化によってディスプレイ上での病理診断を可能とするバーチャルスライドシステムが注目を集めている。バーチャルスライドシステムを用いた病理診断画像のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱うことが可能となる。その結果、遠隔診断の迅速化、デジタル画像を用いた患者への説明、希少症例の共有化、教育・実習の効率化、等のメリットが得られると期待されている。

光学顕微鏡と同等程度の操作をバーチャルスライドシステムで実現するためには、プレパラート上の被検試料全体をデジタル化する必要がある。被検試料全体のデジタル化により、バーチャルスライドシステムで作成したデジタルデータをＰＣ(Personal Computer)
やワークステーション上で動作するビューワソフトで観察することができる。被検試料全体をデジタル化した場合の画素数は、通常、数億画素から数十億画素と非常に大きなデータ量となる。バーチャルスライドシステムで作成したデータ量は膨大であるが、それゆ
え、ビューワで拡大・縮小処理を行うことでミクロ（細部拡大像）からマクロ（全体俯瞰像）まで観察することが可能となり、種々の利便性を提供する。必要な情報を予め全て取得しておくことで、低倍画像から高倍画像までユーザが求める解像度、倍率による即時の表示が可能となる。

また、医用画像（超音波画像）を取得するときにその医用画像にアノテーションを付加しておいて、アノテーション中のコメントを検索キーとしてその医用画像を検索する画像処理装置が提案されている（特許文献１）。

なお、電子文書にアノテーションを付加したときの表示倍率及び表示位置を保持し、その保持した表示倍率及び表示位置に基づいてその電子文書を画面上に表示する情報処理装置が提案されている（特許文献２）。

特開平１１−３５３３２７号公報特開２０１０−６１３１１号公報

バーチャルスライド画像にアノテーションを付加した場合に、そのアノテーションを付加したときのバーチャルスライド画像の倍率がユーザに分かり難い。つまり、観察時の倍率とアノテーション付加時の倍率との違いがユーザに分かり難い。また、複数のアノテーションの付加時の倍率が異なる場合に、それぞれのアノテーション付加時の倍率と観察時の倍率との違いがユーザに分かり難い。

バーチャルスライド画像が深度画像（Ｚスタック画像）である場合も同様で、アノテーションを付加したときのバーチャルスライド画像の焦点位置（Ｚ位置）がユーザに分かり
難い。つまり、観察時の焦点位置とアノテーション付加時の焦点位置との違いがユーザに分かり難い。また、複数のアノテーションの付加時の焦点位置が異なる場合に、それぞれのアノテーション付加時の焦点位置と観察時の焦点位置との違いがユーザに分かり難い。

そこで、本発明は、アノテーションを表示する際にアノテーションが付加されたときのバーチャルスライド画像の倍率や焦点位置をユーザが容易に把握できるようにすることを目的とする。

本発明は、被写体の画像を表示装置に表示する表示データを生成する装置であって、
前記画像にアノテーションが付加されたときの前記画像の表示倍率の情報を取得する付加情報取得手段と、
ユーザーに指定された前記画像の表示倍率の情報を取得する指定情報取得手段と、
前記指定された表示倍率の前記画像と前記アノテーションとを表示する前記表示データを生成する生成手段と、を有し、
前記生成手段は、前記付加されたときの表示倍率と前記指定された表示倍率とが異なる場合と、前記付加されたときの表示倍率と前記指定された表示倍率とが同じ場合とで、ユーザーがそのどちらの場合であるかを判別できるように、互いに異なる前記表示データを生成する
ことを特徴とする装置である。

本発明は、被写体の画像を表示装置に表示する表示データを生成する方法であって、
前記画像にアノテーションが付加されたときの前記画像の表示倍率の情報を取得する付加情報取得工程と、
ユーザーに指定された前記画像の表示倍率の情報を取得する指定情報取得工程と、
前記指定された表示倍率の前記画像と前記アノテーションとを表示する前記表示データを生成する生成工程と、を有し、
前記生成工程では、前記付加されたときの表示倍率と前記指定された表示倍率とが異なる場合と、前記付加されたときの表示倍率と前記指定された表示倍率とが同じ場合とで、ユーザーがそのどちらの場合であるかを判別できるように、互いに異なる前記表示データを生成する方法である。

本発明は、上記記載の方法の各工程をコンピュータに実行させるためのプログラムである。

本発明によれば、アノテーションを表示する際にアノテーションが付加されたときのバーチャルスライド画像の倍率や焦点位置をユーザが容易に把握できるようになる。

実施例に係る画像処理システムの装置構成の全体図実施例に係る画像処理システムにおける撮像装置の機能ブロック図実施例に係る画像処理装置の機能ブロック図実施例に係る画像処理装置のハードウェア構成図異なる倍率毎に予め用意する階層画像の概念を説明する図アノテーション付加及び提示の流れを示すフローチャートアノテーション付加の詳細な流れを示すフローチャートアノテーション提示の詳細な流れを示すフローチャート本発明の画像処理システムの表示画面の一例実施例２に係る画像処理システムの装置構成の全体図実施例２の異なる焦点位置毎に予め用意する深度画像の概念を説明する図実施例２のアノテーション付加の流れを示すフローチャート実施例２のアノテーション提示処理を示すフローチャート実施例３のアノテーションデータの表示制御処理のフローチャート実施例４のアノテーションデータの表示制御処理のフローチャート実施例３、４の深度画像データの一次元的な模式図

以下、図面を参照しながら本発明の実施の形態を説明する。

［第１の実施形態］
本発明の画像処理装置は、撮像装置と表示装置を備えた画像処理システムにおいて用いることができる。この画像処理システムについて、図１を用いて説明する。

（画像処理システムの装置構成）
図１は、本発明の画像処理装置を用いた画像処理システムであり、撮像装置（顕微鏡装置、又はバーチャルスライドスキャナ）１０１、画像処理装置１０２、表示装置１０３から構成される。この画像処理システムは、撮像対象となる検体（被検試料、被写体）の二次元画像を取得し表示する機能を有するシステムである。撮像装置１０１と画像処理装置１０２との間は、専用又は汎用Ｉ／Ｆのケーブル１０４で接続され、画像処理装置１０２と表示装置１０３の間は、汎用のＩ／Ｆのケーブル１０５で接続される。

撮像装置１０１は、二次元の平面方向に位置の異なる、及び二次元平面に垂直な深度方向に位置の異なる（すなわち焦点位置の異なる）複数枚の二次元画像を撮像し、デジタル画像を出力する機能を持つバーチャルスライド装置を用いることができる。二次元画像の取得にはＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子が用いられる。なお、バーチャルスライド装置の代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置１０１を構成することもできる。

画像処理装置１０２は、撮像装置１０１から取得した複数枚の撮像データから、表示装置１０３に表示するための表示データを、ユーザからの要求に応じて生成する機能等をもつ装置である。画像処理装置１０２は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部を含む各種Ｉ／Ｆ等のハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。記憶装置は、ハードディスクドライブ等の大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、ＯＳ（オペレーティングシステム）等が格納されている。上述した各機能は、ＣＰＵが記憶装置からＲＡＭに必要なプログラム及びデータをロードし、当該プログラムを実行することにより実現されるものである。操作部は、キーボード１０６やマウス１０７等により構成され、操作者が各種の指示を入力するために利用される。

表示装置１０３は、画像処理装置１０２が演算処理した結果である観察用画像を表示するディスプレイであり、ＣＲＴや液晶ディスプレイ等により構成される。

図１の例では、撮像装置１０１と画像処理装置１０２と表示装置１０３の３つの装置により撮像システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、表示装置と一体化した画像処理装置を用いてもよいし、画像処理装置の機能を撮像装置に組み込んでもよい。また撮像装置、画像処理装置、表示装置の機能を１つの装置で実現することもできる。また逆に、画像処理装置等の機能を分割して複数の装置によって実現してもよい。

（撮像装置の機能構成）
図２は、撮像装置１０１の機能構成を示すブロック図である。
撮像装置１０１は、概略、照明ユニット２０１、ステージ２０２、ステージ制御ユニット２０５、結像光学系２０７、撮像ユニット２１０、現像処理ユニット２１９、プレ計測ユニット２２０、メイン制御系２２１、データ出力部２２２から構成される。

照明ユニット２０１は、ステージ２０２上に配置されたプレパラート２０６に対して均一に光を照射する手段であり、光源、照明光学系、及び光源駆動の制御系から構成される。ステージ２０２は、ステージ制御ユニット２０５によって駆動制御され、ＸＹＺの三軸方向への移動が可能である。プレパラート２０６は、観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定した部材である。

ステージ制御ユニット２０５は、駆動制御系２０３とステージ駆動機構２０４から構成される。駆動制御系２０３は、メイン制御系２２１の指示を受け、ステージ２０２の駆動制御を行う。ステージ２０２の移動方向、移動量等は、プレ計測ユニット２２０によって計測した検体の位置情報及び厚み情報（距離情報）と、必要に応じてユーザからの指示とに基づいて決定される。ステージ駆動機構２０４は、駆動制御系２０３の指示に従い、ステージ２０２を駆動する。

結像光学系２０７は、プレパラート２０６の検体の光学像を撮像センサ２０８へ結像するためのレンズ群である。

撮像ユニット２１０は、撮像センサ２０８とアナログフロントエンド（ＡＦＥ）２０９から構成される。撮像センサ２０８は、二次元の光学像を光電変換によって電気的な物理量へ変える一次元又は二次元のイメージセンサであり、例えば、ＣＣＤやＣＭＯＳデバイスが用いられる。一次元センサの場合、走査方向へスキャンすることで二次元画像が得られる。撮像センサ２０８からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像としてカラー画像が必要な場合は、例えば、Ｂａｙｅｒ配列のカラーフィルタが
取り付けられた単板のイメージセンサを用いればよい。撮像ユニット２１０は、ステージ２０２がＸＹ軸方向に駆動されることにより、検体の分割画像を撮像する。

ＡＦＥ２０９は、撮像センサ２０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ２０９は後述するＨ／Ｖドライバ、ＣＤＳ（Correlated double sampling）、アンプ、ＡＤ変換器及びタイミングジェネレータによって構成される。Ｈ／Ｖドライバは、撮像センサ２０８を駆動するための垂直同期信号及び水平同期信号を、センサ駆動に必要な電位に変換する。ＣＤＳは、固定パターンのノイズを除去する二重相関サンプリング回路である。アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。ＡＤ変換器は、アナログ信号をデジタル信号に変換する。撮像装置最終段での出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはＲＡＷデータと呼ばれる。ＲＡＷデータは後段の現像処理ユニット２１９で現像処理される。タイミングジェネレータは、撮像センサ２０８のタイミング及び後段の現像処理ユニット２１９のタイミングを調整する信号を生成する。

撮像センサ２０８としてＣＣＤを用いる場合、上記ＡＦＥ２０９は必須となるが、デジタル出力可能なＣＭＯＳイメージセンサの場合は、上記ＡＦＥ２０９の機能をセンサに内包することになる。また、不図示ではあるが、撮像センサ２０８の制御を行う撮像制御部が存在し、撮像センサ２０８の動作制御や、シャッタースピード、フレームレートやＲＯＩ（Region Of Interest）等動作タイミングや制御を合わせて行う。

現像処理ユニット２１９は、黒補正部２１１、ホワイトバランス調整部２１２、デモザイキング処理部２１３、画像合成処理部２１４、解像度変換処理部２１５、フィルタ処理部２１６、γ補正部２１７及び圧縮処理部２１８から構成される。黒補正部２１１は、ＲＡＷデータの各画素から、遮光時に得られた黒補正データを減算する処理を行う。ホワイトバランス調整部２１２は、照明ユニット２０１の光の色温度に応じて、ＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。具体的には、黒補正後のＲＡＷデータに対しホワイトバランス補正用データが加算される。単色の画像を取り扱う場合にはホワイトバランス調整処理は不要となる。現像処理ユニット２１９は、撮像ユニット２１０で撮像された検体の分割画像データから後述する階層画像データを生成する。

デモザイキング処理部２１３は、Ｂａｙｅｒ配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。デモザイキング処理部２１３は、ＲＡＷデータにおける周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。またデモザイキング処理部２１３は、欠損画素の補正処理（補間処理）も実行する。なお、撮像センサ２０８がカラーフィルタを有しておらず、単色の画像が得られている場合、デモザイキング処理は不要となる。

画像合成処理部２１４は、撮像センサ２０８によって撮像範囲を分割して取得した画像データをつなぎ合わせて所望の撮像範囲の大容量画像データを生成する処理を行う。一般に、既存のイメージセンサによって一回の撮像で取得できる撮像範囲より検体の存在範囲が広いため、分割された画像データのつなぎ合わせによって一枚の二次元画像データを生成する。例えば、０．２５μｍの分解能でプレパラート２０６上の１０ｍｍ角の範囲を撮像すると仮定した場合、一辺の画素数は１０ｍｍ／０．２５μｍの４万画素となり、トータルの画素数はその二乗である１６億画素となる。１０Ｍ（１０００万）の画素数を持つ撮像センサ２０８を用いて１６億画素の画像データを取得するには、１６億／１０００万の１６０個に領域を分割して撮像を行う必要がある。なお、複数の画像データをつなぎ合
わせる方法としては、ステージ２０２の位置情報に基づいて位置合わせをしてつなぐ方法や、複数の分割画像の対応する点又は線を対応させてつなぐ方法、分割画像データの位置情報に基づいてつなぐ方法等がある。つなぎ合わせの際、０次補間、線形補間、高次補間等の補間処理により滑らかにつなげることができる。本実施の形態では、一枚の大容量画像の生成を想定しているが、画像処理装置１０２の機能として、分割取得された画像を表示データの生成時につなぎ合わせる構成をとってもよい。

解像度変換処理部２１５は、画像合成処理部２１４で生成された大容量の二次元画像を高速に表示するために、表示倍率に応じた倍率画像を予め解像度変換によって生成する処理を行う。低倍から高倍まで複数の段階の画像データを生成し、ひとまとめにした階層構造を持つ画像データとして構成する。詳細については図５を用いて後述する。

フィルタ処理部２１６は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。γ補正部２１７は、一般的な表示デバイスの階調表現特性に合わせて、画像に逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施形態では形態観察を目的とした画像取得のため、後段の合成処理や表示処理に適した階調変換が画像データに対して適用される。

圧縮処理部２１８は、大容量の二次元画像データの伝送の効率化及び保存する際の容量削減が目的で行われる圧縮の符号化処理である。静止画像の圧縮手法として、ＪＰＥＧ（Joint Photographic Experts Group）、ＪＰＥＧを改良、進化させたＪＰＥＧ２０００やＪＰＥＧＸＲ等の規格化された符号化方式が広く一般に知られている。

プレ計測ユニット２２０は、プレパラート２０６上の検体の位置情報、所望の焦点位置までの距離情報、及び検体厚みに起因する光量調整用のパラメータを算出するための事前計測を行うユニットである。本計測の前にプレ計測ユニット２２０によって情報を取得することで、無駄のない撮像を実施することが可能となる。二次元平面の位置情報取得には、撮像センサ２０８より解像力の低い二次元撮像センサが用いられる。プレ計測ユニット２２０は、取得した画像から検体のＸＹ平面上での位置を取得する。距離情報及び厚み情報の取得には、レーザー変位計やシャックハルトマン方式の計測器が用いられる。

メイン制御系２２１は、これまで説明してきた各種ユニットの制御を行う機能である。メイン制御系２２１及び現像処理ユニット２１９の制御機能は、ＣＰＵとＲＯＭとＲＡＭを有する制御回路により実現される。すなわち、ＲＯＭ内にプログラム及びデータが格納されており、ＣＰＵがＲＡＭをワークメモリとして使いプログラムを実行することで、メイン制御系２２１及び現像処理ユニット２１９の機能が実現される。ＲＯＭには例えばＥＥＰＲＯＭやフラッシュメモリ等のデバイスが用いられ、ＲＡＭには例えばＤＤＲ３等のＤＲＡＭデバイスが用いられる。なお、現像処理ユニット２１９の機能を専用のハードウェアデバイスとしてＡＳＩＣ化したもので置き換えてもよい。

データ出力部２２２は、現像処理ユニット２１９によって生成されたＲＧＢのカラー画像を画像処理装置１０２に送るためのインターフェースである。撮像装置１０１と画像処理装置１０２とは、光通信のケーブルにより接続される。或いは、ＵＳＢやＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の汎用インターフェースが使用される。

（画像処理装置の機能構成）
図３は、本発明の画像処理装置１０２の機能構成を示すブロック図である。
画像処理装置１０２は、概略、画像データ取得部３０１、メモリ３０２、ユーザ入力情報取得部３０３、表示装置情報取得部３０４、リンク情報生成部３０５、リンク情報テー
ブル３０６、表示データ生成制御部３０７、アノテーションデータ生成部３０８、階層画像データ取得部３０９、表示データ生成部３１０、及び表示データ出力部３１１から構成される。

画像データ取得部３０１は、撮像装置１０１で撮像された画像データを取得する。

メモリ３０２には、外部装置から取得した画像データが画像データ取得部３０１を介して取り込まれ、記憶、保持される。メモリ３０２に記憶、保持される画像データとしては、検体を分割撮像することにより得られたＲＧＢのカラー分割画像データを合成して得られる一枚の二次元画像データがある。また、倍率の異なる複数の画像データ（階層画像データ）や焦点位置の異なる複数の画像データ（深度画像データ）により階層的に構成される画像データがある。

ユーザ入力情報取得部３０３は、マウスやキーボード等の操作部を介してユーザにより入力される、バーチャルスライド画像の表示状態の変更指示の情報や、付加されたアノテーション情報を取得する。バーチャルスライド画像の表示状態の変更指示としては、例えば、スクロール（表示位置の変更）、拡大縮小（表示倍率の変更）、回転（表示角度の変更）等がある。アノテーション情報は、ユーザが指定した関心領域（注目領域）の位置やコメント（注釈）の情報である。

表示装置情報取得部３０４は、表示装置１０３から表示領域のサイズ（画面解像度、画素数）の情報や現在表示されているバーチャルスライド画像の表示倍率の情報等を取得する。

リンク情報生成部３０５は、ユーザ入力情報取得部３０３から得られるアノテーションの位置情報と、表示装置情報取得部３０４から得られるアノテーション付加時のバーチャルスライド画像の表示倍率と、からリンク情報を生成する。リンク情報とは、アノテーションの位置情報を、画像データを構成する複数の階層画像データの各々における位置に換算した換算位置情報と、各階層画像データの倍率と、を対応づける情報であり、画像データに付加されたアノテーション毎に生成される。詳細は図６を用いて後述する。

リンク情報テーブル３０６は、リンク情報生成部３０５で生成されたリンク情報を格納するテーブルである。

表示データ生成制御部３０７は、ユーザ入力情報取得部３０３の指示に従い、ユーザにより入力されたバーチャルスライド画像の表示状態の変更指示及びアノテーション情報に基づき表示データの生成を制御する。表示データは主に、バーチャルスライド画像データとアノテーション表示データからなる。表示データ生成制御部３０７は、階層画像データ取得部３０９にバーチャルスライド画像データの生成を指示し、アノテーションデータ生成部３０８にアノテーション表示データの生成を指示する。

アノテーションデータ生成部３０８は、表示データ生成制御部３０７の制御に従い、アノテーション情報をもとにアノテーション表示データを生成する。

階層画像データ取得部３０９は、表示データ生成制御部３０７の制御に従い、バーチャルスライド画像の表示に必要な階層画像データをメモリ３０２から取得する。

表示データ生成部３１０は、アノテーションデータ生成部３０８で生成されたアノテーション表示データと、階層画像データ取得部３０９によって取得された階層画像データから、表示装置１０３で表示するための表示データを生成する。表示データ生成部３１０は
、ユーザによる表示状態の変更指示に応じて階層画像データからバーチャルスライド画像を生成し、アノテーション表示データと重畳させて表示データを生成する。

表示データ出力部３１１は、表示データ生成部３１０で生成された表示データを外部装置である表示装置１０３へ出力する。

（画像形成装置のハードウェア構成）
図４は、本実施例の画像処理装置のハードウェア構成を示すブロック図である。画像処理装置として、例えばＰＣ（Personal Computer）が用いられる。
画像処理装置は、ＣＰＵ（Central Processing Unit）４０１、ＲＡＭ（Random Access
Memory）４０２、記憶装置４０３、データ入出力Ｉ／Ｆ４０５、及びこれらを互いに接
続する内部バス４０４を備える。

ＣＰＵ４０１は、必要に応じてＲＡＭ４０２等に適宜アクセスし、各種演算処理を行いながらＰＣの各ブロック全体を統括的に制御する。ＲＡＭ４０２は、ＣＰＵ４０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラム、本発明の特徴である表示データ生成等処理の対象となる各種データを一時的に保持する。記憶装置４０３は、情報を記録し読み出すことが可能な補助記憶装置であり、ＣＰＵ４０１に実行させるＯＳ、プログラムや各種パラメータ等のファームウェアが固定的に記憶されている。記憶装置４０３としては、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Disk）等の磁気ディスクド
ライブもしくはＦｌａｓｈメモリを用いた半導体デバイスが用いられる。

データ入出力Ｉ／Ｆ４０５には、ＬＡＮＩ／Ｆ４０６を介して画像サーバ１１０１が接続され、グラフィックスボード４０７を介して表示装置１０３が接続され、外部装置Ｉ／Ｆ４０８を介して撮像装置１０１が接続される。撮像装置１０１は、バーチャルスライド装置やデジタル顕微鏡である。また、データ入出力Ｉ／Ｆ４０５には、操作Ｉ／Ｆ４０９を介してキーボード４１０やマウス４１１が接続される。

表示装置１０３は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。本実施例では、画像処理装置に対し外部装置として表示装置１０３が接続される構成を例示したが、本発明の画像処理装置は、表示装置と一体化したノートＰＣのような構成であっても良い。

操作Ｉ／Ｆ４０９との接続デバイスとしてキーボード４１０やマウス４１１を例示したが、タッチパネル等のその他の入力装置が接続される構成でも良い。入力装置としてタッチパネルを用いる場合、グラフィックスボード４０７に接続される表示装置１０３と操作Ｉ／Ｆ４０９に接続される入力装置とは一体構成となる。

（倍率毎に用意された階層画像の概念）
図５は、複数の異なる倍率の階層画像データからなる画像データの概念図である。ここでは、図２に示す撮像装置１０１の解像度変換処理部２１５で生成される階層画像データについて説明する。

階層画像データ５０１、５０２、５０３及び５０４は表示倍率に応じて用意されたそれぞれ解像度が段階的に異なる二次元画像データである。ここでは、異なる倍率の階層画像データ同士の一次元方向解像度（画素数）の関係は、それぞれ、階層画像５０３は階層画像５０４の１／２、階層画像５０２は階層画像５０３の１／２、階層画像５０１は階層画像５０２の１／２となっているものとする。どのような倍率の階層画像データを用意するかは任意であり、図５の例に限られない。

撮像装置１０１で取得される撮像データは数十億画素からなる高解像度の画像データであり、バーチャルスライド画像の表示倍率の変更要求に応じた拡大縮小等の解像度変換処理をその都度行っていたのでは処理が間に合わないことが考えられる。そこで、予め、高解像度の撮像データから複数の異なる倍率の画像データを階層画像データとして生成しておく。そして、表示倍率の変更要求があった場合には、複数の階層画像データのうちから要求表示倍率と近接する倍率の階層画像データを選択し、その階層画像データに対して要求表示倍率に合わせた解像度変換を行ってバーチャルスライド画像の表示データを生成する。より高倍の画像データから表示データを生成するのが画質の点で好ましい。

各階層画像データは、高解像度の撮像データを解像度変換によって縮小することで生成される。解像度変換の手法としては、二次元の線形な補間処理であるバイリニア法や、三次の補間式を用いたバイキュービック法等を用いることができる。

各階層画像データはＸ軸とＹ軸の二次元の軸を持っている。図５において、ＸＹ軸と直行する方向の軸として記載しているＰ軸は、倍率を表す。

図５において、１枚の階層画像データ５０２は、複数の分割画像データ５０５からなっている。上述のように、高解像度の二次元画像データは、分割撮像により得られた画像データのつなぎ合わせによって生成される。ここでは、分割画像データ５０５は、撮像センサ２０８によって１回に撮像可能な範囲を撮像して得られる画像データとする。なお、分割画像データ５０５のサイズはこれに限らず、撮像センサ２０８によって１回に撮像可能な範囲を撮像して得られる画像データを任意に分割したサイズでも良いし、当該画像データを任意の枚数つなぎ合わせたサイズとしてもよい。

このように拡大縮小により種々の表示倍率で観察することを想定した病理診断用の画像データは、図５に示したように複数の異なる倍率の階層画像データからなる階層化された構造の画像データとして生成し、保持するのが望ましい。このような画像データの形式としては、複数の階層画像データをまとめて一つの画像データとして取り扱えるようにした形式がある。或いは、各階層画像データをそれぞれ独立の画像データとし、各階層画像データと表示倍率との関係を示す情報を別に保持する形式でもよい。ここでは複数の階層画像データから構成される単一の画像データを想定して以後の説明を行う。

（アノテーションの付加、提示の方法）
本発明の画像処理装置におけるアノテーション付加及び提示の流れを図６のフローチャートを用いて説明する。

ステップＳ６０１では、表示装置情報取得部３０４は、表示装置１０３の表示領域のサイズ（画面解像度、画素数）の情報や、現在表示されているバーチャルスライド画像の表示倍率の情報を取得する。表示領域のサイズの情報は、表示データ生成部３１０が生成する表示データのサイズ（画素数）を決める際に用いられる。表示倍率の情報は、階層画像データ取得部３０９がメモリ３０２から階層画像データを選択する際に用いられるとともに、リンク情報生成部３０５によるアノテーションのリンク情報の生成時に用いられる。リンク情報の生成については後述する。

ステップＳ６０２では、階層画像データ取得部３０９は、表示装置１０３に現在表示されているバーチャルスライド画像の表示倍率に対応した階層画像データをメモリ３０２より取得する。規定の倍率に対応した階層画像データを取得するようにしても良い。

ステップＳ６０３では、表示データ生成部３１０は、階層画像データ取得部３０９が取得した階層画像データをもとに表示装置１０３へ出力するための表示データを生成する。
ユーザに指定されたバーチャルスライド画像の表示倍率が取得した階層画像データの倍率と異なる場合は、解像度変換の処理を行う。生成された表示データは、表示装置１０３に出力され、表示データに基づく画像が表示装置１０３に表示される。

ステップＳ６０４では、表示データ生成制御部３０７は、ユーザ入力情報取得部３０３から取得する情報に基づき、ユーザによってバーチャルスライド画像の表示状態を変更する指示が入力されたか否かを判断する。具体的には、表示位置の移動（スクロール）や表示倍率の変更の指示である。表示位置の移動の指示は、特に、表示位置の移動後のバーチャルスライド画像の表示範囲が、現在のバーチャルスライド画像の表示範囲の外に出るような指示である。表示状態の変更指示が入力されバーチャルスライド画像の更新が必要な場合、表示データ生成制御部３０７はステップＳ６０２へ戻る。以降、階層画像データの取得及び表示データの生成によるバーチャルスライド画像の更新の処理が繰り返される。表示状態の変更指示が入力されない場合、表示データ生成制御部３０７はステップＳ６０５へ進む。

ステップＳ６０５では、表示データ生成制御部３０７は、ユーザ入力情報取得部３０３から取得する情報に基づき、ユーザによってアノテーション付加の指示が入力されたかどうかを判断する。アノテーション付加の指示が入力された場合、表示データ生成制御部３０７はステップＳ６０６へ進む。アノテーションの付加の指示が入力されなかった場合、表示データ生成制御部３０７はステップＳ６０７へ進む。

ステップＳ６０６では、画像データにアノテーションを付加するための各種処理が行われる。処理内容としては、ユーザ入力情報取得部３０３によるアノテーション情報（キーボード４１０等の入力装置で入力されたアノテーション内容や位置情報）の取得や、リンク情報生成部３０５によるリンク情報の生成がある。詳細については図７を用いて後述する。

ステップＳ６０７では、表示データ生成制御部３０７は、付加されたアノテーションの提示要求があるか否かを判断する。アノテーションの提示要求が入力された場合、表示データ生成制御部３０７はステップＳ６０８へ進む。アノテーション提示要求が入力されない場合、表示データ生成制御部３０７はステップＳ６０４へ戻り、上述の処理を繰り返す。なお、フローの説明の都合上時系列に説明を行ったが、表示位置や表示倍率の変更要求の受付、アノテーション付加、及びアノテーション提示の実行タイミングは、上述の例に限らず、同時でも良いし、上述の順序とは異なる順序でシーケンシャルでも良い。

ステップＳ６０８では、表示データ生成制御部３０７は、アノテーション提示の要求を受けて、アノテーションの提示処理を行う。詳細については図８を用いて後述する。

（アノテーションの付加）
図７は、図６のステップＳ６０６で示したアノテーションを付加する処理の詳細な流れを示すフローチャートである。図７では、付加されたアノテーションの位置情報とアノテーション付加時のバーチャルスライド画像の表示倍率に基づいてリンク情報を生成する流れについて説明する。

ステップＳ７０１では、表示データ生成制御部３０７は、付加されたアノテーションの位置情報を取得する。表示データ生成制御部３０７は、表示中のバーチャルスライド画像中の相対的なアノテーションの位置を、画像データの全領域に対する位置に換算する処理を行うことで、アノテーションの絶対位置情報（座標）を取得する。

ステップＳ７０２では、表示データ生成制御部３０７は、キーボード４１０等によって
入力されたアノテーションの内容の情報を取得する。取得されたアノテーション内容情報はアノテーション提示の際に使用される。

ステップＳ７０３では、表示データ生成制御部３０７は、表示装置１０３に表示されているバーチャルスライド画像の表示倍率の情報を取得する。この表示倍率はアノテーションが付加された際のバーチャルスライド画像の表示倍率である。なお、本実施例では、表示データ生成制御部３０７が、表示装置１０３から表示倍率情報を取得する構成を例示したが、画像処理装置１０２が表示データを生成しているため、画像処理装置１０２が内部で保持している表示倍率の情報を取得する構成でもよい。

ステップＳ７０４では、リンク情報生成部３０５は、ステップＳ７０１で取得したアノテーションの位置情報と、ステップ７０３で取得したアノテーション付加時の表示倍率の情報と、に基づき、リンク情報を生成する。リンク情報を参照することにより、アノテーション付加時の倍率と異なる倍率の階層画像データにおけるアノテーションの位置（座標）がわかるようになるため、どの階層画像データにおいてもＳ７０１で付加されたアノテーション情報を利用できるようになる。例えば、表示倍率２０倍のバーチャルスライド画像で座標（１００，１００）の位置にアノテーションが付加された場合を想定する。座標（１００，１００）の位置は、バーチャルスライド画像の全領域の原点（０，０）からのＸ方向及びＹ方向の距離（画素数）がそれぞれ１００画素となる位置である。このアノテーション位置は、表示倍率４０倍の高倍画像では、座標はＰ１（２００、２００）となり、表示倍率１０倍の低倍画像では、座標はＰ２（５０、５０）となる。任意の表示倍率の階層画像データにおけるアノテーション位置の座標は、当該表示倍率と、Ｓ７０３で取得されるアノテーション付加時の表示倍率と、の比を、Ｓ７０１で取得されるアノテーション付加時の座標に乗ずることにより求められる。

ステップＳ７０５では、バーチャルスライド画像の観察開始からアノテーションの付加が行われたのが初めてか否かが判断される。アノテーションの付加が初めて行われた場合、処理はステップＳ７０７へ進み、過去に一度でもアノテーションの付加が行われていれば、処理はステップＳ７０６へ進む。

ステップＳ７０６では、リンク情報テーブルに格納されたリンク情報が、ステップＳ７０４で生成されたリンク情報を用いて更新される。リンク情報テーブルについては後述する。ステップＳ７０７で説明するアノテーションの付加が最初に行われた際に生成されたリンク情報を格納するためのテーブルの値を更新する。

ステップＳ７０７では、リンク情報テーブルが生成される。リンク情報テーブルにはステップＳ７０４で生成されたリンク情報が格納される。リンク情報は、付加されたアノテーションの位置情報と、当該位置情報を異なる複数の倍率の階層画像データ用に換算した位置情報と、当該アノテーションが付加されたときの表示倍率と、の対応関係の情報である。なお、ここではリンク情報にはアノテーションの内容を示すテキスト情報も合わせて格納されるものとする。リンク情報は、アノテーションが付加されたときの表示倍率と画像中の位置と各階層画像の解像度に対応する表示倍率とに基づき算出された、各階層画像の上にアノテーションを重ねて表示する場合の位置と、アノテーションの情報とを関連付けた情報である。

（アノテーションの提示）
図８は、アノテーションを提示する処理の詳細な流れを示すフローチャートである。図８では、リンク情報に基づいてアノテーションを提示するための表示データを生成する流れについて説明する。

ステップＳ８０１では、表示データ生成制御部３０７は、ユーザからバーチャルスライド画像の表示状態の変更要求（表示位置の移動、表示倍率の変更）があるか否かを判断する。一般に、スクリーニングは５倍から１０倍程度の表示倍率で行われ、詳細観察は２０倍や４０倍の表示倍率で行われる。このように、アノテーション付加時のバーチャルスライド画像の表示倍率はアノテーションによって様々である。そのため、画像データに付加された複数のアノテーションの位置を確認するために適した表示倍率は、画像データに付加された複数のアノテーションに依存する。ユーザは、ステップＳ８０１において、バーチャルスライド画像の表示状態を、画像データに付加された複数のアノテーションの提示に適した表示状態に変更するよう要求することができる。表示状態の変更要求がある場合、表示データ生成制御部３０７はステップＳ８０２へ進む。表示状態の変更要求がない場合、表示データ生成制御部３０７はステップＳ８０３へ進む。

ステップＳ８０２では、表示データ生成制御部３０７は、表示状態の変更要求に応じて、アノテーションの提示に適したバーチャルスライド画像の表示状態となるよう適切な階層画像データを選択する。画像データに複数のアノテーションが付加されている場合、表示データ生成制御部３０７は、付加された全てのアノテーションの位置をバーチャルスライド画像内に表示できるよう、複数のアノテーション全ての位置が含まれるような表示範囲を決定する。そして、表示データ生成制御部３０７は、決定した表示範囲に応じて適切な階層画像データを選択する。例えばアノテーション位置が広範囲に分布し４０倍の表示倍率のバーチャルスライド画像では全てのアノテーション位置をカバーできない場合、２０倍の表示倍率のバーチャルスライド画像を表示データを生成すべく、倍率２０倍の階層画像データが選択される。

ステップＳ８０３では、表示データ生成制御部３０７は、アノテーションの表示方法を変更する指示が入力されたか否かを判断する。アノテーションの表示方法とは、アノテーションを提示する際のテキストの装飾や枠画像の色や背景画像に対する透明度等の設定である。例えば、アノテーション提示時のバーチャルスライド画像の表示倍率と、アノテーション付加時のバーチャルスライド画像の表示倍率と、が異なる場合に、それが明示されるようにテキストの色やフォント、枠画像の色等の表示態様を設定することができる。詳細は後述する。アノテーションの表示方法を変更する指示が入力された場合、表示データ生成制御部３０７はステップＳ８０４へ進み、それ以外の場合、表示データ生成制御部３０７はステップＳ８０５へ進む。

ステップＳ８０４では、表示データ生成制御部３０７は、入力されたアノテーションの表示方法の変更要求に応じて、アノテーションの表示方法を変更する。

ステップＳ８０５では、表示データ生成制御部３０７は、アノテーションの表示方法の変更要求が入力されなかったことを受けて、アノテーションの表示方法の設定として予め設定されている初期設定を採用する。

ステップＳ８０６では、表示データ生成制御部３０７は、バーチャルスライド画像の表示領域のサイズに対して提示すべきアノテーション数が多過ぎるか否かを判断する。表示データ生成制御部３０７は、全アノテーションをステップＳ８０４又はＳ８０５で決定した表示方法に従ってバーチャルスライド画像上に表示した場合の、バーチャルスライド画像の表示領域のサイズに対するアノテーションの表示領域のサイズの割合を求める。この割合が閾値以上となる場合、表示データ生成制御部３０７は、アノテーション数が多過ぎると判断する。アノテーション数が多過ぎる場合、アノテーションを全て表示するとアノテーションの背景となるバーチャルスライド画像がアノテーションで覆われてしまい、観察することが困難となる。どの程度の被覆度合であればバーチャルスライド画像の観察に支障がないか、に応じて、判断に用いる閾値はユーザが任意に設定できる。アノテーショ
ン数が多過ぎると判断した場合、表示データ生成制御部３０７は、ポインタ表示モードでアノテーションの提示を行う。ポインタ表示モードとは、アノテーションの位置情報のみを、アイコン等を用いてバーチャルスライド画像上に表示し、アノテーションの内容を示すテキストや枠画像等を表示しないモードのことである。ポインタ表示モードでは、例えば、ユーザが選択した特定のアノテーションのみ、アノテーションの内容を示すテキストの情報が表示される。アノテーション数が多過ぎると判断しなかった場合、表示データ生成制御部３０７は、アノテーション表示モードでアノテーションの提示を行う。アノテーション表示モードとは、全てのアノテーションについて、常にアノテーションの位置情報や内容情報をアイコン、テキスト、枠画像等を用いて表示するモードのことである。なお、アノテーションの数に応じてポインタ表示モードとアノテーション表示モードとの切り替えを行うか否かをユーザが設定できる構成でもよい。

ステップＳ８０７では、アノテーションデータ生成部３０８は、ポインタ表示モードでアノテーションの提示を行うためのアノテーション表示データを生成する。ポインタ表示モードでアノテーションが提示されたバーチャルスライド画像の表示例は図９（ｅ）を用いて後述する。

ステップＳ８０８では、アノテーションデータ生成部３０８は、アノテーション表示モードでアノテーションの提示を行うためのアノテーション表示データを生成する。アノテーション表示モードでアノテーションが提示されたバーチャルスライド画像の表示例は図９（ｄ）を用いて後述する。

ステップＳ８０９では、表示データ生成部３１０は、ステップＳ８０２で選択された階層画像データとステップＳ８０７又はステップＳ８０８で生成されたアノテーション表示データをもとに、バーチャルスライド画像の表示データを生成する。

ステップＳ８１０では、表示データ出力部３１１は、ステップ８０９で生成された表示データを表示装置１０３に対して出力する。

ステップＳ８１１では、表示データ出力部３１１から出力された表示データに基づく画像を表示装置１０３が画面に表示する。

ステップＳ８１２では、表示データ生成制御部３０７は、アノテーションの提示のモードがポインタ表示モードであるか否かを判断する。ポインタ表示モードの場合、表示データ生成制御部３０７はステップＳ８１３へ進む。アノテーション表示モードの場合、表示データ生成制御部３０７はステップＳ８１５へ進む。

ステップＳ８１３では、表示データ生成制御部３０７は、ユーザが、マウスやキーボードにより、バーチャルスライド画像上に表示されているアノテーション位置を示すポインタを選択し、又はマウスカーソルをポインタ上にかざす操作をしたか否かを判断する。アノテーション位置を示すポインタが選択され、又はポインタ上にマウスカーソルがかざされた場合、表示データ生成制御部３０７はステップＳ８１４へ進み、それ以外の場合、表示データ生成制御部３０７はアノテーション提示の処理を終了する。

ステップＳ８１４では、表示データ生成制御部３０７は、選択されたポインタの位置に付加されたアノテーションのテキスト内容がポップアップで表示されるようなアノテーション表示データを生成する。ポインタ表示モードの場合は、ポインタの選択が解除され、又はマウスカーソルがポインタから外れると、表示データ生成制御部３０７は、アノテーションの内容のポップアップ表示が消去されたアノテーション表示データを生成する。なお、一度ポインタが選択された後は、アノテーション表示を消す指示が入力されるまでは
アノテーションの内容表示を継続するようにしてもよい。

ステップＳ８１５では、表示データ生成制御部３０７は、ユーザが、マウスやキーボードにより、バーチャルスライド画像上に表示されているアノテーションを選択する操作を行ったか否かを判断する。アノテーションが選択されると、以下の処理において、表示データ生成制御部３０７は、当該選択されたアノテーションが付加された際のバーチャルスライド画像の表示倍率及び表示位置を再現するような表示データを生成する。バーチャルスライド画像上でアノテーションが選択された場合、表示データ生成制御部３０７はステップＳ８１６へ進み、選択されなかった場合はアノテーション提示の処理を終了する。

ステップＳ８１６では、階層画像データ取得部３０９は、リンク情報に格納されたアノテーション付加時の位置情報及び表示倍率をもとに、階層画像データを選択する。

ステップＳ８１７では、表示データ生成部３１０は、ステップＳ８１５で選択されたアノテーションに応じたアノテーションデータ生成部３０８が生成するアノテーション表示データ及びステップＳ８１６で選択された階層画像データを用いて表示データを生成する。

ステップＳ８１８の表示データの出力、及びステップＳ８１９の表示データに基づく画像の表示装置１０３による表示は、それぞれステップＳ８１０及びステップＳ８１１と同様である。

（表示画面レイアウト）
図９は、画像処理装置１０２で生成した表示データを表示装置１０３に表示した場合の例である。図９では、アノテーションの表示方法の決定、ポインタ表示モード及びアノテーション表示モードの相違、並びに、アノテーションを付加した際の表示位置や表示倍率の再現について説明する。

図９（ａ）は、表示装置１０３に表示されるバーチャルスライド画像のビューアのウィンドウの基本構成（レイアウト）を示す。ビューアのウィンドウは、全体ウィンドウ９０１内に、表示や操作のステータスと画像の各種情報を示す情報エリア９０２、観察対象の検体の全体を概略表示するサムネイル画像９０３がある。また、全体ウィンドウ９０１内に、サムネイル画像においてバーチャルスライド画像の表示範囲を示す枠９０４、バーチャルスライド画像の表示領域９０５、表示領域９０５に表示されるバーチャルスライド画像の表示倍率の情報を示す表示９０６がある。ビューアのウィンドウ構成は、全体ウィンドウ９０１内に各種画像や情報を表示するウィンドウが配置されるシングルドキュメントインターフェースでも良いし、各種画像や情報を表示するウィンドウが独立しているマルチドキュメントインターフェースでも良い。サムネイル画像９０３には、検体の全体像における、表示領域９０５に表示されるバーチャルスライド画像の表示範囲に対応する領域の位置や大きさを表示する枠９０４が表示される。枠９０４の位置や大きさは、マウスやキーボード等の入力装置を介してユーザの指示により変更することができる。また、枠９０４の位置や大きさは、表示領域９０５に表示されているバーチャルスライド画像に対する表示範囲の変更（表示位置の移動や表示倍率の変更）を指示するユーザの操作に連動して変更される。表示領域９０５にはバーチャルスライド画像が表示され、ユーザはこのバーチャルスライド画像を観察しながら画像診断を行ったりアノテーションの付加を行ったりする。ユーザは、観察に適したバーチャルスライド画像が表示されるように、マウスやキーボードの操作により、表示位置の変更（表示範囲の移動）や表示倍率の変更（拡大・縮小）の指示を入力することで、バーチャルスライド画像の表示状態を変更することができる。

図９（ｂ）は、アノテーションを付加する操作を行うための画面表示の例である。図９（ｂ）の例では、表示倍率９０６は２０倍に設定されている。ユーザは、表示領域９０５のバーチャルスライド画像の中から、関心領域（注目領域）を指定し、アノテーション情報を入力する操作を行うことで、アノテーションの付加が行われる。アノテーションを付加するための操作及び処理の流れは、概略、以下のようになる。図９（ｂ）を用いて説明する。まず、ユーザが、マウス等を操作してアノテーションを付加する位置９０７を指定すると、アノテーション内容（テキスト）を入力するためのモードへ移行し、そこでユーザがキーボード等を操作してアノテーション内容（テキスト）９０８を入力する。このとき、画像処理装置１０２は、アノテーションが付加された位置情報と、アノテーションの付加が行われたバーチャルスライド画像の表示倍率の情報（図９（ｂ）の場合２０倍）とを組として取得する。

図９（ｃ）は、アノテーション表示方法の設定画面の例である。アノテーション表示方法の設定画面９０９は、アノテーション付加時に表示される構成でも良いし、事前に、又は適時に、メニューから設定画面を呼び出して表示させることができる構成でも良い。ここでは、ユーザがアノテーション付加の操作をした際に、図９（ａ）の情報エリア９０２内に、アノテーション表示方法の設定画面９０９が初めて表示されるものとする。アノテーション表示方法とは、アノテーションを提示する際の外見上の特徴である。本実施例では、アノテーションが付加された際のバーチャルスライドの倍率に応じて、また、アノテーション付加時の倍率とアノテーション提示時の倍率とでのバーチャルスライド画像の倍率の相違に応じて、アノテーション表示方法を異ならせることができる。本実施例では、アノテーション表示方法として、アノテーション内容（テキスト）の表示方法、アノテーション枠の表示方法、アノテーション全体の表示方法の３種類の項目について設定する例を示すが、これに限定されるものではない。アノテーション内容（テキスト）の表示方法の設定項目は、テキストの色、輝度、フォントの種類や修飾（太字、斜字体）等がある。アノテーション枠の表示方法の設定は、枠の色や線種（実線、破線）、形状（吹き出し、矩形、それ以外等）、背景色等がある。アノテーション全体の表示方法の設定は、背景画像となるバーチャルスライド画像に対しαブレンディングを行う場合の透過率や、点滅表示する場合の点滅速度等がある。

ＧＵＩ部品９１０は、複数の表示方法のうちからユーザが好みの表示方法を選択するためのチェックボックスである。ＧＵＩ部品９１１は、アノテーションの表示方法の設定項目名を示す。ＧＵＩ部品９１２は、複数の色パッチ９１４及び選択された表示色９１５が示される色の設定ウィンドウ９１３を表示させるためのボタンや、輝度や透過率の値を変更するためのスライダである。例えばテキストの輝度を８ビットの値で設定可能の場合、スライド位置に応じて０から２５５まで輝度値を設定することができる。図示していないが、輝度値の設定のために、直接数値入力が可能なＧＵＩ部品を表示しても良い。

図９（ｄ）は、アノテーションをアノテーション表示モードで提示する場合の画面表示例である。アノテーション表示モードでは、各アノテーションの提示は、アノテーションの位置情報を示すアイコン９１７と、アノテーションの内容情報を示すテキスト、吹き出し、及び枠からなる画像９１６により行われる。図９（ｄ）は、３つのアノテーションが提示される場合の例を示している。アノテーションが付加された位置が広範囲にわたっている場合は、全てのアノテーションの位置が表示できるように表示倍率が変更される。表示倍率の変更はアノテーションの位置情報に基づいて自動的に行われても良いし、ユーザが手動で表示範囲及び表示倍率を調整することにより行っても良い。図９（ｄ）の例では表示倍率は５倍になっている。各アノテーションは、付加時のバーチャルスライド画像の表示倍率がそれぞれ異なるものとする。例えば、アノテーション１は１０倍、アノテーション２は２０倍、アノテーション３は４０倍の表示倍率のバーチャルスライド画像において付加されたものとする。本実施例では、図９（ｄ）に示すように、各アノテーションの
吹き出しや枠の態様は、アノテーションが付加されたときのバーチャルスライド画像の倍率に応じて異ならされる。そのため、それぞれのアノテーションが付加されたときの表示倍率が異なっていたことをユーザは判別することができる。

図９（ｅ）は、アノテーションをポインタ表示モードで提示する場合の画面表示例である。ポインタ表示モードでは、各アノテーションの提示は、アノテーションの位置情報を示すアイコン９１８により行われる。また、位置情報を示すアイコン９１８のいずれかが選択された場合、又はマウスオーバーした場合、図９（ｅ）に示すように、当該アイコンに対応するアノテーションの内容がポップアップ９１９で表示される。図９（ｅ）は、７個のアノテーションが提示される場合の例を示している。各アノテーションは、付加時のバーチャルスライド画像の表示倍率が異なるものと同じものが混在しているものとする。本実施例では、図９（ｅ）に示すように、各アノテーションの位置情報を示すアイコン９１８の態様は、アノテーションが付加されたときのバーチャルスライド画像の倍率に応じて異ならされている。そのため、アノテーションの位置情報を示すアイコン９１８の相違によって、ユーザはアノテーションが付加されたときの表示倍率が異なっていたか同じであったかを判別することができる。また、位置情報を示すアイコン９１８が選択されたとき、又はマウスオーバーしたときに表示されるポップアップ９１９の態様も、図９（ｄ）と同様、そのアノテーションが付加されたときのバーチャルスライド画像の表示倍率に応じて異ならされる。これにより、ユーザが所望のアノテーションを多くのアノテーションの中から選択することを容易にできる。

図９（ｆ）は、アノテーションが付加されたときのバーチャルスライド画像におけるアノテーションの位置と表示倍率を再現した画面表示例である。アノテーション表示モード又はポインタ表示モードでいずれかのアノテーションがユーザにより選択された際に、表示データ生成制御部３０７は、以下の処理を行う。すなわち、表示データ生成制御部３０７は、リンク情報を参照して当該アノテーションが付加された際のバーチャルスライド画像の倍率と画像中のアノテーションの位置を再現するように表示データを生成する。このとき、サムネイル画像表示領域９０３では、図９（ｄ）又は図９（ｅ）で表示した全てのアノテーションの位置情報を表示可能な範囲を示す枠９２１と、表示中のバーチャルスライド画像に表示されている範囲を示す枠９２２と、が表示される。

（実施例の効果）
本実施例では、バーチャルスライド画像に対しアノテーションが付加される際に、アノテーションの位置情報と、バーチャルスライド画像の倍率の情報と、に基づきリンク情報が生成される。リンク情報は、付加されたアノテーション毎に求められ、画像データを構成する複数の異なる倍率の階層画像データの各々と、当該アノテーションの位置を各階層画像データにおける位置に換算した換算位置情報と、の対応関係を示す情報である。画像データに付加された複数のアノテーションを提示する際に、各アノテーションの表示態様を、そのアノテーションが付加されたときのバーチャルスライド画像の表示倍率に応じて異ならせる。これにより、ユーザは、アノテーション毎の、付加されたときのバーチャルスライド画像の倍率の違いを容易に把握することができる。

［第２の実施形態］
本発明の第２実施形態に係る画像処理システムについて図を用いて説明する。
第２の実施形態では、焦点位置が異なる複数の階層画像データからなる画像データに付加された複数のアノテーションを、付加されたときのバーチャルスライド画像の焦点位置の相違をユーザが把握し易いように提示する例を示す。以下、主に第１実施形態と異なる構成について説明し、第１実施形態と同等の構成については第１実施形態と同じ符号及び名称を用いて詳細な説明を省略する。

（画像処理システムの装置構成）
図１０は、本発明の第２の実施形態に係る画像処理システムを構成する装置の全体図である。
図１０で、本発明の画像処理装置を用いた画像処理システムは、画像サーバ１１０１、画像処理装置１０２、表示装置１０３から構成される。画像処理装置１０２は検体を撮像した画像データを画像サーバ１１０１から取得し、表示装置１０３へ表示するための表示データを生成することができる。ここでの画像データは、第１の実施形態で説明した分割撮像により得られた撮像データを合成して得られる高解像度の二次元画像データと、高速表示用の異なる倍率の複数の階層画像データと、異なる焦点位置で撮像された複数の深度画像データと、を含む。深度画像の詳細については図１１を用いて後述する。画像サーバ１１０１と画像処理装置１０２との間は、ネットワーク１００２を介して、汎用Ｉ／ＦのＬＡＮケーブル１００３で接続される。画像サーバ１１０１は、バーチャルスライド装置である撮像装置（不図示。実施例１の撮像装置１０１と同等）によって撮像された画像データを保存する大容量の記憶装置を備えたコンピュータである。画像サーバ１１０１は、階層化された異なる焦点位置の画像データ（深度画像データ）を一つのまとまりとして画像サーバ１１０１に接続されたローカルストレージに保存していても良い。或いは、それぞれを分割してネットワーク上の何処かに存在するサーバ群（クラウド・サーバ）に対して各深度画像データの実体とその実体への参照情報とを分けて保存する構成でもよい。深度画像データ自体も、一つのサーバに保存しておく必要はなく、分散して保存してもよい。なお、画像処理装置１０２及び表示装置１０３は第１の実施態様の画像処理システムと同様である。

図１０の例では、画像サーバ１１０１と画像処理装置１０２と表示装置１０３の３つの装置により画像処理システムが構成されているが、本発明はこの構成に限定されるものではない。例えば、表示装置が一体化した画像処理装置を用いてもよいし、画像処理装置１０２の持つ機能の一部を画像サーバ１１０１に組み込んでもよい。また逆に、画像サーバ１１０１や画像処理装置１０２の機能を分割して複数の装置によって実現してもよい。

（焦点位置毎に予め用意された階層画像の概念）
図１１は、複数の異なる焦点位置の深度画像データからなる画像データの概念図である。撮像装置１０１のステージ２０２を深度方向（図２のＺ方向、ステージに垂直の方向、光軸方向）に移動させながら複数回撮像することで、焦点位置の異なる複数の撮像データが得られる。

図１１（ａ）は、異なる焦点位置で撮像された二次元平面画像データが深度方向にスタックされた階層構造を有する画像データの概念図である。
観察対象である検体の任意の焦点面において撮像された二次元画像１１０２を深度画像データと呼ぶ。画像データ群１１００は、二次元平面（ＸＹ平面）と垂直な深度方向（Ｚ軸方向）に複数枚の深度画像データ１１０２がスタックされて構成される。図１１（ａ）では１０枚の異なる焦点位置における深度画像データから画像データが構成されている例を示している。

一枚の深度画像データ１１０２は複数の分割画像データ１１０３により構成される。先に説明したとおり、大容量の高解像画像データの生成は、複数枚の分割撮像された画像データの合成によって生成されている。分割画像データ１１０３は、当該分割撮像された画像データと同じサイズの画像データでも良いし、分割撮像された画像データの集合であっても良いし、分割撮像された画像データをさらに分割する画像データであっても良い。つまり、深度画像データ１１０２の分割のしかたは任意であり、分割の単位は分割撮像の単位と同じでも異なっていても良い。

各焦点位置の深度画像データは二次元平面を構成するＸとＹの二軸を持っている。また、ＸＹ軸と直行する方向のＺ軸方向（深度方向）に異なる焦点位置の深度画像データが階層化されたデータ形式となっている。

バーチャルスライド装置の結像光学系は、高解像化のためにＮＡ（numerical aperture）が大きく、一般には被写界深度が浅くなっている。観察対象である検体の厚みは、組織診で３〜５μｍ程度、細胞診でも１００μｍ程度であるが、被写界深度はそれよりもずっと狭く１μｍ程度である。そのため、検体全面で焦点の合った画像の生成は難しい。また、検体厚みは薄くても、内部には細胞核等の構造物を含むことがあるため、検体の詳細な観察には焦点位置を変えながらの観察が望まれる。複数の深度画像データからなる画像データの取得及び生成はこのようなニーズをもとにしている。

また、第１の実施形態で説明した表示の高速化を目的に生成された倍率（解像度）の異なる複数の階層画像データと、本実施例で説明している複数の異なる焦点位置の深度画像データと、を組み合わせて階層化した画像データを生成することもできる。図１１（ｂ）を用いてそのような画像データの構成について説明する。

図１１（ｂ）において、深度画像データ群１１０４、１１０５、及び１１０６の各々は、倍率が同じで焦点位置が異なる複数の画像データの集合である。つまり、同じ深度画像データ群に属する画像データは倍率が同じで焦点位置が異なる画像データであり、異なる深度画像データ群に属する画像データ同士は、互いに倍率が異なる。

バーチャルスライド画像の表示データは、これら階層化された画像データの中から要求に応じて選択される倍率及び焦点位置の画像データから生成されることになる。

焦点位置を異ならせて観察することを想定した病理診断用の画像データは、図１１に示したように複数の異なる焦点位置の深度画像データからなる階層化された構造の画像データとして生成、保持するのが望ましい。このような画像データの形式としては、複数の深度画像データをまとめて一つの画像データとして取り扱えるようにした形式がある。或いは、各深度画像データをそれぞれ独立の画像データとし、各深度画像データと焦点位置との関係を示す情報を別に保持する形式でもよい。ここでは複数の深度画像データから構成される単一の画像データを想定して以後の説明を行う。

（アノテーションの付加）
図１２は、アノテーションを付加する処理の流れを示すフローチャートである。図１２では、付加されたアノテーションの位置情報とアノテーションが付加された際のバーチャルスライド画像の焦点位置情報と、に基づいてリンク情報を生成する流れについて説明する。

ステップＳ７０１からステップＳ７０３までは、第１の実施形態の図７で説明したアノテーションを付加する処理と同じため説明は省略する。図１２ではステップＳ７０３で表示倍率情報を取得しているが、本実施の構成では必須の項目ではないため、スキップしても構わない。

ステップＳ１２０１では、アノテーションが付加された際のバーチャルスライド画像の焦点位置の情報が取得される。焦点位置の情報は、バーチャルスライド画像の表示データが図１１で説明した階層化された複数の深度画像データのうち何番目の深度画像データに基づき生成されたかを示す情報である。焦点位置の情報は、実施例１と同様に表示装置１０３から取得される構成でも良いし、画像処理装置１０２に内部的に保持している表示データ生成に関する情報から取得される構成でも良い。

ステップＳ１２０２では、リンク情報生成部３０５は、ステップＳ１２０１で取得された焦点位置情報と、ステップＳ７０１で取得された付加されたアノテーションの位置情報と、に基づきリンク情報を生成する。リンク情報は、アノテーションの位置情報を、画像データを構成する複数の深度画像データの各々における位置に換算した換算位置情報と、各深度画像データの焦点位置と、を対応づける情報であり、画像データに付加されたアノテーション毎に生成される。リンク情報は、アノテーションが付加されたときの焦点位置と画像中の位置とに基づき算出された、各深度画像の上にアノテーションを重ねて表示する場合の位置と、アノテーションの情報と、を関連付けた情報である。なお、ステップＳ７０３で表示倍率情報を取得している場合は、実施例１で説明した、付加されたアノテーションの位置情報を複数の階層画像データの各々における位置に換算した換算位置情報と、各階層画像データの倍率と、を対応づけるリンク情報も生成される。

ステップＳ７０５では、バーチャルスライド画像の観察が開始されてからアノテーションの付加が行われたか否かを判断する。この処理内容も第１の実施形態と同じため説明は省略する。

ステップＳ１２０３では、リンク情報テーブルに格納されたリンク情報が、ステップＳ１２０２で生成されたリンク情報を用いて更新される。

ステップＳ１２０４では、リンク情報テーブルが生成される。リンク情報テーブルにはステップＳ１２０２で生成されたリンク情報が格納される。リンク情報は、付加されたアノテーションの位置情報と、当該位置情報を異なる複数の焦点位置の深度画像データ用に換算した位置情報と、当該アノテーションが付加されたときの焦点位置と、の対応関係の情報である。ステップＳ１２０２で位置情報と倍率との対応関係のリンク情報を生成している場合は、階層画像データ毎に換算されたアノテーションが付加された位置情報と階層画像データの倍率との対応関係の情報を合わせて格納してもよい。

（アノテーションの提示）
図１３は、アノテーションを提示する処理の流れを示すフローチャートである。図１３では、リンク情報に基づいて、アノテーションを提示するための表示データを生成する流れについて説明する。

初期のアノテーション提示の処理の流れは第１の実施形態の図８で説明した内容とほぼ同じである。異なる点は、表示倍率の違いを示すための表示方法の選択が、焦点位置の違いを示すための表示方法の選択に変わる点である。以下、初期のアノテーション提示が行われた後、表示倍率の変更や、焦点位置の変更が行われた場合のアノテーション提示の変更処理について説明する。ここでは、焦点位置が異なる複数の深度画像データと、倍率が異なる複数の階層画像データとから構成される図１１（ｂ）に示すような階層構造の画像データを用いる場合を例に説明する。すなわち、この画像データに基づく画像表示では、ユーザ操作により、画像観察中の倍率の高速な切り替え（都度解像度変換を伴わない切り替え）と焦点位置の変更が可能である。

ステップＳ１３０１では、表示データ生成制御部３０７は、ユーザによる表示倍率の変更要求があったかどうかを判断する。表示倍率の変更要求があった場合、表示データ生成制御部３０７は、ステップＳ１３０２へ進み、表示倍率の変更要求がない場合、表示データ生成制御部３０７は、ステップＳ１３０３へ進む。

ステップＳ１３０２では、階層画像データ取得部３０９は、複数の階層画像データの中から倍率変更要求に合致した倍率の階層画像データを取得する。

ステップＳ１３０３では、表示データ生成制御部３０７は、ユーザによる焦点位置の変更要求があったか否かを判断する。焦点位置の変更要求があった場合、表示データ生成制御部３０７は、ステップＳ１３０３へ進み、焦点位置の変更要求がなかった場合、表示データ生成制御部３０７は、処理を終了する。

ステップＳ１３０４では、階層画像データ取得部３０９は、複数の深度画像データの中から焦点位置変更要求に合致した焦点位置の深度画像データを取得する。

ステップＳ１３０５では、アノテーションデータ生成部３０８は、アノテーション表示データの更新を行う。アノテーション表示モードでは、画像データに付加された複数のアノテーションの位置及び内容を、アノテーションが付加された際のバーチャルスライド画像の表示倍率及び焦点位置に応じて異なる態様で表示するようなアノテーション表示データが生成される。ポインタ表示モードでは、画像データに付加された複数のアノテーションの位置を、アノテーションが付加された際のバーチャルスライド画像の表示倍率及び焦点位置に応じて異なる態様で表示するようなアノテーション表示データが生成される。アノテーション表示データを構成するテキストの色、輝度、フォント等、アノテーション表示枠の形状や色、枠内の背景色、アノテーション表示領域の透過率、点滅表示の有無等は、ユーザにより設定されるアノテーション表示方法に従って決定される。

ステップＳ１３０６では、表示データ生成部３１０は、ステップＳ１３０２で選択された階層画像データ又はステップＳ１３０４で選択された深度画像データと、ステップＳ１３０５で生成されたアノテーション表示データから、画面表示用の表示データを生成する。

ステップＳ１３０７では、表示データ出力部３１１は、ステップＳ１３０６で生成された表示データを表示装置１０３に対して出力する。

ステップＳ１３０８では、表示データ出力部３１１から入力される表示データに基づく画像を表示装置１０３が画面に表示する。

（実施例の効果）
本実施例では、バーチャルスライド画像に対しアノテーションが付加される際に、アノテーションの位置情報と、バーチャルスライド画像の焦点位置の情報と、に基づきリンク情報が生成される。リンク情報は、付加されたアノテーション毎に求められ、画像データを構成する複数の異なる焦点位置の深度画像データの各々と、当該アノテーションの位置を各深度画像データにおける位置に換算した換算位置情報と、の対応関係を示す情報である。画像データに付加された複数のアノテーションを提示する際に、各アノテーションの表示態様を、そのアノテーションが付加されたときのバーチャルスライド画像の焦点位置に応じて異ならせる。これにより、ユーザは、アノテーション毎の、付加されたときのバーチャルスライド画像の焦点位置の違いを容易に把握することができる。

［第３の実施形態］
本実施例では、表示倍率と表示焦点位置に従って、表示中の深度画像と焦点位置が異なる深度画像に付されたアノテーションのデータを用いた表示制御を行う場合について述べる。

一般に高倍観察では被写界深度が浅くなることから、焦点位置を変えて検体を観察する必要がある場合が多い。そのため、表示倍率が所定以上の倍率の場合、表示中の深度画像と焦点位置が異なる深度画像に付されたアノテーションを表示すれば、焦点位置の切り替
えを行わずとも前後の焦点位置の情報が得られ、詳細観察を行う上で有益な情報となる。

本実施例では、実施例２で説明した図１３のＳ１３０５の直前に、表示倍率および表示焦点位置に応じたアノテーションデータ制御処理（不図示）を挿入することで、前述の機能を実現する。

図１４は表示倍率および表示焦点位置に応じたアノテーションデータの表示制御処理のフローチャートである。

まずＳ１４０１では、表示データ生成制御部３０７は表示領域内のいずれかの焦点位置の深度画像内にアノテーションが存在するか否かを判定する。存在しない場合、表示データ生成制御部３０７は、処理を終了する。表示領域内のいずれかの焦点位置の深度画像内にアノテーションが存在する場合、表示データ生成制御部３０７は、Ｓ１４０２に進み、表示倍率が所定倍率以上かを判定する。所定倍率は任意の倍率に設定できる。本実施例では以降、所定倍率を２０倍として説明する。

表示倍率が２０倍未満の場合、表示データ生成制御部３０７は処理を終了する。Ｓ１４０２で表示倍率が２０倍以上の場合、表示データ生成制御部３０７はＳ１４０３に進み、表示中の深度画像と焦点位置が異なる深度画像に付されたアノテーションの表示設定を変更する。
例えば、表示中の深度画像と焦点位置が異なる深度画像に付されたアノテーションを表示しない設定になっている場合には、表示中の深度画像と焦点位置が異なる深度画像に付されたアノテーションも表示する設定に変更する。このとき、表示中の深度画像と焦点位置が異なる深度画像のアノテーションが視覚的に識別可能なように設定する。例えば、色や透明度などが元のアノテーション（表示中の深度画像のアノテーション）とは異なるように変更する。

図１６（ａ）は倍率２０倍の５枚からなる深度画像の１次元的な模式図を示しており、それぞれＺ＝１、４の異常箇所と考えられる箇所にアノテーション１６０１、１６０２が付加されている。

表示倍率２０倍、焦点位置Ｚ＝３でこの深度画像を観察する場合、前述に示すアノテーションデータの表示制御処理が適用され、表示倍率は２０倍以上であることから、Ｚ＝１および４の２つのアノテーションが、表示中の深度画像と焦点位置が異なる深度画像に付されたアノテーションだが表示すべきアノテーションとして判定され表示される。

従って焦点位置Ｚ＝３の深度画像を観察する場合でも前後の焦点位置の深度画像に付されたアノテーションの内容が表示される。その結果、ユーザは焦点位置を切り替えることなく、異常箇所が近傍にあることを知ることが出来、意識して詳細な観察を行うことができる。

一方、表示倍率が５倍、焦点位置Ｚ＝１で観察する場合は、表示倍率は２０倍未満であることから、焦点位置Ｚ＝１の深度画像のアノテーションのみが表示される。低倍表示の場合、被写界深度が深いために複数の深度画像データを切り替えながら観察することが必要になることは少なく、焦点位置を切り替える必要性は少ない。従ってユーザにとっては表示する焦点位置の深度画像に付されたアノテーションの内容が表示されれば十分である。

なお、高倍では被写界深度が浅い。よって、全ての焦点位置の深度画像に存在するアノテーションを処理対象とするのではなく、表示中の深度画像の焦点位置に対して予め決め
られた隣接範囲内の焦点位置の深度画像に存在するアノテーションのみを処理対象としても良い。

以上、図１４に示す処理により、表示倍率と表示焦点位置に応じて、表示中の深度画像と焦点位置が異なる深度画像に付されたアノテーションの表示を制御することが可能となり、詳細観察時のユーザの利便性を高める効果が得られる。

［第４の実施形態］
本実施例では、表示中の深度画像と焦点位置が異なる深度画像にアノテーションが付加されている場合において、両深度画像におけるアノテーションの近傍領域の画像の類似度合に応じて、アノテーションの表示を制御する実施例について説明する。

図１５は本実施例におけるアノテーションデータの表示制御のフローチャートである。
まず、Ｓ１５０１で表示データ生成制御部３０７は表示中の深度画像と焦点位置が異なる深度画像においてアノテーションが存在するかを判断する。存在しない場合、表示データ生成制御部３０７は処理を終了し、存在する場合、表示データ生成制御部３０７はＳ１５０２に進む。Ｓ１５０２では、表示データ生成制御部３０７は、アノテーションが存在する深度画像および表示中の深度画像における、アノテーション位置近傍の画像を取得し、Ｓ１５０３に進む。

アノテーション位置近傍の画像の領域は、予めアノテーションで定義しても良く、またアノテーションの位置を中心とする予め定めた矩形の内部の領域としても良い。

続いてＳ１５０３では、表示データ生成制御部３０７は、前記取得した、表示中の深度画像及びアノテーションが存在する深度画像におけるアノテーション位置近傍の画像間の類似度及びシフト後座標を計算する。類似度及びシフト後座標の計算には、画像間の対応位置を求める一般的な手法であるブロックマッチングが利用でき、内部の計算処理には残差２乗和や正規化相互相関などが利用できる。

類似度は、表示中の深度画像におけるアノテーション位置近傍の画像に対し、アノテーションが存在する深度画像におけるアノテーション位置近傍の画像をシフトして求めた２つの画像の相関値の最大値である。シフト後座標は相関値が最大となるときのシフト量に基づいて決められる座標である。表示領域全体に対し類似度を計算するのではなく、アノテーション位置近傍の予め定めた範囲内でマッチングを行うことで処理を高速化できる。

続いてＳ１５０４で、表示データ生成制御部３０７は、Ｓ１５０３で計算した類似度が予め定めた所定の閾値以上かを判定する。閾値未満の場合、表示データ生成制御部３０７は、アノテーションが存在する深度画像と表示中の深度画像とでは、アノテーション位置の近傍の画像が変化したと解釈し、Ｓ１３０５に進む。

一方、閾値以上の場合、表示データ生成制御部３０７は、アノテーションが存在する深度画像と表示中の深度画像とでは、アノテーション位置の近傍の画像はほぼ同一であると解釈し、Ｓ１５０５に進む。

Ｓ１５０５では、表示中の深度画像に付加する新規アノテーションの情報を生成する。

新規アノテーションの位置は、Ｓ１５０３で求めたシフト後座標に設定する。コメント（注釈）は変更せずにそのまま用いる。

ただし、新規アノテーションは画像処理に基づく推定であることを明示するため、本来
のアノテーションと異なる態様で表示するのが好ましい。例えば、アノテーションの色や透明度などを変化させることで実現できる。また類似度を知らせるために、アノテーションに前述の類似度に対応する情報を追加しても良い。

このように表示焦点位置の前後の焦点位置の深度画像に付されたアノテーション情報を適切な位置に移動させて表示することで、実施例３同様にユーザは観察時に焦点位置を切り替えてアノテーションを確認する手間を省くことができる。また、ユーザは複数の焦点位置にアノテーションを付加する手間を省くことができる。

以下、図１６に示す模式図を用いて図１５で得られる処理結果を説明する。
図１６（ｂ）は５つ焦点位置の深度画像データからなる画像データの一例で、焦点位置Ｚ＝３の深度画像中にアノテーション１６０３が付加されている。このアノテーションが付された部位は検体組織の中の空洞部であるとする。

表示焦点位置がＺ＝１の場合、空洞部はＺ＝３と同じＸＹ位置にはないものの、シフトした位置に同様の空洞部が存在する。そのため、前述のアノテーションデータの制御処理では、焦点位置Ｚ＝１の深度画像を表示する場合には、Ｓ１５０３で求めたシフト後座標に新規アノテーションが作成される。このとき、新規アノテーションは元のアノテーション１６０３に対し、色や透明度などの表示態様が異なっている。

図１６（ｃ）は同様に、５つ焦点位置の深度画像データからなる画像データの一例で、焦点位置Ｚ＝３の深度画像中にアノテーション１６０４が付加されている。このアノテーションが付加された部位は検体組織の中のある構造であるとする。

アノテーション１６０４近傍の構造を示す画像と類似の画像は、いずれの焦点位置の深度画像にも存在しない。そのため、Ｚ＝１の深度画像を表示する場合には、Ｓ１５０３で求めた類似度はＳ１５０３では閾値以上とならないため、新規アノテーションは生成されない。

なお、高倍では被写界深度が浅い。よって、Ｓ１５０１〜Ｓ１５０３では全ての焦点位置の深度画像に存在するアノテーションを処理対象とするのではなく、表示中の深度画像の焦点位置に対し予め決められた隣接範囲内にある焦点位置の深度画像のみを処理対象としても良い。

以上、図１５に示す構成により、表示中の深度画像と焦点位置が異なる深度画像にアノテーションが付加されている場合でも、両深度画像におけるアノテーション近傍領域の画像が類似しているときは、異なる深度のアノテーションを表示することが可能となる。これにより、観察時のユーザの利便性を高める効果が得られる。特に組織の構造上、焦点位置が異なることで、同一組織を示していながら、二次元画像上での位置が異なる場合においても、付加されたアノテーションを有効に活用することができる。

［その他の実施形態］
本発明の目的は、以下によって達成されてもよい。すなわち、前述した実施形態の機能の全部又は一部を実現するソフトウェアのプログラムコードを記録した記録媒体（又は記憶媒体）を、システム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが、読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が、実際の処理の一部又は全部を行う。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

また、第１と第２、第３、第４の実施形態で説明してきた構成をお互いに組み合わせることもできる。例えば、第１の実施形態のシステムに対し第２の実施形態の焦点位置明示の処理を適用してもよいし、画像処理装置が撮像装置と画像サーバの両方に接続されており、処理に用いる画像をいずれの装置から取得できるような構成にしてもよい。その他、上記各実施形態における様々な技術を適宜組み合わせることで得られる構成も本発明の範疇に属する。

３０１：画像データ取得部
３０３：ユーザ入力情報取得部
３０７：表示データ生成制御部
３０８：アノテーションデータ生成部
３１０：表示データ生成部

Claims

被写体の画像を表示装置に表示する表示データを生成する装置であって、
前記画像にアノテーションが付加されたときの前記画像の表示倍率の情報を取得する付加情報取得手段と、
ユーザーに指定された前記画像の表示倍率の情報を取得する指定情報取得手段と、
前記指定された表示倍率の前記画像と前記アノテーションとを表示する前記表示データを生成する生成手段と、を有し、
前記生成手段は、前記付加されたときの表示倍率と前記指定された表示倍率とが異なる場合と、前記付加されたときの表示倍率と前記指定された表示倍率とが同じ場合とで、ユーザーがそのどちらの場合であるかを判別できるように、互いに異なる前記表示データを生成する
ことを特徴とする装置。
前記付加情報取得手段は、前記アノテーションの位置情報を取得する
ことを特徴とする請求項１に記載の装置。
前記画像のデータは、解像度が異なる前記被写体の複数の階層画像のデータを有し、
前記生成手段は、前記指定された表示倍率に応じた解像度の前記階層画像のデータを用いて、前記表示データを生成する
ことを特徴とする請求項２に記載の装置。
前記付加されたときの表示倍率と前記アノテーションの位置情報とに基づいて、前記複数の階層画像のそれぞれにおける前記アノテーションの位置情報を求めるためのリンク情報を生成するリンク情報生成手段を有する
ことを特徴とする請求項３に記載の装置。
被写体の画像を表示装置に表示する表示データを生成する方法であって、
前記画像にアノテーションが付加されたときの前記画像の表示倍率の情報を取得する付加情報取得工程と、
ユーザーに指定された前記画像の表示倍率の情報を取得する指定情報取得工程と、
前記指定された表示倍率の前記画像と前記アノテーションとを表示する前記表示データを生成する生成工程と、を有し、
前記生成工程では、前記付加されたときの表示倍率と前記指定された表示倍率とが異なる場合と、前記付加されたときの表示倍率と前記指定された表示倍率とが同じ場合とで、ユーザーがそのどちらの場合であるかを判別できるように、互いに異なる前記表示データを生成する
ことを特徴とする方法。
請求項５に記載の方法の各工程をコンピュータに実行させるためのプログラム。