JP2013153429A - 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】 複数の分割画像を合成することなく撮影対象の画像を生成して、分割画像の境界位置または領域に基づいた意図しない診断を防止するバーチャルスライドシステム等に用いる画像処理装置を提供する。
【解決手段】 撮像範囲が互いに重複領域を有するように撮像された、撮影対象の分割画像データに基づいて前記撮影対象の表示用の画像データを生成する画像処理装置であって、前記複数の分割画像データを取得する画像データ取得手段と、前記重複領域について、前記複数の分割画像データから表示させる画像データを自動で選択する画像データ選択手段と、前記重複領域を、前記画像データ選択手段で選択された前記分割画像データを用いて画像表示装置に表示させる表示制御手段と、を有する。
【選択図】 図６

Description

本発明は、画像処理装置に関し、特に撮影対象観察のためのデジタル画像処理に関する。

近年、病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料（検体）の撮像と画像のデジタル化によってディスプレイ上での病理診断を可能とするバーチャルスライドシステムが注目を集めている。バーチャルスライドシステムを用いた病理診断画像のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱うことが可能となる。その結果、遠隔診断の迅速化、デジタル画像を用いた患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られると期待されている。

光学顕微鏡と同等程度の操作をバーチャルスライドシステムで実現するためには、プレパラート上の被検試料全体をデジタル化する必要がある。被検試料全体のデジタル化により、バーチャルスライドシステムで作成したデジタルデータをＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やワークステーション上で動作するビューワソフトで観察することができる。被検試料全体をデジタル化した場合の画素数は、通常、数億画素から数十億画素と非常に大きなデータ量となる。

バーチャルスライドシステムで作成したデータ量は膨大であり、ビューワで拡大・縮小処理を行うことでミクロ（細部拡大像）からマクロ（全体俯瞰像）まで観察することが可能となり、種々の利便性を提供する。必要な情報を予めすべて取得しておくことで、低倍画像から高倍画像までユーザーが求める解像度・倍率による即時の表示が可能となる。また、取得したデジタルデータを画像解析し、例えば細胞の形状把握や個数算出、細胞質と核の面積比（Ｎ／Ｃ比）を算出することで、病理診断に有用な種々の情報の提示も可能となる。

このような検体の高倍率画像を得る技術として、検体を部分的に撮像した高倍画像を複数用いて検体全体の高倍画像を得る方法が考えられている。具体的には、特許文献１には、検体を小区画に分割して撮像し、それよって得られた小区画における画像を繋ぎ合わせて検体の合成画像を表示する顕微鏡システムが開示されている。特許文献２には、顕微鏡のステージを移動して複数回撮像することにより、検体の部分画像を複数枚得て、それらの画像の歪みを補正して繋ぎ合わせる画像表示システムが開示されている。特許文献２では、繋ぎ目の目立たない合成画像を作成している。特許文献３には、オーバーラップして撮像した重複領域のうち何れを選択するかをユーザーが指定することで、仮に重複領域内の画像が一致していない場合でもユーザーが望む合成画像が得られる画像合成装置が開示されている。

特開２００７−１２１８３７号公報 特開２０１０−１３４３７４号公報 特開２００７−２１１８３７号公報

特許文献１の顕微鏡システム及び特許文献２の画像表示システムで得られた合成画像中の繋ぎ目部分は、不可避的に生じる部分画像間の位置ずれや、歪み補正等によるアーティファクトの影響により、光学顕微鏡を用いて病理医が観察した場合とは異なる画像となっている可能性が高い。にもかかわらず、そのような精度の高い診断が難しくなる可能性を認識することなく、合成画像に対して診断を行うと、合成画像の繋ぎ目部分が診断の対象となった場合、精度の高い診断がし難くなるという問題があった。また、特許文献３による合成画像の生成は、ユーザーが重複領域の画像をみて指定する構成のため、標準的な画像データとして数百枚から数千枚の分割画像から構成される病理画像を対象とした場合には、ユーザーが指定する作業は膨大なものとなる。その結果、実用的な時間での画像の合成が困難であるという問題があった。

本発明は、撮像範囲が互いに重複領域を有するように撮像された、
撮影対象の分割画像データに基づいて前記撮影対象の表示用の画像データを生成する画像処理装置であって、
前記複数の分割画像データを取得する画像データ取得部と、
前記重複領域について、予め設定された条件に基づいて前記複数の分割画像データから
表示させる画像データを自動で選択する画像データ選択部と、
前記重複領域を、前記画像データ選択部で選択された前記分割画像データを用いて
画像表示装置に表示させる表示制御部と、
を有することを特徴とする画像処理装置に関する。

また、本発明は、少なくとも、画像処理装置と画像表示装置を有する画像表示システムにおいて、上記の画像処理装置を有し、前記画像処理装置から送られてくる撮影対象の画像データに基づいて、分割画像を選択して表示する画像表示装置を有する画像表示システムに関する。

また、本発明は、撮像範囲が互いに重複領域を有するように撮像された撮影対象の分割画像データを取得する画像データ取得工程と、
前記重複領域について、前記複数の分割画像データから予め設定された条件に基づいて
表示させる画像データを自動で選択する画像データ選択工程と、
前記重複領域で、前記表示画像データ選択工程で選択された前記分割画像データを用いて
前記撮影対象の画像データを生成する表示画像データ生成工程と、を有することを特徴とする画像処理方法に関する。

また、本発明は、撮像範囲が互いに重複領域を有するように撮像された、撮影対象の分割画像データを取得する画像データ取得ステップと、
前記重複領域について、前記複数の分割画像データから予め設定された条件に基づいて
表示させる画像データを選択する画像データ選択ステップと、
前記重複領域で、前記表示画像データ選択工程で選択された前記分割画像データを用いて
前記撮影対象の画像データを生成する表示画像データ生成ステップと、
をコンピュータに実行させることを特徴とするプログラムに関する。

本発明の提供する好適な画像処理装置、画像表示システム、画像処理方法及び画像処理プログラムによれば、原画像とは異なる合成画像の合成箇所に基づく、精度の高い診断がし難くなることを防止することができる。

本発明の画像処理装置の一例を用いた画像表示システムの装置構成例の全体図を示す。 本発明の画像処理装置の一例を用いた画像表示システムにおける撮像装置の機能ブロック図の例を示す。 第１実施形態の画像処理装置の機能ブロック図の一例を示す。 第１実施形態の画像処理装置のハードウェア構成図の一例を示す。 優先度指定の概念を説明する図である。 第１実施形態の表示画像データの生成の流れの一例を示す図である。 第１実施形態の優先表示の流れの一例を示す図である。 第１実施形態の表示画面の一例を示す。 第１実施形態の外部からの指示による表示画面の変更例を示す概念図である。 第２実施形態の画像処理装置の機能ブロック図の一例を示す。 第２実施形態の画像の優先度の自動切り替えの概念を説明する図である。 第２実施形態の表示画像データの生成の流れの一例を示す図である。 第２施形態の優先表示の流れの一例を示す図である。 第３実施形態の画像処理装置の機能ブロック図の一例を示す。 第３実施形態の表示画像データの生成の流れの一例を示す図である。 第２実施形態の画像処理装置の一例を用いた画像表示システムの一例の全体図を示す。

以下、図面を参照しながら本発明の実施の形態を説明する。

本発明の好適な実施の形態に係る画像処理装置は、撮像範囲が重複領域を有する複数の分割画像に分けて撮影された、撮影対象の分割画像データに基づいて、撮影対象の画像データを生成する。本発明の画像処理装置では、分割画像データ間で合成処理をせずに、撮影対象の合成画像データを表示時に生成することを特徴とする。これにより、分割画像データを合成処理して撮影対象の合成画像データを生成した場合に生じる問題、すなわち、撮影対象の原画像とは異なる合成箇所に基づく、診断の精度の低下という問題を防止することができる。複数の分割画像データが重複領域では、表示させる分割画像を自動選択することにより、撮影対象の画像データを表示させることができる。これにより、ディスプレイ上に表示された領域に分割画像の境界がある場合、その境界を変更して撮影対象の画像を観察することができる。

本発明の好適な実施の形態に係る画像処理装置は、複数の分割画像データを取得する画像データ取得部、複数の分割画像データから表示させる画像データを選択する画像データ選択部、選択された分割画像データを表示部に表示させる表示制御部を有する。

画像データ選択部による画像データの選択は、予め設定された条件に基づく選択の自動判断、又は外部から入力された指示に基づいて選択することができる。設定された条件としては、画像表示装置に表示された前記分割画像データの境界位置の変化、画像表示装置に表示された前記分割画像データの表示されている割合の変化を用いることができる。

本発明の画像処理装置は、顕微鏡の画像を撮影した分割画像データを用いたバーチャルスライドシステムに用いることができる。

本発明の画像表示システムは、少なくとも、画像処理装置と画像表示装置を有する画像表示システムにおいて、上記の画像処理装置を有し、画像処理装置から送られてくる撮影対象の画像データを表示する画像表示装置を有する。

また、本発明画像処理方法は、重複領域を有する複数の分割画像分けて撮影された、撮影対象の分割画像データを取得する画像データ取得工程と、重複領域について、前記複数の分割画像データから表示させる画像データを自動で選択する画像データ選択工程と、重複領域で、前記表示画像データ選択工程で選択された前記分割画像データを用いて前記撮影対象の画像データを生成する表示画像データ生成工程と、を有する。

また、本発明のプログラムは、重複領域を有する複数の分割画像分けて撮影された、撮影対象の分割画像データを取得する画像データ取得ステップと、重複領域について、前記複数の分割画像データから表示させる画像データを選択する画像データ選択ステップと、重複領域で、前記表示画像データ選択工程で選択された前記分割画像データを用いて前記撮影対象の画像データを生成する表示画像データ生成ステップと、をコンピュータに実行させる。

また、本発明の記録媒体は、上記のプログラムを記録したコンピュータが読み取り可能な記憶媒体に関する。

本発明の画像処理方法又はプログラムにおいて、本発明の画像処理装置で記載した好ましい態様を反映させることができる。

［第１実施形態］
本発明の画像処理装置は、撮像装置と画像表示装置を備えた画像表示システムにおいて用いることができる。この画像表示システムについて、図１を用いて説明する。なお、以下の記述及び添付の図面中において、「画像表示装置」を「表示装置」と省略して表記する場合がある。

（撮像システムの構成）
図１は、本発明の画像処理装置を用いた画像表示システムであり、撮像装置（顕微鏡装置）１０１、画像処理装置１０２、画像表示装置１０３から構成され、撮像対象となる撮影対象（被検試料）の二次元画像を取得し表示する機能を有するシステムである。撮像装置１０１と画像処理装置１０２の間は、専用もしくは汎用Ｉ／Ｆのケーブル１０４で接続され、画像処理装置１０２と画像表示装置１０３の間は、汎用のＩ／Ｆのケーブル１０５で接続される。

撮像装置１０１は、二次元方向に位置の異なる複数枚の二次元画像を撮像し、デジタル画像を出力する機能を持つバーチャルスライド装置を用いることができる。二次元画像の取得にはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子が用いられる。なお、バーチャルスライド装置の代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置１０１を構成することもできる。

画像処理装置１０２は、撮像装置１０１から取得した複数枚の原画像データから、分割して得られた原画像データを用いて合成画像データを生成する機能等をもつ装置である。画像処理装置１０２は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部、Ｉ／Ｆなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。記憶装置は、ハードディスクドライブなどの大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、ＯＳ（オペレーティングシステム）などが格納されている。上述した各機能は、ＣＰＵが記憶装置からＲＡＭに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現されるものである。操作部は、キーボードやマウスなどにより構成され、操作者が各種の指示を入力するために利用される。画像表示装置１０３は、画像処理装置１０２が演算処理した結果である観察用画像を表示するモニターであり、ＣＲＴや液晶ディスプレイ等により構成される。

図１の例では、撮像装置１０１と画像処理装置１０２と画像表示装置１０３の３つの装置により撮像システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、画像表示装置が一体化した画像処理装置を用いてもよいし、画像処理装置の機能を撮像装置に組み込んでもよい。また撮像装置、画像処理装置、画像表示装置の機能を１つの装置で実現することもできる。また逆に、画像処理装置等の機能を分割して複数の装置によって実現してもよい。

（撮像装置の構成）
図２は、撮像装置１０１の機能構成を示すブロック図である。

撮像装置１０１は、概略、照明ユニット２０１、ステージ２０２、ステージ制御ユニット２０５、結像光学系２０７、撮像ユニット２１０、現像処理ユニット２１６、プレ計測ユニット２１７、メイン制御系２１８、データ出力部２１９から構成される。

照明ユニット２０１は、ステージ２０２上に配置されたプレパラート２０６に対して均一に光を照射する手段であり、光源、照明光学系、および光源駆動の制御系から構成される。ステージ２０２は、ステージ制御ユニット２０５によって駆動制御され、ＸＹＺの三軸方向への移動が可能である。プレパラート２０６は、観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定した部材である。

ステージ制御ユニット２０５は、駆動制御系２０３とステージ駆動機構２０４から構成される。駆動制御系２０３は、メイン制御系２１８の指示を受け、ステージ２０２の駆動制御を行う。ステージ２０２の移動方向、移動量などは、プレ計測ユニット２１７によって計測した撮影対象の位置情報および厚み情報（距離情報）と、必要に応じてユーザーからの指示とに基づいて決定される。ステージ駆動機構２０４は、駆動制御系２０３の指示に従い、ステージ２０２を駆動する。

結像光学系２０７は、プレパラート２０６の撮影対象の光学像を撮像センサ２０８へ結像するためのレンズ群である。

撮像ユニット２１０は、撮像センサ２０８とアナログフロントエンド（ＡＦＥ）２０９から構成される。撮像センサ２０８は、二次元の光学像を光電変換によって電気的な物理量へ変える一次元もしくは二次元のイメージセンサであり、例えば、ＣＣＤやＣＭＯＳデバイスが用いられる。一次元センサの場合、走査方向へスキャンすることで二次元画像が得られる。撮像センサ２０８からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像としてカラー画像が所望される場合は、例えば、Ｂａｙｅｒ配列のカラーフィルタが取り付けられた単板のイメージセンサを用いればよい。撮像ユニット２１０は、ステージ２０２がＸＹ軸方向に駆動することにより、撮影対象の分割画像を撮像する。

ＡＦＥ２０９は、撮像センサ２０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ２０９は後述するＨ／Ｖドライバ、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ）、アンプ、ＡＤ変換器およびタイミングジェネレータによって構成される。Ｈ／Ｖドライバは、撮像センサ２０８を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。ＣＤＳは、固定パターンのノイズを除去する二重相関サンプリング回路である。アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。ＡＤ変換器は、アナログ信号をデジタル信号に変換する。撮像装置最終段での出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはＲＡＷデータと呼ばれる。ＲＡＷデータは後段の現像処理ユニット２１６で現像処理される。タイミングジェネレータは、撮像センサ２０８のタイミングおよび後段の現像処理ユニット２１６のタイミングを調整する信号を生成する。

撮像センサ２０８としてＣＣＤを用いる場合、上記ＡＦＥ２０９は必須となるが、デジタル出力可能なＣＭＯＳイメージセンサの場合は、上記ＡＦＥ２０９の機能をセンサに内包することになる。また、不図示ではあるが、撮像センサ２０８の制御を行う撮像制御部が存在し、撮像センサ２０８の動作制御や、シャッタースピード、フレームレートやＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）など動作タイミングや制御を合わせて行う。

現像処理ユニット２１６は、黒補正部２１１、ホワイトバランス調整部２１２、デモザイキング処理部２１３、フィルタ処理部２１４、γ補正部２１５から構成される。黒補正部２１１は、ＲＡＷデータの各画素から、遮光時に得られた黒補正データを減算する処理を行う。ホワイトバランス調整部２１２は、照明ユニット２０１の光の色温度に応じて、ＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。具体的には、黒補正後のＲＡＷデータに対しホワイトバランス補正用データが加算される。単色の画像を取り扱う場合にはホワイトバランス調整処理は不要となる。現像処理ユニット２１６は、撮像ユニット２１０で撮像された撮影対象の分割画像データを生成する。

デモザイキング処理部２１３は、Ｂａｙｅｒ配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。デモザイキング処理部２１３は、ＲＡＷデータにおける周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。またデモザイキング処理部２１３は、欠陥画素の補正処理（補間処理）も実行する。なお、撮像センサ２０８がカラーフィルタを有しておらず、単色の画像が得られている場合、デモザイキング処理は不要となる。

フィルタ処理部２１４は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。γ補正部２１５は、一般的な表示デバイスの階調表現特性に合わせて、画像に逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施形態では形態観察を目的とした画像取得のため、後段の合成処理や表示処理に適した階調変換が画像データに適用される。γ補正部２１５で行う階調変換処理は、後述する画像処理装置１０２の装置内で処理を行う構成としてもよい。

プレ計測ユニット２１７は、プレパラート２０６上の撮影対象の位置情報、所望の焦点位置までの距離情報、および撮影対象厚みに起因する光量調整用のパラメータを算出するための事前計測を行うユニットである。本計測の前にプレ計測ユニット２１７によって情報を取得することで、無駄のない撮像を実施することが可能となる。二次元平面の位置情報取得には、撮像センサ２０８より解像力の低い二次元撮像センサが用いられる。プレ計測ユニット２１７は、取得した画像から撮影対象のＸＹ平面上での位置を把握する。距離情報および厚み情報の取得には、レーザー変位計やシャックハルトマン方式の計測器が用いられる。

メイン制御系２１８は、これまで説明してきた各種ユニットの制御を行う機能である。メイン制御系２１８および現像処理ユニット２１６の機能は、ＣＰＵとＲＯＭとＲＡＭを有する制御回路により実現される。すなわち、ＲＯＭ内にプログラムおよびデータが格納されており、ＣＰＵがＲＡＭをワークメモリとして使いプログラムを実行することで、メイン制御系２１８および現像処理ユニット２１６の機能が実現される。ＲＯＭには例えばＥＥＰＲＯＭやフラッシュメモリなどのデバイスが用いられ、ＲＡＭには例えばＤＤＲ３などのＤＲＡＭデバイスが用いられる。

データ出力部２１９は、現像処理ユニット２１６によって生成されたＲＧＢのカラー画像を画像処理装置１０２に送るためのインターフェースである。撮像装置１０１と画像処理装置１０２とは、光通信のケーブルにより接続される。あるいは、ＵＳＢやＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の汎用インターフェースが使用される。

（画像処理装置の構成）
図３は、本発明の画像処理装置１０２の機能構成を示すブロック図である。

画像処理装置１０２は、概略、データ入力部３０１、記憶保持部３０２、分割画像データ取得部３０３、表示データ生成部３０４、データ出力部３０５、ユーザー指示入力部３０６、繋ぎ目領域の優先度指定部３０７、表示装置情報取得部３０８から構成される。

記憶保持部３０２は、外部装置から取得した、撮影対象を分割して撮像することにより得られたＲＧＢのカラー分割画像データが、データ入力部３０１を介して取り込まれ、記憶、保持される。カラー画像データには、画像データだけでなく、位置情報も含まれる。ここで、位置情報とは、分割画像データが撮影対象のどの部分を撮像したものかの情報である。例えば、位置情報は、撮像時に分割画像データとともにステージ２０２駆動時のＸＹ座標を記録することにより取得することができる。

分割画像取得部３０３は、記憶保持部３０２に記憶保持された分轄画像データを、表示装置情報取得部３０８から取得した画像表示装置情報、表示領域サイズ、および表示データ生成部３０４からの制御情報に基づいて取得する。また、分割画像取得部３０３は、取得した分割画像データを表示データ生成部３０４へ送信する。

ユーザー指示入力部３０６では、後述する生成する表示画像データについてのユーザーの指示の他、マウスやキーボード等の操作入力部を介して、表示位置の変更や拡大、縮小表示などの表示画像データの更新指示が入力される。優先度指定部３０７は、ユーザー指示入力部３０６で入力された情報に基づいて、分割画像データが重なり合う領域に対し、いずれの分割画像データを表示用の画像データとして用いるかを指定する。優先度指定部３０７は、重複領域について、複数の分割画像データから表示させる画像データを選択して生成された撮影対象の画像データと、複数の分割画像を合成して生成された撮影対象の合成画像データと、のいずれかを表示させるべく切り替える切り替え部を兼ねることができる。

表示データ生成部３０４は、分割画像取得部３０３から送られてきた分割画像データを、優先度指定部３０７で指定された優先度に基づいて、表示データを生成する。生成された表示データは、データ出力部３０５を介して、表示用の画像データとして外部のモニター等に出力する。

（画像処理装置のハードウェア構成）
図４は、本発明の画像処理装置のハードウェア構成を示すブロック図である。情報処理を行う装置として、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）が用いられる。

ＰＣは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４０２、記憶装置４０３、データ入出力Ｉ／Ｆ４０５、およびこれらを互いに接続する内部バス４０４を備える。

ＣＰＵ４０１は、必要に応じてＲＡＭ４０２等に適宜アクセスし、各種演算処理を行いながらＰＣの各ブロック全体を統括的に制御する。ＲＡＭ４０２は、ＣＰＵ４０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラム、本発明の特徴であるアノテーションのユーザー識別や表示用データの生成など処理の対象となる各種データを一時的に保持する。記憶装置４０３は、ＣＰＵ４０１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている情報を記録し読み出す補助記憶装置である。ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）等の磁気ディスクドライブもしくはＦｌａｓｈメモリを用いた半導体デバイスが用いられる。

データ入出力Ｉ／Ｆ４０５には、ＬＡＮ Ｉ／Ｆ４０６を介して画像サーバーが、グラフィクスボードを介して画像表示装置１０３が、外部装置Ｉ／Ｆを介してバーチャルスライド装置やデジタル顕微鏡に代表される撮像装置１０１が、また、キーボード４１０やマウス４１１が操作Ｉ／Ｆ４０９を介してそれぞれ接続される。

画像表示装置１０３は、例えば液晶、ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等を用いた表示デバイスである。当該画像表示装置１０３は、外部装置として接続される形態を想定しているが、画像表示装置と一体化したＰＣを想定してもよい。例えばノートＰＣがこれに該当する。

操作Ｉ／Ｆ４０９との接続デバイスとしてキーボード４１０やマウス４１１等のポインティングデバイスを想定しているが、タッチパネル等画像表示装置１０３の画面が直接入力デバイスとなる構成を取ることも可能である。その場合、タッチパネルは画像表示装置１０３と一体となり得る。

（画像の優先度指定）
本発明の画像処理装置で行われる分割画像データ間における重複領域の優先度指定の概念について、図５を用いて説明する。

図５（ａ）では、分割画像の取得について説明する。図５（ａ）の図の上は撮影対象であり、図５（ｂ）は重複領域を有して撮影対象を２つの領域である画像（１）と画像（２）に分けて撮影し、分割画像データを取得する。

図５（ｂ）は、画像（１）を選択して２つの分割画像データの内、重なって撮像された領域を表示させた場合の例である。この場合、重複領域として、画像（１）の表示の優先度が高く設定されている。

図５（ｃ）は、画像（２）を選択して画像データを表示させた場合の例であり、画像（２）の表示の優先度が高く設定されている。

このように、隣接する分割画像データ間の重複領域は、何れか一方の優先度を高くし、表示するための領域として選択することで、表示用の合成画像を生成することができる。

本発明の画像処理装置１０２では、予め設定した条件、又はユーザーの指示によって表示させるための画像データを選択して、画像表示装置１０３に表示させることができる。

（画像データの生成）
本発明の画像処理装置における画像データの生成の流れを図６のフローチャートを用いて説明する。

ステップ６０１では、画像表示装置１０３に画像データを表示させる際、画像処理装置１０２と接続された画像表示装置１０３であるモニター解像度、撮影対象全体の画像中の表示位置、表示倍率等の表示領域情報を取得する。

ステップ６０２では、データ入力部３０１で取り込まれて記憶保持部３０２に記憶されている分割画像データの中から、必要な数の分割画像データを分割取得部３０３が取得する。異なる倍率ごとの分割画像データが階層に記憶保持されている場合には、ステップ６０１で取得した表示倍率の情報に基づいて、適切な階層の分割画像データが選択される。

撮像装置１０１で取得した画像データは診断の目的から高解像、高分解能の撮像データであることが望まれる。ただし、先に説明したとおり数十億画素からなる画像データの縮小画像を表示する場合、表示の設定の変更に合わせてその都度解像度変換を行っていたのでは処理が間に合わなくなる。そのため、予め倍率の異なる何段階かの階層画像を用意しておき、用意された階層画像から表示側の要求に応じて表示倍率と近接する倍率の画像データを選択し、表示倍率に合わせて倍率の調整を行うことが望ましい。一般には画質の点でより高倍の画像データから表示データを生成することがより好ましい。

撮像が高解像に行われるため、表示用の階層画像データは、一番高解像な画像データをもとに、解像度変換手法によって縮小することで生成される。解像度変換の手法として二次元の線形な補間処理であるバイリニアの他、三次の補間式を用いたバイキュービックなどが広く知られている。

ステップ６０３では、分割画像データ間の境界の表示を行うか否かが判断される。予め合成画像を用意するのではなく、表示に用いる分割画像データを都度選択する本発明では、境界表示を行うことを前提に、行わない場合のみユーザーに表示有無を選択する構成を取ることが望ましい。

境界表示を行わない場合には、ステップ６０６に進む。分割画像データ間の境界の表示を行う場合には、次のステップ６０４に進む。

ステップ６０４では、表示データ生成部３０４で境界位置情報を含んだ画像データが生成される。具体的には、通常表示の画像データと、隣接する画像間の境界を線や領域で示した境界位置表示データを重畳することによって生成される。この際、境界位置表示データが表示用の画像データに対して優先して表示される。なお、初期状態において、分割画像データの何れの画像を優先して表示するかは予め定めた規則に従えば良い。例えば４つの分割画像を使用する場合、左右であれば右、上下であれば上、左上と右下であれば左上などである。複数の分割画像データを使用する場合は右端から左に、端まで来たら次の段（番号を付けたすぐ下の段）の右という順番に番号付けを行い、番号の若い順に優先度を高くすれば良い。このような番号付けは、ユーザーの好みに基づいて行うこともできる。たとえば、特定のユーザーの観察開始位置を含む分割画像データの優先度を最も高く設定する番号付けなどである。その他の優先度決定規則の例としては、表示画像の中心を含む分割画像データの優先順位を最も高くしておくこと、初期状態の画像が非対称な場合に、全体画像に占める割合が最も多い分割画像データの優先順位を最も高くしておくこと、といった規則を挙げることができる。

ステップ６０５では、ステップ６０４で生成された画像データが画像表示装置１０３に出力される。出力された表示用の画像データは画像表示装置１０３に表示される。表示後、ユーザーの指示によって画面のスクロール等表示する画像データの変更を起点に、以下のステップの処理、判断を実施する。

ステップ６０６では、複数の分割画像データ間の重複領域について、画像表示装置１０３に表示させる分割画像データの選択を切り替えるか、すなわち、画像表示装置１０３に表示させる画像の優先度を変更させるかを判断する。優先度の変更がない場合には、ステップ６０９に進む。優先度の変更がある場合には、ステップ６０７に進む。

ステップ６０７では、境界の表示指示があるかを判断する。境界表示の指示がある場合には、ステップ６０４に戻る。境界の指示が無い場合には、ステップ６０８に進む。なお、この処理ステップでは、ステップ６０３で境界表示の指示がなく、かつステップ６０６で優先度の変更が行われた場合に、ユーザーが変更指示を出すための準備として境界位置を明示させるためのものである。

ステップ６０８では、複数の分割画像データ間の重複領域について、画像表示装置１０３に表示させる分割画像データの選択を変更する。すなわち、このステップでは、画像表示装置１０３に表示させる重複領域の優先度が変更される。優先度の変更の詳細については別フローチャートを用いて後述する。

ステップ６０９では、優先度指示が行われないことを受けて、予め設定されている初期値が優先度として設定される。ユーザーから境界表示、優先度変更の何れの指示も出ていない状態で規定の設定値が選択されることになる。例えば、左右では左、上下では上に位置する分割画像データの優先度を高く設定する。

ステップ６１０では、ステップ６０８またはステップ６０９で規定された優先度に基づいて、画像表示装置１０３に表示する画像データが生成される。

ステップ６１１では、ステップ６１０で生成された画像表示装置１０３に表示する画像データは、データ出力部３０５を介して画像表示装置１０３等に送られる。

（優先度の変更）
図６のステップ６０８で示した優先度の変更について、図７のフローチャートを用いて説明する。

ステップ７０１では、複数の分割画像データ間の重複領域について、画像表示装置１０３に表示させる画像データの選択方法である表示モードが選択される。ここでは大きく、ユーザーによって選択された分割画像データのみの優先度を上げるモード、選択された分割画像データの優先度を上げ、かつ他の分割画像データの優先度を設定された条件で規定するモード、および選択された分割画像データの優先度を上げ、他の分割画像データの優先度を任意に指定できるモードの３つを想定する。

ステップ７０２では、選択された分割画像データのみ優先度を上げて表示させるモードを選択するかを判断する。他の表示モードが選択された場合には、ステップ７０４で更に表示条件を判断する。選択された分割画像データのみ優先度を上げる場合には、ステップ７０３に進む。

ステップ７０３では、選択された分割画像データの優先度を高くして、他の分割画像の優先度を変えないまま、重複領域の優先度が規定される。例えば、任意の分割画像データが選択された場合、上下左右４つの隣接画像データとの間には、同じく４つの重複領域が存在するが、このすべてを選択された分割画像データを用いて表示するよう規定する。

ステップ７０４では、選択した分割画像データの表示優先度を上げた上で、選択された分割画像データ以外の画像の優先度を予め設定した条件で変更させるか判断する。選択された分割画像データ以外の優先度を任意に設定させる場合はステップ７０５に進み、選択された分割画像データ以外の優先度を予め設定した条件で変更させる場合はステップ７０６に進む。

ステップ７０５では、選択された分割画像データの優先度を高くし、かつ選択された分割画像データ以外の重複領域の優先度を予め設定した条件で画像を表示するように優先度が規定される。

ステップ７０６では、選択された分割画像データの優先度を高くし、かつ選択された分割画像データ以外の重複領域の優先度を任意に選択して画像を表示するように優先度が規定される。ここで、選択された画像データ以外の重複領域の優先度を任意に選択するとは、４つの分割画像データで画像表示されている場合に、残された２番目、３番目の分割画像データに対してそれぞれ優先度を規定することを言う。４番目は必然的に最も優先度が低くなる。

（表示画面レイアウト）
図８は、本発明の画像処理装置１０２で生成した画像データを画像表示装置１０３で表示した場合の一例を示す図である。図８（ａ）は、画像表示装置１０３の表示画面のレイアウトである。表示画面は、全体ウィンドウ８０１内に、詳細観察用の撮影対象画像データの表示領域８０２、観察対象のサムネイル画像８０３、表示設定の領域８０４がそれぞれ表示されている。撮影対象画像の表示領域８０２及び観察対象のサムネイル画像８０３は、シングルドキュメントインターフェースによって全体ウィンドウ８０１の表示領域が機能領域毎に分割される形態でも、マルチドキュメントインタフェースによって各々の領域が別ウィンドウで構成される形態でも構わない。撮影対象画像データの表示領域８０２には、詳細観察用の撮影対象画像データが表示される。ここでは、ユーザーからの操作指示によって、表示領域の移動や表示倍率の変更による画像の拡大・縮小画像が表示される。サムネイル画像８０３は、撮影対象の全体画像における撮影対象の画像データの表示領域８０２中での位置や大きさを表示する。表示設定の領域８０４では、例えば、タッチパネル又はマウス４１１等の外部接続された入力デバイスからのユーザー指示により設定ボタン８０５を選択、押下して、表示設定を変更することができる。なお、設定ボタン８０５は、表示設定領域８０４内に配置したが、選択や設定の指示はメニュー画面から該当する項目を選択、指定する構成にすることも可能である。

図８（ｂ）は、複数の分割画像データから構成される撮影対象の画像データの概念図である。図８（ｂ）では、撮影対象の画像データは、重複領域を有する４個の分割画像データから構成されている。４つの画像データは、説明のため、それぞれ画像（１）〜（４）とする。それらの画像データは、斜線部で示した重複領域を有している。

図８（ｃ）は、外部から入力された優先度変更の指示により、画像（１）が選択された表示画面の模式図を示す。図８（ｃ）では、画像（１）が最も優先度が高く表示され、画像（１）と画像（２）が重複領域、画像（１）と画像（３）が重複領域、画像（１）と画像（４）が重複領域は、画像（１）の分割画像データを用いて撮影対象画像が表示される。画像（２）と画像（３）が画像（１）の次に優先表示され、画像（２）と画像（４）が重複領域については画像（２）のデータを用いて、画像（３）と画像（４）が重複領域については画像（３）のデータを用いて撮影対象画像が表示されている。画像（４）は、画像が重複領域の表示に用いられていない。なおここでは、選択された分割画像データの優先度のみを変更するモードが選択されているものとして以後の説明を行う。

図８（ｄ）は、図８（ｃ）が表示された後に、画像（２）が選択された表示画面の模式図を示す。図８（ｃ）では、画像（２）、画像（１）、画像（３）、画像（４）の順序に従って重なる画像が表示され、撮影対象の画像データが作成される。

図８（ｅ）は、図８（ｃ）が表示後に画像（２）が選択された場合、図８（ｃ）と異なる表示画面の模式図を示す。図８（ｅ）では、画像（２）が最も優先して表示され、画像（１）と画像（４）が次に優先して表示され、画像（３）は画像が重複領域の表示に用いられていない。図８（ｄ）と図８（ｅ）との違いは、境界領域の整合が取れ、境界が直接で表示されているか否かによる。

図８（ｃ）が表示後に画像（２）が選択された場合、予め選択されたモードまたは外部から入力された指示により、図８（ｄ）又は図８（ｅ）が選択されることになる。

（外部からの指示による表示の変更）
図９は、外部からの指示による表示画面の表示の変更を示す概念図である。図９（ａ）は、表示領域８０２に表示された撮影対象の画像を示す。例えばキーボード４１０やマウス４１１等の外部入力装置からの指示により、図９（ｂ）に示すように、画像中の分割画像の境目がグリッド表示される。この表示は、前述したステップ６０５の処理の結果によってもたらされる。図９（ｂ）では、図８（ｃ）で示した優先順位が付けられた４つの分割画像データの重複領域が表示され、撮影対象の画像が表示されているものとする。

図９（ｃ）は、図９（ｂ）において、撮影対象画像の右上領域をキーボード４１０やマウス４１１等で選択した場合の表示画面の変更を示したものである。図９（ｂ）では図８（ｃ）で示した優先順序で分割画像が表示されているが、図８（ｃ）において画像（２）が表示されている箇所が選択されると、図８（ｄ）又は図８（ｅ）に対応する図９（ｃ）で示す画面に変更される。変更された画像は、キーボード４１０やマウス４１１からの指示によって、確定される。または、初期の選択した段階で確定させてもよい。なお、分割画像データの境界を示すグリッドラインも優先度の変更に合わせて更新される。

本実施の形態では、分割画像データをユーザーの指示に従い切り替えて表示することで、原画像とは異なる繋ぎ合わせの画像の境界位置や領域に基づく、意図しない診断を防止することができる。

［第２実施形態］
本発明の第２の実施形態に係る画像表示システムについて図を用いて説明する。

第１実施形態では、重複領域を有する複数の分割画像に分けて撮像された分割画像データを、外部からのユーザー指示によって重複領域を表示する分割画像データを選択して、撮影対象の表示用の画像データを生成した。第２の実施形態では、重複領域を有する複数の分割画像に分けて撮影された分割画像データを、予め設定した重複領域表示の優先度に基づいて選択して、撮影対象の表示用の画像データを生成する。したがって、第２実施形態では、表示画像中の分割画像データ間の境界位置によって自動で表示させる分割画像データを選択して、撮影対象の表示用の画像データを生成する。

第２の実施形態では、第１実施形態と異なる構成以外は、第１実施形態で説明した構成を用いることができる。

（画像処理装置システムの構成）
図１６は、本発明の第２の実施形態に係る画像表示システムの装置構成の全体図である。

図１６で、本発明の画像処理装置を用いた画像表示システムは、画像サーバー１６０１、画像処理装置１０２、画像表示装置１０３から構成される。画像処理装置１０２は撮影対象の分割画像データを画像サーバー１６０１から取得し、画像表示装置１０３へ表示するための画像データを生成することができる。画像サーバー１６０１と画像処理装置１０２との間は、ネットワーク１６０２を介して、汎用Ｉ／ＦのＬＡＮケーブル１６０３で接続される。画像サーバー１６０１は、バーチャルスライド装置である撮像装置１０１によって撮像された分割画像データを保存する大容量の記憶装置を備えたコンピュータである。画像サーバー１６０１は、分割された画像を一つのまとまりとして画像サーバー１６０１に接続されたローカルストレージに保存していても良いし、それぞれ分割してネットワーク上の何処かに存在するサーバー群（クラウド・サーバ）の形態をとり、各分割画像データの実体とリンク情報を分けて持っていても良い。分割画像データ自体、一つのサーバーに保存しておく必要もない。なお、画像処理装置１０２および画像表示装置１０３は第１の実施態様の撮像システムものと同様である。

図１６の例では、画像サーバー１６０１と画像処理装置１０２と画像表示装置１０３の３つの装置により画像処理システムが構成されているが、本発明はこの構成に限定されるものではない。例えば、画像表示装置が一体化した画像処理装置を用いてもよいし、画像処理装置１０２の持つ機能の一部を画像サーバー１６０１に組み込んでもよい。また逆に、画像サーバー１６０１や画像処理装置１０２の機能を分割して複数の装置によって実現してもよい。

（画像処理装置の構成）
図１０は、本発明の画像処理装置１０２の機能構成を示すブロック図である。

画像処理装置１０２は、概略、データ入力部１００１、記憶保持部１００２、分割画像データ取得部１００３、表示データ生成部１００４、表示データ出力部１００５、表示装置情報取得部１００６、優先度指定部１００７から構成される。

記憶保持部１００２は、外部装置である画像サーバー１６０１から取得した、撮影対象を分割して撮像することにより得られたＲＧＢのカラー分割画像データが、データ入力部１００１を介して取り込まれ、記憶、保持される。カラー画像データには、画像データだけでなく、位置情報も含まれる。ここで、位置情報とは、分割画像データが撮影対象のどの部分を撮像したものかの情報である。例えば、位置情報は、撮像時に分割画像データとともにステージ２０２駆動時のＸＹ座標を記録することにより取得することができる。

分割画像データ取得部１００３は、記憶保持部１００２に記憶保持された分轄画像データ、表示装置情報取得部１００６からの画像表示装置情報及び表示領域などのデータを取得する。また、分割画像取得部１００３は、位置情報を含む取得した分割画像データを表示データ生成部１００４へ送信する。

優先度指定部１００７は、分割画像データが重なり合う領域について、表示装置情報取得部から送られてきた情報や予め規定された情報に基づいて、いずれの分割画像データを用いるかを選択する。画像表示装置１０３から取得する情報は、ユーザー指示による表示画面の移動（画面スクロール）の他、表示倍率変化である拡大、縮小表示の状態を示す値である。優先度指定部１００７は、この情報から分割画像データ間の境界位置の変化を算出し、算出した結果である更新された表示画面上の境界位置によって分割画像データ間の重複領域の表示優先度を規定された手順、方法によって切り替えることになる。

表示データ生成部１００４は、分割画像データ取得部１００３から送られてきた分割画像データを、優先度指定部１００７で指定された優先度に基づいて、表示データを生成する。生成された表示データは、表示データ出力部１００５を介して、表示画像データとして外部のモニター等に送られる。

（画像の優先度の自動切り替え）
本発明の画像処理装置で行われるが画像の優先度の自動切り替えの概念について、図１１を用いて説明する。

図１１（ａ）では、撮影対象の画像データが４つの分割画像データを用いて構成されている例を示している。便宜上、４つの分割画像データを左上から右下へ向けて画像（１）、画像（２）、画像（３）および画像（４）と番号を付与する。図１１（ａ）では、分割画像データ間の境界の内、表示の優先度が高く設定されている分割画像データと隣接する分割画像データ間の境界線を実線で、逆に重複領域として表示されていない側の境界線を点線で示している。図１１（ａ）では、画像（１）が第一優先、画像（２）と（３）が二番目の優先度、画像（４）が最も低い優先度で設定されているものとする。このため、画像（１）と画像（２）の境界は、画像（１）の端が実線で示される境界線となる。

図１１（ｂ）は、ユーザーによる指示、操作によって表示画面を右から左にスクロールして、図１１（ａ）では右側上方に位置する画像（２）を、画面の中央部分に表示させたときの表示画面の変更を示す。図１１（ｂ）では、重複領域を有する複数の分割画像に分けて撮像された分割画像データを、予め設定した表示条件に基づいて選択して、表示画面に表示されている。図１１（ｂ）では、図１１（ａ）で表示されている分割画像データ間の境界が、矢印で示すように変更されている。ここでは、画像（１）と画像（２）の境界位置が変わって、画像（２）が優先して表示されている。

また、図１１（ｃ）では、図１１（ａ）から右下方向に表示画面の位置を移動させたときの変更後の表示画面であり、分割画像データ間の境界が矢印で示すように、すなわち画像（４）の表示が優先されるように変更されている。

さらに、図１１（ｄ）では、図１１（ａ）から下方に表示画像を移動させたときの変更後の表示画面であり、分割画像データ間の境界が矢印で示すように、すなわち画像（３）の表示が優先されるように変更されている。

図１１で示す画像の優先度の自動切り替えの条件としては、下記を想定している。第１の条件は、分割画像データ間の境界位置が表示画面の中央を超えた場合である。この場合は、図１１（ａ）の画像（１）と（２）の境界である実線で示される境界位置が、表示画面上の中央部を超えた場合に重複領域表示の優先度を変更し、表示画像が自動で切り替わる。第２の条件は、分割画像データ間の重複領域幅の中央部が表示画面の中央位置を超えた場合である。図１１（ａ）の画像（１）と（２）の境界である実線と点線のちょうど中間の位置が、表示領域に示される画像の中央位置を超えたときに、表示の優先度を変更し、重複領域の表示を切り替える。画像の第３の表示条件は、分割画像データの表示割合が一定の値を超えた場合があげられる。一定の値としては、全体画像に占める分割画像データの割合が２５％以上５０％以下の値を設定することができる。例えば、図１１（ａ）から（ｃ）へ表示画面が変化した場合、画像（４）の割合が２５％を超えたところで画像（４）が優先的に表示されるようにする。画像（２）と（４）および画像（３）と（４）の境界位置がそれに伴って切り替えられる。具体的にはこれまで実線で示されていた境界位置が点線に、点線で示されていた境界値が実線に変更となる。第４の条件は、表示画像の中央部に位置する分割画像データの表示領域内に占める割合によって、優先度を変更する場合である。例えば、表示画像が９つの分割画像データで構成されている場合に、中央の分割画像データを優先表示させることができる。

（画像データの生成）
本発明の画像処理装置における画像データの生成の流れを図１２のフローチャートを用いて説明する。

ステップ１２０１では、画像表示装置１０３であるディスプレイの表示エリアのサイズ情報（画面解像度）の他、現在表示されている画像の表示倍率の情報を取得する。表示エリアのサイズ情報は、生成する表示データの領域の大きさを決める際に用いる。表示倍率は、階層画像中から何れかの画像データを選択する際に必要となる情報である。

ステップ１２０２では、データ入力部１００１で取り込まれて記憶保持部１００２に記憶されている複数の分割画像データの中から、表示画像データの生成に必要な分割画像データを取得する。異なる倍率ごとの分割画像データが階層に記憶保持されている場合には、ステップ１２０１で取得した表示領域情報に基づいて、適切な階層の分割画像データが選択される。

ステップ１２０３からステップ１２０５までの工程は、第１の実施形態の図６のステップ６０３からステップ６０５までの処理内容と同じなため説明は省略する。

ステップ１２０６では、スクロール等の画面表示の変更があったか否かを判断する。変更が合った場合はステップ１２０７へ進む。ない場合はタイマー等で適度な時間経過を判断した後、再度ステップ１２０６の画面表示変更判断を行う。

ステップ１２０７では、表示画面の変更に伴う分割画像データ間の重複領域の優先度変更が必要か判断する。必要かどうかの判断は、図１１で説明した条件との比較によって行う。優先度の変更が無い場合にはスッテップ１２０９へ進み、優先度の変更がある場合にはステップ１２０８に進む。

ステップ１２０８では、複数の分割画像データ間の重複領域について、条件に従い、重複領域選択の優先度を適宜修正する。優先度の変更の詳細については図１３のフローチャートを用いて後述する。

ステップ１２０９では、複数の分割画像データ間の重複領域について、初期条件、もしくは現在の優先度が設定される。

ステップ１２１０では、ステップ１２０８またはステップ１２０９で規定された優先度に基づいて、画像表示装置１０３に表示用の画像データが生成される。具体的には、優先度の高い分割画像データの重複領域が表示されるように、表示用の画像データが生成される。

ステップ１２１１では、ステップ１２１０で生成された表示す用の画像データを、表示データ出力部３０５を介して画像表示装置１０３等に送られる。

（優先度の変更）
図１２のステップ１２０８で示した重複領域の表示優先度の変更について、図１３のフローチャートを用いて説明する。図１３では、スクロール方向を考慮して分割画像データ間の重複領域表示の優先度を高くする。優先度の変更は、図１１で説明した通り、境界線の位置変化と任意の分割画像データの表示領域中の表示割合に基づいて行われる。

ステップ１３０１では、複数の分割画像データ間の重複領域を、画像表示装置に表示させる表示モードが選択される。

ステップ１３０２では、境界位置の変更によって表示領域中央に位置する分割画像データの表示優先度を上げるか否かが判断される。表示画面領域の中央に位置する分割画像の優先度を高くしない場合にはステップ１３０４に進み、優先度を高くする場合にはステップ１３０３に進む。ちなみに、画面の分割数が４分割の場合には、何れのモードを選択しても画面表示は変わらない。分割数がそれ以上となった場合には、表示される重複領域が変わる。

ステップ１３０３では、スクロール方向にある分割画像データの表示優先度を高くするとともに、表示画面領域の中央に位置する分割画像データの表示優先度を高くするように優先度が変更される。

ステップ１３０４では、スクロール方向にある分割画像データの表示優先度を高くするとともに、表示画面領域に対する分割画像データを表示する領域の割合が規定の値を超えた画像に対して表示優先度を高くするように優先度が変更される。

本実施の形態では、分割画像データを表示画面の更新状況を把握して自動で優先度を変更し、重複領域を切り替えて表示することで、原画像とは異なる繋ぎ合わせの画像の境界位置や領域に基づく、精度の高い診断がし難くなることを防止することができる。

［第３実施形態］
第３の実施形態では、分割画像データを選択して生成した表示用の画像データと、分割画像データをつなぎ合わせた合成画像の表示データとを用途に応じて選択して表示する画像処理装置を用いる。特に表示倍率が低倍の場合は合成画像を、高倍の場合は重複領域の切り替えで画像を表示する。表示倍率が小さい場合には分割画像データを補間処理等で合成した後、解像度変換による縮小画像を生成し、表示用の画像データとして用いる。表示倍率が大きい場合には、これまで説明してきたとおり、分割画像データの選択により表示用の画像データを生成する。これにより、低倍表示時の画面スクロールおよび表示倍率変更をスムーズに行うことができるとともに、高倍時には分割画像データ間の境界部分の画像に基づく意図しない診断を防止することができる。

（画像処理装置の構成）
図１４は、第３実施形態の画像処理装置１０２の機能構成を示すブロック図である。

画像処理装置１０２は、概略、データ入力部１４０１、記憶保持部１４０２、分割画像データ取得部１４０３、合成画像生成部１４０４、表示画像選択部１４０５、データ出力部１４０６、優先度指定部１４０９から構成される。

記憶保持部１４０２は、外部装置であるバーチャルスライド装置等に代表される撮像装置１０１または画像サーバー１６０１から取得した、撮影対象を分割して撮像することにより得られたＲＧＢのカラー分割画像データが、データ入力部１４０１を介して取り込まれ、記憶、保持される。カラー画像データには、画像データだけでなく、位置情報も含まれる。位置情報とはこれまで説明してきたものと同様に、分割画像データが撮影対象全体の画像領域中のどの部分を撮像したものかの情報である。

分割画像取得部１４０３は、記憶保持部１４０２に記憶保持された分割画像データ、表示装置情報取得部１４０８からの画像表示装置情報及び表示領域などのデータを取得する。

合成画像生成部１４０４では、撮影対象を分割して撮像することにより得られたカラー画像データ（分割画像データ）に対して、それぞれの分割画像データの位置情報に基づいて、撮影対象の合成画像データを生成する。合成処理の方法としては、複数の部分画像データを、繋ぎ合わせる、重畳する、アルファブレンディングする、補間処理により滑らかに繋げるものを含む。重ね合せの複数の画像データを繋ぎ合わせる方法としては、ステージの位置情報に基づいて位置合わせをして繋ぐ方法や、複数の分割画像の対応する点又は線を対応させて繋ぐ方法、分割画像データの位置情報に基づいて繋ぐ方法を含む。重畳するとは、画像データを重ね合わせることを広く意味する。複数の画像データを重畳する方法としては、重複する画像データを有する領域において、複数の画像データの一部又は全部を重ねる場合を含む。アルファブレンディングとは、２つの画像を係数（α値）により合成することをいう。補間処理により滑らかに繋ぐ方法には、０次補間、線形補間、高次補間で処理することを含む。画像を滑らかに繋ぐためには、高次補間で処理することが好ましい。

表示データ生成部１４１０では、ユーザー指示入力部１４０７および表示装置情報取得部１４０８で取得した情報に基づいて、優先度指定部１４０９が指定した分割画像データの優先指示と合わせて表示用の画像データが生成される。

表示画像選択部１４０５では、合成画像生成部１４０４で生成された合成画像データと、表示データ生成部１４１０で生成された分割画像データを合成処理することなく優先度に基づき並べて生成された表示用の画像データの内、いずれを表示するかが選択される。選択された表示用の画像データは、表示データ出力部１４０６を介して、表示画像データとして外部のモニター等に送られる。

（画像データの生成）
本発明の画像処理装置における画像データの生成の流れを図１５のフローチャートを用いて説明する。

ステップ１５０１では、画像表示装置１０３であるディスプレイの表示エリアのサイズ情報（画面解像度）の他、現在表示されている画像の表示倍率の情報を取得する。表示エリアのサイズ情報は、生成する表示データの領域の大きさを決める際に用いる。表示倍率は、階層画像中から何れかの画像データを選択する際に必要となる情報である。

ステップ１５０２では、データ入力部１４０１で取り込まれて記憶保持部１４０２に記憶されている複数の分割画像データの中から、表示画像データの生成に必要な分割画像データを取得する。異なる倍率ごとの分割画像データが階層に記憶保持されている場合には、ステップ１５０１で取得した表示領域情報に基づいて、適切な階層の分割画像データが選択される。また、ステップ１５０３で行う合成画像の生成に必要な分割画像データを取得する。

ステップ１５０３では、分割画像データのデータ間で合成処理をして、合成画像データを生成する。

ステップ１５０４では、表示画面の変更に伴う分割画像データ間の重複領域の優先度変更が必要か判断する。優先度の変更が無い場合にはスッテップ１５０６へ進み、優先度の変更がある場合にはステップ１５０５に進む。

ステップ１５０５では、複数の分割画像データ間の重複領域について、条件またはユーザー指示に従い、重複領域選択の優先度を変更する。分割画像データの優先度変更は、第１の実施形態のように外部からの指示によるものでも、第２の実施形態のように予め規定した条件に基づいて行っても良い。

ステップ１５０６では、複数の分割画像データ間の重複領域について、初期条件、もしくは現在の優先度が設定される。

ステップ１５０７では、規定された優先度に基づいて、画像表示装置１０３に表示用の画像データが生成される。ここで生成された表示用の画像データは、重複領域の表示優先度をもとに生成された分割画像データを並べた画像データである。

ステップ１５０８では、表示用の画像データとして、ステップ１５０３で生成された合成画像と、ステップ１５０７で生成された優先度規定の表示画像の内、何れの表示画像データを選択するかを判断する。表示用の画像データとして合成画像データを選択する場合はステップ１５１０に、これまで説明してきた優先度に基づき境界位置を変更し、分割画像データを並べた表示用の画像データを選択する場合はステップ１５０９に進む。

ステップ１５０９では、画像表示装置１０３に表示させる画像データとして、ステップ１５０７で生成された分割画像データを選択して生成した表示用の画像データが選択される。

ステップ１５１０では、画像表示装置１０３に表示させる画像データとして、ステップ１５０３で生成された合成画像データが選択される。

ステップ１５１１では、スッテップ１５０９または１５１０で選択された表示用の画像データが、画像表示装置１０３に対して出力される。

本実施の形態では、分割画像データを選択して生成した表示用の画像データと、分割画像データをつなぎ合わせた合成画像の表示データとを用途に応じて選択して表示することで、低倍表示時の画面スクロールおよび表示倍率変更をスムーズに行うことができるとともに、高倍時には分割画像データ間の境界部分の画像に基づく意図しない診断を防止することができる。

［その他の実施形態］
本発明の目的は、以下によって達成されてもよい。すなわち、前述した実施形態の機能の全部または一部を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが、読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが、実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

また、第１から第３の実施形態で説明してきた構成をお互いに組み合わせることもできる。例えば、画像処理装置が撮像装置と画像サーバーの両方に接続されており、処理に用いる画像をいずれの装置から取得できるような構成にしてもよい。その他、上記各実施形態における様々な技術を適宜組み合わせることで得られる構成も本発明の範疇に属する。

１０１ 撮像装置
１０２ 画像処理装置
１０３ 画像表示装置
３０３ 分割画像取得部
３０４ 表示データ生成部
３０６ ユーザー指示入力部
３０７ 優先度指示部
１００３ 分割画像データ取得部
１００４ 表示データ生成部
１００７ 優先度指定部
１４０３ 分割画像データ取得部
１４０４ 合成画像生成部
１４０５ 表示画像選択部
１４０９ 優先度指定部
１４１０ 表示データ生成部

また、本発明は、撮像範囲が互いに重複領域を有するように撮像された撮影対象の分割画像データを取得する画像データ取得工程と、
前記重複領域について、前記複数の分割画像データから予め設定された条件に基づいて表示させる画像データを自動で選択する画像データ選択工程と、
前記重複領域で、前記画像データ選択工程で選択された前記分割画像データを用いて
前記撮影対象の画像データを生成する表示画像データ生成工程と、を有することを特徴とする画像処理方法に関する。

また、本発明は、撮像範囲が互いに重複領域を有するように撮像された、撮影対象の分割画像データを取得する画像データ取得ステップと、
前記重複領域について、前記複数の分割画像データから予め設定された条件に基づいて表示させる画像データを選択する画像データ選択ステップと、
前記重複領域で、前記画像データ選択ステップで選択された前記分割画像データを用いて
前記撮影対象の画像データを生成する表示画像データ生成ステップと、
をコンピュータに実行させることを特徴とするプログラムに関する。

また、本発明の画像処理方法は、重複領域を有する複数の分割画像に分けて撮影された、撮影対象の分割画像データを取得する画像データ取得工程と、重複領域について、前記複数の分割画像データから表示させる画像データを自動で選択する画像データ選択工程と、重複領域で、前記画像データ選択工程で選択された前記分割画像データを用いて前記撮影対象の画像データを生成する表示画像データ生成工程と、を有する。

また、本発明のプログラムは、重複領域を有する複数の分割画像に分けて撮影された、撮影対象の分割画像データを取得する画像データ取得ステップと、重複領域について、前記複数の分割画像データから表示させる画像データを選択する画像データ選択ステップと、重複領域で、前記画像データ選択ステップで選択された前記分割画像データを用いて前記撮影対象の画像データを生成する表示画像データ生成ステップと、をコンピュータに実行させる。

撮像装置１０１は、二次元方向に位置の異なる複数枚の二次元画像を撮像し、デジタル画像を出力する機能を持つバーチャルスライド装置を用いることができる。二次元画像の取得にはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の固体撮像素子が用いられる。なお、バーチャルスライド装置の代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置１０１を構成することもできる。

ＡＦＥ２０９は、撮像センサ２０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ２０９は後述するＨ／Ｖドライバ、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｅｒ）、アンプ、ＡＤ変換器およびタイミングジェネレータによって構成される。Ｈ／Ｖドライバは、撮像センサ２０８を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。ＣＤＳは、固定パターンのノイズを除去する二重相関サンプリング回路である。アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。ＡＤ変換器は、アナログ信号をデジタル信号に変換する。撮像装置最終段での出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはＲＡＷデータと呼ばれる。ＲＡＷデータは後段の現像処理ユニット２１６で現像処理される。タイミングジェネレータは、撮像センサ２０８のタイミングおよび後段の現像処理ユニット２１６のタイミングを調整する信号を生成する。

分割画像データ取得部３０３は、記憶保持部３０２に記憶保持された分割画像データを、表示装置情報取得部３０８から取得した画像表示装置情報、表示領域サイズ、および表示データ生成部３０４からの制御情報に基づいて取得する。また、分割画像データ取得部３０３は、取得した分割画像データを表示データ生成部３０４へ送信する。

表示データ生成部３０４は、分割画像データ取得部３０３から送られてきた分割画像データを、優先度指定部３０７で指定された優先度に基づいて、表示データを生成する。生成された表示データは、データ出力部３０５を介して、表示用の画像データとして外部のモニター等に出力する。

データ入出力Ｉ／Ｆ４０５には、ＬＡＮ Ｉ／Ｆ４０６を介して画像サーバー１００１が、グラフィクスボード４０７を介して画像表示装置１０３が、外部装置Ｉ／Ｆ４０８を介してバーチャルスライド装置やデジタル顕微鏡に代表される撮像装置１０１が、また、キーボード４１０やマウス４１１が操作Ｉ／Ｆ４０９を介してそれぞれ接続される。

図５（ａ）では、分割画像の取得について説明する。図５（ａ）の図の上は撮影対象である。図５（ａ）の図の下のように、重複領域を有して撮影対象を２つの領域である画像（１）と画像（２）に分けて撮影し、分割画像データを取得する。

ステップ６０２では、データ入力部３０１で取り込まれて記憶保持部３０２に記憶されている分割画像データの中から、必要な数の分割画像データを分割画像取得部３０３が取得する。異なる倍率ごとの分割画像データが階層に記憶保持されている場合には、ステップ６０１で取得した表示倍率の情報に基づいて、適切な階層の分割画像データが選択される。

図８（ｄ）は、図８（ｃ）が表示された後に、画像（２）が選択された表示画面の模式図を示す。図８（ｄ）では、画像（２）、画像（１）、画像（３）、画像（４）の順序に従って重なる画像が表示され、撮影対象の画像データが作成される。

図８（ｅ）は、図８（ｃ）が表示後に画像（２）が選択された場合、図８（ｃ）と異なる表示画面の模式図を示す。図８（ｅ）では、画像（２）が最も優先して表示され、画像（１）と画像（４）が次に優先して表示され、画像（３）は画像が重複領域の表示に用いられていない。図８（ｄ）と図８（ｅ）との違いは、境界領域の整合が取れ、境界が直線で表示されているか否かによる。

（画像表示システムの構成）
図１６は、本発明の第２の実施形態に係る画像表示システムの装置構成の全体図である。

図１６の例では、画像サーバー１６０１と画像処理装置１０２と画像表示装置１０３の３つの装置により画像表示システムが構成されているが、本発明はこの構成に限定されるものではない。例えば、画像表示装置が一体化した画像処理装置を用いてもよいし、画像処理装置１０２の持つ機能の一部を画像サーバー１６０１に組み込んでもよい。また逆に、画像サーバー１６０１や画像処理装置１０２の機能を分割して複数の装置によって実現してもよい。

分割画像データ取得部１００３は、記憶保持部１００２に記憶保持された分割画像データ、表示装置情報取得部１００６からの画像表示装置情報及び表示領域などのデータを取得する。また、分割画像データ取得部１００３は、位置情報を含む取得した分割画像データを表示データ生成部１００４へ送信する。

図１１で示す画像の優先度の自動切り替えの条件としては、下記を想定している。第１の条件は、分割画像データ間の境界位置が表示画面の中央を超えた場合である。この場合は、図１１（ａ）の画像（１）と（２）の境界である実線で示される境界位置が、表示画面上の中央部を超えた場合に重複領域表示の優先度を変更し、表示画像が自動で切り替わる。第２の条件は、分割画像データ間の重複領域幅の中央部が表示画面の中央位置を超えた場合である。図１１（ａ）の画像（１）と（２）の境界である実線と点線のちょうど中間の位置が、表示領域に示される画像の中央位置を超えたときに、表示の優先度を変更し、重複領域の表示を切り替える。画像の第３の表示条件は、分割画像データの表示割合が一定の値を超えた場合があげられる。一定の値としては、全体画像に占める分割画像データの割合が２５％以上５０％以下の値を設定することができる。例えば、図１１（ａ）から（ｃ）へ表示画面が変化した場合、画像（４）の割合が２５％を超えたところで画像（４）が優先的に表示されるようにする。画像（２）と（４）および画像（３）と（４）の境界位置がそれに伴って切り替えられる。具体的にはこれまで実線で示されていた境界位置が点線に、点線で示されていた境界位値が実線に変更となる。第４の条件は、表示画像の中央部に位置する分割画像データの表示領域内に占める割合によって、優先度を変更する場合である。例えば、表示画像が９つの分割画像データで構成されている場合に、中央の分割画像データを優先表示させることができる。

ステップ１２０６では、スクロール等の表示画面の変更があったか否かを判断する。変更が合った場合はステップ１２０７へ進む。ない場合はタイマー等で適度な時間経過を判断した後、再度ステップ１２０６の表示画面変更判断を行う。

ステップ１３０２では、境界位置の変更によって表示領域中央に位置する分割画像データの表示優先度を上げるか否かが判断される。表示画面領域の中央に位置する分割画像の優先度を高くしない場合にはステップ１３０４に進み、優先度を高くする場合にはステップ１３０３に進む。ちなみに、画面の分割数が４分割の場合には、何れのモードを選択しても表示画面は変わらない。分割数がそれ以上となった場合には、表示される重複領域が変わる。

画像処理装置１０２は、概略、データ入力部１４０１、記憶保持部１４０２、分割画像データ取得部１４０３、合成画像生成部１４０４、表示画像選択部１４０５、表示データ出力部１４０６、優先度指定部１４０９から構成される。

分割画像データ取得部１４０３は、記憶保持部１４０２に記憶保持された分割画像データ、表示装置情報取得部１４０８からの画像表示装置情報及び表示領域などのデータを取得する。

１０１ 撮像装置
１０２ 画像処理装置
１０３ 画像表示装置
３０３ 分割画像データ取得部
３０４ 表示データ生成部
３０６ ユーザー指示入力部
３０７ 優先度指示部
１００３ 分割画像データ取得部
１００４ 表示データ生成部
１００７ 優先度指定部
１４０３ 分割画像データ取得部
１４０４ 合成画像生成部
１４０５ 表示画像選択部
１４０９ 優先度指定部
１４１０ 表示データ生成部

Claims (11)

1. 撮像範囲が互いに重複領域を有するように撮像された、
   撮影対象の分割画像データに基づいて前記撮影対象の表示用の画像データを生成する画像処理装置であって、
   前記複数の分割画像データを取得する画像データ取得部と、
   前記重複領域について、予め設定された条件に基づいて前記複数の分割画像データから
   表示させる画像データを自動で選択する画像データ選択部と、
   前記重複領域を、前記画像データ選択部で選択された前記分割画像データを用いて
   画像表示装置に表示させる表示制御部と、
   を有することを特徴とする画像処理装置。
2. 前記予め設定された条件は、画像表示装置に表示させる前記分割画像データの境界位置の変化に基づくものであることを特徴とする請求項１に記載の画像処理装置。
3. 前記予め設定された条件は、画像表示装置に表示させる前記分割画像データの表示されている割合の変化に基づくことを特徴とする請求項１に記載の画像処理装置。
4. 前記画像処理装置は、
   バーチャルスライドシステムに用いることを特徴とする請求項１に記載の画像処理装置。
5. 前記画像データ選択部は、外部から入力されたユーザーからの指示によっても前記分割画像データを選択できることを特徴とする請求項１又は４に記載の画像処理装置。
6. 前記画像処理装置は、前記重複領域について、
   前記複数の分割画像データから表示させる画像データを選択して生成された撮影対象の画像データと、前記複数の分割画像を合成して生成された撮影対象の合成画像データと、のいずれかを表示させるべく切り替える切り替え部を更に有することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 少なくとも、画像処理装置と画像表示装置を有する画像表示システムにおいて、
   前記画像処理装置は、請求項１乃至６のいずれか一項に記載の画像処理装置であって、
   前記画像表示装置は、前記画像処理装置から送られてくる撮影対象の画像データに基づいて、分割画像を選択して表示することを特徴とする画像表示システム。
8. 前記表示システムは、表示されている前記分割画像の境界を表示することを特徴とする請求項７に記載の画像表示システム。
9. 撮像範囲が互いに重複領域を有するように撮像された撮影対象の分割画像データを取得する画像データ取得工程と、
   前記重複領域について、前記複数の分割画像データから予め設定された条件に基づいて
   表示させる画像データを自動で選択する画像データ選択工程と、
   前記重複領域で、前記表示画像データ選択工程で選択された前記分割画像データを用いて
   前記撮影対象の画像データを生成する表示画像データ生成工程と、
   を有することを特徴とする画像処理方法。
10. 撮像範囲が互いに重複領域を有するように撮像された、撮影対象の分割画像データを取得する画像データ取得ステップと、
    前記重複領域について、前記複数の分割画像データから予め設定された条件に基づいて
    表示させる画像データを選択する画像データ選択ステップと、
    前記重複領域で、前記表示画像データ選択工程で選択された前記分割画像データを用いて
    前記撮影対象の画像データを生成する表示画像データ生成ステップと、
    をコンピュータに実行させることを特徴とするプログラム。
11. 請求項１０記載のプログラムを記録したコンピュータが読み取り可能な記憶媒体。

Images