JP2013200640A - 画像処理装置、画像処理システム、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】 応答性の優れた動作ができるように階層画像データを処理する画像処理装置を提供すること。
【解決手段】 解像度が異なる複数の階層画像のデータから表示画像のデータを生成する画像処理装置は、スクロール要求または倍率変更要求を検知する検知部と、前記要求に基づいて前記表示画像のデータを生成する表示画像生成部と、を備える。前記表示画像生成部は、前記複数の階層画像と解像度が異なる前記表示画像のデータを生成する場合に、所定値を基準として前記要求が高速要求か低速要求かを決定し、前記要求が高速要求であると決定された場合には、前記複数の階層画像の中の該表示画像よりも低解像度の階層画像のデータを拡大処理して、該表示画像のデータを生成し、前記要求が低速要求であると決定された場合には、前記複数の階層画像の中の該表示画像よりも高解像度の階層画像のデータを縮小処理して、該表示画像のデータを生成する。
【選択図】 図９

Description

本発明は、画像処理装置、画像処理システム、画像処理方法、およびプログラムに関する。

プレパラート上の試料をデジタル顕微鏡で撮像することでバーチャル・スライド画像を取得し、これをモニターに表示して観察することが可能なバーチャル・スライドシステムが注目されている（特許文献１）。

また、バーチャル・スライド画像のような高精細、高解像の画像データの構造として、異なる解像度の画像を階層構造で表現することが知られている（特許文献２）。

また、自然なスクロール表示と高速スクロールとを実現する画像処理技術が知られている（特許文献３）。

特開２０１１−１１８１０７号公報 特開２０１０−８７９０４号公報 特開２０１１−１９８２４９号公報

特許文献２で示された階層構造に表示画像の解像度の画像データがない場合には、階層画像データから表示画像を生成しなければならない、という画像構造上の特徴がある。そのため、特許文献３で提示された技術を適用することで自然なスクロール表示はできるが、高速スクロールの実現が困難であるという課題があった。

特許文献２では、階層構造に表示画像の解像度の画像データがない場合には近傍の階層の画像データを用いる形態を示している。この場合、高速スクロールでの画像データの読み出し動作に時間がかかり、応答性の良いスクロール動作が必ずしもできない事態が発生するという課題があった。

そこで、本発明は、応答性の優れた動作ができるように階層画像データを処理する画像処理装置を提供することを目的とする。

本発明の一側面としての画像処理装置は、解像度が異なる複数の階層画像のデータから表示画像のデータを生成する画像処理装置であって、スクロール要求または倍率変更要求を検知する検知部と、前記要求に基づいて前記表示画像のデータを生成する表示画像生成部と、を備え、前記表示画像生成部は、前記複数の階層画像と解像度が異なる前記表示画像のデータを生成する場合に、所定値を基準として前記要求が高速要求か低速要求かを決定し、前記要求が高速要求であると決定された場合には、前記複数の階層画像の中の該表示画像よりも低解像度の階層画像のデータを拡大処理して、該表示画像のデータを生成し、前記要求が低速要求であると決定された場合には、前記複数の階層画像の中の該表示画像よりも高解像度の階層画像のデータを縮小処理して、該表示画像のデータを生成することを特徴とする。

本発明のその他の側面については、以下で説明する実施の形態で明らかにする。

本発明の一側面としての画像処理装置によれば、応答性の優れた動作ができるように階層画像データを処理できる。

本発明に係る画像処理システムの装置構成の全体図。 本発明に係る撮像装置の機能ブロック図。 本発明に係る画像処理装置のハードウェア構成図。 本発明に係る画像処理装置の制御部の機能ブロック図。 本発明に係る階層画像データの構造を示す模式図。 本発明に係る表示領域を明示した階層画像データの模式図。 本発明に係る階層画像データ取得方法を説明するフローチャート。 本発明に係る表示候補画像データの生成方法を説明するフローチャート。 本発明に係るスクロール要求に対する画像データ処理方法を説明するフローチャート。 本発明に係る表示画像データ転送方法を説明するフローチャート。 本発明に係るＰＯＩ情報処理機能を追加した画像処理装置の機能ブロック図。 本発明に係るＰＯＩ情報処理機能を追加した表示画像データ出力を説明するフローチャート。 本発明に係る深度構造を有する階層画像データの模式図。 本発明に係る深度画像の合焦度を説明する模式図。 本発明に係る高速スクロール要求に対する低合焦画像データ処理方法を説明するフローチャート。 本発明に係る低速スクロール要求に対する画像データ処理方法を説明するフローチャート。 本発明に係る高速スクロール要求に対する表示画像データ出力方法を説明するフローチャート。 本発明に係るスクロール画像。 本発明に係るポップアップ表示。

以下、図面を参照しながら本発明の実施の形態を説明する。

本実施例の画像処理システムについて、図１を用いて説明する。

図１は、本実施例の画像処理システムであり、撮像装置１０１、画像処理装置１０２、表示装置１０３、データサーバ１０４から構成され、撮像対象となる標本の２次元画像を取得し表示する機能を有するシステムである。撮像装置１０１と画像処理装置１０２との間は、専用もしくは汎用Ｉ／Ｆのケーブル１０５で接続され、画像処理装置１０２と表示装置１０３の間は、汎用のＩ／Ｆのケーブル１０６で接続される。データサーバ１０４と画像処理装置１０２との間は、ネットワーク１０７を介して、汎用Ｉ／ＦのＬＡＮケーブル１０８で接続される。

撮像装置１０１は、２次元の平面方向（ＸＹ方向）に位置の異なる複数枚の２次元画像を撮像し、デジタル画像を出力する機能を持つバーチャル・スライド装置（バーチャルスライドスキャナ）である。２次元画像の取得にはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子が用いられる。なお、バーチャル・スライド装置の代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置１０１を構成することもできる。

画像処理装置１０２は、撮像装置１０１から取得した複数枚の原画像データから、表示装置１０３に表示するデータを、原画像データをもとにユーザからの要求に応じて生成する機能等を持つ装置である。画像処理装置１０２は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部を含む各種Ｉ／Ｆなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。記憶装置は、ハードディスクドライブなどの大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、ＯＳ（オペレーティングシステム）などが格納されている。上述した各機能は、ＣＰＵが記憶装置からＲＡＭに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現される。操作部は、キーボードやマウスなどにより構成され、操作者が各種の指示を入力するために利用される。

表示装置１０３は、画像処理装置１０２が演算処理した結果である観察用画像を表示するディスプレイであり、ＣＲＴや液晶ディスプレイ等により構成される。

データサーバ１０４は、ユーザが標本を診断する際の指針となる診断基準情報（診断基準に関わるデータ）が格納されているサーバである。診断基準情報は病理診断の現状に合わせて、随時、更新される。データサーバ１０４は、その診断基準情報の更新に合わせて、その格納内容を更新する。診断基準情報については図８を用いて後述する。

図１の例では、撮像装置１０１、画像処理装置１０２、表示装置１０３とデータサーバ１０４の４つの装置により撮像システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、表示装置と一体化した画像処理装置を用いてもよいし、画像処理装置の機能を撮像装置に組み込んでもよい。また撮像装置、画像処理装置、表示装置、データサーバの機能を１つの装置で実現することもできる。また逆に、画像処理装置等の機能を分割して複数の装置によって実現してもよい。

図２は、撮像装置１０１の機能構成を示すブロック図である。撮像装置１０１は、概略、照明ユニット２０１、ステージ２０２、ステージ制御ユニット２０５、結像光学系２０７、撮像ユニット２１０、現像処理ユニット２１９、プレ計測ユニット２２０、メイン制御系２２１、外部装置Ｉ／Ｆ２２２から構成される。

照明ユニット２０１は、ステージ２０２上に配置されたスライド２０６に対して均一に光を照射する手段であり、光源、照明光学系、および光源駆動の制御系から構成される。ステージ２０２は、ステージ制御ユニット２０５によって駆動制御され、ＸＹＺの３軸方向への移動が可能である。スライド２０６は、観察対象となる組織の切片や塗抹した細胞をスライドガラス上に貼り付け、封入剤とともにカバーガラスの下に固定した部材である。

ステージ制御ユニット２０５は、駆動制御系２０３とステージ駆動機構２０４から構成される。駆動制御系２０３は、メイン制御系２２１の指示を受け、ステージ２０２の駆動制御を行う。ステージ２０２の移動方向、移動量などは、プレ計測ユニット２２０によって計測した標本の位置情報および厚み情報（距離情報）と、必要に応じてユーザからの指示とに基づいて決定される。ステージ駆動機構２０４は、駆動制御系２０３の指示に従い、ステージ２０２を駆動する。

結像光学系２０７は、スライド２０６の標本の光学像を撮像センサ２０８へ結像するためのレンズ群である。

撮像ユニット２１０は、撮像センサ２０８とアナログフロントエンド（ＡＦＥ）２０９から構成される。撮像センサ２０８は、２次元の光学像を光電変換によって電気的な物理量へ変える１次元もしくは２次元のイメージセンサであり、例えば、ＣＣＤやＣＭＯＳデバイスが用いられる。１次元センサの場合、走査方向へスキャンすることで２次元画像が得られる。撮像センサ２０８からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像としてカラー画像が所望される場合は、例えば、Ｂａｙｅｒ配列のカラーフィルタが取り付けられた単板のイメージセンサを用いればよい。撮像ユニット２１０は、ステージ２０２がＸＹ軸方向に駆動することにより、標本の分割画像を撮像する。

ＡＦＥ２０９は、撮像センサ２０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ２０９は後述するＨ／Ｖドライバ、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）、アンプ、ＡＤ変換器およびタイミングジェネレータによって構成される。Ｈ／Ｖドライバは、撮像センサ２０８を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。ＣＤＳは、固定パターンのノイズを除去する相関２重サンプリング回路である。アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。ＡＤ変換器は、アナログ信号をデジタル信号に変換する。撮像装置最終段での出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはＲＡＷデータと呼ばれる。ＲＡＷデータは後段の現像処理ユニット２１９で現像処理される。タイミングジェネレータは、撮像センサ２０８のタイミングおよび後段の現像処理ユニット２１９のタイミングを調整する信号を生成する。

撮像センサ２０８としてＣＣＤを用いる場合、上記ＡＦＥ２０９は必須となるが、デジタル出力可能なＣＭＯＳイメージセンサの場合は、上記ＡＦＥ２０９の機能をセンサに内包することになる。また、不図示ではあるが、撮像センサ２０８の制御を行う撮像制御部が存在し、撮像センサ２０８の動作制御や、シャッタースピード、フレームレートやＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）など動作タイミングや制御を合わせて行う。

現像処理ユニット２１９は、黒補正部２１１、ホワイトバランス調整部２１２、デモザイキング処理部２１３、画像合成処理部２１４、フィルタ処理部２１６、γ補正部２１７および圧縮処理部２１８から構成される。黒補正部２１１は、ＲＡＷデータの各画素から、遮光時に得られた黒補正データを減算する処理を行う。ホワイトバランス調整部２１２は、照明ユニット２０１の光の色温度に応じて、ＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。具体的には、黒補正後のＲＡＷデータに対しホワイトバランス補正用データが加算される。単色の画像を取り扱う場合にはホワイトバランス調整処理は不要となる。

デモザイキング処理部２１３は、Ｂａｙｅｒ配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。デモザイキング処理部２１３は、ＲＡＷデータにおける周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。また、デモザイキング処理部２１３は、欠陥画素の補正処理（補間処理）も実行する。なお、撮像センサ２０８がカラーフィルタを有しておらず、単色の画像が得られている場合、デモザイキング処理は不要となる。

画像合成処理部２１４は、撮像センサ２０８によって撮像範囲を分割して取得した画像データをつなぎ合わせて所望の撮像範囲の大容量画像データを生成する処理を行う。一般に、既存のイメージセンサによって１回の撮像で取得できる撮像範囲より標本の存在範囲が広いため、１枚の２次元画像データを分割された画像データのつなぎ合わせによって生成する。例えば、０．２５μｍの分解能でスライド２０６上の１０ｍｍ角の範囲を撮像すると仮定した場合、一辺の画素数は１０ｍｍ／０．２５μｍの４万画素となり、トータルの画素数はその自乗である１６億画素となる。１０Ｍ（１０００万）の画素数を持つ撮像センサ２０８を用いて１６億画素の画像データを取得するには、１６億／１０００万の１６０個に領域を分割して撮像を行う必要がある。なお、複数の画像データをつなぎ合わせる方法としては、ステージ２０２の位置情報に基づいて位置合わせをしてつなぐ方法や、複数の分割画像の対応する点または線を対応させてつなぐ方法、分割画像データの位置情報に基づいてつなぐ方法などがある。つなぎ合わせの際、０次補間、線形補間、高次補間等の補間処理により滑らかにつなげることができる。本実施の形態では、１枚の大容量画像の生成を想定しているが、画像処理装置１０２の機能として、分割取得された画像を表示データの生成時につなぎ合わせる構成をとってもよい。

フィルタ処理部２１６は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。

γ補正部２１７は、一般的な表示デバイスの階調表現特性に合わせて、画像に逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施形態では形態観察を目的とした画像取得のため、後段の合成処理や表示処理に適した階調変換が画像データに対して適用される。

圧縮処理部２１８は、大容量の２次元画像データの伝送の効率化および保存する際の容量削減が目的で行われる圧縮の符号化処理を実行する。静止画像の圧縮手法として、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＪＰＥＧを改良、進化させたＪＰＥＧ２０００やＪＰＥＧ ＸＲ等の規格化された符号化方式が広く一般に知られている。また、２次元画像データの縮小処理を実行し、階層画像データを生成する。階層画像データについては図５で説明する。

プレ計測ユニット２２０は、スライド２０６上の標本の位置情報、所望の焦点位置までの距離情報、および標本厚みに起因する光量調整用のパラメータを算出するための事前計測を行うユニットである。本計測（撮像画像データの取得）の前にプレ計測ユニット２２０によって情報を取得することで、無駄のない撮像を実施することが可能となる。２次元平面の位置情報取得には、撮像センサ２０８より解像力の低い２次元撮像センサが用いられる。プレ計測ユニット２２０は、取得した画像から標本のＸＹ平面上での位置を把握する。距離情報および厚み情報の取得には、レーザー変位計やシャックハルトマン方式の計測器が用いられる。

メイン制御系２２１は、これまで説明してきた各種ユニットの制御を行う機能である。メイン制御系２２１および現像処理ユニット２１９の制御機能は、ＣＰＵとＲＯＭとＲＡＭを有する制御回路により実現される。すなわち、ＲＯＭ内にプログラムおよびデータが格納されており、ＣＰＵがＲＡＭをワークメモリとして使いプログラムを実行することで、メイン制御系２２１および現像処理ユニット２１９の機能が実現される。ＲＯＭには例えばＥＥＰＲＯＭやフラッシュメモリなどのデバイスが用いられ、ＲＡＭには例えばＤＤＲ３などのＤＲＡＭデバイスが用いられる。なお、現像処理ユニット２１９の機能を専用のハードウェアデバイスとしてＡＳＩＣ化したもので置き換えてもよい。

外部装置Ｉ／Ｆ２２２は、現像処理ユニット２１９によって生成された階層画像データを画像処理装置１０２に送るためのインターフェースである。撮像装置１０１と画像処理装置１０２とは、光通信のケーブルにより接続される。あるいは、ＵＳＢやＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の汎用インターフェースが使用される。

図３は、本実施形態の画像処理装置のハードウェア構成を示すブロック図である。情報処理を行う装置として、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）が用いられる。ＰＣは、制御部３０１、メインメモリ３０２、サブメモリ３０３、グラフィックスボード３０４、これらを互いに接続する内部バス３０５、ＬＡＮＩ／Ｆ３０６、記憶装置Ｉ／Ｆ３０７、外部装置Ｉ／Ｆ３０９、操作Ｉ／Ｆ３１０、入出力Ｉ／Ｆ３１３を備える。

制御部３０１は、必要に応じてメインメモリ３０２、サブメモリ３０３等に適宜アクセスし、各種演算処理を行いながらＰＣの各ブロック全体を統括的に制御する。メインメモリ３０２及びサブメモリ３０３はＲＡＭ（Ｒａｎｄａｍ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）として構成される。メインメモリ３０２は、制御部３０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラム、表示用データの生成など処理の対象となる各種データを一時的に保持する。また、メインメモリ３０２及びサブメモリ３０３は、画像データの格納領域としても用いられる。制御部３０１のＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）機能により、メインメモリ３０２とサブメモリ３０３の間、サブメモリ３０３とグラフィックスボード３０４の間の画像データの高速転送を実現できる。グラフィックスボード３０４は、表示装置１０３に画像処理結果を出力する。表示装置１０３は、例えば液晶、ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）等を用いた表示デバイスである。当該表示装置１０３は、外部装置として接続される形態を想定しているが、表示装置と一体化したＰＣを想定してもよい。例えばノートＰＣがこれに該当する。

入出力Ｉ／Ｆ３１３には、ＬＡＮ Ｉ／Ｆ３０６を介してデータサーバ１０４が、記憶装置Ｉ／Ｆを介して記憶装置３０８が、外部装置Ｉ／Ｆ３０９を介して撮像装置１０１が、また、操作Ｉ／Ｆ３１０を介してキーボード３１１やマウス３１２が、接続される。

記憶装置３０８は、制御部３０１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアとして固定的に記憶している情報を記録し、読み出す補助記憶装置である。また、撮像装置１０１から送られてきた階層画像データの格納領域としても用いられる。ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）等の磁気ディスクドライブもしくはＦｌａｓｈメモリを用いた半導体デバイスが用いられる。

操作Ｉ／Ｆ３１０との接続デバイスとしてキーボード３１１やマウス３１２等のポインティングデバイスを想定しているが、タッチパネル等、表示装置１０３の画面が直接入力デバイスとなる構成を取ることも可能である。その場合、タッチパネルは表示装置１０３と一体となり得る。

図４は、本実施例の画像処理装置の制御部の機能構成を示すブロック図である。制御部３０１は、ユーザ入力情報取得部４０１、画像データ取得制御部４０２、階層画像データ取得部４０３、表示データ生成制御部４０４、表示候補画像データ取得部４０５、表示候補画像データ生成部４０６、表示画像データ転送部４０７から構成される。

ユーザ入力情報取得部４０１は、ユーザがキーボード３１１やマウス３１２に入力した画像表示の開始、終了、表示画像のスクロール動作、拡大・縮小（倍率変更）などの指示内容を操作Ｉ／Ｆ３０９を介して取得する。ユーザ入力情報取得部４０１は、検知部に相当する。なお、本明細書において、スクロールとは、表示装置の画面（表示部）に表示されていない画像を、ユーザの入力操作によってその画面に表示させる処理である。もちろん、Ｘ方向へのスクロール及びＹ方向へのスクロールだけでなく、Ｚ方向へのスクロールも含む。

画像データ取得制御部４０２は、ユーザ入力情報に基づいて、記憶装置３０４から読み出してメインメモリ３０２に展開する画像データの領域を制御する。画像表示の開始、終了、表示画像のスクロール動作、拡大、縮小などの各種ユーザ入力情報に対して、表示画像として必要になると予測される画像領域を決定する。メインメモリ３０２がその画像領域を保持していなければ、階層画像データ取得部４０３に対して、その画像領域の記憶装置３０４からの読み出しとメインメモリ３０２への展開を指示する。記憶装置３０４から読み出しは時間を要する処理のため、読み出す画像領域をできるだけ広範囲として、この処理にかかるオーバーヘッドを抑制することが望ましい。

階層画像データ取得部４０３は、画像データ取得制御部４０２の制御指示に従って、記憶装置３０４からの画像領域の読み出しと、メインメモリ３０２への展開を行う。

表示データ生成制御部４０４は、ユーザ入力情報に基づいてメインメモリ３０２から読み出す画像領域とその処理方法、グラフィックスボード３０８に転送する表示画像領域を制御する。画像表示の開始、終了、表示画像のスクロール動作、拡大、縮小などの各種ユーザ入力情報に基づいて、表示画像として必要になると予測される表示候補の画像領域と、実際に表示装置１０３に表示する表示画像領域を検出する。サブメモリ３０３が表示候補の画像領域を保持していなければ、表示候補画像データ取得部４０５に対して、表示候補の画像領域のメインメモリ３０２からの読み出しを指示する。同時に、表示候補画像データ生成部４０６に対して、スクロール要求に対する処理方法を指示する。また、表示画像データ転送部４０７に対して、表示画像領域のサブメモリ３０３からの読み出しを指示する。記憶装置３０４からの画像データの読み出しと比較すると、メインメモリ３０２からの読み出しは高速に実行できるため、上述の表示候補の画像領域は、画像データ取得制御部４０２での広範囲な画像領域と比較すると狭い範囲となる。

表示候補画像データ取得部４０５は、表示データ生成制御部４０４の制御指示に従って、メインメモリ３０２からの表示候補の画像領域の読み出しを実行し、表示候補画像データ生成部４０６に転送する。

表示候補画像データ生成部４０６は、圧縮画像データである表示候補画像データの伸長処理を実行し、サブメモリ３０３への展開を行う。表示候補画像データ生成部４０６は、後述するように、低解像度画像データの拡大処理または高解像度画像データの縮小処理を実行できる。表示候補画像データ生成部４０６は、表示画像生成部に相当する。

表示画像データ転送部４０７は、表示データ生成制御部４０４の制御指示に従って、サブメモリ３０３からの表示画像の読み出しを実行し、グラフィックスボード３０８に転送する。ＤＭＡ機能により、サブメモリ３０３とグラフィックスボード３０８間の高速画像データ転送を実行する。

図５は、本実施例の階層画像データの構造を示す模式図である。ここでは解像度の違いにより、第１階層画像５０１、第２階層画像５０２、第３階層画像５０３、第４階層画像５０４の４階層で構成されている。標本５０５は、観察対象となる組織の切片や塗抹した細胞である。階層構造をイメージしやすいように、各階層での標本５０５の大きさを明示している。第１階層画像５０１が最も低解像度の画像であり、サムネイル画像などに用いられる。第２階層画像５０２、第３階層画像５０３は中程度の解像度の画像であり、バーチャル・スライド画像の広域観察などに用いられる。第４階層画像５０４は最も高解像度の画像であり、バーチャル・スライド画像を詳細に観察するときに用いられる。

各階層の画像は、幾つかの圧縮画像ブロックが集まって構成される。圧縮画像ブロックは、例えばＪＰＥＧ圧縮形式の場合には、１つのＪＰＥＧ画像である。ここでは、第１階層画像５０１は圧縮画像１ブロックから、第２階層画像５０２は圧縮画像４ブロックから、第３階層画像５０３は圧縮画像１６ブロックから、第４階層画像５０４は圧縮画像６４ブロックから構成されている。

画像の解像度の違いは、顕微鏡観察時の光学倍率の違いに対応するものであり、第１階層画像５０１は低倍での顕微鏡観察、第４階層画像５０４は高倍での顕微鏡観察に相当する。例えば、ユーザが高倍観察したい場合には、第４階層画像５０４を表示することで、高倍観察に対応する詳細観察を行うことができる。

図６は、本実施例の表示領域を明示した階層画像データの模式図である。

ある任意の解像度（倍率）での標本６０１を観察することを考える。任意の解像度（倍率）は、第３階層と第４階層の間の解像度（倍率）とする。表示領域６０２は、その任意の解像度（倍率）において、表示装置１０３が表示する標本６０１の領域を示している。このとき、階層構造に表示画像の解像度の画像データがないため、近傍の階層画像データから表示画像を生成しなければならない。

第３階層にある第３階層画像５０３から表示領域６０２を生成する場合の元画像は、低解像度表示領域６０３となる。低解像度表示領域６０３を拡大処理して表示領域６０２を生成することになる。低解像度表示領域６０３は圧縮画像４ブロックに相当する。

第４階層にある第４階層画像５０４から表示領域６０２を生成する場合の元画像は、高解像度表示領域６０４となる。高解像度表示領域６０４を縮小処理して表示領域６０２を生成することになる。高解像度表示領域６０４は圧縮画像１６ブロックに相当する。

ここでの拡大処理、縮小処理では、最近傍法、バイリニア法、バイキュービック法などの補間方法を用いて、拡大後、縮小後の画素値を求める。

低解像度表示領域６０３は圧縮画像４ブロックから構成されるのに対して、高解像度表示領域６０４は圧縮画像１６ブロックから構成される。画像読み出しに関わる処理時間を考えると、少ない圧縮画像ブロック数である低解像度表示領域６０３を用いる方が高速である。一方、画像生成後の画質を考えると、サンプリング数の多い高解像度表示領域６０４を用いる方が精度の高い画像再現ができる。

図７は、本実施例の階層画像データ取得方法を説明するフローチャートである。本フローは、ユーザ入力情報取得部４０１でのユーザ入力情報を基に、画像データ取得制御部４０２、階層画像データ取得部４０３で実行される。

ステップＳ７０１では、画像データ取得領域を決定する。画像表示の開始、終了、表示画像のスクロール動作、拡大、縮小などの各種ユーザ入力情報に対して、表示画像として必要になると予測される画像領域を決定する。本フローは記憶装置３０４からの読み出しを実行するものであり、これは時間を要する処理のため、読み出す画像領域をできるだけ広範囲として、この処理にかかるオーバーヘッドを抑制することが望ましい。

ステップＳ７０２では、Ｓ７０１で決定した画像領域の画像データがメインメモリ３０２に格納されているかどうかを判断する。メインメモリ３０２がその画像領域の画像データを保持していれば処理を終了する。メインメモリ３０２がその画像領域の画像データを保持していなければＳ７０３に進む。

ステップＳ７０３では、その画像領域の画像データを記憶装置３０４から取得する。

ステップＳ７０４では、記憶装置３０４から取得した画像データをメインメモリ３０２に格納する。

図８は、本実施例の表示候補画像データの生成方法を説明するフローチャートである。本フローは、ユーザ入力情報取得部４０１でのユーザ入力情報を基に、表示データ生成制御部４０４、表示候補画像データ取得部４０５、表示候補画像データ生成部４０６で実行される。

ステップＳ８０１では、ユーザ入力情報取得部４０１でのユーザ入力情報がスクロール要求かどうかを判断する。スクロール要求でなければ処理を終了する。スクロール要求であればＳ８０２に進む。

ステップＳ８０２では、ユーザ入力情報であるスクロール方向、スクロール速度、及び、現在表示されている領域から、表示画像として必要になると予測される表示候補の画像領域を検出する。

ステップＳ８０３では、Ｓ８０２で検出した画像領域の画像データがサブメモリ３０３に格納されているかどうかを判断する。サブメモリ３０３がその画像領域の画像データを保持していれば処理を終了する。サブメモリ３０３がその画像領域の画像データを保持していなければＳ８０４に進む。

ステップＳ８０４では、メインメモリ３０２からの表示候補画像データの取得、圧縮画像データである表示候補画像データの伸長処理、サブメモリ３０３への格納を行う。Ｓ８０４での処理の詳細は、図９を用いて説明する。

図９は、本実施例のスクロール要求に対する画像データ処理方法を説明するフローチャートである。

ステップＳ９０１では、ユーザ入力情報取得部４０１でのユーザ入力情報が高速スクロール要求かどうかを判断する。高速スクロール要求であると決定された場合にはＳ９０２に進む。高速スクロール要求であると決定されなければ（低速スクロール要求であると決定された場合には）Ｓ９０５に進む。本明細書では、高速スクロールとはユーザが表示内容を認識できない速度でのスクロール動作であり、低速スクロールとはユーザが表示内容を認識できる速度でのスクロール動作であると定義する。高速スクロールか、低速スクロールかの判断は、例えば、マウスの移動速度に予め所定の閾値（所定値）を基準として判断する。閾値以上の速度の場合に高速スクロール、閾値未満の速度の場合に低速スクロールと判断しても良い。なお、その所定の閾値（所定値）は、もちろん可変でも良く、例えば、処理する画像の大きさにあわせて可変としても良い。

ステップＳ９０２では、メインメモリ３０２から低解像度画像データを取得する。低解像度画像データは、図６に示す低解像度表示領域６０３に対応する。圧縮画像４ブロックしかないため、データ転送時間が短いというメリットがある。

ステップＳ９０３では、Ｓ９０２で取得した低解像度画像データの伸長処理（圧縮画像の解凍処理）、拡大処理を実行し、表示候補画像データを生成する。低解像度画像の拡大処理のため、高解像度画像の縮小処理と比較して表示候補画像データの画質は劣化するが、ユーザが表示内容を認識できないほどの高速スクロールであるため、ユーザに違和感を与えることはない。

ステップＳ９０４では、メインメモリ３０２から高解像度画像データを取得する。高解像度画像データは、図６に示す高解像度表示領域６０４に対応する。

ステップＳ９０５では、Ｓ９０４で取得した高解像度画像データの伸長処理（圧縮画像の解凍）、縮小処理を実行し、表示候補画像データを生成する。圧縮画像１６ブロックのため画像データ転送に時間がかかるが、低速スクロールで表示画像の更新領域が少ないため、転送速度への影響が少なくてすむ。

ステップＳ９０６では、Ｓ９０３やＳ９０５で表示候補画像データ生成部４０６が生成した表示候補画像データをサブメモリ３０３に格納する。

図１０は、本実施例の表示画像データ転送方法を説明するフローチャートである。本フローは、ユーザ入力情報取得部４０１でのユーザ入力情報を基に、表示データ生成制御部４０４、表示画像データ転送部４０７で実行される。

ステップＳ１００１では、ユーザ入力情報取得部４０１でのユーザ入力情報により表示画像を更新するかどうかを判断する。画像表示の開始、終了、表示画像のスクロール動作、拡大、縮小などの指示内容であれば、表示画像を更新する。表示画像を更新するのであればＳ１００２に進み、更新しなければ処理を終了する。

ステップＳ１００２では、ユーザ入力情報であるスクロール方向、スクロール速度などから、更新する表示画像の領域を検出する。

ステップＳ１００３では、表示画像データの転送処理を行う。ＤＭＡ機能により、サブメモリ３０３とグラフィックスボード３０８間の高速画像データ転送を実行する。

以上、図１から図１０を用いた説明により、本実施例の画像処理装置で取り扱う階層画像データの画像構造上の特徴を利用することで、応答性の優れスクロール動作を提供できる。

以下では、実施例１の変形例として、高速スクロール中であっても、ＰＯＩ（Ｐｏｉｎｔ Ｏｆ Ｉｎｔｅｒｅｓｔ）情報の表示ができる構成について説明する。

図１１は、本変形例のＰＯＩ情報処理を追加した画像処理装置の機能ブロック図である。図４に示した制御部の機能構成ブロック図に、ＰＯＩ情報格納部１１０１、表示データ生成部１１０２、表示画像データ出力部１１０３が追加された構成である。図４と同様の機能ブロック、機能内容についての説明は省略する。

表示データ生成制御部４０４は、ユーザ入力情報に基づいてメインメモリ３０２から読み出す画像領域とその処理方法、グラフィックスボード３０８に転送する表示画像領域を制御する。画像表示の開始、終了、表示画像のスクロール動作、拡大、縮小などの各種ユーザ入力情報に基づいて、表示画像として必要になると予測される表示候補の画像領域と、実際に表示装置１０３に表示する表示画像領域を検出する。次に、ＰＯＩ情報格納部１１０１のＰＯＩ情報に基づいて、表示候補の画像領域にＰＯＩ情報があるかどうかを判断する。高速スクロール中で、且つ、表示候補の画像領域にＰＯＩ情報がある場合には、表示データ生成部１１０２に対して、表示画像にＰＯＩ情報のポップアップ表示の描画を指示する。なお、表示候補画像データ生成部４０６及び表示データ生成部１１０２が表示画像生成部に相当し、表示データ生成制御部４０４がＰＯＩ検知部に相当する。

ＰＯＩ情報格納部１１０１は、ＰＯＩ情報が付加された画像データの座標とＰＯＩ情報を格納している。ＰＯＩ情報とはユーザの注目する画像領域の情報であり、画像データだけでなく、テキストデータなども含まれる。ユーザが後々に再度観察するなどの目的で、アノテーション機能などを用いて、ＰＯＩ情報を記録することができる。

表示データ生成部１１０２は、実際に表示装置１０３に表示する表示画像領域をサブメモリ３０３から読み出し、高速スクロール中で、且つ、表示候補の画像領域にＰＯＩ情報がある場合には、表示画像にＰＯＩ情報のポップアップ表示を描画する。ポップアップ表示の例を図１９に示す。

表示画像データ出力部１１０３は、表示データ生成部１１０２で生成した表示画像データをグラフィックスボード３０８に転送する。

表示候補の画像領域に対して（表示領域を先読みして）ＰＯＩ情報の探索を行い、（表示候補の画像領域ではなく、）表示画像に対してＰＯＩ情報の描画を実行することで、高速スクロールであってもＰＯＩ情報の認識が容易になる。

図１２は、本変形例のＰＯＩ情報処理を追加した表示画像データ出力を説明するフローチャートである。本フローは、ユーザ入力情報取得部４０１でのユーザ入力情報を基に、表示データ生成制御部４０４、ＰＯＩ情報格納部１１０１、表示データ生成部１１０２、表示画像データ転送部４０７で実行される。本フローでは、ユーザ入力情報がスクロール要求である場合に限定している。

ステップＳ１２０１では、ユーザ入力情報取得部４０１でのユーザ入力情報スクロール要求であるかどうかを判断する。表示画像のスクロール動作であればＳ１２０２に進み、スクロール動作でなければ処理を終了する。

ステップＳ１２０２では、ユーザ入力情報であるスクロール方向、スクロール速度などから、表示候補の画像の領域、及び、更新する表示画像の領域を検出する。

ステップＳ１２０３では、ユーザ入力情報が高速スクロール要求かどうかを判断する。高速スクロール要求であればＳ１２０４に進み、高速スクロール要求でなければ（低速スクロール要求であれば）Ｓ１２０５に進む。

ステップＳ１２０４では、表示候補の画像の領域にＰＯＩ情報があるかどうかを判断する。ＰＯＩ情報がある場合にはＳ１２０６に進み、ＰＯＩ情報がない場合にはＳ１２０７に進む。

ステップＳ１２０５では、更新する表示画像の領域にＰＯＩ情報があるかどうかを判断する。ＰＯＩ情報がある場合にはＳ１２０６に進み、ＰＯＩ情報がない場合にはＳ１２０７に進む。

ステップＳ１２０６では、更新する表示画像に対してＰＯＩ情報の描画を実行し、表示画像データを生成する。高速スクロール要求の場合には、（表示画像領域ではなく、）表示候補の画像領域にあるＰＯＩ情報の描画を実行し、低速スクロール要求の場合には、表示画像領域にあるＰＯＩ情報の描画を実行する。

ステップＳ１２０７では、生成した表示画像データをグラフィックスボード３０８に出力する。

図１９は、本変形例のポップアップ表示の一例である。高速スクロール要求の場合で、表示画像領域ではなく、表示候補の画像領域にあるＰＯＩ情報の描画の例を示している。画面左方向に高速スクロール中であり、画面左方向のスクロール先にＰＯＩ情報があり、その内容を描画している。

以上、図１１、図１２、図１９を用いた説明により、高速スクロール中であっても、ＰＯＩが表示装置に表示されていることをユーザが容易に認識できる。

以下では、実施例１の変形例として、Ｚスタック画像（複数の深度画像）の合焦度を利用した低解像度画像からの表示画像生成について説明する。

図１３（ａ）は、本変形例の深度構造を追加した階層画像データの模式図である。図５で示した階層画像データの構造と同様に、解像度の違いにより、第１階層の深度画像群１３０１、第２階層の深度画像群１３０２、第３階層の深度画像群１３０３、第４階層の深度画像群１３０４の４階層で構成されている。ただし、図５と異なり各階層で深度構造を考慮しており、各階層は４枚の深度画像を有している。標本１３０５は、観察対象となる組織の切片や塗抹した細胞である。階層構造をイメージしやすいように、各階層での標本５０５の大きさを明示している第１階層の深度画像群１３０１が最も低解像度の画像であり、サムネイル画像などに用いられる。第２階層の深度画像群１３０２、第３階層の深度画像群１３０３は中程度の解像度の画像であり、バーチャル・スライド画像の広域観察などに用いられる。第４階層の深度画像群１３０４は最も高解像度の画像であり、バーチャル・スライド画像を詳細に観察するときに用いられる。

各階層の画像は、幾つかの圧縮画像ブロックが集まって構成される。圧縮画像ブロックは、例えばＪＰＥＧ圧縮形式の場合には、１つのＪＰＥＧ画像である。ここでは、第１階層画像５０１は圧縮画像１ブロックから、第２階層画像５０２は圧縮画像４ブロックから、第３階層画像５０３は圧縮画像１６ブロックから、第４階層画像５０４は圧縮画像６４ブロックから構成されている。

画像の解像度の違いは、顕微鏡観察時の光学倍率の違いに対応するものであり、第１階層の深度画像群１３０１は低倍での顕微鏡観察、第４階層の深度画像群１３０４は高倍での顕微鏡観察に相当する。例えば、ユーザが高倍観察したい場合には、第４階層の深度画像群１３０４を表示することで、高倍観察に対応する詳細観察を行うことができる。

図１３（ｂ）は、深度構造を説明する模式図であり、スライド２０６の断面を示した図である。スライド２０６は、標本（観察対象となる組織の切片や塗抹した細胞）をスライドガラス１３０７上に貼り付け、封入剤とともにカバーガラス１３０６の下に固定した部材である。標本は数μｍから数十μｍほどの厚みのある透明体であり、ユーザは標本の深度（深さ方向位置（Ｚ方向位置））が異なる幾つかの面を観察する。ここでは、深度が異なる観察面として、第１深度画像１３０８、第２深度画像１３０９、第３深度画像１３１０、第４深度画像１３１１を考えている。図１３（ａ）の各階層になる深度画像群は、図１３（ｂ）の４つの深度画像群を示している。

図１４は、本実施例の深度画像の合焦度を説明する模式図である。各深度画像とそれぞれの合焦情報（画像コントラスト）のテーブルの一例である。第１階層では第１深度画像の合焦情報（画像コントラスト）が最も低い数値であり、これが最も合焦度の低い画像となる。同様に、第２階層から第４階層でも第１深度画像が最も合焦度の低い画像となる。

画像コントラストとは、画像コントラストをＥ、画素の輝度成分をＬ（ｍ、ｎ）とした場合に、以下の式を用いて算出できる。ここで、ｍは画素のＹ方向位置、ｎは画素のＸ方向位置を表している。

右辺の第１項はＸ方向に隣り合う画素の輝度差を表しており、第２項はＹ方向に隣り合う画素の輝度差を表している。画像コントラストＥは、Ｘ方向とＹ方向に隣り合う画素の輝度差の自乗和を示す指標である。なお、図１４では画像コントラストＥを０〜１で規格化した値を用いている。

ここでは、第１階層から第４階層までの合焦情報を保持する例を示した。しかし、第１深度画像が最も合焦度が低く、第２深度画像が最も合焦度が高い、といった合焦情報の傾向は、一般に、解像度（倍率）の違いに依らない（階層の違いに依らない）、と考えられる。そのため、第４階層の合焦情報のみを保持する、といった簡便化を行うことも可能である。

深度画像の合焦度は、図２で示した圧縮処理部２１８での処理の一環として、階層画像データの生成時に上述の画像コントラストを求めることで検知できる。そのため、圧縮処理部２１８が、合焦度検知部に相当する。

図１５は、本変形例の高速スクロール要求に対する低合焦画像データ処理を説明するフローチャートである。図９で説明したスクロール要求に対する画像データ処理と同じ内容には同じ符号を付し、説明を省略する。

ステップＳ１５０１では、メインメモリ３０２から低解像度の低合焦画像データを取得する。低合焦画像データは、図１４に示す深度画像の中で画像コントラストが最も低い画像データに対応する。

ステップＳ１５０２では、Ｓ１５０１で取得した低解像度の低合焦画像データの伸長処理（圧縮画像の解凍）、拡大処理を実行し、表示候補画像データを生成する。低合焦度で、且つ、低解像度画像の拡大処理のため、表示候補画像はボケた画像となる。そのため、高速スクロールで画像が高速に移動している状態を模擬的に表現でき、ユーザは自然な高速スクロールであると感じることができる。

以上、図１３から図１５を用いた説明により、低解像度の低合焦画像データを用いて表示画像を生成することで、高速スクロールで画像が高速に移動している状態を模擬的に表現でき、ユーザは自然な高速スクロールであると感じることができる。

本実施例の画像処理システム、画像処理システムにおける撮像装置の機能ブロック、ハードウェア構成、制御部の機能ブロック、層画像データの構造、階層画像データ取得フローは、実施例１の図１から図７で説明した内容と同様であり、説明を省略する。

図１６は、本実施例の低速スクロール要求に対する画像データ処理方法を説明するフローチャートである。本フローは、ユーザ入力情報取得部４０１でのユーザ入力情報を基に、表示データ生成制御部４０４、表示候補画像データ取得部４０５、表示候補画像データ生成部４０６で実行される。本フローでは、ユーザ入力情報がスクロール要求である場合に限定している。ユーザ入力情報取得部４０１が検知部に相当し、表示データ生成制御部４０４が表示制御部に相当する。

ステップＳ１６０１では、ユーザ入力情報取得部４０１でのユーザ入力情報が高速スクロール要求かどうかを判断する。高速スクロール要求であれば処理を終了する。高速スクロール要求でなければ（低速スクロール要求であれば）Ｓ１６０２に進む。

ステップＳ１６０２では、ユーザ入力情報であるスクロール方向、スクロール速度、及び、現在表示されている領域から、表示画像として必要になると予測される表示候補の画像領域を検出する。

ステップＳ１６０３では、Ｓ１６０２で検出した画像領域の画像データがサブメモリ３０３に格納されているかどうかを判断する。サブメモリ３０３がその画像領域の画像データを保持していれば処理を終了する。サブメモリ３０３がその画像領域の画像データを保持していなければＳ１６０４に進む。

ステップＳ１６０４では、メインメモリ３０２から高解像度画像データを取得する。高解像度画像データは、図６に示す高解像度表示領域６０４に対応する。

ステップＳ１６０５では、Ｓ１６０４で取得した高解像度画像データの伸長処理（圧縮画像の解凍）、縮小処理を実行し、表示候補画像データを生成する。圧縮画像１６ブロックのため画像データ転送に時間がかかるが、低速スクロールで表示画像の更新領域が少ないため、転送速度への影響が少なくてすむ。

ステップＳ１６０６では、Ｓ１６０５で生成した表示候補画像データをサブメモリ３０３に格納する。

図１７は、本実施例の高速スクロール要求に対する表示画像データ出力方法を説明するフローチャートである。本フローは、ユーザ入力情報取得部４０１でのユーザ入力情報を基に、表示データ生成制御部４０４、表示画像データ転送部４０７で実行される。本フローでは、ユーザ入力情報がスクロール要求である場合に限定している。

ステップＳ１７０１では、ユーザ入力情報取得部４０１でのユーザ入力情報により表示画像を更新するかどうかを判断する。画像表示の開始、終了、表示画像のスクロール動作、拡大、縮小などの指示内容であれば、表示画像を更新する。表示画像を更新するのであればＳ１００２に進み、更新しなければ処理を終了する。

ステップＳ１７０２では、ユーザ入力情報取得部４０１でのユーザ入力情報が高速スクロール要求かどうかを判断する。高速スクロール要求でなければ（低速スクロール要求であれば）処理を終了する。高速スクロール要求であればＳ１７０３に進む。

ステップＳ１７０３では、ユーザ入力情報であるスクロール方向、スクロール速度などに基づき、更新する表示画像となるスクロール画像の転送処理を行う。スクロール画像は、スクロール方向、スクロール速度に応じて予め生成し、サブメモリ３０３に格納してある。

スクロール画像は、撮像装置で実際に取得した撮像画像のデータを用いずに生成した画像であり、例えば、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像である。スクロール画像の一例は図１８で説明する。なお、ユーザ入力情報取得部４０１が、方向検知部に相当する。

ステップＳ１７０４では、ユーザ入力情報であるスクロール方向、スクロール速度などから、更新する表示画像の領域を検出する。

ステップＳ１７０５では、表示画像データの転送処理を行う。ＤＭＡ機能により、サブメモリ３０３とグラフィックスボード３０８間の高速画像データ転送を実行する。

図１８は、本実施例のスクロール画像の一例である。図１８（ａ）から（ｃ）は画面右方向に高速スクロール中に表示するＣＧ画像例である。スクロール速度を矢印の数で示し、高速になるほど矢印の数が増えている。高速スクロールを矢印で示したが、漫画風に動線で表現するなどでも良い。図１８（ｄ）は画面右斜め上方向に高速スクロール中に表示するＣＧ画像例である。

スクロール画像は、スクロール方向やスクロール速度等のユーザ入力情報（ユーザの要求）の属性を明示したＣＧ画像である。実画像とは異なるＣＧ画像を用いることで、高速スクロールが行われていることや、その方向や速度を、ユーザは容易に認識できる。スクロール画像は図１８の画像例に限定されるものではない。例えば、図１８では、実画像の代わりにＣＧ画像のみを画面全体に表示させているが、スクロール前の実画像を背景として用いてその背景上に同様のＣＧ画像（矢印のみ）を表示させてもよい。また、ＸＹ平面上での方向（速度）だけでなく、Ｚ方向（速度）を明示したり、倍率の拡大・縮小（変更速度）を明示したりしても良い。

以上、図１６から図１８を用いた説明により、本実施例の画像処理装置で取り扱う階層画像データであっても、応答性の優れた、且つ、ユーザに違和感を与えないスクロール動作を提供できる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

例えば、以上の実施形態では、スクロール要求（のスクロール速度）に基づいて高速要求または低速要求を判断していたが、倍率変更要求（の変更速度）に基づいて高速要求または低速要求を判断し、同様の処理をしても良い。

Claims (13)

1. 解像度が異なる複数の階層画像のデータから表示画像のデータを生成する画像処理装置であって、
   スクロール要求または倍率変更要求を検知する検知部と、
   前記要求に基づいて前記表示画像のデータを生成する表示画像生成部と、を備え、
   前記表示画像生成部は、前記複数の階層画像と解像度が異なる前記表示画像のデータを生成する場合に、
   所定値を基準として前記要求が高速要求か低速要求かを決定し、 前記要求が高速要求であると決定された場合には、前記複数の階層画像の中の該表示画像よりも低解像度の階層画像のデータを拡大処理して、該表示画像のデータを生成し、
   前記要求が低速要求であると決定された場合には、前記複数の階層画像の中の該表示画像よりも高解像度の階層画像のデータを縮小処理して、該表示画像のデータを生成する
   ことを特徴とする画像処理装置。
2. 前記複数の階層画像のそれぞれは、深度が異なる複数の深度画像を含み、
   前記表示画像生成部は、前記検知部で検知した要求が高速要求であった場合に、前記低解像度の階層画像の中の合焦度が低い深度画像のデータを用いて前記表示画像のデータを生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の深度画像の合焦度を検知する合焦度検知部を備える
   ことを特徴とする請求項２に記載の画像処理装置。
4. スクロール方向を検知する方向検知部とＰＯＩを検知するＰＯＩ検知部とを備え、
   前記表示画像生成部は、前記検知部で検知したスクロール要求が高速スクロール要求であった場合に、スクロール方向にＰＯＩを検知するとＰＯＩをポップアップ表示するためのデータを生成する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 撮像画像を表示装置に表示させる画像処理装置であって、
   スクロール要求または倍率変更要求を検知する検知部と、
   所定値を基準として前記要求が高速要求か低速要求かを決定し、前記要求が高速要求であると決定された場合に、前記撮像画像のデータを用いていない画像を前記表示装置に表示させる表示制御部と、を備える
   ことを特徴とする画像処理装置。
6. 前記撮像画像のデータを用いていない画像は、前記要求の属性を明示する画像である
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記撮像画像のデータを用いていない画像は、スクロール方向を明示する画像である
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記撮像画像のデータを用いていない画像は、ＣＧ画像である
   ことを特徴とする請求項５乃至７のいずれか１項に記載の画像処理装置。
9. 解像度が異なる複数の階層画像のデータから表示画像のデータを生成する画像処理装置と、前記表示画像を表示する表示装置と、を備える画像処理システムであって、
   スクロール要求または倍率変更要求を検知する検知部と、
   前記要求に基づいて前記表示画像のデータを生成する表示画像生成部と、を有し、
   前記表示画像生成部は、前記複数の階層画像と解像度が異なる前記表示画像のデータを生成する場合に、
   所定値を基準として前記要求が高速要求か低速要求かを決定し、
   前記要求が高速要求であると決定された場合には、前記複数の階層画像の中の該表示画像よりも低解像度の階層画像のデータを拡大処理して、該表示画像のデータを生成し、
   前記要求が低速要求であると決定された場合には、前記複数の階層画像の中の該表示画像よりも高解像度の階層画像のデータを縮小処理して、該表示画像のデータを生成する
   ことを特徴とする画像処理システム。
10. 表示装置と、撮像画像を前記表示装置に表示させる画像処理装置と、を備える画像処理システムであって、
    スクロール要求または倍率変更要求を検知する検知部と、
    所定値を基準として前記要求が高速要求か低速要求かを決定し、前記要求が高速要求であると決定された場合に、前記撮像画像のデータを用いていない画像を前記表示装置に表示する表示制御部と、を有する
    ことを特徴とする画像処理システム。
11. 解像度が異なる複数の階層画像のデータから表示画像のデータを生成する画像処理方法であって、
    コンピュータが、スクロール要求または倍率変更要求を検知する検知工程と、
    コンピュータが、前記要求に基づいて前記表示画像のデータを生成する生成工程と、を有し、
    前記生成工程では、前記複数の階層画像と解像度が異なる前記表示画像のデータを生成する場合に、
    所定値を基準として前記要求が高速要求か低速要求かを決定し、
    前記要求が高速要求であると決定された場合には、前記複数の階層画像の中の該表示画像よりも低解像度の階層画像のデータを拡大処理して、該表示画像のデータを生成し、
    前記要求が低速要求であると決定された場合には、前記複数の階層画像の中の該表示画像よりも高解像度の階層画像のデータを縮小処理して、該表示画像のデータを生成する
    ことを特徴とする画像処理方法。
12. 撮像画像を表示装置に表示させる画像処理方法であって、
    コンピュータが、スクロール要求または倍率変更要求を検知する検知工程と、
    コンピュータが、所定値を基準として前記要求が高速要求か低速要求かを決定し、前記要求が高速要求であると決定された場合に、前記撮像画像のデータを用いていない画像を前記表示装置に表示する表示工程と、を有する
    ことを特徴とする画像処理方法。
13. 請求項１１又は１２に記載の画像処理方法の各工程をコンピュータに実行させるプログラム。

Images