JP5589366B2 - 情報処理装置、情報処理方法及びそのプログラム - Google Patents

Description

本発明は、医療、病理、生物、材料等の分野において顕微鏡により得られた画像の表示を制御する情報処理装置、情報処理方法及びそのプログラムに関する。

医療または病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステムが提案されている。

例えば、特許文献１に記載の方法では、顕微鏡により光学的に得られた画像が、ＣＣＤ（Charge Coupled Device）を搭載したビデオカメラによりデジタル化され、そのデジタル信号が制御コンピュータシステムに入力され、モニタに可視化される。病理学者はモニタに表示された画像を見て検査等を行う（例えば、特許文献１の段落[００２７]、[００２８]、図５参照）。

特開２００９−３７２５０号公報

一般的に、顕微鏡の観察領域は、観察倍率が高いほど観察対象物の全体に対して狭くなる。例えば病理医は、顕微鏡を用いて観察対象物の全体を走査するように観察し、その全体の中の一部を特に高倍率で観察して対象物を検査することが多い。このような検査において、病理医が観察対象物のうち見ていない領域に疾患があった場合、つまり見落としがあった場合、後に重大な問題となることもある。

以上のような事情に鑑み、本発明の目的は、ユーザによる顕微鏡での観察対象物の見落としの危険性を回避できるようにするための情報処理装置、情報処理方法及びそのプログラムを提供することにある。

本発明の別の目的は、その観察対象物を扱う業界における教育用に有用な情報処理装置、情報処理方法及びそのプログラムを提供することにある。

上記目的を達成するため、本発明の一形態に係る情報処理装置は、出力手段と、記憶手段と、画像生成手段とを具備する。
前記出力手段は、異なる複数の解像度でそれぞれ生成された、顕微鏡により得られた観察対象物の画像を含む全体画像のうち、少なくとも１つの解像度の前記全体画像内の一部の画像である部分画像を表示するために、前記解像度ごとに前記部分画像を出力可能である。
前記記憶手段は、前記出力手段により出力された前記全体画像内の互いに異なる前記部分画像ごとの、前記全体画像内における位置情報と、前記異なる部分画像ごとの前記解像度の情報とを対応付け、前記対応付けによる情報を、前記各部分画像の出力の履歴情報として記憶する。
前記画像生成手段は、前記記憶手段により記憶された前記履歴情報に基づき、前記各部分画像の軌跡及び観察倍率を表現する履歴画像を、任意の解像度の前記全体画像内に生成する。

画像生成手段により、異なる複数の部分画像の位置情報及び解像度情報の対応付けの情報に基づき、これらの部分画像の軌跡及び観察倍率を示すための履歴画像が、任意の解像度の前記全体画像内に生成される。これにより、ユーザは、その全体画像を見て観察履歴を把握することができる。したがって、顕微鏡での観察対象物の見落としの危険性を回避することができる。

また、一人のユーザが自己の過去の観察履歴を把握することだけでなく、別のユーザがその観察履歴を見ることも可能となる。したがって、この情報処理装置は、他人の観察履歴のチェック用、あるいは教育用としての有用性が高い。

前記情報処理装置は、前記履歴情報を、所定のサンプリング周期で、前記記憶手段に記憶させるサンプリング手段をさらに具備してもよい。

前記画像生成手段は、前記サンプリング周期ごとに記憶された前記履歴情報中の前記位置情報に対応する前記部分画像が、時間順に前記出力手段により出力されたことを表現する順序強調画像を含む前記履歴画像を、任意の解像度の前記全体画像内に生成してもよい。これにより、ユーザは、自己または他人が過去に観察したときの観察履歴を直感的に把握することができ、利便性が向上する。

前記サンプリング手段は、１つの前記部分画像が表示されている間の時間である表示時間をカウントし、前記サンプリング周期と前記表示時間とを比較し、前記表示時間が前記サンプリング周期より長い場合に、前記１つの部分画像の前記履歴情報を前記記憶手段に記憶させてもよい。これにより、例えば表示時間がサンプリング周期より短い場合、その表示時間が短かった部分画像の、少なくとも位置情報を記憶することを省略することが可能となる。すなわち、サンプリング手段の処理が効率化され、記憶容量も少なくなる。

前記画像生成手段は、前記異なる部分画像ごとの、前記出力手段による前記全体画像内における表示範囲を表現する表示範囲強調画像を含む前記履歴画像を、任意の解像度の前記全体画像内に生成してもよい。これにより、ユーザは、自己または他人が過去に観察したときの表示範囲を直感的に把握することができ、確実に観察対象物の見落としの危険性を回避することができる。

前記画像生成手段は、前記各表示範囲にそれぞれ対応するフレーム状の画像を、前記表示範囲強調画像として生成してもよい。

前記画像生成手段は、前記各表示範囲を合わせた全体の外形を表す外形画像を、前記表示範囲強調画像として生成してもよい。これにより、ユーザは観察範囲を直感的に把握することができる。

前記記憶手段は、異なる複数のユーザをそれぞれ識別するための識別情報と、前記ユーザごとの前記履歴情報とを対応付けて記憶してもよい。その場合、前記画像生成手段は、前記識別情報ごとの前記履歴情報に基づき、前記ユーザを識別するためのユーザ識別画像を含む前記履歴画像を、前記任意の解像度の前記全体画像内に生成してもよい。これにより、ユーザごとの観察履歴を直感的に把握することができ、複数のユーザがこの情報処理装置を使用するときの利便性が向上する。

前記出力手段は、前記少なくとも１つの解像度の前記全体画像について、前記観察対象物の焦点方向で異なる焦点でそれぞれ生成された複数の画像である複数の異焦点全体画像のうちの、少なくとも１つの前記異焦点全体画像内の一部の画像を、前記焦点ごとに前記部分画像として出力可能であってもよい。その場合、前記記憶手段は、前記少なくとも１つの解像度の前記全体画像についての、前記異焦点全体画像内の一部の画像としての互いに異なる前記部分画像ごとの前記位置情報と、前記異なる部分画像ごとの前記焦点の情報とを対応付け、該対応付けによる情報を、前記履歴情報内の情報としてさらに記憶する。これにより、例えば、情報処理装置は、その焦点情報を表現する焦点強調画像を、任意の解像度の全体画像内に生成することができる。その結果、ユーザは、焦点に関する履歴も把握することができる。

本発明に係る情報処理方法は、情報処理装置により実行される以下の方法である。
すなわち、情報処理装置は、異なる複数の解像度でそれぞれ生成された、顕微鏡により得られた観察対象物の画像を含む全体画像のうち、少なくとも１つの解像度の前記全体画像内の一部の画像である部分画像を表示するために、前記解像度ごとに前記部分画像を出力する。
前記出力された全体画像内の互いに異なる前記部分画像ごとの、前記全体画像内における位置情報と、前記異なる部分画像ごとの前記解像度の情報とが対応付けられ、前記対応付けによる情報が、前記各部分画像の出力の履歴情報として記憶される。
前記記憶された履歴情報に基づき、前記各部分画像の軌跡及び観察倍率を表現する履歴画像が、任意の解像度の前記全体画像内に生成される。

本発明に係るプログラムは、上記情報処理方法を情報処理装置に実行させる。前記プログラムが記録媒体に記録されていてもよい。

以上、本発明によれば、ユーザによる顕微鏡での観察対象物の見落としの危険性を回避することができる。

図１は、本発明の一実施形態に係る情報処理装置を少なくとも含む情報処理システムの構成を示すブロック図である。 図２は、その表示原理を説明するための画像ピラミッド構造を示す図である。 図３は、この画像ピラミッド構造の画像群を生成するときの手順を説明するための図である。 図４は、本実施形態に係る情報処理の動作であるＰＣの動作を示すフローチャートである。 図５は、その動作を説明するための観察対象物の画像を含む全体画像を示す図である。 図６（Ａ）〜（Ｃ）は部分画像の例をそれぞれ示す図である。 図４における記憶部に記憶される部分画像の履歴情報のルックアップテーブルを示す図である。 履歴画像が合成された任意の解像度の全体画像の例を示す図である。 図９は、本発明の第２の実施形態に係る任意の解像度の全体画像を示す図である。 図１０は、本発明の第３の実施形態に係る任意の解像度の全体画像を示す図である。 図１１は、本発明の第４の実施形態に係る任意の解像度の全体画像を示す図である。 図１２は、本発明の第５の実施形態に係る任意の解像度の全体画像を示す図である。

以下、図面を参照しながら、本発明の実施形態を説明する。

＜第１の実施形態＞
[情報処理装置の構成]
図１は、本発明の一実施形態に係る情報処理装置を少なくとも含む情報処理システムの構成を示すブロック図である。情報処理装置として、例えばＰＣ（Personal Computer）１００が用いられる。

ＰＣ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ１０２（Read Only Memory）、ＲＡＭ（Random Access Memory）１０３、入出力インターフェース１０５、及び、これらを互いに接続するバス１０４を備える。

入出力インターフェース１０５には、表示部１０６、入力部１０７、記憶部１０８、通信部１０９、ドライブ部１１０等が接続される。

表示部１０６は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。

入力部１０７は、例えばポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部１０７がタッチパネルを含む場合、そのタッチパネルは表示部１０６と一体となり得る。

記憶部１０８は、不揮発性の記憶デバイスであり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリ、その他の固体メモリである。

ドライブ部１１０は、例えば光学記録媒体、フロッピー（登録商標）ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体１１１を駆動することが可能なデバイスである。これに対し上記記憶部１０８は、主にリムーバブルでない記録媒体を駆動する、ＰＣ１００に予め搭載されたデバイスとして使用される場合が多い。

通信部１０９は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部１０９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部１０９は、ＰＣ１００とは別体で使用される場合が多い。

次に、図示しない光学顕微鏡により得られた画像であって、ＰＣ１００の主に記憶部１０８に記憶される画像及びその表示原理について説明する。図２は、その表示原理を説明するための画像ピラミッド構造を示す図である。

本実施形態における画像ピラミッド構造５０は、光学顕微鏡により同じ１つの観察対象物１５（図３参照）から得られる同一の画像について、異なる複数の解像度により生成された画像群（全体画像群）である。画像ピラミッド構造５０の最下には、最も大きいサイズの画像が配置され、最上には最も小さいサイズの画像が配置される。最も大きいサイズの画像の解像度は、例えば５０×５０（Kpixel：キロピクセル）、あるいは４０×６０（Kpixel）である。最も小さいサイズの画像は、例えば２５６×２５６（pixel）、あるいは、２５６×５１２（pixel）である。

つまり、同じ表示部１０６が、これらの画像を例えば１００％でそれぞれ表示（それらの画像のピクセル数と同じ物理的なドット数でそれぞれ表示）すると、最も大きいサイズの画像が最も大きく表示され、最も小さいサイズの画像が最も小さく表示される。ここで、図２では、その表示部１０６の表示範囲をＤとして示している。

図３は、この画像ピラミッド構造５０の画像群を生成するときの手順を説明するための図である。

まず、図示しない光学顕微鏡により所定の観察倍率で得られた元画像のデジタル画像が用意される。この元画像が、図２で示した画像ピラミッド構造５０の最下の画像である最も大きいサイズの画像に相当し、つまり最も高い解像度の画像となる。したがって、画像ピラミッド構造５０の最下の画像としては、比較的高倍率で観察されて得られる光学顕微鏡の画像が用いられる。

なお、病理の分野一般においては、生体の臓器、組織、細胞、またはこれらの一部から、薄く切り取られたものが観察対象物１５となる。そして、光学顕微鏡の機能を有する図示しないスキャナ装置により、ガラススライドに収められた観察対象物１５が読み取られ、これにより得られたデジタル画像が、そのスキャナ装置またはその他の記憶装置に記憶される。

このスキャナ装置または図示しない汎用コンピュータは、図３に示すように、上記のように得られた最も大きいサイズの画像から、段階的に解像度を小さくした複数の画像を生成し、これらを例えば所定サイズの単位である「タイル」単位で記憶する。１タイルのサイズは、例えば２５６×２５６（pixel）である。このように生成された画像群が画像ピラミッド構造５０を形成し、この画像ピラミッド構造５０がＰＣ１００の記憶部１０８に記憶される。実際には、ＰＣ１００はそれら異なる複数の解像度の画像と、解像度の情報とをそれぞれ対応付けて記憶すればよい。なお、画像ピラミッド構造５０の生成及びその記憶は、図１に示したＰＣ１００が実行してもよい。

これらの画像ピラミッド構造５０を形成する全体画像群は、公知の圧縮方法により生成されてもよいし、例えばサムネイル画像を生成するときの公知の圧縮方法により生成されてもよい。

ＰＣ１００は、この画像ピラミッド構造５０のシステムを採用するソフトウェアを用い、ユーザの入力部１０７を介した入力操作に応じて、画像ピラミッド構造５０から所望の画像を抽出し、これを表示部１０６に出力する。具体的には、ＰＣ１００は、ユーザにより選択された任意の解像度の画像のうちの、ユーザにより選択された任意の部位の画像を表示する。このような処理により、ユーザは、観察倍率を変えながら観察対象物１５を観察しているような感覚を得ることができる。すなわち、ＰＣ１００は仮想顕微鏡として機能する。ここでの仮想的な観察倍率は、実際には解像度に相当する。

[情報処理装置の動作]
図４は、本実施形態に係る情報処理である、ＰＣ１００の処理を示すフローチャートである。図５は、その動作を説明するための観察対象物の画像を含む全体画像を示す図である。この全体画像は、上記画像ピラミッド構造５０を形成する画像群（全体画像群）のうち、任意の１つの解像度の画像である。

以下のＰＣ１００の処理は、記憶部１０８またはＲＯＭ１０２等の記憶されたソフトウェアと、ＰＣ１００のハードウェア資源との協働により実現される。具体的には、ＣＰＵ１０１が記憶部１０８またはＲＯＭ１０２等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ１０３にロードして実行することにより、以下の処理が実現される。

ユーザが入力部１０７を介した入力操作により、画像ピラミッド構造５０の画像群を含むファイルにアクセスする。そうすると、ＰＣ１００のＣＰＵ１０１は、記憶部に記憶された画像ピラミッド構造５０から所定の部分画像を抽出し、これを表示部１０６に表示する（ステップ１０１）。画像ピラミッド構造５０のうち、ＣＰＵ１０１が最初にアクセスする所定の部分画像は、デフォルトあるいはユーザにより適宜設定されればよい。

部分画像とは、図２及び３に示すように、解像度ごとに記憶及び生成された上記各全体画像のうち、任意の１つの解像度の全体画像内の一部の画像であって、表示部１０６で表示される表示範囲Ｄ内の画像である。ここで、表示範囲Ｄは、表示部１０６が有する最大の表示範囲の大きさを意味しているのではなく、表示部１０６の表示範囲の全体またはその一部の範囲であり、これは例えばユーザの設定により適宜設定され得る。図６（Ａ）〜（Ｃ）は部分画像をそれぞれ示す図である。

ステップ１０１では、ＣＰＵ１０１は、典型的には比較的低解像度（低倍率）、例えば１．２５倍の観察倍率に対応する解像度を有する全体画像内の部分画像を最初に表示する。

ステップ１０２では、ＣＰＵ１０１は、ユーザの入力部１０７からの入力操作の待ち状態となる。

ユーザが、表示範囲Ｄを所望の範囲に変更するために、入力部１０７を操作すると、ＣＰＵ１０１は、それに応じた部分画像を表示する（ステップ１０３）。図５に示すように、例えばユーザは、その表示範囲をＤ１からＤ２に移動変更したり、Ｄ２から観察倍率を拡大変更することにより、拡大された（表示範囲が縮小された）表示範囲Ｄ３に変更したりする。この間、ＣＰＵ１０１は、出力した各部分画像の位置情報とその観察倍率である解像度の情報とを、その出力した部分画像ごとに対応付け、この対応付けの情報を部分画像の履歴情報として、ＲＡＭ１０３または記憶部１０８に記憶していく（ステップ１０４）。

ステップ１０１及び１０３では、ＣＰＵ１０１及び入出力インターフェース１０５等は、部分画像を出力する出力手段として機能する。

ステップ１０３及び１０４における、より詳しい処理の例を以下に説明する。

図７は、ステップ１０４で記憶される部分画像の履歴情報のルックアップテーブルを示す図である。

ユーザは、入力部１０７の操作によって、典型的にはマウスによるドラッグ操作によって、図５に示すように、１つの全体画像のうちの表示範囲を最初の表示範囲Ｄ１からそれとは異なる表示範囲Ｄ２に移動変更したとする。この間、ＣＰＵ１０１は、表示範囲Ｄ１及びＤ２に対応する各部分画像の位置情報、また、表示範囲Ｄ１から表示範囲Ｄ２までの間に対応する各部分画像の位置情報を、ＲＡＭ１０３または記憶部１０８に記憶していく。また、表示範囲Ｄ１からＤ２までの間における各部分画像の解像度の情報を、その各部分画像に対応付けて記憶していく。この例では、表示範囲Ｄ１からＤ２までの間は、解像度が変更されていないので、すべて同じ解像度情報が記憶される。図７に示す例では、サンプリングされた時刻も記憶されている。

上記のような履歴情報２０の記憶処理は、所定のサンプリング周期で実行される。つまり、ＣＰＵ１０１は、所定のサンプリング周期で、表示部１０６に表示した表示範囲Ｄに対応するすべての部分画像の、１つの全体画像内における位置情報を記憶する。サンプリング周期は、例えば０．１〜１０秒であるが、この範囲に限られない。

ＣＰＵ１０１は、例えば表示範囲Ｄ２の部分画像を出力した後、ユーザにより所定時間入力操作がない場合、履歴情報２０の記憶処理を中断してもよい。

部分画像の位置情報とは、全体画像内における位置情報であり、例えば座標情報（x,y）で管理される。典型的には、部分画像の中心位置の座標情報が管理されるが、もちろん中心位置に限られない。

ユーザが表示範囲をＤ１からＤ２にまで移動させた後、ユーザは入力部１０７の操作によって、観察倍率１．２５倍から２０倍へ変更したとする。このとき、ＣＰＵ１０１は、表示範囲ＤをＤ２からそれより狭いＤ３に変更する。すなわち、ＣＰＵ１０１は、表示範囲Ｄ１及びＤ２で表示していた部分画像の解像度より高解像度の全体画像のうちの、表示範囲Ｄ２の部分画像の座標情報に対応する座標情報を有する部分画像を、表示範囲Ｄ３として表示する。

サンプリング周期によっては、観察倍率１．２５倍から２０倍への変化の間、ＣＰＵ１０１は、その変化の間における段階的な解像度情報及びその部分画像の位置情報も記憶される。あるいは、ユーザの操作により、全体画像内における部分画像の相対位置が変わらず、解像度情報のみ変更された場合は、ＣＰＵ１０１は、その変化の間における段階的な履歴情報（この場合、位置情報及び解像度情報のうち少なくとも一方）の記憶処理を省略するか、また、記憶したとしても後に所定のタイミングで削除するようにしてもよい。

次に、ユーザは表示範囲をＤ３からＤ４に変更し、表示範囲Ｄ４から、それより高倍率である例えば４０倍の表示範囲Ｄ５に変更し、さらに、表示範囲Ｄ５からＤ６に変更する。この間も、ＣＰＵ１０１は、図７に示すようにその部分画像の履歴情報２０を記憶していく。図７に示した例では、この後も、表示範囲がＤ７、Ｄ８、・・・と変化していく。

上記したように、図６（Ａ）〜（Ｃ）は部分画像の例をそれぞれ示す図である。
図６（Ａ）は、図５における表示範囲Ｄ１、観察倍率１．２５倍の部分画像であり、
図６（Ｂ）は、図５における表示範囲Ｄ３、観察倍率２０倍の部分画像であり、
図６（Ｃ）は、図５における表示範囲Ｄ５、観察倍率４０倍の部分画像である。

ステップ１０４では、ＣＰＵ１０１及び記憶部１０８等は、履歴情報２０を記憶する記憶手段として機能する。

ユーザが観察対象物１５の観察を終了するためにファイルを閉じるための入力操作が行われる（ステップ１０５のＹＥＳ）。そうするとＣＰＵ１０１は、これまで記録した履歴情報２０に基づいて、例えば任意の解像度の全体画像内に、部分画像の軌跡及び観察倍率を表現する履歴画像を生成する（ステップ１０７）。このとき、少なくともＣＰＵ１０１は、画像生成手段として機能する。ステップ１０７については後述する。

ユーザが観察対象物１５の観察を終了しない場合、ＣＰＵ１０１は、ステップ１０２と同様の処理を実行する（ステップ１０６）。

履歴画像が生成される上記任意の解像度の全体画像は、画像ピラミッド構造５０の全体画像群のうち任意の１つの全体画像（元画像も含む）である。

あるいは、任意の解像度の全体画像は、予め作成された画像ピラミッド構造５０の全体画像群のうち少なくとも任意の１つの全体画像から、履歴画像の作成の必要に応じて作成された任意の解像度の全体画像であってもよい。例えば、ＣＰＵ１０１は、観察倍率３０倍に対応する解像度の全体画像を、予め生成され記憶されている、観察倍率２０倍及び４０倍の各全体画像から補間により生成することができる。

そのように作成された任意の解像度の全体画像は、ＰＣ１００またはその他のコンピュータ上でサムネイル画像として利用されてもよい。すなわち、ＣＰＵ１０１は、画像ピラミッド構造５０の全体画像群のうち、元画像以外の全体画像のうち少なくとも１つの全体画像を、サムネイル画像として記憶部１０８に記憶してもよい。履歴画像はそのサムネイル画像内に生成されてもよい。

あるいは、履歴画像は、ＰＣ１００が表示部１０６にこれから表示しようとする画面上の全体画像内に生成されてもよい。

履歴画像の全体画像内への合成の方法としては、ビットマップ合成、その他公知の方法がある。

このサムネイル画像の生成のタイミングは、画像ピラミッド構造５０を形成する全体画像群のファイルが記憶部１０８に記憶される時、あるいは、その記憶されたファイルに最初にユーザがアクセスした時等でよい。

図８は、履歴画像が合成された、上記のように作成された任意の解像度の全体画像（元画像も含む）、上記のように作成されたサムネイル画像、または、ＰＣ１００が表示部１０６にこれから表示しようとする画面上の全体画像（以下、これらを任意の解像度の全体画像という。）の例を示す図である。ステップ１０７では、具体的には、ＣＰＵ１０１は、サンプリングごとの部分画像の位置情報及び解像度情報に対応する表示範囲Ｄの軌跡を示すための矢印画像Ａを、任意の解像度の全体画像４０内に合成する。図８では、観察倍率ごとに色の異なる矢印画像Ａが生成されている。例えば、矢印画像Ａ１及びＡ４が１．２５倍の観察倍率を示し、矢印画像Ａ２及びＡ５が２０倍の観察倍率を示し、矢印画像Ａ３等が４０倍の観察倍率を示している。

以上のように、本実施形態では、異なる複数の部分画像の、位置情報及び解像度情報の対応付けの情報である履歴情報２０に基づき、その軌跡及び観察倍率を示す履歴画像として、矢印画像Ａが任意の解像度の全体画像４０内に生成される。これにより、ユーザは、全体画像の任意の解像度の全体画像４０を見て観察履歴を把握することができる。したがって、顕微鏡での観察対象物の見落としの危険性を回避することができ、特に医療または病理の分野には有用である。

また、一人のユーザが自己の過去の観察履歴を把握することだけでなく、別のユーザがその観察履歴を見ることも可能となる。したがって、他人の観察履歴のチェック用、あるいは教育用としての有用性が高い。

また、本実施形態では、観察倍率ごとに色の異なる矢印画像Ａが生成されるので、ユーザは、自己または他人が過去に観察したときの観察倍率を把握することができ、利便性が向上する。

本実施形態では、特に矢印画像Ａにより部分画像の軌跡が表現されているので、矢印画像Ａは、順序強調画像として機能する。これにより、ユーザは、自己または他人が過去に観察したときの時間順序を直感的に把握することができる。

このような順序強調画像としては、例えば２つの部分画像同士を結ぶ直線または曲線画像のようなものであれば、上記矢印画像Ａに限れられない。

ＣＰＵ１０１が履歴画像を生成するタイミングは、図４のステップ１０７でのタイミングに限られない。例えばＣＰＵ１０１は、少なくともステップ１０３を実行するごとに、履歴画像を生成してもよい。

ＣＰＵ１０１は、ステップ１０４においてこれまでの履歴情報をＲＡＭ１０３に記憶していた場合、ユーザが観察対象物１５の観察を終了するためにこのファイルを閉じると、その履歴情報を記憶部１０８に記憶する。もちろんＣＰＵ１０１は、ＲＡＭ１０３にこれまでの履歴情報を記憶していた場合であっても、定期的にそれまでの履歴情報を記憶部１０８に記憶してもよい。

＜第２の実施形態＞
図９は、本発明の他の実施形態に係る任意の解像度の全体画像を示す図である。以降に説明する第２〜５の実施形態に係る各任意の解像度の全体画像も、ＣＰＵ１０１が、図４に示した処理を実行することにより生成される。

本実施形態では、部分画像ごとの表示範囲を示すための表示範囲強調画像として機能する、フレーム状の画像Ｆ（Ｆ１、Ｆ２、Ｆ３、・・・）を、任意の解像度の全体画像６０に合成する。また、フレーム画像Ｆ１及びＦ２は、１．２５倍の観察倍率に対応した表示範囲であり、フレーム画像Ｆ３及びＦ４は、２０倍の観察倍率に対応した表示範囲である。また、フレーム画像Ｆ５及びＦ６は、４０倍の観察倍率に対応した表示範囲である。このようなフレーム画像Ｆの大きさが観察倍率ごとに異なるため、ユーザは観察倍率を直感的に把握することができる。

また、本実施形態では、その観察倍率ごとに色が異なるフレーム画像Ｆが生成されることにより、さらに観察倍率の識別が容易になる。観察倍率を表現するた画像としては、色の違いに限られず、フレームの線種（線幅の違い、実線か破線かの違いなど）がそれぞれ異なるような画像であってもよい。

フレーム画像Ｆは、矩形状でなくてもよく、表示部１０６で表示される形状に応じた形状でよい。

＜第３の実施形態＞
図１０は、本発明のさらに別の実施形態に係る任意の解像度の全体画像を示す図である。

本実施形態では、観察倍率ごとの部分画像であってその部分画像ごとの全体画像内における表示範囲を合わせた全体の外形を表す外形画像Ｒ（Ｒ１、Ｒ２、Ｒ３、・・・）を含む履歴画像が、任意の解像度の全体画像７０内に合成されている。そのほか、上述の矢印画像Ａも生成されている。外形画像Ｒは表示範囲強調画像としても機能する。また、観察倍率ごとにその外形画像Ｒの色が異なっており、ユーザは観察倍率を直感的に把握することができる。

このように、各表示範囲を合わせた全体の外形画像Ｒが生成されることにより、ユーザは、確実に観察対象物の見落としの危険性を回避することができる。

＜第４の実施形態＞
図１１は、本発明のさらに別の実施形態に係る任意の解像度の全体画像を示す図である。

本実施形態に係る任意の解像度の全体画像８０は、図１０に示した任意の解像度の全体画像７０内に、順序強調画像として機能するタイムスタンプ画像Ｓ（Ｓ１、Ｓ２、Ｓ３、・・・）がさらに合成されたものである。これにより、ユーザが、表示範囲の軌跡の時間経過を把握しやすくなる。タイムスタンプ画像Ｓは、図７に示した履歴情報２０のうちの、サンプリングの時刻情報に基づいて生成されればよい。

＜第５の実施形態＞
図１２は、本発明のさらに別の実施形態に係る任意の解像度の全体画像を示す図である。

本実施形態に係る任意の解像度の全体画像９０内には、異なる複数のユーザごとに、ユーザを識別するためのユーザ識別画像Ｔ（Ｔ１、Ｔ２）が、任意の解像度の全体画像内に合成されている。ユーザ識別画像Ｔとしては、例えば「Ａさん診断跡」、「Ｂさん診断跡」等、各ユーザの名前を含むテキスト状の画像である。

このような任意の解像度の全体画像９０は、各ユーザの観察によりＰＣ１００がそれぞれ生成した履歴情報と、各ユーザを識別する識別情報とがそれぞれ対応付けられて記憶部１０８等に記憶されることにより実現される。つまり、ユーザごとに履歴情報２０（図７参照）が生成されればよい。テキスト状の画像は、例えば各ユーザが用いるＰＣ１００のユーザ名の情報、あるいは、ユーザが画像の観察終了後に手動で入力する名前等の情報に基づき生成されればよい。

ユーザ識別画像Ｔとして、テキスト状の画像に限られず、ユーザごとに設定された特定のマーク画像、あるいは、ユーザごとに異なる画像として設定された矢印画像であってもよい。ユーザは３人以上でもよい。識別情報ごとに、異なるレイヤーで履歴画像が合成されてもよい。この場合、ＰＣ１００等は、識別情報とレイヤー情報とを対応付けて記憶部１０８等に記憶する。

以上説明した第１〜５の実施形態における任意の解像度の全体画像内の各特徴部分のうち少なくとも２つの組合せによる画像が、任意の解像度の全体画像内に生成されてもよい。

＜その他の実施形態＞
本発明に係る実施形態は、以上説明した実施形態に限定されず、他の種々の実施形態がある。

上記では、画像ピラミッド構造５０を形成する画像データがＰＣ１００の記憶部１０８に記憶されている形態について説明した。しかし、ＰＣ１００とは別のコンピュータやサーバが、画像ピラミッド構造５０を形成する画像データを記憶し、ユーザが端末装置として使用するＰＣ１００が、それら別のコンピュータやサーバにアクセスしてその画像データを受信してもよい。この場合、端末装置としてのＰＣ１００とサーバ等とがＬＡＮまたはＷＡＮ等のネットワークを介して接続されてもよい。特に、ＷＡＮが使用されることにより遠隔病理学（Telepathology）や遠隔診断等を実現することができる。

上記では、画像ピラミッド構造５０の元画像として、同じ１つの観察対象物１５について１つの元画像が生成される形態について説明した。しかし、元画像として、同じ１つの観察対象物１５について、光学顕微鏡の焦点方向である観察対象物１５の厚さ方向で、異なる焦点で複数の元画像がそれぞれ生成されてもよい。これは、いわゆるZ-stackと呼ばれ、観察対象物１５の厚さ方向にも組織や細胞の形状等が異なる場合があるので、このような場合に対応するための機能である。上記スキャナ装置がこのZ-stack機能を有する場合が多く、元画像として、５〜１０枚あるいは１０〜３０枚程度生成される。

そして、スキャナ装置、ＰＣ１００または別のコンピュータは、そのように生成された複数の元画像から、それら元画像ごと（複数の元画像について）に、例えば公知の圧縮方法またはサムネイル画像を作るときの公知の圧縮方法により、各解像度の全体画像を生成する。つまり、少なくとも１つの解像度の全体画像について異なる複数の焦点の全体画像が生成される。すなわちこの場合、解像度の存在数をＭとし、焦点の存在数をＬとすると、図２に示した画像ピラミッド構造の全体画像の総数は、Ｍ×Ｌとなる。Ｌの例としては上述したように５〜３０となるが、この範囲に限られない。これら、複数の元画像をそれぞれ含む複数の画像であって、観察対象物の焦点方向で異なる焦点でそれぞれ生成された複数の画像のうちの１つの画像を、以下、異焦点全体画像という。

このような異焦点全体画像が生成される場合、例えばＰＣ１００または別のコンピュータは、以下のように処理する。すなわちＰＣ１００等は、少なくとも１つの解像度の全体画像について、異焦点全体画像内の一部の画像としての互いに異なる部分画像ごとの位置情報と、これら異なる部分画像ごとの焦点情報とを対応付け、この対応付けによる情報を、履歴情報２０内の情報としてさらに記憶すればよい。これにより、例えばＰＣ１００は、その焦点情報を表現する焦点強調画像を、任意の解像度の全体画像４０、６０、７０、８０または９０内に生成することができる。その結果、ユーザは、焦点に関する履歴も把握することができる。焦点強調画像は、文字、記号及び図形のうち少なくとも１つにより表現される。

上記の説明では、サンプリング周期は一定であった。上記部分画像の履歴情報を記憶処理するときのサンプリング周期は、ユーザの設定により適宜変更されるようにしてもよい。あるいは、サンプリング周期は、観察倍率（解像度）に応じて可変に制御されるようにしてもよい。例えば、ＰＣ１００のＣＰＵ１０１は、第１の解像度での観察の時はサンプリング周期を第１の時間に設定し、ユーザの操作により第１の解像度より高い第２の解像度に設定された時、サンプリング周期を第１の時間より短い第２の時間に設定する。これにより、高倍率の部分画像を低倍率の部分画像より多くすることができる。

あるいは、その逆で、ＰＣ１００のＣＰＵ１０１は、第１の解像度での観察の時はサンプリング周期を第１の時間に設定し、ユーザの操作により第１の解像度より高い第２の解像度に設定された時、サンプリング周期を第１の時間より長い第２の時間に設定してもよい。

このような処理により、高倍率の部分画像及び低倍率の部分画像についての、重要度あるいは優先度をユーザが選択できるようになる。

あるいは、ＰＣ１００のＣＰＵ１０１は、１つの部分画像が表示されている間の時間である表示時間をカウントし、ある一定のサンプリング周期とその表示時間とを比較し、表示時間がサンプリング周期より長い場合に、その１つの部分画像の履歴情報として記憶するようにしてもよい。これにより、例えば表示時間がサンプリング周期より短い場合、その表示時間が短かった部分画像の、履歴情報を記憶する処理を省略することが可能となる。すなわち、ＣＰＵ１０１の処理が効率化され、記憶容量も少なくなる。

上記実施形態では、上記画像ピラミッド構造５０は、予め生成され、記憶された各解像度の全体画像の画像群から構成されていた。しかし、ＰＣ１００やその他のコンピュータ等は、予め生成され記憶されていない全体画像を必要に応じて生成してもよい。例えば、ＰＣ１００等は、観察倍率３０倍に対応する解像度の全体画像を、予め生成され記憶されている、観察倍率２０倍及び４０倍の各全体画像から補間により生成することができる。

上記実施形態に係る情報処理装置としてＰＣが用いられたが、ＰＣに限られず、専用の情報処理装置であってもよい。また、情報処理装置として、ハードウェア資源及びソフトウェアの協働により上記情報処理を実現する装置に限られず、専用のハードウェアにより上記情報処理が実現されてもよい。

Ｄ（Ｄ１、Ｄ２、Ｄ３、・・・）…表示範囲
Ａ（Ａ１、Ａ２、Ａ３、・・・）…矢印画像
Ｆ（Ｆ１、Ｆ２、Ｆ３、・・・）…フレーム画像
Ｒ（Ｒ１、Ｒ２、Ｒ３、・・・）…外形画像
Ｓ（Ｓ１、Ｓ２、Ｓ３、・・・）…タイムスタンプ画像
Ｔ（Ｔ１、Ｔ２、・・・）…ユーザ識別画像
１５…観察対象物
２０…履歴情報
４０、６０、７０、８０、９０…任意の解像度の全体画像
１００…ＰＣ
１０１…ＣＰＵ
１０２…ＲＯＭ
１０３…ＲＡＭ
１０５…入出力インターフェース
１０６…表示部
１０７…入力部
１０８…記憶部

Claims (7)

1. 各々異なる観察倍率に対応する複数の種類の解像度でそれぞれ生成された、顕微鏡により得られた観察対象物の画像を含む全体画像のうち、少なくとも１つの解像度の前記全体画像内の一部の画像である部分画像を表示するために、前記解像度ごとに前記部分画像を出力可能な出力手段と、
   前記出力手段により出力された前記全体画像内の互いに異なる前記部分画像ごとの、前記全体画像内における位置情報と、前記異なる部分画像ごとの前記解像度の情報とを対応付け、前記対応付けによる情報を、前記各部分画像の出力の履歴情報として記憶する記憶手段と、
   前記記憶手段により記憶された前記履歴情報に基づき、前記観察倍率毎に１以上の前記部分画像の表示範囲を合わせた全体の外形を表す外形画像を、前記観察倍率毎の履歴画像として、任意の解像度の前記全体画像内に合成する画像生成手段と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記履歴情報を、所定のサンプリング周期で、前記記憶手段に記憶させるサンプリング手段をさらに具備する情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記サンプリング手段は、
   １つの前記部分画像が表示されている間の時間である表示時間をカウントし、前記サンプリング周期と前記表示時間とを比較し、前記表示時間が前記サンプリング周期より長い場合に、前記１つの部分画像の前記履歴情報を前記記憶手段に記憶させる情報処理装置。
4. 請求項１から３のうちいずれか１項に記載の情報処理装置であって、
   前記記憶手段は、異なる複数のユーザをそれぞれ識別するための識別情報と、前記ユーザごとの前記履歴情報とを対応付けて記憶し、
   前記画像生成手段は、前記識別情報ごとの前記履歴情報に基づき、前記ユーザを識別するためのユーザ識別画像を含む前記履歴画像を、前記任意の解像度の前記全体画像内に合成する情報処理装置。
5. 請求項１から４のうちいずれか１項に記載の情報処理装置であって、
   前記出力手段は、前記少なくとも１つの解像度の前記全体画像について、前記観察対象物の焦点方向で異なる焦点でそれぞれ生成された複数の画像である複数の異焦点全体画像のうちの、少なくとも１つの前記異焦点全体画像内の一部の画像を、前記焦点ごとに前記部分画像として出力可能であり、
   前記記憶手段は、前記少なくとも１つの解像度の前記全体画像についての、前記異焦点全体画像内の一部の画像としての互いに異なる前記部分画像ごとの前記位置情報と、前記異なる部分画像ごとの前記焦点の情報とを対応付け、該対応付けによる情報を、前記履歴情報内の情報としてさらに記憶する情報処理装置。
6. 各々異なる観察倍率に対応する複数の種類の解像度でそれぞれ生成された、顕微鏡により得られた観察対象物の画像を含む全体画像のうち、少なくとも１つの解像度の前記全体画像内の一部の画像である部分画像を表示するために、前記解像度ごとに前記部分画像を出力し、
   前記出力された全体画像内の互いに異なる前記部分画像ごとの、前記全体画像内における位置情報と、前記異なる部分画像ごとの前記解像度の情報とを対応付け、前記対応付けによる情報を、前記各部分画像の出力の履歴情報として記憶し、
   前記記憶された履歴情報に基づき、前記観察倍率毎に１以上の前記部分画像の表示範囲を合わせた全体の外形を表す外形画像を、前記観察倍率毎の履歴画像として、任意の解像度の前記全体画像内に合成する
   ことを情報処理装置が実行する情報処理方法。
7. 各々異なる観察倍率に対応する複数の種類の解像度でそれぞれ生成された、顕微鏡により得られた観察対象物の画像を含む全体画像のうち、少なくとも１つの解像度の前記全体画像内の一部の画像である部分画像を表示するために、前記解像度ごとに前記部分画像を出力し、
   前記出力された全体画像内の互いに異なる前記部分画像ごとの、前記全体画像内における位置情報と、前記異なる部分画像ごとの前記解像度の情報とを対応付け、前記対応付けによる情報を、前記各部分画像の出力の履歴情報として記憶し、
   前記記憶された履歴情報に基づき、前記観察倍率毎に１以上の前記部分画像の表示範囲を合わせた全体の外形を表す外形画像を、前記観察倍率毎の履歴画像として、任意の解像度の前記全体画像内に合成する
   ことを情報処理装置に実行させるプログラム。