JP2011117991A - 情報処理装置、情報処理方法及びそのプログラム - Google Patents

Abstract

【課題】顕微鏡から得られた画像のサムネイル画像のサイズを変更可能としながら、サムネイル画像と共に表示されるメタデータの表示形態を、サムネイル画像の視認性を損なわないように変更すること。
【解決手段】ＰＣ１００のＣＰＵ１０１は、サムネイルリストビュー画面２０上で、サムネイル画像４１のサイズを変更する操作が入力された場合、サムネイル画像４１のサイズを変更するとともに、サムネイル画像４１に重畳して表示されるアノテーション位置情報５２及びアノテーション文字情報５３のサイズを、当該サイズに合わせて変更する。この際、ＣＰＵ１０１は、当該変更後のサイズが所定の閾値を下回った場合、アノテーション位置情報５２は単なる点として表示され、アノテーション文字情報は削除される。
【選択図】図７

Description

本発明は、医療、病理、生物、材料等の分野において顕微鏡により得られた画像の表示を制御する情報処理装置、情報処理方法及びそのプログラムに関する。

医療または病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステムが提案されている。

例えば、特許文献１に記載の方法では、顕微鏡により光学的に得られた画像が、ＣＣＤ（Charge Coupled Device）を搭載したビデオカメラによりデジタル化され、そのデジタル信号が制御コンピュータシステムに入力され、モニタに可視化される。病理学者はモニタに表示された画像を見て検査等を行う（例えば、特許文献１の段落［００２７］、［００２８］、図５参照）。このようなシステムは一般にバーチャル顕微鏡と呼ばれている。

また、このようなバーチャル顕微鏡システムには、原画像が縮小されたサムネイル画像の一覧を表示可能としているものもある（例えば特許文献２の段落［００５３］、図５Ｇ参照）。ユーザは、このサムネイル画像の一覧を基に興味のある画像を選択して表示させることができる。

特開２００９−３７２５０号公報 特表２００６−５１９４４３号公報

ところで、特に病理診断用の画像が表示される際には、その画像の元になったスライド標本の形状が似通っている場合や、また同様の染色方法で染色されたスライドから原画像が生成される場合も多い。したがって、上記サムネイル画像の一覧が表示される場合、サムネイル画像のサイズを小さくすると、一覧性は高まるものの、そのサイズがあまりに小さいと、ユーザはサムネイル画像同士を識別できなくなる。

また、上記サムネイル画像のサイズが小さいと、ユーザは、各サムネイル画像のうちユーザの興味がある部位を認識することができない。特に病理診断においては、原画像のサイズが巨大（数10Kpixel ×数10Kpixel）でありながら、病理医等のユーザが興味のある病理特徴を有する領域は、その原画像サイズに比べて極めて小さい（例えば数100pixel×数100pixel）こともある。

したがって、サムネイル画像の一覧性と視認性とはトレードオフの関係にあるため、サムネイル画像のサイズは、必要に応じて変更可能であることが望ましい。

一方、バーチャル顕微鏡システムでは、上記のような興味のある部位、例えば疾患のおそれがある部位について、その位置情報と文字情報等のメタデータを入力して原画像に重畳させて表示するアノテーション機能を有するものがある。このアノテーション機能をサムネイル画像の一覧にも反映させることで、サムネイル画像のサイズが小さくても、ユーザが興味のある部分を識別することが可能となる。

しかしながら、上記サムネイル画像の一覧上で上記アノテーション機能により位置情報や文字情報が表示される場合、表示画面内の情報量が過度になり、各サムネイル画像の視認性に支障をきたすおそれがある。そのような場合には、ユーザは所望のサムネイル画像の選択という、サムネイル画像の一覧における本来の目的を達成できなくなる。

以上のような事情に鑑み、本発明の目的は、顕微鏡から得られた画像のサムネイル画像のサイズを変更可能としながら、サムネイル画像と共に表示されるメタデータの表示形態を、サムネイル画像の視認性を損なわないように変更可能な情報処理装置、情報処理方法及びプログラムを提供することにある。

上記目的を達成するため、本発明の一形態に係る情報処理装置は、メモリと、出力部と、操作入力部と、制御部とを有する。上記メモリは、顕微鏡により得られた観察対象物の複数の異なる原画像の各サムネイル画像と、当該複数の原画像のうち少なくとも１つの原画像のメタデータとを保持可能である。上記出力部は、上記保持された各サムネイル画像の一覧を表示させるために出力する。上記操作入力部は、上記表示された一覧について、上記各サムネイル画像のサイズを指定する操作の入力を受け付ける。上記制御部は、上記一覧中の各サムネイル画像のサイズを、上記指定されたサイズに変更し、かつ、上記メタデータを、上記指定されたサイズに応じた表示形態で、上記少なくとも１つの原画像のサムネイル画像に重畳させて表示させるように上記メモリ及び上記出力部を制御する。

この構成により、サムネイル画像について指定されたサイズに応じて、当該サムネイル画像に重畳されるメタデータの表示形態も動的に変更される。したがって情報処理装置は、サムネイル画像のサイズが小さくなった場合でも、それに重畳されて表示されるメタデータにより当該サムネイル画像が邪魔されてユーザの閲覧作業に支障をきたすのを防ぐことができる。特に病理診断画像の分析においては、病理医の診断に要する作業がより効率化される。

上記メモリは、上記サムネイル画像の一覧中の１つのサムネイル画像の原画像を保持可能であってもよい。この場合上記出力部は、上記サムネイル画像の一覧と、上記保持された原画像とを切り替えて出力し表示させることが可能であってもよい。この場合上記操作入力部は、上記表示された原画像について、スクロール操作またはズーム操作の入力を受付可能であってもよい。この場合上記制御部は、上記入力されたスクロール操作またはズーム操作に応じて上記表示された原画像を変更し、当該変更後に上記原画像が上記サムネイル画像の一覧に切り替えられた場合に、当該切り替え後のサムネイル画像の一覧上で、上記変更された原画像のサムネイル画像を、上記変更された状態に応じて更新して出力するように上記メモリ及び上記出力部を制御してもよい。

これにより情報処理装置は、サムネイル画像一覧とそれらの原画像とを切り替えて表示させる場合に、原画像について行われたスクロール操作やズーム操作の履歴を、その後に切り替わったサムネイル画像一覧において反映させることができる。したがってユーザは、当該切り替え後のサムネイル画像一覧において、直前に操作を行った原画像がどのサムネイル画像に対応しているかを容易に把握できる。

上記操作入力部は、上記表示された１つの画像について、上記メタデータとして、位置情報及び文字情報からなるアノテーション情報の入力を受付可能であってもよい。この場合上記制御部は、上記原画像が上記サムネイル画像の一覧に切り替えられ、かつ、上記指定された各サムネイル画像のサイズが所定の閾値を下回った場合に、上記サムネイル画像一覧上で、上記変更された原画像のアノテーション情報のうち、上記位置情報のみ重畳させて表示させるように上記メモリ及び上記出力部を制御してもよい。

これにより、サムネイル画像のサイズが小さくなった場合には、アノテーション情報のうち位置情報のみが表示されるため、小さくなったサムネイル画像上に文字情報が重畳してサムネイル画像自体の視認性が阻害されるのを防ぐことができる。ここで位置情報とは、原画像上でユーザが気になる箇所を囲む線等である。上記サムネイル画像のサイズが所定の閾値を下回った場合、当該線が点として表示されてもよい。これにより、位置情報がそのまま表示される場合に比べて情報処理装置の演算量を削減することもできる。

この場合上記操作入力部は、任意の文字列の入力操作を受付可能であってもよい。この場合上記制御部は、上記各サムネイル画像のうち、上記入力された文字列を上記アノテーション情報の文字情報に含むサムネイル画像のみを表示させるように上記メモリ部及び上記出力部を制御してもよい。

これにより、ユーザは所望の文字列に合致するサムネイル画像のみを選択的に閲覧することができる。また上記サムネイル画像のサイズが所定の閾値を下回り、サムネイル画像上に文字情報自体は重畳されなくなった場合でも、入力された文字列が文字情報に含まれる場合にはその文字列を含むサムネイル画像のみが表示される。したがってユーザは当該文字情報とサムネイル画像との対応関係を確認せずとも、入力した文字列に関連するサムネイル画像を閲覧できる。

上記メモリは、上記メタデータとして、上記原画像から所定の画像処理により抽出された、当該原画像内の複数の領域毎の特徴データを保持可能であってもよい。この場合上記制御部は、上記各サムネイル画像に、上記特徴識別データを上記領域毎に表示形態が異なるように重畳させて表示させるように上記メモリ及び上記出力部を制御してもよい。

上記所定の画像処理とは例えばクラスタリング処理、周波数成分解析処理等である。これにより、サムネイル画像において、原画像の特徴領域毎にその表示形態が変更されるため、ユーザはサムネイル画像の一覧において原画像の各特徴領域を一目で識別することができる。特に病理診断画像の解析においては、病理医は診断に影響する領域のみを一覧でき、診断に要する作業がより効率化される。

この場合上記制御部は、上記複数の領域のうち、１つの上記特徴識別データにより識別される１つの領域の位置及びサイズに合わせて上記サムネイル画像の一部を抽出して上記一覧上に表示させるように上記メモリ及び上記出力部を制御してもよい。

これにより、原画像のうち、所定の特徴を有する領域のみがピックアップされてサムネイル画像として表示される。したがってユーザは、原画像がそのまま縮小されたサムネイル画像を閲覧する場合に比べて、各原画像の特徴領域のみを一覧できる。

上記操作入力部は、上記サムネイル画像の一覧上で、上記各サムネイル画像に所定のマークを付すための操作の入力を受付可能であってもよい。この場合上記制御部は、上記入力された操作に対応するサムネイル画像上に上記所定のマークを重畳させて表示させるように上記メモリ及び上記出力部を制御してもよい。

これにより、ユーザは、サムネイル画像を一覧しながら、気になるサムネイル画像にマークを付すことができ、原画像とサムネイル画像とが切り替わって表示される際にも、自らが気になるサムネイル画像を終始識別することができる。

本発明の他の形態に係る情報処理方法は、顕微鏡により得られた観察対象物の複数の異なる原画像の各サムネイル画像と、当該複数の原画像のうち少なくとも１つの原画像のメタデータとを保持することを含む。上記保持された各サムネイル画像の一覧は、表示のために出力される。上記表示された一覧については、上記各サムネイル画像のサイズを指定する操作が入力される。上記一覧中の各サムネイル画像のサイズは、上記指定されたサイズに変更され、かつ、上記メタデータは、上記指定されたサイズに応じた表示形態で、上記少なくとも１つの原画像のサムネイル画像に重畳して出力する。

本発明のまた別の形態に係るプログラムは、情報処理装置に、保持ステップと、出力ステップと、操作入力ステップと、表示ステップとを実行させる。上記保持ステップでは、顕微鏡により得られた観察対象物の複数の異なる原画像の各サムネイル画像と、当該複数の原画像のうち少なくとも１つの原画像のメタデータとが保持される。上記出力ステップでは、上記保持された各サムネイル画像の一覧が、表示のために出力される。上記操作入力ステップでは、上記表示された一覧について、上記各サムネイル画像のサイズを指定する操作の入力が受け付けられる。上記表示ステップでは、上記一覧中の各サムネイル画像のサイズが、上記指定されたサイズに変更され、かつ、上記メタデータが、上記指定されたサイズに応じた表示形態で、上記少なくとも１つの原画像のサムネイル画像に重畳して出力する。

以上説明したように、本発明によれば、顕微鏡から得られた画像のサムネイル画像のサイズを変更可能としながら、サムネイル画像と共に表示されるメタデータの表示形態を、サムネイル画像の視認性を損なわないように変更することができる。

本発明の一実施形態に係る情報処理装置を少なくとも含む情報処理システムの構成を示すブロック図である。 本発明の一実施形態における表示原理を説明するための画像ピラミッド構造を示す図である。 図２に示した画像ピラミッド構造の画像群を生成するときの手順を説明するための図である。 本発明の一実施形態におけるサムネイルリストビュー画面の表示例を示す図である。 本発明の一実施形態におけるスライドビュー画面の表示例を示す図である。 本発明の一実施形態に係るＰＣのサムネイル表示処理の流れを示すフローチャートである。 本発明の一実施形態におけるサムネイル画像のサイズ変更処理の様子を示す図である。 本発明の一実施形態における文字列によるサムネイル画像のフィルタリング処理の様子を示す図である。 本発明の一実施形態に係るＰＣの操作履歴のサムネイル画像への反映処理の流れを示すフローチャートである。 本発明の一実施形態における操作履歴のサムネイル画像への反映処理の様子を示す図である。

以下、図面を参照しながら、本発明の実施形態を説明する。

［情報処理装置の構成］
図１は、本発明の一実施形態に係る情報処理装置を少なくとも含む情報処理システムの構成を示すブロック図である。情報処理装置として、例えばＰＣ（Personal Computer）１００が用いられる。

ＰＣ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ１０２（Read Only Memory）、ＲＡＭ（Random Access Memory）１０３、入出力インターフェース１０５、及び、これらを互いに接続するバス１０４を備える。

ＣＰＵ１０１は、必要に応じてＲＡＭ１０３等に適宜アクセスし、各種演算処理を行いながらＰＣ１００の各ブロック全体を統括的に制御する。ＲＯＭ１０２は、ＣＰＵ１０１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ１０３は、ＣＰＵ１０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラム、処理中の各種データを一時的に保持する。

入出力インターフェース１０５には、表示部１０６、入力部１０７、記憶部１０８、通信部１０９、ドライブ部１１０等が接続される。

表示部１０６は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。当該表示部１０６は、ＰＣ１００に内蔵されていてもよいし、ＰＣ１００に外部接続されていてもよい。

入力部１０７は、例えばポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部１０７がタッチパネルを含む場合、そのタッチパネルは表示部１０６と一体となり得る。

記憶部１０８は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ、その他の固体メモリ等の不揮発性メモリである。当該記憶部１０８には、後述する光学顕微鏡により得られた画像等が記憶される。さらに記憶部１０８には、後述するアノテーション情報や特徴データ等のメタデータが記憶される場合もある。

ドライブ部１１０は、例えば光学記録媒体、フロッピー（登録商標）ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体１１１を駆動することが可能なデバイスである。これに対し上記記憶部１０８は、主にリムーバブルでない記録媒体を駆動する、ＰＣ１００に予め搭載されたデバイスとして使用される場合が多い。

通信部１０９は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部１０９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部１０９は、ＰＣ１００とは別体で使用される場合が多い。

次に、図示しない光学顕微鏡により得られた画像及びその表示原理について説明する。この画像は、ＰＣ１００の主に記憶部１０８に記憶される。図２は、その表示原理を説明するための画像構造を示す図である。

同図に示すように、本実施形態において扱われる画像はピラミッド構造を有する（画像ピラミッド構造５０）。当該画像ピラミッド構造５０は、光学顕微鏡により同じ１つの観察対象物１５（図３参照）から得られる同一の画像について、異なる複数の解像度により生成された画像群である。本実施形態ではこの画像群を構成する各画像を全体画像と称する。画像ピラミッド構造５０の最下層には、最も大きいサイズの全体画像が配置され、最上層には最も小さいサイズの全体画像が配置される。最も大きいサイズの全体画像の解像度は、例えば５０×５０（Kpixel）、あるいは４０×６０（Kpixel）である。最も小さいサイズの全体画像の解像度は、例えば２５６×２５６（pixel）、あるいは、２５６×５１２（pixel）である。またこれら各全体画像は例えばＪＰＥＧ方式で圧縮された画像であるが、これに限られない。

ＰＣ１００は、この画像ピラミッド構造５０に含まれる各全体画像から、表示部１０６の所定の表示範囲に相当する部分の画像（以下、部分画像と称する）を適宜抽出してＲＡＭ１０３上に読み出し、表示部１０６により出力する。ここで、図２では、その表示部１０６の表示範囲をＤとして示している。

図３は、この画像ピラミッド構造５０の画像群を生成する手順を説明するための図である。

まず、光学顕微鏡（図示せず）により所定の観察倍率で得られた元画像のデジタル画像が用意される。この元画像が、図２で示した画像ピラミッド構造５０の最下層の画像である最も大きいサイズの全体画像に相当し、つまり解像度が最大の全体画像となる。したがって、画像ピラミッド構造５０の最下層の全体画像としては、比較的高倍率で観察されて得られる光学顕微鏡の画像が用いられる。

なお、病理の分野一般においては、生体の臓器、組織、細胞、またはこれらの一部から、薄く切り取られたものが観察対象物１５となる。そして、光学顕微鏡の機能を有する図示しないスキャナ装置により、ガラススライドに収められた観察対象物１５が読み取られ、これにより得られたデジタル画像が、そのスキャナ装置またはその他の記憶装置に記憶される。

このスキャナ装置または汎用コンピュータ（図示せず）は、図３に示すように、上記のように得られた最も大きいサイズの全体画像から、段階的に解像度を小さくした複数の全体画像を生成し、これらを例えば所定サイズの単位である「タイル」単位で記憶する。１タイルのサイズは、例えば２５６×２５６（pixel）である。このように生成された画像群が解像度毎に複数の層に重なって画像ピラミッド構造５０を形成し、この画像ピラミッド構造５０が、異なる観察対象物毎に複数形成されて、ＰＣ１００の記憶部１０８に記憶される。実際には、ＰＣ１００はそれら異なる複数の解像度の全体画像と、解像度の情報とをそれぞれ対応付けて記憶すればよい。また、画像ピラミッド構造５０の生成及びその記憶は、図１に示したＰＣ１００が実行してもよい。

ＰＣ１００は、この画像ピラミッド構造５０のシステムを採用するソフトウェアを用い、ユーザの入力部１０７を介した入力操作に応じて、画像ピラミッド構造５０中の任意の解像度の全体画像から、上記表示範囲Ｄに相当する複数のタイルを抽出する。そしてＰＣ１００は、これをＲＡＭ１０３へ読み出した後、表示部１０６から部分画像として出力する。またＰＣ１００は、表示された部分画像について、ユーザから移動（スクロール）操作が入力された場合には、当該部分画像が抽出された全体画像上で、上記表示範囲Ｄを移動（スクロール）させ、当該移動後の表示範囲Ｄに含まれる複数のタイルを抽出して出力する。さらにＰＣ１００は、表示された部分画像について、ユーザからズーム操作が入力された場合には、当該部分画像が抽出された全体画像とは解像度（階層）が異なる全体画像から、当該部分画像の広域画像または狭域画像に相当する複数のタイルを抽出して、新たな部分画像として出力する。すなわち上記各全体画像はミップマップ画像として機能する。このような処理により、ユーザは、観察範囲や観察倍率を変えながら観察対象物１５を観察しているような感覚を得ることができる。すなわち、ＰＣ１００はバーチャル顕微鏡として機能する。ここでの仮想的な観察倍率は、実際には解像度に相当する。

ここで、表示範囲Ｄは、表示部１０６が有する最大の表示範囲の大きさを意味しているのではなく、表示部１０６の表示範囲の全体またはその一部の範囲であり、これは例えばユーザの設定により適宜設定され得る。また当該表示範囲Ｄは、上記タイルを複数行×複数列に並べた面積に相当する。すなわち上記部分画像は、複数のタイルで構成される。

また、本実施形態においては、上記画像ピラミッド構造５０の画像群のうち、ある解像度の全体画像から抽出された部分画像に対して、その全体画像の解像度よりも低い所定の解像度（縮小率）を有する全体画像（上層に位置する全体画像）から、上記部分画像と同一領域の画像が抽出されることで、当該部分画像のサムネイル画像が生成される。後述するように、ＰＣ１００は、観察対象物が異なる複数の部分画像の各サムネイル画像の一覧を表示することも可能である。

また、本実施形態において、上記表示範囲Ｄの解像度（サイズ）が上記全体画像の解像度（サイズ）と一致する場合には、その全体画像は上記部分画像と同一の機能を有することになる。そしてこの場合には、その全体画像についてサムネイル画像が生成される。すなわち、部分画像が、全体画像の一部ではなく全体を表す場合もある。

［情報処理装置の動作］
次に、以上のように構成されたＰＣ１００の動作について説明する。以下の説明では、あるサムネイル画像の縮小前の原画像としての部分画像を、サムネイル画像に対してスライド画像と称する。

本実施形態において、ＰＣ１００は、１つのスライド画像を表示範囲Ｄで表示するビュー（以下、スライドビュー）と、当該１つのスライド画像を含む複数のスライド画像の各サムネイル画像の一覧を表示するビュー（以下、サムネイルリストビュー）とを切り替えることが可能である。図４は、スライドビュー画面の例を示す図であり、図５は、サムネイルリストビュー画面の例を示す図である。

同図に示すように、サムネイルリストビュー画面２０では、複数のサムネイル画像４１が複数行×複数列に一覧表示される。典型的には、ＰＣ１００においてスライド画像を閲覧するためのアプリケーションが起動すると、まずこのサムネイルリストビュー画面２０が表示される。各サムネイル画像４１の例えば下方にはそのサムネイル画像４１のファイル名が表示される。

各サムネイル画像４１のうち、現在選択されているサムネイル画像４１がカーソル４２で囲まれる。当該サムネイルリストビュー画面２０の右上端部には、後述するスライドビュー画面上でアノテーション機能を実行するためのアノテーションボタン４４及びアノテーション入力フィールド４５が表示される。当該アノテーションボタン４４及びアノテーション入力フィールド４５下方には、当該サムネイルリストビュー画面２０上の各サムネイル画像４１のサイズを指定（変更）するためのサムネイルサイズ変更スライダ４３が表示される。

また、サムネイル画像４１の一覧の左上には、ユーザに入力される文字列に合致するアノテーションが付加されたサムネイル画像４１のみをフィルタリングして表示するためのフィルタリングボタン４６及び当該文字列を入力するためのフィルタリングワード入力フィールド４７が表示される。当該フィルタリングボタン４６の下方には、当該サムネイルリストビュー画面２０とスライドビュー画面とを切り替えるためのビュー切替ボタン４０が表示される。

また、本実施形態においては、ユーザは、当該サムネイルリストビュー画面２０上で、任意のサムネイル画像４１にマーク（付箋紙）を付けることができる。マークされたサムネイル画像３１には、付箋紙画像４８が重畳して表示される。ＰＣ１００は、この付箋紙画像４８を、複数の色に分けて表示することが可能である。またユーザは、一度付した付箋紙画像４８を削除することも可能である。当該サムネイルリストビュー画面２０の左端には、この付箋紙の色を例えば４色から選択するための色選択ボタン４９及び付箋紙削除ボタン５４が表示される。またユーザは、当該付箋紙画像４８の付加とともに、メモを入力することが可能である。上記色選択ボタン４９の下方には、そのメモを入力するためのメモ入力フィールド５６が表示される。また色選択ボタン４９の上方には、現在選択されているサムネイル画像４１と同一の画像が表示される。

ＰＣ１００は、当該付箋紙画像４８とサムネイル画像４１との対応情報を記憶部１０８に記憶し、本実施形態におけるアプリケーションまたはＰＣ１００の再起動後も当該付箋紙画像４８を対応するサムネイル画像４１に表示させる。これにより、ユーザは、自らが気になるサムネイル画像４１を終始識別することができる。

図５に示すように、スライドビュー画面３０では、サムネイル画像４１の原画像であるスライド画像５１が表示される。このスライドビュー画面３０は、上記サムネイルリストビュー画面２０上で上記カーソル４２により１つのサムネイル画像４１が選択された状態で、ユーザにより上記ビュー切替ボタン４０がクリックされることで表示される。

このスライドビュー画面３０上で、ユーザは、例えばマウスのドラッグ操作やホイールの回転操作を行うことで、スライド画像５１の表示範囲Ｄを移動させたり、スライド画像５１をズームさせたりすることが可能である。具体的には、ＣＰＵ１０１は、上記ドラッグ操作があった場合には、現在表示されているスライド画像５１が抽出された特定の階層の全体画像上で、上記表示範囲Ｄを移動させ、移動後の表示範囲Ｄに含まれるタイルにより新たなスライド画像５１を生成して表示する。またＣＰＵ１０１は、上記ズーム操作があった場合には、現在のスライド画像５１が抽出された特定の階層の全体画像とは異なる階層の全体画像から、当該スライド画像５１の広域画像または狭域画像に相当し表示範囲Ｄを占める複数のタイルを抽出して、新たなスライド画像５１として表示する。

また、このスライドビュー画面３０上では、ユーザは、表示されているスライド画像５１についての追加情報であるアノテーション情報を入力しそれを表示させることができる。ＰＣ１００は、例えば、上記アノテーションボタン４４がクリックされた状態でユーザがスライド画像５１の任意の位置を矩形や円で囲んだりその位置に線を引いたりした場合に、それに応じてアノテーション位置情報５２として表示する。またそれに加えて、ユーザが上記アノテーション入力フィールド４５に任意の文字列を入力するとそれをアノテーション文字情報５３として表示する。

次に、本実施形態におけるＰＣ１００のサムネイル表示処理を具体的に説明する。これ以降に説明されるＰＣ１００の処理は、記憶部１０８またはＲＯＭ１０２等の記憶されたソフトウェアと、ＰＣ１００のハードウェア資源との協働により実現される。具体的には、ＣＰＵ１０１が記憶部１０８またはＲＯＭ１０２等に記憶された、ソフトウェアを構成するプログラム（アプリケーション）をＲＡＭ１０３にロードして実行することにより、以下の処理が実現される。図６は、上記サムネイル表示処理の流れを示すフローチャートである。また図７は、サムネイル画像のサイズ変更処理の様子を示す図である。

同図に示すように、ＰＣ１００のＣＰＵ１０１は、上記スライド画像閲覧のためのアプリケーションが起動すると、サムネイル画像のサイズを入力する（ステップ６１）。初回起動時には、当該サムネイル画像のサイズは所定のサイズに指定されている。

サムネイル画像のサイズが入力されると、ＣＰＵ１０１は、そのサイズ（解像度）に合わせて、上記画像ピラミッド構造５０中のタイルのうち適切な階層のタイルを決定する（ステップ６２）。続いてＣＰＵ１０１は、当該決定されたタイルを記憶部１０８からＲＡＭ１０３に読み出して保持する（ステップ６３）。

続いてＣＰＵ１０１は、ＲＡＭ１０３に読み出されたタイルをデコードして、ＲＡＭ１０３上のテクスチャバッファにデコード結果を格納する。デコードが終了すると、テクスチャバッファ上にサムネイル画像４１が生成される。

タイルのデコードの結果、サムネイル画像４１が生成されると、ＣＰＵ１０１は、サムネイル画像４１の原画像であるスライド画像５１に、対応づけられたアノテーションが存在するか否かを確認する（ステップ６５）。ここでアノテーションとは、上記アノテーション位置情報５２及び／またはアノテーション文字情報５３である。

アノテーションが存在しない場合（ステップ６５のＮｏ）、ＣＰＵ１０１は、上記テクスチャを描画して、上記サムネイルリストビュー画面２０上に、サムネイル画像４１を表示する（ステップ７０）。

アノテーションが存在する場合（ステップ６５のＹｅｓ）、ＣＰＵ１０１は、サムネイル画像４１の縮小率（サムネイル画像の幅または高さ÷その原画像であるスライド画像の幅または高さ）に合わせて、原画像上におけるアノテーションのサイズに対応する、サムネイル画像４１上のアノテーションのサイズを計算する（ステップ６６）。

当該計算の結果、サムネイル画像４１上のアノテーションのサイズが所定の閾値を下回っている場合（ステップ６７のＮｏ）、ＣＰＵ１０１は、アノテーションを簡易表示にしてサムネイル画像４１上に重畳させる（ステップ６８）。そしてＣＰＵ１０１は、上記テクスチャを描画して、上記サムネイルリストビュー画面２０上に、簡易表示のアノテーションが合成されたサムネイル画像４１を表示する（ステップ７０）。ＣＰＵ１０１は、当該簡易表示として、例えば、単にある大きさの点を上記アノテーション位置情報５２の位置に表示し、アノテーション文字情報５３は非表示にする。

図６のフローチャートへ戻り、サムネイル画像４１上のアノテーションのサイズが上記所定の閾値以上ならば、アノテーションを詳細表示にして、サムネイル画像４１に重畳させる（ステップ６９）。そしてＣＰＵ１０１は、上記テクスチャを描画して、上記サムネイルリストビュー画面２０上に、詳細表示のアノテーションが合成されたサムネイル画像４１を表示する（ステップ７０）。詳細表示とは、アノテーション位置情報５２とアノテーション文字情報５３の表示である。

ＣＰＵ１０１は、その後、サムネイルサイズの変更があるたびに、（ステップ７１のＹｅｓ）、上記ステップ６１〜ステップ７０の処理を繰り返す。またＣＰＵ１０１は、表示処理終了がユーザから指示された場合には処理を終了する（ステップ７２のＹｅｓ）。

より具体的には、図７（Ａ）に示すように、サムネイルリストビュー画面２０上で、ユーザによりサムネイルサイズ変更スライダ４３が例えば右から左へ移動されると、それまで３行×３列で表示されていたサムネイル画像４１が、同図（Ｂ）に示すように、そのサイズが縮小され、２行×８列で表示されるようになる。また同図（Ｂ）は、縮小後のサムネイル画像４１のサイズが上記所定の閾値を下回った場合を示している。すなわち、同図（Ａ）においてはサムネイル画像４１ａ及び４１ｂ上にそれぞれアノテーション情報としてアノテーション位置情報５２とアノテーション文字情報５３と表示されているが、縮小の結果、同図（Ｂ）に示すように、上記サムネイル画像４１ａ及び４１ｂ上には、アノテーション位置情報５２とアノテーション文字情報５３に代わってアノテーション点情報５５のみが表示されている。

このように、サムネイル画像４１のサイズが小さくなった場合には、アノテーションのうちアノテーションの位置を示すアノテーション点情報５５のみが表示されるため、ＰＣ１００は、小さくなったサムネイル画像上にアノテーション文字情報５３が重畳してサムネイル画像４１自体の視認性が阻害されるのを防ぐことができる。特に病理診断画像の分析においては、病理医の診断に要する作業がより円滑化される。すなわちＰＣ１００は、サムネイル画像４１のサイズを変更可能とするとともに、それに重畳されて表示されるメタデータとしてのアノテーション情報の表示形態も動的に変更することで、病理医等の診断作業をより効率化することができる。また、矩形や円等のアノテーション位置情報５２が単なる点として表示されることで、ＣＰＵ１０１の演算量も削減される。

上述したように、本実施形態では、ＣＰＵ１０１は、上記サムネイルリストビュー画面２０上で、所定の文字列を上記アノテーション文字情報５３として含むサムネイル画像４１のみをフィルタリングして表示することが可能である。図８は、当該フィルタリング処理の様子を示す図である。

同図（Ａ）に示すように、例えば上記フィルタリングワード入力フィールド４７に例えば「Cancer」という文字列が入力され、上記フィルタリングボタン４６がクリックされると、ＣＰＵ１０１は、当該「Cancer」という文字列をアノテーション文字情報５３として有するサムネイル画像４１ａ及び４１ｃのみをフィルタリングしてサムネイルリストビュー画面２０上に表示させる。例えば同図（Ａ）では、サムネイル画像４１ｂは「To be checked」というアノテーション文字情報５３を有しているが、同図（Ｂ）に示すように、フィルタリング後は、当該サムネイル画像４１ｂは表示されなくなる。

このような処理により、ユーザは所望の文字列に合致するサムネイル画像４１のみを選択的に閲覧することができる。また上記サムネイル画像３１のサイズが所定の閾値を下回り、サムネイル画像３１上にアノテーション文字情報５３が重畳されなくなった場合でも、ユーザは当該アノテーション文字情報５３とサムネイル画像４１との対応関係を確認せずとも、入力した文字列に関連するサムネイル画像４１を閲覧できるようになる。

上述したように、本実施形態では、ＰＣ１００は、サムネイルリストビュー画面２０とスライドビュー画面３０とを切り替えて表示させることが可能である。スライドビュー画面３０上では、上述のように、移動操作及びズーム操作が実行可能とされている。本実施形態では、ＰＣ１００は、この移動操作及びズーム操作の履歴情報を反映するように、上記サムネイルリストビュー画面２０上のサムネイル画像４１を更新することが可能である。以下、この操作履歴情報を用いたサムネイル画像４１の更新処理について説明する。

図９は、当該サムネイル画像４１の更新処理の流れを示すフローチャートである。また図１０は、当該更新処理の様子を示す図である。

図９に示すように、ＣＰＵ１０１は、スライドビュー画面３０上で、サムネイルリストビュー画面２０への切り替え操作が入力されたか否かを判断する（ステップ９１）。当該切り替え操作が入力された場合（Ｙｅｓ）、ＣＰＵ１０１は、その時点で表示されているスライド画像５１の表示位置（全体画像における位置）及び拡大率（全体画像の階層）をＲＡＭ１０３に記憶する（ステップ９２）。

続いてＣＰＵ１０１は、スライドビュー画面３０からサムネイルリストビュー画面２０へ遷移するにあたり、各サムネイル画像４１のサイズを入力する（ステップ９３）。このサイズは、例えばその直前のサムネイルリストビュー画面２０において指定されていたサイズとされる。

その後、ＣＰＵ１０１は、生成すべき各サムネイル画像４１について、その原画像が、直前にスライドビュー画面３０で表示されたスライド画像５１であるか否かを判断する（ステップ９４）。直前に表示されていた画像であると判断した場合（Ｙｅｓ）、ＣＰＵ１０１は、スライドビュー画面３０上のスライド画像５１の表示位置・拡大率をＲＡＭ１０３から取得する（ステップ９５）。

続いてＣＰＵ１０１は、上記サムネイル画像４１のサイズ、直前のスライド画像５１の表示位置及び拡大率を基に、画像ピラミッド構造５０上のタイルデータから、上記直前に閲覧されていたスライド画像５１のサムネイル画像４１を含め、各サムネイル画像４１に使用するタイルを決定する（ステップ９６）。

サムネイル画像４１に使用するタイルが決定された後は、上記図６のステップ６３、ステップ６４及びステップ７０の処理と同様に、タイルデータを読み込み、読み込んだタイルデータをデコードし、デコード結果の画像をサムネイル画像４１として表示する（ステップ９７〜９９）。

図１０に示すように、サムネイルリストビュー画面２０上で選択された１つのサムネイル画像４１（同図（Ａ））に対応するスライド画像５１について、スライドビュー画面３０上で、例えばズーム操作が行われたとする（同図（Ｂ）→同図（Ｃ））。その後、当該スライドビュー画面３０がサムネイルリストビュー画面２０に切り替えられた場合（同図（Ｃ）→同図（Ｄ））、ＣＰＵ１０１は、上記ズーム操作における拡大率を、そのスライド画像５１に対応するサムネイル画像４１に反映させて、サムネイルリストビュー画面２０を表示する（同図（Ｄ））。

このような処理により、ユーザは、切り替え後のサムネイルリストビュー画面２０において、直前に操作を行ったスライド画像５１がどのサムネイル画像４１に対応しているかを容易に把握することができる。

［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。

上述の実施形態においては、スライド画像５１のメタデータとして、アノテーション情報が用いられ、当該アノテーション情報がサムネイル画像４１に重畳して表示された。しかし、このアノテーション情報に代わるメタデータとして、スライド画像５１の複数の領域毎の特徴を識別する特徴識別データが用いられてもよい。すなわち、ＰＣ１００は、例えばスライド画像５１をクラスタリング処理の周波数成分、標準偏差、コントラスト、エッジ等から、スライド画像５１の領域毎の特徴を検出し、または当該特徴毎にクラスタリング処理を行うことで、領域毎の特徴データを生成する。そしてＰＣ１００は、当該特徴データを識別する特徴識別データをＲＡＭ１０３に保持し、サムネイル画像４１上に、当該特徴識別データを、その特徴領域毎に表示形態が異なるように重畳して表示させてもよい。例えばＰＣ１００は、各領域の輝度や色が異ならせることで、サムネイル画像４１上で、特定の領域を強調させたり、各領域を区別したりすることができる。

またＰＣ１００は、特定の特徴を有する一部領域のみを、当該領域の位置またはサイズに応じてサムネイル画像４１から抽出し、当該抽出データを新たなサムネイル画像４１として生成し表示させてもよい。具体的には、ＰＣ１００は、当該特定の領域に相当するタイルを適切な階層の全体画像上から抽出してデコードし、それをサムネイル画像４１として表示する。

このような処理により、ユーザはサムネイルリストビュー画面２０上で、各サムネイル画像４１の原画像の各特徴領域を一目で識別することができる。特に病理診断画像の解析においては、病理医は診断に影響する領域のみを一覧でき、診断に要する作業がより効率化される。また特徴領域のみが抽出されて表示される場合には、ユーザは当該特徴領域をより高い解像度で閲覧することができ、病理診断をより効率化することができる。

上述の実施形態では、画像ピラミッド構造５０を形成する画像データ（タイル）がＰＣ１００の記憶部１０８に記憶されている形態について説明した。しかし、ＰＣ１００とは別のコンピュータやサーバが、画像ピラミッド構造５０を形成する画像データを記憶し、ユーザが端末装置として使用するＰＣ１００が、それら別のコンピュータやサーバにアクセスしてその画像データを受信してもよい。この場合、端末装置としてのＰＣ１００とサーバ等とがＬＡＮまたはＷＡＮ等のネットワークを介して接続されてもよい。特に、ＷＡＮが使用されることにより遠隔病理学（Telepathology）や遠隔診断等を実現することができる。

上述の実施形態では、異なる観察対象物１５の各スライド画像５１についてそれぞれサムネイル画像４１が生成され、それらが一覧表示された。しかし、同じ１つの観察対象物１５について、位置及び倍率の異なる複数のサムネイル画像４１が生成され、それらが一覧表示されてもよい。この場合でも、上述した実施形態と同様に、サムネイル画像４１のサイズ変更やビュー切り替え等に伴う各種処理が実行される。

上記では、画像ピラミッド構造５０の元画像として、同じ１つの観察対象物１５について１つの元画像が生成される形態について説明した。しかし、元画像として、同じ１つの観察対象物１５について、光学顕微鏡のフォーカス方向である観察対象物１５の厚さ方向に複数の元画像が生成されてもよい。これは、いわゆるZ-stackと呼ばれ、観察対象物１５の厚さ方向にも組織や細胞の形状等が異なる場合があるので、このような場合に対応するための機能である。上記スキャナ装置がこのZ-stack機能を有する場合が多く、元画像として、５〜１０枚あるいは１０〜３０枚程度生成される。この場合、１つの観察対象物についてのフォーカスの異なる複数の画像について、それぞれサムネイルが生成され、上述の実施形態と同様にサムネイル画像の一覧として表示されてもよい。この場合でも、上述した実施形態と同様に、サムネイル画像４１のサイズ変更やビュー切り替え等に伴う各種処理が実行される。

上記実施形態に係る情報処理装置としてＰＣが用いられたが、ＰＣに限られず、専用の情報処理装置であってもよい。また、情報処理装置として、ハードウェア資源及びソフトウェアの協働により上記情報処理を実現する装置に限られず、専用のハードウェアにより上記情報処理が実現されてもよい。

１５…観察対象物
２０…サムネイルリストビュー画面
３０…スライドビュー画面
３１…サムネイル画像
４０…ビュー切替ボタン
４１…サムネイル画像
４３…サムネイルサイズ変更スライダ
４４…アノテーションボタン
４５…アノテーション入力フィールド
４６…フィルタリングボタン
４７…フィルタリングワード入力フィールド
４８…付箋紙画像
５０…画像ピラミッド構造
５１…スライド画像
５２…アノテーション位置情報
５３…アノテーション文字情報
５５…アノテーション点情報
１００…ＰＣ
１０１…ＣＰＵ
１０３…ＲＡＭ
１０６…表示部
１０７…入力部
１０８…記憶部

Claims (9)

1. 顕微鏡により得られた観察対象物の複数の異なる原画像の各サムネイル画像と、当該複数の原画像のうち少なくとも１つの原画像のメタデータとを保持可能なメモリと、
   前記保持された各サムネイル画像の一覧を表示させるために出力する出力部と、
   前記表示された一覧について、前記各サムネイル画像のサイズを指定する操作の入力を受け付ける操作入力部と、
   前記一覧中の各サムネイル画像のサイズを、前記指定されたサイズに変更し、かつ、前記メタデータを、前記指定されたサイズに応じた表示形態で、前記少なくとも１つの原画像のサムネイル画像に重畳させて表示させるように前記メモリ及び前記出力部を制御する制御部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記メモリは、前記サムネイル画像の一覧中の１つのサムネイル画像の原画像を保持可能であり、
   前記出力部は、前記サムネイル画像の一覧と、前記保持された原画像とを切り替えて出力し表示させることが可能であり、
   前記操作入力部は、前記表示された原画像について、スクロール操作またはズーム操作の入力を受付可能であり、
   前記制御部は、前記入力されたスクロール操作またはズーム操作に応じて前記表示された原画像を変更し、当該変更後に前記原画像が前記サムネイル画像の一覧に切り替えられた場合に、当該切り替え後のサムネイル画像の一覧上で、前記変更された原画像のサムネイル画像を、前記変更された状態に応じて更新して出力するように前記メモリ及び前記出力部を制御する
   情報処理装置。
3. 請求項１または２に記載の情報処理装置であって、
   前記操作入力部は、前記表示された１つの画像について、前記メタデータとして、位置情報及び文字情報からなるアノテーション情報の入力を受付可能であり、
   前記制御部は、前記原画像が前記サムネイル画像の一覧に切り替えられ、かつ、前記指定された各サムネイル画像のサイズが所定の閾値を下回った場合に、前記サムネイル画像一覧上で、前記変更された原画像のアノテーション情報のうち、前記位置情報のみ重畳させて表示させるように前記メモリ及び前記出力部を制御する
   情報処理装置。
4. 請求項３に記載の情報処理装置であって、
   前記操作入力部は、任意の文字列の入力操作を受付可能であり、
   前記制御部は、前記各サムネイル画像のうち、前記入力された文字列を前記アノテーション情報の文字情報に含むサムネイル画像のみを表示させるように前記メモリ部及び前記出力部を制御する
   情報処理装置。
5. 請求項１に記載の情報処理装置であって、
   前記メモリは、前記メタデータとして、前記原画像から所定の画像処理により抽出された、当該原画像内の複数の領域毎の特徴を識別する特徴識別データを保持可能であり、
   前記制御部は、前記各サムネイル画像に、前記特徴識別データを前記領域毎に表示形態が異なるように重畳させて表示させるように前記メモリ及び前記出力部を制御する
   情報処理装置。
6. 請求項５に記載の情報処理装置であって、
   前記制御部は、前記複数の領域のうち、１つの前記特徴識別データにより識別される１つの領域の位置及びサイズに合わせて前記サムネイル画像の一部を抽出して前記一覧上に表示させるように前記メモリ及び前記出力部を制御する
   情報処理装置。
7. 請求項２に記載の情報処理装置であって、
   前記操作入力部は、前記サムネイル画像の一覧上で、前記各サムネイル画像に所定のマークを付すための操作の入力を受付可能であり、
   前記制御部は、前記入力された操作に対応するサムネイル画像上に前記所定のマークを重畳させて表示させるように前記メモリ及び前記出力部を制御する
   情報処理装置。
8. 顕微鏡により得られた観察対象物の複数の異なる原画像の各サムネイル画像と、当該複数の原画像のうち少なくとも１つの原画像のメタデータとを保持し、
   前記保持された各サムネイル画像の一覧を表示させるために出力し、
   前記表示された一覧について、前記各サムネイル画像のサイズを指定する操作の入力を受け付け、
   前記一覧中の各サムネイル画像のサイズを、前記指定されたサイズに変更し、かつ、前記メタデータを、前記指定されたサイズに応じた表示形態で、前記少なくとも１つの原画像のサムネイル画像に重畳させて出力する
   情報処理方法。
9. 情報処理装置に、
   顕微鏡により得られた観察対象物の複数の異なる原画像の各サムネイル画像と、当該複数の原画像のうち少なくとも１つの原画像のメタデータとを保持するステップと、
   前記保持された各サムネイル画像の一覧を表示させるために出力するステップと、
   前記表示された一覧について、前記各サムネイル画像のサイズを指定する操作の入力を受け付けるステップと、
   前記一覧中の各サムネイル画像のサイズを、前記指定されたサイズに変更し、かつ、前記メタデータを、前記指定されたサイズに応じた表示形態で、前記少なくとも１つの原画像のサムネイル画像に重畳させて出力するステップと
   を実行させるプログラム。

Images