JP2013134574A - 画像データ生成装置、画像データ表示システムおよび画像データ生成方法 - Google Patents

Abstract

【課題】複数の関心領域の指定を行うスクリーニング作業と詳細観察とを関連づけてかつ独立に行えるようにする。
【解決手段】画像データ生成装置であって、ユーザによって指示された撮像画像上の関心領域の位置データを取得する位置データ取得手段と、撮像画像のデータおよび位置データとを用いて、表示画像のデータを生成する表示データ生成手段とを備え、位置データ取得手段は、複数の関心領域の位置データを取得可能であり、表示データ生成手段は、複数の位置データを表示装置に表示するためのデータと、撮像画像の一部分を拡大し、表示装置に複数表示可能とするためのデータとを生成し、撮像画像の一部分は、表示装置に表示された複数の位置データのうちユーザによって指定された位置データに対応する前記関心領域を含む。
【選択図】図３

Description

本発明は、画像データ生成装置および画像データ生成方法に関し、特に病理診断の作業効率を向上させる画像診断向け表示画像データの生成技術に関する。

近年、病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料の撮像と画像のデジタル化によってディスプレイ上での病理診断を可能とするバーチャル・スライド・システムが注目を集めている。バーチャル・スライド・システムを用いた病理診断画像のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱うことが可能となる。その結果、遠隔診断の迅速化、デジタル画像を用いた患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られると期待されている。通常、被検試料全体をデジタル化した場合、数億画素から数十億画素と非常に大きなデータ量となる。それゆえ、診断画像ビューア上で拡大・縮小処理を行うことにより、ミクロ（細部拡大像）からマクロ（全体俯瞰像）まで観察することが可能となり、種々の利便性を提供することができる。

一方で、病理分野に限らず、低倍画像から高倍画像までユーザが求める画像の即時の表示が可能となる様々なビューアが提案されている。例えば、特許文献１では、超音波診断装置において、断層像と一部領域の拡大像との対応関係を明示することにより、断層像のどの領域を拡大して表示したのか明確に把握できるようにする技術が公開されている。また、特許文献２では、超音波診断装置において、超音波画像を段階的に拡大表示する場合に、元画像を縮小処理して生成された参照画像を用意する。このことによって、各画像間の関係を容易に理解できるようにし、また元画像の表示を容易に行えるようにする技術が公開されている。

特開平６−７８９２７号公報 特開２００４−１２１６５２号公報

病理診断におけるスクリーニングでは、低倍像の観察時に像拡大を行って詳細な観察を行う領域を予め指定・マーキングしておくことが一般的である。特許文献１および特許文献２では、低倍像と関心領域の高倍観察像との対応関係は明示されるものの、複数の関心領域を詳細観察する場合の対応関係について開示されていない。そのため、スクリーニングと詳細観察を独立した作業として行うことが困難であり、作業効率を低下させてしまう。

また、スクリーニングと詳細観察では観察する際の観察倍率（表示倍率）が異なり、更には観察する対象や部位ごとに詳細観察時の観察倍率が異なる。そのため、倍率設定を行えない関心領域の指定・マーキングでは、関心領域の詳細観察時に所望の観察倍率で診断画像を提示することができず、画面操作が煩雑になることで作業効率を低下させることになった。

本発明は、かかる課題に鑑みなされたものであり、複数の関心領域の指定を行うスクリーニング作業と詳細観察とを関連付けてかつ独立に行えるようにする。このことにより、
病理診断の作業効率を向上させることができる画像診断向けの表示画像データを生成する画像データ生成装置および画像データ生成方法を提供することを目的とする。

撮像画像のデータを用いて、表示装置に表示される表示画像のデータを生成する画像データ生成装置であって、前記撮像画像のデータを取得する撮像画像データ取得手段と、
前記撮像画像上のユーザに指示された関心領域の位置データを取得する位置データ取得手段と、前記撮像画像のデータと前記位置データとを用いて、前記表示画像のデータを生成する表示データ生成手段と、を備え、前記位置データ取得手段は、ユーザに指示された複数の前記関心領域のそれぞれの前記位置データを取得可能であり、前記表示データ生成手段は、前記位置データのリストを前記表示装置に表示するためのデータと、前記撮像画像の一部分を拡大し、前記表示装置に複数表示可能とするためのデータを生成し、前記撮像画像の一部分は、前記リストからユーザが選択した前記位置データに対応する前記関心領域を含む。

拡大して詳細観察を行う関心領域の位置情報を複数記憶・保持してリストとして提示することで、関心領域の指定を行うスクリーニング作業と詳細観察とを独立して行え、作業効率を向上させることができる。また、詳細観察倍率との対応関係を合わせて把握しておくことで、詳細観察画像を複数枚同時に表示する際の、対象物（例えば細胞の核等）の大きさの比較が容易となり、作業効率を向上させることができる。

第１の実施形態の画像データ生成装置を含む画像処理システムの構成図 第１の実施形態の画像データ生成装置のハード構成図 第１の実施形態の画像データ生成装置の機能ブロック図 第１の実施形態のスクリーニング作業時の表示画面構成例 第１の実施形態のスクリーニング作業時の表示画面構成例 第１の実施形態のスクリーニング作業時の表示画面構成例 第１の実施形態のスクリーニング作業時の表示画面構成例 第１の実施形態のスクリーニング作業時における表示データ生成処理フロー スクリーニング作業時の観察画像データを生成または更新する処理フロー 第１の実施形態での詳細観察時の表示画面構成の例 第１の実施形態での詳細観察時の表示画面構成の例 第１の実施形態での詳細観察時の表示画面構成の例 第１の実施形態での詳細観察時の表示画面構成の例 第１の実施形態での詳細観察時の表示画面構成の別の例 第１の実施形態での詳細観察時の表示画像データの生成処理フロー 詳細観察フローの拡大表示画像を更新する処理フロー スクリーニング時に生成される関心領域のリストの形式例 第２の実施形態の画像データ生成装置を含む画像処理システムの構成図 第２の実施形態での詳細観察時の表示画面構成の例 第２の実施形態での詳細観察時の表示画像データの生成処理フロー 変更された関心領域のリストの形式例 第３の実施形態での詳細観察時の表示画面構成の例 第４の実施形態での詳細観察時の表示画像データの生成処理フロー

＜第１の実施形態＞
本発明を実現する第１の実施形態を図に従って説明する。

図１は、本発明の第１の実施形態を説明するための画像データ生成装置を含む画像処理システム（画像データ表示システム）の構成図である。図１のシステムは、撮像装置（顕微鏡装置、又はバーチャルスライドスキャナ）１０１、画像データ生成装置１０２、表示装置１０３から構成され、撮像対象となる検体（被検試料）の二次元画像を取得し表示する機能を有するシステムである。撮像装置１０１と画像データ生成装置１０２間は、専用もしくは汎用のＩ／Ｆケーブル１０４で接続され、画像データ生成装置１０２と表示装置１０３間は、汎用のＩ／Ｆケーブル１０５で接続される。

撮像装置１０１は、二次元画像を撮像し、取得した二次元画像データを外部装置へ出力する機能を有する撮像画像出力装置である。撮像装置１０１は、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置であっても構わない。二次元画像データの取得にはＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子が用いられる。

画像データ生成装置１０２は、撮像装置１０１から取得した二次元画像データから、病理診断に適した画像データや表示データを生成する機能を有する。画像データ生成装置１０２は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部、Ｉ／Ｆなどのハードウェア資源を備えた、演算処理の高速な汎用のコンピュータやワークステーションで構成することができる。記憶装置は、ハードディスクドライブなどの大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、ＯＳ（オペレーティングシステム）などが格納されている。上述した各機能は、ＣＰＵが記憶装置からＲＡＭに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現されるものである。操作部は、キーボードやマウスなどにより構成され、操作者が各種の指示を入力するために利用される。後述する表示装置１０３をタッチパネルとすることで操作入力の機能を持たせても良い。

表示装置１０３は、画像データ生成装置１０２の生成した表示用の画像データを取得し、病理診断に適した表示データを表示する機能を有したモニタであり、ＣＲＴや液晶等により構成することができる。

図１の例では、撮像装置１０１と画像データ生成装置１０２と表示装置１０３の３つの装置により画像処理システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、表示装置が一体化した画像データ生成装置を用いても良いし、画像データ生成装置の機能を撮像装置に組み込んでも良い。また撮像装置、画像データ生成装置、表示装置の機能を１つの装置で実現することもできる。また逆に、画像データ生成装置等の機能を分割して複数の装置によって実現しても良い。

図２は、本発明の第１の実施形態を説明するための画像データ生成装置１０２のハード構成図である。図２の画像データ生成装置１０２は、メモリ２０１、ストレージ２０２、Ｉ／Ｆ２０３、ＣＰＵ２０４、内部バス２０５から構成される。

メモリ２０１は、画像データ生成装置１０２が外部から取得した撮像画像データや内部で生成した表示データを一時的に記憶するためのエリアや、ＣＰＵ２０４が各種の処理を行うために用いるワークエリアを有する記憶デバイスである。ここでは、ＤＤＲ３等のＤＲＡＭデバイスを使用するものとした。

ストレージ２０２は、画像データ生成装置１０２が行う各処理をＣＰＵ２０４に実行させるためのプログラムやデータ、および画像データ生成装置１０２に記憶させておきたい画像データやリスト、設定データが格納される不揮発性の記憶デバイスである。ここでは
、ＨＤＤやＳＳＤなどのデバイスを使用するものとした。

Ｉ／Ｆ２０３は、画像データ生成装置１０２が外部から撮像画像データを取得する、あるいは外部に表示データを出力する、あるいは操作情報を外部から取得するためのインターフェースデバイスである。ここでは、ＵＳＢやＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）、ＤＶＩ等のデバイスを使用するものとした。

ＣＰＵ２０４は、初期設定や各種デバイスの制御、画像データ処理といった、画像データ生成装置１０２の動作全般を司るプログラムを実行するための演算処理デバイスである。ここでは、汎用のコンピュータやワークステーションのＣＰＵを使用する。

内部バス２０５は、上述の各デバイスを繋ぐ内部バスである。ここでは、ＰＣＩ Ｅｘ
ｐｒｅｓｓ等のシリアルバスを使用するものとした。

図３は、本発明の第１の実施形態を説明するための画像データ生成装置１０２の機能ブロック図である。図３の画像データ生成装置１０２は、撮像画像データ取得部３０１、画像メモリ３０２、低倍表示画像データ取得部３０３、拡大表示画像データ取得部３０４、表示データ生成部３０５、表示データ出力部３０６、位置データ取得部３０７、操作情報入力部３０８から構成される。また、位置データ取得部３０７は、表示位置データ設定部３０９、ポインタ設定部３１０、倍率設定部３１１、取得データ領域算出部３１２、リスト生成部３１３から構成される。

撮像画像データ取得部３０１は、撮像装置１０１が取得した撮像画像データを入力し、画像メモリに出力する機能を有する。入力される撮像画像データの形式は、接続する撮像装置１０１を不図示の撮像装置認識手段によって自動で認識して変更できることが望ましいが、ユーザが設定しても良い。

画像メモリ３０２には、位置座標と関連付けられた撮像画像データが格納されている。例えば、Ｎ×Ｎ画素の撮像画像がある場合、撮像画像の左上の画素の位置座標を（０，０）、その右隣の画素の位置座標を（１，０）、左下の画素の位置座標を（０，Ｎ）、右下の画素の位置座標を（Ｎ，Ｎ）と定義する。この場合、それぞれの位置座標に対応する画像データが、位置座標と関連付けられた撮像画像データとして画像メモリ３０２に格納されている。また、撮像画像データは上記の順番で、例えば画像メモリ３０２のアドレス番号０から格納されている。したがって、撮像画像の位置座標と撮像画像データ上の位置座標とアドレス番号は、互いに１対１で指定することができる。また、画像メモリ３０２に格納される撮像画像データは、白黒画像データでもカラー画像データでも良いが、カラー画像データの場合は位置座標ごとにＲＧＢ３つの画像データによって構成される。更に、撮像画像データは、観察倍率に合わせた複数の階層画像データから構成されている。したがって、観察倍率とメモリアドレスを指定することで、任意の階層の撮像画像データ上の位置座標に対応する画像データの入出力を行うことができる。

低倍表示画像データ取得部３０３は、画像メモリ３０２から、後述する位置データ取得部３０７によって指定される領域の画像データを取得する。

拡大表示画像データ取得部３０４は、画像メモリ３０２から、位置データ取得部３０７によって指定される撮像画像の一部分の領域の画像データを取得する。

上記領域の指定は、指定される領域が矩形の場合、指定領域の４角の位置座標を用いても、左上の位置座標と右下の位置座標からなる組で表しても、領域の先頭にあたる位置座標と縦横それぞれの画素数（領域幅）で表しても良い。

表示データ生成部３０５は、低倍表示画像、拡大表示画像、ポインタ画像、リスト画像の各画像データを、表示装置１０３に表示させるためのデータを生成する機能を有する。それぞれの表示装置１０３上での表示領域、位置座標は位置データ取得部３０７によって取得された情報に基づいて指定される。なお、拡大表示の対象としてユーザから指定される関心領域が複数ある場合には、これらの領域の拡大画像を複数表示可能な拡大表示画像用のデータを生成する。

表示データ出力部３０６は、表示データを表示装置１０３に出力する機能を有する。出力される表示データの形式としては、ＲＧＢ信号や輝度色差信号、等様々なものに対応する。また、表示装置１０３の解像度（画素数）にも任意に対応する。これらの設定は、接続する表示装置１０３を不図示の表示装置認識手段によって認識して変更できることが望ましいが、ユーザが設定しても良い。

操作情報入力部３０８は、ユーザが操作・設定した、マウスポインタの移動、操作決定、数値入力等の操作・設定情報を不図示の操作部から取得し、位置データ取得部３０７に出力する機能を有する。

位置データ取得部３０７は、ユーザが操作・設定した、マウスポインタの移動、操作決定、数値入力等の操作・設定情報に基づき下記のデータを生成する機能を有する。すなわち、位置データ取得部３０７は、低倍表示画像データの取得領域と低倍表示倍率、拡大表示画像データの取得領域と拡大表示倍率（拡大倍率）、リスト画像データを生成する機能を有する。更に、それぞれの画像の表示装置１０３上での表示領域、ポインタ画像データおよびその表示装置１０３上での表示位置座標を生成する機能も有する。

ポインタ設定部３１０は、位置データ取得部３０７を構成する一部であり、ポインタの移動情報から表示装置１０３上でのポインタ画像（アイコン）の表示位置座標を設定し、ポインタ画像データを生成する機能を有する。

表示位置データ設定部３０９は、位置データ取得部３０７を構成する一部であり、数値情報から表示装置１０３上での低倍表示画像、拡大表示画像、リスト画像の表示領域をそれぞれ設定し、表示データ生成手段に指示する機能を有する。また、表示装置１０３上での拡大表示画像の表示領域は、選択される関心領域の個数によって適宜変更して設定される。

倍率設定部３１１は、位置データ取得部３０７を構成する機能の一部であり、数値情報によって低倍表示倍率と拡大表示倍率を設定する機能を有する。

リスト生成部３１３は、位置データ取得部３０７を構成する機能の一部であり、撮像画像上の関心領域に対応する撮像画像データ上における位置座標の取得、拡大表示倍率と関連付けたリストの生成、およびリスト画像データの生成する機能を有する。これらの処理は、マウスポインタの決定情報と表示装置１０３上でのポインタ画像の表示位置座標と、低倍表示画像データの取得領域と低倍表示倍率とに基づいて実行される。ここで取得される関心領域の位置座標は、関心領域内を代表する位置に対応する撮像画像データ上における位置座標であり、ここでは領域の先頭にあたる位置座標とする。また、リストの各項目は、表示装置１０３上での表示位置座標とも関連付けて管理され、表示装置１０３上でのポインタ画像の表示位置座標と決定情報とによって、任意の関心領域に対応する撮像画像データ上における位置座標が選択される。

取得データ領域算出部３１２は、位置データ取得部３０７を構成する機能の一部である
。取得データ領域算出部３１２は、表示を行う低倍表示画像の、撮像画像データ上における位置座標と低倍表示倍率と表示装置１０３上における表示位置座標とに基づいて、低倍表示画像データの取得領域を算出する機能を有する。更に、リストから選択された関心領域に対応する撮像画像データ上における位置座標と拡大表示倍率と表示装置１０３上での拡大表示画像の表示領域とに基づいて、拡大表示画像データの取得領域を算出する機能を有する。

図３の画像データ生成装置１０２は、上記の機能を用い、下記のように動作する。すなわち、撮像装置１０１が取得した撮像画像データを画像メモリ３０２に入力し、不図示の操作手段からの指示に応じて、位置データ取得部３０７が、表示する画像の撮像画像データ上における位置座標を算出する。その後、画像メモリ３０２から該位置座標に相当する領域の画像データを取得し、表示データ生成部３０５によって表示データを生成し、生成された表示データを表示装置１０３に対して出力する。また、位置データ取得部３０７は、表示画像上で指定された関心領域に対応する撮像画像データ上における位置座標と、表示を行う倍率とを関連付けたリストを作成する。そして、該リストから、表示データとして生成したい画像データの撮像画像データ上における位置座標を選択できるようにする。

図４Ａ〜４Ｄは、本発明の第１の実施形態を説明するためのスクリーニング作業時の表示画面構成例である。図４Ａに示すように、スクリーニング作業時における表示装置１０３の表示画面４０１は、全体画像表示部４０２、観察画像表示部４０３、観察倍率表示部４０４、関心領域情報表示部（リスト表示部）４０５で構成されている。表示装置１０３上における表示領域は、不図示の操作部からユーザが任意に設定できる。また、不図示の操作部からのポインタの移動情報に応じて移動するポインタ画像４０６が表示されている。

全体画像表示部４０２には、撮像装置１０１から取得した撮像画像データの全体を縮小した全体画像４０７と、観察画像表示部４０３に表示される観察倍率に応じた表示画像の領域指定枠４０８が表示されている。

観察画像表示部４０３には、ユーザによって指定された撮像画像データ上における位置座標の観察画像（拡大画像）４０９が観察倍率表示部４０４で示された表示倍率で表示されている。

観察倍率表示部４０４には、ユーザによって設定された表示倍率が表示されている。図４Ａにおいては、５倍の表示倍率が設定された例を示している。

関心領域情報表示部４０５には、ユーザによって指定・設定された関心領域に対応する撮像画像データ上における位置座標と関心領域表示倍率が、指定・設定された順番で表示される。図４Ａにおいては、まだ関心領域が指定されていないので関心領域情報表示部４０５は空欄となっている。

関心領域の位置座標は、観察画像４０９上で指定された位置情報を取得し、該位置に対応する撮像画像データ上における位置座標を算出することによって得られる。撮像画像データ上における位置座標値や表示画面４０１上における位置座標値を直接入力する構成によって、関心領域の位置座標を取得可能としても良い。

図４Ｂは、図４Ａから１点目の関心領域が指定された際の表示画面４０１の例を示している。観察画像４０９上の１点目の関心領域に対応する位置に関心領域マーク４１０が表示されるとともに、全体画像４０７上の１点目の関心領域に対応する位置にも関心領域マーク４１１が表示されている。関心領域の指定がなされると、該関心領域を詳細に観察し
たい関心領域表示倍率を入力するための関心領域表示倍率入力部４１２が表示される。図４Ｂにおいては、関心領域表示倍率として２０倍が入力された例を示している。また、関心領域情報表示部４０５に、ここで得られた１点目の関心領域の撮像画像データ上における位置座標と合わせて詳細観察用の関心領域表示倍率が、関心領域情報４１３として表示される。なお、ここで入力される関心領域表示倍率は、予め用意された候補リストからユーザが選択できる構成とすると簡便なスクリーニング作業が行える。一方で、数値を直接入力できる構成として、適応的な倍率が入力できるようにしても良い。また、これらの領主方を組み合わせるようにしても良い。

図４Ｃは、図４Ｂの状態から更に２点目の関心領域が指定された際の表示画面４０１の例を示している。図４Ｂ同様、２点目の観察画像４０９上の関心領域マーク４１４、全体画像４０７上の関心領域マーク４１５、詳細観察用の関心領域表示倍率４１６、および関心領域情報４１７が更新され、表示される。

図４Ｄは、図４Ｃの状態から更に３点目の関心領域が指定された際の表示画面４０１の例を示している。ここでは、図４Ａで表示された観察画像４０９を移動した後に関心領域を指定することを想定しているため３点目の関心領域は１，２点目と同じ表示領域内にはない。ここでは、３点目の関心領域が全体画像４０７において上方向の位置に存在している例を示している。不図示の操作部から、図４Ａで表示された観察画像４０９を上方へスクロールさせることによって、表示したい観察画像の撮像画像データ上における位置座標も更新され、新たな観察画像４１８が表示されている。なお、観察画像４０９をスクロールさせる代わりに、全体画像４０７条の領域指定枠４１９を移動させることで、観察画像を更新する構成としても良い。この場合は、不図示の操作部からの指示により、図４Ａで表示された全体画像４０７上の領域指定枠４１９を上方へ移動させることによって、表示したい観察画像の撮像画像データ上における位置座標を更新し観察画像３１８を表示させる。また別に、撮像画像データ上における位置座標値を直接入力する構成をとっても良い。また、全体画像４０７上の、新たな観察画像４１８の表示領域に対応した位置に領域指定枠４１９が表示されている。更には、図４Ｃ同様、３点目の観察画像４１８上の関心領域マーク４２０、全体画像４０７上の関心領域マーク４２１、詳細観察用の関心領域表示倍率４２２、および関心領域情報４２３が更新され、表示されている。ここでは詳細観察用の関心領域表示倍率として、４０倍が入力、指定された例を示している。

スクリーニング作業においては、以上の表示動作が、全ての関心領域の指定が終わるまで繰り返される。このように、複数の関心領域の指定を、簡便に、かつ集中的に行うことができる。

図５は、本発明の第１の実施形態を説明するためのスクリーニング作業時における表示データ生成のフローチャートである。

ステップＳ５０１において、全体画像４０７を全体画像表示部４０２に表示するための表示データを生成する。画像メモリ３０２から撮像画像データを読み出し、全体画像表示部４０２の表示領域に合わせて解像度変換して全体画像データを生成する。なお、全体画像４０７は、予め解像度変換後の表示用データを用意しておくことで、処理を高速化することができる。

次に、ステップＳ５０２において、画像メモリ３０２から、表示する観察画像の領域の画像データを読み出し、観察画像表示部４０３に表示するための観察画像データを生成する。この工程の詳細は図６を用いて後述する。この結果、図４Ａのように表示するための表示データが生成される。なお、後述するステップ５０３の結果を受けて、観察画像の表示領域を変更する際には、新たに観察画像データを生成し、更新する。

次に、ステップＳ５０３において、観察画像の表示領域の変更有無を判断する。変更があった場合はステップＳ５０２へ戻り、表示データを更新する。表示領域の変更がない場合には、ステップＳ５０４へ進む。

ステップＳ５０４において、ユーザによる関心領域の指定があるか否かを判断する。指定がない場合はステップＳ５０８へ、指定がある場合はステップＳ５０５へそれぞれ進む。

次に、ステップＳ５０５において、ユーザに指定された関心領域に対応する撮像画像データ上における位置座標を取得する。

次に、ステップＳ５０６において、前記ステップＳ５０５において指定された関心領域の詳細観察用にユーザに設定された関心領域表示倍率を取得する。なお、任意の値をデフォルト値として設定しておいて、その値をそのまま使用する構成でも良い。例えば、５〜１０倍の観察画像を用いてスクリーニングを行っている場合、詳細観察用に２０倍を設定しておけば、特に変更のない場合はその設定値を使用することができる。仮に４０倍での観察が必要な場合は、該当する関心領域のみ４０倍の関心領域表示倍率を設定すれば良い。

次に、ステップＳ５０７において、取得した関心領域の、撮像画像データ上における位置座標と関心領域表示倍率とを関連付けたリストを生成する。そして、リストの各項目が、関心領域情報表示部４０５に、指示された順番で追加表示されるようにリスト画像データを生成し、表示データを生成または更新する。この結果、図４Ｂに示した表示データが生成される。

次に、ステップＳ５０８において、スクリーニング作業が完了したか否かを判断する。スクリーニング作業が完了した場合、すなわち、次の高倍による詳細観察へ作業が移行した場合や他の検体に対してスクリーニング作業を開始すべく別の検体画像の読み込み指示があった場合は、本表示データ生成の処理を終了する。スクリーニング作業が継続して行われていると判断された場合は、ステップＳ５０３へ戻り、観察画像の表示領域変更の待ち状態へと移行する。

ここで、以上のようにして作成されたリストをストレージ２０２に格納する構成としても良い。また、該リストをＩ／Ｆ２０３を介して、装置外部に出力する構成としても良い。更に、リストは、撮像画像データのファイルと関連付けて管理できることが望ましい。関連付けの方法としては、リスト内に、撮像画像データのファイルの情報を記載しても良いし、撮像画像データのファイルにリストの情報を記載しても良い。

このようにリストが格納・出力できることで、スクリーニング作業によって得られた関心領域の情報を、別のユーザが使用することが可能となる。あるいは、過去のスクリーニング作業によって得られた関心領域の情報を、使用することが可能となる。

図６は、スクリーニング作業時の観察画像データを生成または更新する工程のフローチャートである。

Ｓ６０１において、撮像画像データ上における位置座標と、観察用の表示倍率と、表示装置１０３上における観察画像表示部４０３の表示領域から、観察画像データを取得する領域を算出する。例えば、撮像画像データは、５倍、１０倍、２０倍、４０倍の倍率に相当する階層画像データから構成されているとする。ユーザが表示をさせたい観察用の表示
倍率が５倍の場合、５倍の階層画像データから観察画像データを取得するための領域を算出することになる。この場合、ユーザが表示をさせたい観察画像の撮像画像データ上における位置座標を基準として、観察画像表示部４０３の表示領域と同じ画素数の領域が、取得する観察画像データの領域となる。一方で、ユーザが表示をさせたい観察用の表示倍率が８倍の場合は、１０倍の階層画像データから観察画像データを取得するための領域を算出することになる。この場合、ユーザが表示をさせたい観察画像の撮像画像データ上における位置座標を基準として、観察画像表示部４０３の表示領域の１０／８倍の画素数の領域が、取得する観察画像データの領域となる。

次に、Ｓ６０２において、画像メモリ３０２から、低倍画像データ取得部を介してユーザが表示させたい低倍の観察画像の領域に対応する画像データを読み出す。

次に、Ｓ６０３において、観察表示画像データを生成または更新し、表示データを用意する。ここで、ステップＳ６０２で取得した観察画像データの格納されていた階層が表す表示倍率と、実際に観察領域に表示する表示倍率が異なる場合には解像度変換によって所望の表示倍率での表示が行えるよう画像データを加工する。上述した、ユーザが表示をさせたい観察用の表示倍率が８倍の例では、８／１０倍の解像度変換を行う。

最後に、Ｓ６０４において、表示をさせたい観察画像の領域に対応した領域指定枠を全体画像データ上に生成し、表示データを生成または更新する。なお、この処理はステップＳ６０１で観察画像データの領域が算出された時点で把握できているため、その後の任意のタイミングで更新することができる。

図７は、本発明の第１の実施形態を説明するための詳細観察時の表示画面構成の例である。

図７Ａに示すように、詳細観察時における表示装置１０３の表示画面４０１は、図４と同様に、全体画像表示部４０２、観察画像表示部４０３、観察倍率表示部４０４、および関心領域情報表示部４０５で構成されている。表示装置１０３上における表示領域は、不図示の操作部からユーザが任意に設定できる。また、不図示の操作部からのポインタの移動情報に応じて移動するポインタ画像４０６が表示されている。更に、全体画像表示部４０２には、撮像装置１０１から取得した撮像画像データの全体を縮小した全体画像４０７が表示されている。

観察画像表示部４０３には、ユーザによってリストから選択された関心領域に対応する領域の拡大表示画像が表示される。図７Ａにおいては、関心領域がまだ選択されていないため何も表示されない状態となっている。もしくはスクリーニング時に表示を行っていた１０倍程度の低倍像を表示する構成にしても良い。

観察倍率表示部４０４には、ユーザによってリストから選択された関心領域の詳細観察用の関心領域表示倍率が表示される。図７Ａにおいては、関心領域がまだ選択されていないので空欄となっている。もしくはスクリーニング時に表示を行っていた１０倍程度の低倍像を表示している場合は、１０倍と表示する。

関心領域情報表示部４０５には、スクリーニング時に生成された関心領域のリスト８０１が表示されている。リスト８０１は、例えば後述する図１１に示すような形式で表示される。ユーザは、表示されている関心領域のリスト８０１から詳細観察を行いたい領域が選択可能となる。リスト８０１から関心領域を選択して表示する以外にも、リストとして表示されている情報をもとに各項目の表示位置座標や詳細観察用の関心領域表示倍率を直接入力して表示できる構成としても良い。

図７Ｂは、図７Ａから１点目の関心領域が選択された表示画面４０１の例を示している。リスト８０１上で選択された１点目の関心領域に対応する項目８０２が、ハイライト表示されている。また、観察画像表示部４０３に、該選択された１点目の関心領域に対応する拡大表示画像８０３が、対応する関心領域表示倍率で表示されている。なお、関心領域表示倍率は、関心領域をリスト化する際に合わせて格納した詳細観察用の表示倍率である。ここで１点目の拡大表示画像８０３は、選択された関心領域が１点であるため、観察画像表示部４０３の全表示領域をすべて使用して表示される。また、観察倍率表示部４０４に、１点目の関心領域の詳細観察用の関心領域表示倍率８０４が表示されている。図７Ｂにおいては、該表示倍率が２０倍であった例を示している。また、全体画像４０７上の１点目の関心領域に対応する位置に選択領域マーク８０５が表示されている。

図７Ｃは、図７Ｂから２点目の関心領域が選択された表示画面４０１の例を示している。図７Ｂから、リスト８０１上の、２点目の関心領域に対応する項目８０６が更にハイライト表示され、全体画像４０７上の、２点目の関心領域マーク８０７が追加で表示されている。一方、観察画像表示部４０３には、１点目および２点目の関心領域に対応する拡大表示画像８０８、８０９が、それぞれに対応する関心領域表示倍率で表示されている。ここで、それぞれの拡大表示画像は、選択された関心領域が２点あるため、観察画像表示部４０３の全表示領域を半分に分割して表示される。また、観察倍率表示部４０４はそれぞれの拡大表示画像領域上に表示され、それぞれの関心領域表示倍率８１０、８１１が表示されている。

図７Ｄは、図７Ｃから更に２点の関心領域が選択された表示画面の例を示している。図７Ｃ同様、リスト８０１上の、３点目、４点目の関心領域に対応する項目８１２、８１３が追加でハイライト表示され、全体画像４０７上の、計４点の選択領域マークが表示されている。一方、観察画像表示部４０３には、１点目〜４点目の関心領域に対応する拡大表示画像８１４、８１５、８１６、８１７が、それぞれに対応する関心領域表示倍率で表示されている。ここで、それぞれの拡大表示画像は、観察画像表示部４０３の全表示領域を四分割して表示される。また、観察倍率表示部４０４がそれぞれの観察画像表示部４０３上に表示され、それぞれの関心領域表示倍率が表示されている。

拡大画像の表示態様は上記に限られず、任意の手法を採用することができる。例えば、図８のように拡大表示画像を表示する構成としても良い。すなわち、表示画面４０１の観察画像表示部４０３は、予め設定された分割数と配置に分割され、分割領域７０１〜７０９が構成されている。そして、それぞれの分割領域には、予め表示順が決められており、リスト８０１上から選択された関心領域の拡大表示画像が、分割領域の表示順に従って選択された順番で表示される。関心領域の選択時に、表示させる分割領域を逐次設定する構成としても良い。

詳細観察の作業においては、以上の表示動作が、ユーザによる関心領域の選択によって繰り返され、複数の関心領域の詳細観察を、同時に行うことができる。このように、スクリーニング時に指定、選択した関心領域を複数の表示領域に並べて表示することで、観察対象の比較をはじめとした詳細な診断に専念することが可能となる。

図９は、本発明の第１の実施形態を説明するための詳細観察時の表示画像データの生成を説明するフローチャートである。

まず、ステップＳ９０１において、生成された関心領域リストからユーザが任意の関心領域を選択したか否かを判断する。関心領域が選択された場合はステップＳ９０２へ進む。関心領域が選択されない場合は本詳細観察用の表示画像データ生成の処理を終了する。

次に、ステップＳ９０２において、リスト上からユーザによって選択された関心領域に対応する撮像画像データ上における位置座標を取得する。

続いて、ステップＳ９０３において、リスト上からユーザによって選択された関心領域に対応する関心領域表示倍率を取得する。

次に、ステップＳ９０４において、画像メモリ３０２から、拡大表示画像データ取得部を介して、ユーザによって選択された拡大表示画像の領域に対応する画像データを読み出す。その後、拡大表示された観察画像データを生成する。この工程の詳細は図１０を用いて後述する。

最後に、ステップＳ９０５において、追加で選択される関心領域の有無を判断する。追加の選択があった場合はステップＳ９０２へ戻り、詳細観察用の拡大表示画像データの生成を以後繰り返し行う。追加での選択がなかった場合は、本詳細観察用の表示画像データ生成の処理を終了する。こうして生成された画像データを用いて、図７Ｄに示される詳細観察の画面を表示する。

ところで、ユーザに任意の関心領域を選択させるために提示されるリストは、スクリーニング作業で作成されてメモリ２０１内に格納されているものを使用するが、ストレージ２０２に格納された情報を読み出す構成としても良い。また、該リストをＩ／Ｆ２０３を介して、装置外部から入力する構成としても良い。更に、メモリ２０１内に格納されている撮像画像データが、リストと関連付けられている撮像画像データと一致しない場合に、撮像画像データを再入力する構成とすることが望ましい。

このようにリストが読み出し・入力できることで、スクリーニング作業によって得られた関心領域の情報を使用して、別のユーザが詳細観察を行うことが可能となる。あるいは、過去のスクリーニング作業によって得られた関心領域の情報を使用して、詳細観察を行うことが可能となる。

図１０は、詳細観察フローの拡大表示画像を生成・更新する工程Ｓ９０４のフローチャートである。

ステップＳ１００１において、ユーザによって選択された関心領域に対応する、詳細観察用に取得する拡大表示画像データの領域を算出する。この領域は、ユーザによって選択された関心領域に対応する撮像画像データ上における位置座標と、詳細観察用の関心領域表示倍率と、表示装置１０３上における拡大表示画像の表示領域とに基づいて算出される。例えば、撮像画像データは、５倍、１０倍、２０倍、４０倍の倍率に相当する階層画像データから構成されているとする。ユーザによって選択された関心領域に対応する詳細観察用の関心領域表示倍率が２０倍の場合、２０倍の階層画像データから拡大表示画像データを取得するための領域を算出することになる。この場合、ユーザによって選択された関心領域に対応する撮像画像データ上における位置座標を基準として、観察画像表示部４０３における拡大表示画像の表示領域と同じ画素数の領域が、取得する拡大表示画像データの領域となる。一方で、ユーザによって選択された関心領域に対応する詳細観察用の関心領域表示倍率が３５倍の場合、４０倍の階層画像データから拡大表示画像データを取得するための領域を算出することになる。この場合、ユーザによって選択された関心領域に対応する撮像画像データ上における位置座標を基準として、観察画像表示部４０３における拡大表示画像の表示領域の４０／３５倍の画素数の領域が、取得する拡大表示画像データの領域となる。ここで、表示装置１０３上における拡大表示画像の表示領域は、観察画像表示部４０３として確保されている全表示領域と選択された関心領域の点数とから算出さ
れる。具体的には、選択された関心領域の点数分で観察画像の表示領域が分割され、取得する画像データもそれに応じて領域を設定することになる。また、関心領域の選択の点数が変更された場合は、選択の点数に応じて各拡大表示画像データを取得する領域を再算出する。

次に、ステップＳ１００２において、画像メモリ３０２から、拡大表示画像データ取得部３０４を介してユーザによって選択された詳細観察用表示画像の領域に対応する画像データを読み出す。

最後に、ステップＳ１００３において、拡大表示画像データを生成し、表示データを更新する。なお、ステップＳ１００２で取得した拡大表示画像データの格納されていた階層が表す表示倍率と、実際に拡大表示画像の観察領域に表示する表示倍率が異なる場合には解像度変換によって所望の表示倍率での表示が行えるよう画像データを加工する。上述した、ユーザによって選択された関心領域に対応する詳細観察用の関心領域表示倍率が３５倍の例では、３５／４０倍の解像度変換を行う。また、既に拡大表示画像データの取得を行っているものに関しては、画像データの再取得をせず、生成された表示用画像データから再構成しても良い。

なお、ここまで説明してきた表示用の画像データの取得方法は、画像メモリ３０２に階層画像データが格納されていることを前提に行ってきたが、元の撮像画像データから適宜領域を算出して取得する構成としても良い。

図１１は、スクリーニング時に生成される関心領域のリストの形式例である。

図１１に示すように、スクリーニング時に生成される関心領域のリスト８０１は、項目ごとに項目番号欄１１０１、関心領域座標欄１１０２、関心領域表示倍率欄１１０３から構成されている。

項目番号欄１１０１には、関心領域を取得した順番で、通し番号が生成されて記載される。図４における関心領域マークの代わりに、この番号が表示される構成としても良い。また、番号の代わりに、項目が区別できるアルファベットや図形としても良い。

関心領域座標欄１１０２には、項目番号に関連付けて、取得した関心領域に対応する撮像画像データ上における位置座標が記載される。

関心領域表示倍率欄１１０３には、項目番号に関連付けて、取得した関心領域に対応する関心領域表示倍率が記載される。

また、リスト画像として表示しない情報として、各項目が表示される表示装置１０３上の位置座標が、項目番号に関連付けて記載・管理されることによって、マウスポインタを使用して、表示装置１０３上から項目を選択することができる。

以上に記載した第１の実施形態の構成および動作によって、ユーザは、病理診断のスクリーニング作業における複数の関心領域の指定が、簡便に、かつ集中的に行うことができる。また、詳細観察の作業における複数の関心領域の詳細観察を、同時に行うことができる。その結果、スクリーニング作業と詳細観察とを独立して行え、病理診断の作業効率を向上させることができる。更には、詳細観察倍率との対応関係を合わせて把握しておくことができるため、詳細観察画像を複数枚同時に表示する際の、対象物（例えば細胞の核等）の大きさの比較が容易となり、作業効率を向上させることができる。

＜第２の実施形態>
本発明を実現する第２の実施形態を図に従って説明する。

本発明第１の実施形態においては、スクリーニング作業時に取得した関心領域表示倍率に基づいて、詳細観察するための画像データを生成する例を示した。本実施例では、詳細観察時の画像領域や表示倍率を変更することを可能とし、病理診断の作業効率を更に向上させる画像データを生成する例を示す。

図１２は、本発明の第２の実施形態を説明するための画像データ生成装置を含む画像処理システムの構成図である。

図１２のシステムは、画像サーバ１２０１、画像データ生成装置１２０２、表示装置１０３から構成され、表示対象となる検体（被検試料）の二次元画像を取得し表示する機能を有するシステムである。画像サーバ１２０１と画像データ生成装置１２０２と表示装置１０３の間は、ネットワーク１２０３を介して、汎用のＬＡＮケーブル１２０４で接続される。あるいは、画像サーバ１２０１と画像データ生成装置１２０２間、または画像データ生成装置１２０２と表示装置１０３間は、図１に示した１０４や１０５といった汎用Ｉ／Ｆのケーブルで接続される構成としても良い。

画像サーバ１２０１は、二次元画像の撮像機能を持つ撮像装置１０１により撮像された検体の二次元画像データを保存する機能を有する。

画像データ生成装置１２０２は、撮像済みの二次元画像データを画像サーバ１２０１から取得し、病理診断に適した画像データや表示データを生成する機能を有する。

画像データ生成装置１２０２及び表示装置１０３は、上記の機能以外にも、第１の実施形態において説明した機能を有するが、これらについての説明は省略する。

図１３は、本発明の第２の実施形態を説明するための詳細観察時の表示画面構成の例である。図１３は、図７Ｄの状態の表示画面４０１において、右下の観察倍率表示部に表示されている関心領域表示倍率１３０１が、２０倍から４０倍に変更された状態を表している。また、変更された関心領域表示倍率１３０１に連動して、右下の拡大表示画像領域に表示されている拡大表示画像１３０２の倍率が更新されて表示されている。更に、リスト８０１に表示されている、上記変更に対応した項目１３０３も更新されて表示されている。リスト８０１は、例えば後述する図１５に示すような形式に再編集されて表示される。その他の表示構成やレイアウトは図７Ｄと同様であり、説明は省略する。なお、個々の関心領域の表示倍率を変更可能とするだけでなく、複数の関心領域表示倍率を共通で変更可能とする設定部を用意して、複数の拡大表示画像をまとめて更新・表示できるようにしても良い。また、倍率値を入力する代わりに増減で指定するようにしても良い。

一方、変更が倍率でなく画像領域の場合は、変更された画像領域に基づいて、倍率を除いた上記と同様の更新・表示がなされる。

図１４は、本発明の第２の実施形態を説明するための詳細観察時の表示画像データの生成を説明するフローチャートである。

まず、ステップＳ１４０１において、ユーザが関心領域表示倍率を変更したか否かを判断する。関心領域表示倍率が変更された場合はステップＳ１４０２へ進む。変更されない場合は本詳細観察用の表示画像データ生成の処理を終了する。

次に、ステップＳ１４０２において、リスト上からユーザによって変更された関心領域表示倍率を取得する。

続いて、ステップＳ１４０３において、リスト上からユーザによって変更された関心領域表示倍率に対応する位置座標を取得する。

次に、ステップＳ１４０４において、画像メモリ３０２から、拡大表示画像データ取得部を介して、ユーザによって選択された拡大表示画像の領域に対応する画像データを読み出す。その後、拡大表示された観察画像データを生成する。この工程の詳細は図１０と同様であるためここでの説明は省略する。

最後に、ステップＳ１４０５において、追加で変更される関心領域表示倍率の有無を判断する。追加の変更があった場合はステップＳ１４０２へ戻り、詳細観察用の拡大表示画像データの生成を以後繰り返し行う。追加での選択がなかった場合は、本詳細観察用の表示画像データ生成の処理を終了する。

一方、変更が倍率でなく画像領域の場合は、変更された画像領域に基づいて、上記と同様の動作がなされる。

図１５は、変更された関心領域のリストの形式例である。

図１５に示すように、関心領域のリスト８０１は、図１１の形式例から、変更履歴欄１５０１が追加された構成となっている。

変更履歴欄１５０１には、ユーザによって変更された関心領域表示倍率が、更新された順番で図１５上右側に追加されている。この例においては、変更が無かった項目は、同じ情報が追加されているが、空欄としても良い。

一方、変更が倍率でなく画像領域の場合は、画像領域に相当する撮像画像データ上の変更後の位置座標が追加される。

以上に記載した第２の実施形態の構成および動作によって、ユーザは、病理診断における詳細観察時の画像領域や表示倍率を、対応関係を把握しつつ変更することが可能となる。このことにより、詳細観察画像を複数枚同時に表示する際の、対象物（例えば細胞の核等）の大きさの比較が更に容易となり、作業効率を向上させることができる。

＜第３の実施形態＞
本発明を実現する第３の実施形態を図に従って説明する。

本発明の第１の実施形態においては、スクリーニング作業時に取得した関心領域表示倍率に基づいて、詳細観察するための画像データを生成する例を示した。本発明の第２の実施形態においては、詳細観察時の画像領域や表示倍率を変更することを可能とする例を示した。本実施形態では、詳細観察時の複数の拡大表示画像間の表示倍率の違いを、ユーザに判別し易くすることを可能とし、病理診断の作業効率を更に向上させる画像データを生成する例を示す。

装置構成としては、第１及び第２の実施形態で説明したものと同等で実現できるため、説明は省略する。

図１６は、本発明の第３の実施形態を説明するための詳細観察時の表示画面構成の例で
ある。図１６は、図７Ｄの状態の表示画面４０１において、右上の表示領域の表示倍率が他の領域の表示倍率と異なることを明示するために、右上の表示領域の枠１６０１の表示態様と他の表示領域の枠の表示体表と異ならせている。図１６では、枠１６０１を点線で示しているが、実際には枠１６０１の表示色を他の枠の表示色と異ならせることが考えられる。また、枠１６０１の表示色と連動して、対応する項目１６０２のハイライト表示色、全体画像４０７上の選択領域マーク１６０３の表示色も変更することも好ましい。枠１６０１の表示色が違うことにより、拡大表示画像１６０２は、その他の拡大表示画像８１４、８１６、８１７とは表示倍率が違うことが、ユーザにとって判別し易くなる。枠の表示色は、ユーザによって予め倍率ごとに設定される。あるいは、スクリーニング作業時に、関心領域表示倍率を指定する際に設定する構成としても良い。あるいは、詳細観察時に設定する構成としても良い。また、枠の表示色でなく、枠の表示輝度、枠の形状、観察倍率表示領域の表示色・表示輝度、関心領域表示倍率の表示色・表示輝度等で表示倍率を判別できる構成としても良い。更には、リスト８０１の項目が、項目内に記載されている関心領域表示倍率に応じて、設定された倍率ごとの表示色に全て色分けされて表示される構成としても良い。

この構成によれば、関心領域の選択工程におけるリストからの関心領域表示倍率の判別も一層容易となる。

その他の表示構成やレイアウトは図７Ｄと同様であり、説明は省略する。

以上に記載した第３の実施形態の構成および動作によって、ユーザは、病理診断における詳細観察時の複数の拡大表示画像間の表示倍率の違いを、対応関係を把握しつつ判別することが可能となる。このことにより、詳細観察画像を複数枚同時に表示する際の、対象物（例えば細胞の核等）の大きさの比較が更に容易となり、作業効率を向上させることができる。

＜第４の実施形態＞
本発明を実現する第４の実施形態を説明する。

本発明の第１の実施形態においては、スクリーニング作業時に取得した関心領域表示倍率に基づいて、詳細観察するための画像データを生成する例を示した。本発明の第２の実施形態においては、詳細観察時の画像領域や表示倍率を変更することを可能とする例を示した。更に本発明の第３の実施形態においては、詳細観察時の複数の拡大表示画像間の表示倍率の違いを、ユーザに判別し易くすることを可能とする例を示した。本実施形態では、詳細観察時に、スクリーニング作業時に取得した関心領域情報から、同一条件のものを一括して選択・表示することを可能とし、病理診断の作業効率を更に向上させる画像データを生成する例を示す。

装置構成としては、第１及び第２の実施形態で説明したものと同等で実現できるため、説明は省略する。

図１７は、本発明の第４の実施形態を説明するための詳細観察時の表示画像データの生成を説明するフローチャートである。

まず、ステップＳ１７０１において、ユーザが関心領域表示倍率の検索を行ったか否かを判断する。特定の関心領域表示倍率が検索された場合はステップＳ１７０２へ進む。検索されない場合は本詳細観察用の表示画像データ生成の処理を終了する。

次に、ステップＳ１７０２において、リスト上からユーザに検索された特定の関心領域
表示倍率に一致する関心領域の有無を判断する。一致する関心領域があった場合はステップＳ１７０３へ進む。一致する関心領域がなかった場合は、本詳細観察用の表示画像データ生成の処理を終了する。

続いて、ステップＳ１７０３において、検索に一致した関心領域に対応する位置座標を取得する。そして、画像メモリ３０２から、拡大表示画像データ取得部を介して、検索に一致した拡大表示画像の領域に対応する画像データを読み出す。その後、拡大表示された観察画像データを生成し、ステップＳ１７０２へ戻り、詳細観察用の拡大表示画像データの検索を以後繰り返し行う。ここのステップの詳細は、Ｓ９０２〜９０４に示したものと同様であり、ここでの説明は省略する。

なお、検索条件として倍率でなく、位置範囲を指定することもできる。この場合は、検索条件として指定された範囲内に位置する関心領域が選択され、検索に一致した関心領域の拡大表示画像が生成・表示される。処理内容は基本的には、上記と同様であるため、詳しい説明は省略する
以上に記載した第４の実施形態の構成および動作によって、ユーザは、病理診断における詳細観察時に、スクリーニング作業時に取得した関心領域情報から、同一条件のものを一括して選択・表示することが可能となる。このことにより、詳細観察画像を複数枚同時に表示する際の、対象物（例えば細胞の核等）の大きさの比較が更に容易となり、作業効率を向上させることができる。

＜第５の実施形態＞
本発明は、前述した実施形態の機能の全部または一部を実現するソフトウェアのプログラムコードそのもの、あるいは当該プログラムコードを記録した記録媒体（または記憶媒体）として実現することもできる。上記機能を有するプログラムコードを記録した記録媒体経由をシステムや装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することで、上記機能が実現可能である。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、上記プログラムコードは、ネットワーク経由でシステムや装置に供給され補助記憶装置に格納され、そのシステムあるいは装置のコンピュータが補助記憶装置に格納されたプログラムコードを読み出して実行することでも、上記の機能が実現可能である。

また、コンピュータが、読み出したプログラムコードを実行することにより、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが、実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれる。

更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれる。

なお、本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

＜その他の実施形態＞
第１から４の実施の形態で説明してきた構成は、お互いに組み合わせて使用できる。し
たがって、上記各実施形態における様々な技術を適宜組み合わせて新たなシステムを構成することは当業者であれば容易に想到し得るものであり、そのような様々な組み合わせによるシステムも本発明の範疇に属する。

１０１ 撮像装置
１０２ 画像データ生成装置
１０３ 表示装置
３０１ 撮像画像データ取得部
３０５ 表示データ生成部
３０６ 表示データ出力部
３０７ 位置データ取得部

Claims (14)

1. 撮像画像のデータを用いて、表示装置に表示される表示画像のデータを生成する画像データ生成装置であって、
   前記撮像画像のデータを取得する撮像画像データ取得手段と、
   ユーザによって指示された前記撮像画像上の関心領域の位置データを取得する位置データ取得手段と、
   前記撮像画像のデータと前記位置データとを用いて、前記表示画像のデータを生成する表示データ生成手段と、
   を備え、
   前記位置データ取得手段は、複数の前記関心領域の前記位置データを取得可能であり、
   前記表示データ生成手段は、前記複数の位置データを前記表示装置に表示するためのデータと、前記撮像画像の一部分を拡大した拡大画像を前記表示装置に複数表示可能とするためのデータとを生成し、
   前記撮像画像の一部分は、前記表示装置に表示された前記複数の位置データのうちユーザによって指定された位置データに対応する前記関心領域を含む、
   画像データ生成装置。
2. 前記位置データ取得手段は、前記関心領域のそれぞれについて、当該関心領域を含む前記撮像画像の一部分を拡大して表示する際の表示倍率も取得し、
   前記表示データ生成手段は、前記表示倍率で前記撮像画像の一部分を表示するためのデータを生成する、
   請求項１に記載の画像データ生成装置。
3. 前記表示データ生成手段は、前記表示倍率ごとに異なる表示態様で前記拡大画像を表示できるように、前記表示画像のデータを生成する、
   請求項２に記載の画像データ生成装置。
4. 前記表示データ生成手段は、前記複数の関心領域の中から、ユーザによって指定された特定の表示倍率で表示する関心領域を一括して選択し、一括して選択された関心領域を含む前記拡大画像を表示するためのデータを生成する、
   請求項２または３に記載の画像データ生成装置。
5. 前記表示データ生成手段は、前記複数の関心領域の中から、ユーザによって指定された特定の位置範囲に含まれる関心領域を一括して選択し、一括して選択された関心領域を含む前記拡大画像を表示するためのデータを生成する、
   請求項１〜３のいずれか１項に記載の画像データ生成装置。
6. 前記表示データ生成手段は、前記撮像画像の全体画像を表示するためのデータも生成する、
   請求項１〜５のいずれか１項に記載の画像データ生成装置。
7. 前記表示データ生成手段は、前記撮像画像の低倍画像を表示するためのデータも生成する、
   請求項１〜６のいずれか１項に記載の画像データ生成装置。
8. 前記複数の位置データを、保存、読み出し、及び、読み込みする手段を更に備える、
   請求項１〜７のいずれか１項に記載の画像データ生成装置。
9. 前記撮像画像のデータは、撮像装置から出力されたデータである、
   請求項１〜８のいずれか１項に記載の画像データ生成装置。
10. 前記撮像画像のデータは、画像サーバに格納された画像データである、
    請求項１〜８のいずれか１項に記載の画像データ生成装置。
11. ユーザが操作して前記画像データ生成装置に指示を入力するための操作手段を更に備える、
    請求項１〜１０のいずれか１項に記載の画像データ生成装置。
12. 撮像画像出力装置と、表示装置と、請求項１〜１１のいずれか１項に記載の画像データ生成装置と、を備えた画像データ表示システムであって、
    前記画像データ生成装置は、前記撮像画像出力装置から出力された撮像画像のデータを用いて、前記表示装置に表示される表示画像のデータを生成する、
    画像データ表示システム。
13. 撮像画像のデータを用いて、表示装置に表示される表示画像のデータを生成する画像データ生成方法であって、コンピュータが、
    前記撮像画像のデータを取得する撮像画像データ取得工程と、
    前記撮像画像上のユーザに指示された関心領域の位置データを取得する位置データ取得工程と、
    前記撮像画像のデータと前記位置データとを用いて、前記表示画像のデータを生成する表示データ生成工程と、
    を実行し、
    前記位置データ取得工程では、ユーザに指示された複数の前記関心領域のそれぞれの前記位置データを取得可能であり、
    前記表示データ生成工程では、前記複数の位置データを前記表示装置に表示するためのデータと、前記撮像画像の一部分を拡大し、前記表示装置に複数表示可能とするためのデータを生成し、前記撮像画像の一部分は、前記表示装置に表示された前記複数の位置データのうちユーザによって指定された位置データに対応する前記関心領域を含む、
    画像データ生成方法。
14. 請求項１３に記載の画像データ生成方法の各工程をコンピュータに実行させるためのプログラム。

Images