JP4434376B2 - 顕微鏡画像転送システム - Google Patents
顕微鏡画像転送システム Download PDFInfo
- Publication number
- JP4434376B2 JP4434376B2 JP27129499A JP27129499A JP4434376B2 JP 4434376 B2 JP4434376 B2 JP 4434376B2 JP 27129499 A JP27129499 A JP 27129499A JP 27129499 A JP27129499 A JP 27129499A JP 4434376 B2 JP4434376 B2 JP 4434376B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- microscope
- stage
- mesh
- autofocus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001000 micrograph Methods 0.000 title claims description 19
- 238000012546 transfer Methods 0.000 title claims description 18
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 description 26
- 230000015654 memory Effects 0.000 description 22
- 239000011521 glass Substances 0.000 description 19
- 238000012545 processing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000010827 pathological analysis Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012508 change request Methods 0.000 description 2
- 229940075930 picrate Drugs 0.000 description 2
- OXNIZHLAWKMVMX-UHFFFAOYSA-M picrate anion Chemical compound [O-]C1=C([N+]([O-])=O)C=C([N+]([O-])=O)C=C1[N+]([O-])=O OXNIZHLAWKMVMX-UHFFFAOYSA-M 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004171 remote diagnosis Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/26—Stages; Adjusting means therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/242—Devices for focusing with coarse and fine adjustment mechanism
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microscoopes, Condenser (AREA)
- Automatic Focus Adjustment (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は顕微鏡による観察像を静止画として伝送する顕微鏡画像転送システムに関わり、特に病理標本を遠隔で観察するテレパソロジーシステムで利用されるものである。
【０００２】
【従来の技術】
従来、顕微鏡静止画像伝送システムは、例えば病理医の顕微鏡ＴＶ画像を用いた遠隔病理診断に利用されている。そして、顕微鏡静止画像観察システムにより、病理診断や生物学における組織標本の観察を行う場合には、まずスライドガラス上のどの位置にどのような大きさ、形状、色彩の観察対象が載っているかを把握することが、見落としの無い効率の良い観察を行うために重要であるとされている。
【０００３】
このようにスライドガラス上の標本全体像を把握するためには、検鏡に入る前に肉眼又は拡大鏡で観察するのが一般的であり、顕微鏡最低対物で観察できないような標本においては、巨視的映像撮影手段を用いたりする。
【０００４】
特開平６−３５９７では、病理医（観察者）の顕微鏡下での観察手法をＴＶ観察システムに組込む提案であり、標本全体像を撮影する巨視的映像撮影手段と、画像領域の指定を行うポインティング手段により、巨視的映像撮影手段で撮影された標本の全体像をポインティング手段で画像領域をブロック化し、顕微鏡の電動ステージを設定し、順次撮影する顕微鏡静止画像観察システムが考案されている。
【０００５】
特開平６―２２２２８１では、標本全体像に顕微鏡低倍率の視野に相当するフレーム（ブロック）を複数箇所指定し、フレーム（ブロック）により指定された箇所（ステージ位置）の顕微鏡画像を取り込むよう制御する。この画像撮り込み指定位置を遠隔地の観察者側（病理医側）で指示できる提案がされている。観察者側（病理医側）は、スライドガラス上の標本全体像（マクロ像）を依頼者側端末から静止画で受信した後、このマクロ像を均等に分割して拡大指定フレームを指示することも提案されている。このマクロ像を均等に分割して拡大指定フレームを指示することをここでは、メッシュ分割指定と呼ぶ。また、依頼者の手作業をなくすために、オートフォーカス機能を有する顕微鏡を使用することも提案されている。本提案において単一のフレームで拡大指定枠を示すものを「スポット」、マクロ像を均等に分割して拡大指定フレームを複数指示するものを「メッシュ」として表現する。
【０００６】
すなわち、従来の顕微鏡静止画像伝送システムは、顕微鏡ステージ上の標本像をＴＶカメラに取り込んだ後、コンピュータの画像をキャプチャボードで撮り込み、画像をデジタル化し、ＩＳＤＮなどの公衆回線を通じて、遠隔のコンピュータにデータ転送し、画像表示する顕微鏡画像転送システムが知られている。遠隔のコンピュータからも顕微鏡を操作し、倍率の変更やステージの移動も可能である。
【０００７】
【発明が解決しようとする課題】
本発明で注目した点は、スライドガラスの標本全体像（マクロ像）から顕微鏡低倍率の視野に相当する拡大指定フレームを複数箇所指定するメッシュ指定を行ない、所望の顕微鏡画像を取得する時の改善にある。
【０００８】
上述した従来技術では、いずれも巨視的画像を撮影する手段でスライドガラス上の標本全体像（マクロ像）を撮影し、ポインティング手段により矩形枠（フレーム（ブロック））を所望の位置に複数設定（メッシュ分割指定）し、矩形枠（フレーム）により指定された箇所の顕微鏡画像を制御し、依頼者の手作業をなくすために、オートフォーカスを用いること等が記載されている。しかしながら、メッシュ指定画像を全て撮り込むまでの時間や撮り込んだ画像に対してフォーカス位置の正しさまでは触れていない。
【０００９】
遠隔病理診断、特に手術中診断においては、観察者（病理医）が診断できるレベルの画像を最短の時間で依頼者側（病理医のいない施設）から観察者側（病理医側）に転送しなければならない。従って複数のメッシュ画像について個々に合焦位置を手作業で得るのは手術中診断では時間がかかり過ぎるという問題がある。また、複数のメッシュ画像のうちのいずれか１つの画像についてオートフォーカスを実行し、残りのすべての画像についてその最初に得られた合焦位置を用いて撮像することも考えられるが、光軸に対するＺステージの変位や標本の厚み等の違いにより合焦位置の正しい画像を取得することは困難であった。
【００１０】
この発明は上記実情に鑑みてなされたものであり、その目的は、遠隔地の観察者側（病理医側）が、スライドガラスの標本全体像（マクロ画像）上からメッシュ分割指定を行ない、このメッシュ指定のフレーム位置の顕微鏡画像を撮り込むよう依頼者側（病理医のいない方）に指示したときに、全てのメッシュ指定画像が短時間で合焦位置の正しい画像を取得することのできる顕微鏡画像転送システムを提供することである。
【００１１】
【課題を解決するための手段】
請求項１に記載の静止画像上で所望の倍率で拡大画像撮り込みが指定可能な顕微鏡画像転送システムにおいて、静止画像上で拡大指定枠領域の輝度情報を記憶する輝度情報記憶手段と、顕微鏡ＸＹステージの変位に伴うＺ方向の位置を補正するＺ方向位置補正手段と、静止画像上で拡大画像撮り込み前に、オートフォーカス実行可能か否かを判断するオートフォーカス実行可否判断手段と、前記オートフォーカス実行可否判断手段によりオートフォーカス実行可能と判断したとき、顕微鏡ＸＹステージのＸＹ位置と顕微鏡ＸＹステージのＺ位置を記憶するＸＹＺ位置記憶手段と、前記オートフォーカス実行可否判断手段によりオートフォーカス実行不可と判断したとき、前記ＸＹＺ位置記憶手段に記憶された前回の顕微鏡ＸＹステージのＺ位置を復元するＺ位置復元手段とを有することを特徴とする。
【００１２】
また、請求項２に記載の静止画像上で所望の倍率で拡大画像撮り込みが指定可能な顕微鏡画像転送システムにおいて、オートフォーカス可能な位置に顕微鏡ＸＹステージをＸＹに移動する手段と、前記顕微鏡ＸＹステージのＸＹ移動後にオートフォーカスを実行制御する手段と、オートフォーカス実行後に前記ＸＹステージの位置を移動前の位置に復元する手段と、前の顕微鏡ＸＹステージの位置を移動前の位置に復元後に画像撮り込みを制御する手段とを有する。
【００１３】
また、請求項３に記載の静止画像上で所望の顕微鏡倍率で拡大画像撮り込み指定可能な顕微鏡画像転送システムにおいて、複数の各画像撮り込み指定枠から最初にオートフォーカスを実行する箇所を自動的に選択する手段を有することを特徴とする。
【００１４】
この発明の顕微鏡画像転送システムによれば、顕微鏡ＸＹステージの変位に伴うＺ方向位置補正手段により顕微鏡ＸＹステージをＸＹＺの方向で制御を行ない、顕微鏡ＸＹステージの位置と顕微鏡ＸＹステージのＺ位置をＸＹＺ位置記憶手段により記憶する。次いで、顕微鏡ＸＹステージのＺ位置を復元する手段により、前回位置情報の呼出し、顕微鏡ＸＹステージのＸＹＺ移動を行う。静止画像上で拡大指定枠領域の輝度情報を記憶する輝度情報記憶手段は静止画像上で拡大指定枠領域の輝度情報を記憶する。静止画像上で拡大画像撮り込み前に、オートフォーカス実行可否判断手段でオートフォーカス実行可能か否か判断し、オートフォーカス実行可能と判断したとき、最適な箇所でオートフォーカスを実行する。また、オートフォーカス実行可否判断手段でオートフォーカス実行不可と判断したとき前記ＸＹＺ位置記憶手段に記憶された前回の顕微鏡ＸＹステージのＺ位置をＺ位置記憶手段で復元し、エラー復帰を自動で行ない、オートフォーカスエラーの発生する確率を削減する。
【００１５】
さらに、標本が存在する位置に顕微鏡ＸＹステージを移動した後光軸上に標本がなくてもオートフォーカス実行後に顕微鏡ＸＹステージの位置を移動前の位置に復元する手段により顕微鏡ＸＹステージをＸＹ移動してオートフォーカスを実行制御する手段により最適なＺ位置での画像取得を可能にすることで、いかなるメッシュ拡大指定画像であっても最適なＺ位置での画像を取得可能にしている。
【００１６】
複数の拡大画像撮り込み指定枠（メッシュ指定枠）から最初にオートフォーカスを実行する箇所を自動的に選択する手段により、観察者側（病理医）の操作を簡単にすることができる。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１８】
図１はこの発明に関わる顕微鏡画像転送システムの概略図である。顕微鏡９０７には、電動ステージ９０９と電動レボルバ９０８を備え、さらにビデオカメラ９０６を備えている。また、同顕微鏡９０７には、図示しないオートフォーカスユニット、調光機能、電動絞り機能等を備えることも可能である。図１に示す例では、顕微鏡操作ユニット９１３とパーソナルコンピュータ等で実現される依頼側端末９０５を接続し、依頼側端末９０５から顕微鏡操作ユニット９１３に操作データを転送することにより、顕微鏡の電動部位である対物制御、オートフォーカス（ＡＦ:Auto Focus）制御、Ｚ方向微動、調光制御、電動絞り機能等を可能にする。なお、電動機能を有しない手作業による顕微鏡であってもよい。依頼側端末９０５内には、図示しないビデオキャプチャ機能を有しており、前記ビデオカメラ９０６の画像出力と接続する端子も備えている。依頼側端末９０５およびパーソナルコンピュータ等で構成される観察側端末９０１内には画像等の情報を記憶する記憶媒体を備える。依頼側端末９０５あるいは観察側端末９０１の周辺機器としてＭＯ等の記録装置を備えても良い。依頼側端末９０５にはモニタ９０４が接続され、このモニタ上で顕微鏡画像やマクロ撮影装置画像が観察可能である。
【００１９】
さらに、画像情報等の情報を公衆回線で伝送するための回線接続装置９１０ａ、９１０ｂを備え、この回線接続装置９１０ａ、９１０ｂはそれぞれ観察側端末９０１および依頼側端末９０５とのインターフェース回路を有する。依頼側端末９０５と観察側端末９０１は回線接続装置９１０ａ、９１０ｂとＩＳＤＮ等の公衆回線９０３を介して接続される。なお、公衆回線の代わりにローカルエリアネットワーク（ＬＡＮ）を用いてもよい。
【００２０】
病理診断を遠隔で行うテレパソロジーシステムにおいては、病理医（観察者）のいない施設の端末を依頼側端末９０５とし、病理医（観察者）のいる施設の端末を観察側端末９０１とする。通常依頼者側には、スライドガラス上の標本全体像を撮影するマクロ撮影装置９１１や標本全体像から拡大観察する顕微鏡９０７を備える。観察者側にはマクロ撮影装置や顕微鏡等は通常不要であるが、これらを観察側端末９０１に接続していてもよい。
【００２１】
図２はテレパソロジーシステムにおける操作シーケンスをフローチャートで示したものである。まず、顕微鏡のある依頼者側が観察者側に検査してほしいスライドガラス上の標本の全体像（以下マクロ像と呼ぶ）をマクロ撮影装置９１１を用いて撮り込む（Ｓ１００１）。その際、観察者側は依頼者側から送信されたマクロ像を受信できるように観察側端末９０１を立ち上げておく（Ｓ１００９）。マクロ像が顕微鏡の低倍対物により観察できるようであれば、マクロ撮影装置を使うまでもなく、顕微鏡下にスライドガラスを置き、最適な顕微鏡対物倍率で画像を撮り込んでも構わない。また、顕微鏡下で顕微鏡対物を最低倍率に設定し、視野を考慮したステージ移動を行ったのち順次画像を撮り込み、これらの画像を貼り合わせることでマクロ像を作成することも可能である。
【００２２】
マクロ撮影装置９１１のビデオカメラ９１４で撮像したマクロ像は、依頼側端末９０５内のビデオキャプチャボード（図示しない）を介して、フレームメモリに順次記憶し、依頼側端末９０５のモニタ９０４上に表示する。マクロ像を取り込むトリガは任意のスイッチ（ＳＷ）により行われ、依頼側端末９０５のモニタ９０４上に表示したアプリケーションソフト上に設けられた操作用のＳＷボタンをマウスクリック等のイベントで認識したり、図示しない外部操作パネルのＳＷで選択することで行う。依頼側端末９０５はマクロ像を取り込むと観察側端末９０１に回線接続要求を出す（Ｓ１００２）。この回線接続要求は、回線接続装置９１０ａ、９１０ｂを介してＩＳＤＮなどの公衆回線９０３経由でデジタルデータを観察側端末９０１に転送する。観察側端末９０１は回線接続要求を受信すると、接続要求処理を行う（Ｓ１０１０）。この接続処理は、接続先相手を認識し、問題なければ接続許可を接続先相手に返す。回線接続処理が確立すると、依頼側端末９０５は、マクロ像と初期設定データを観察側端末９０１に送信する（Ｓ１００３）。初期設定ファイルには、依頼側端末９０５に接続しているハードウエア情報（顕微鏡、マクロ装置、ＴＶカメラ種別等）が含まれる。これらのデータを観察側端末９０１が受信した後（Ｓ１０１１）、操作権を依頼側端末９０５から観察側端末９０１に渡す（Ｓ１００４、Ｓ１０１２）。操作権とは、顕微鏡やステージの制御や画像撮り込み指定などの操作をする権利のことを示す。なお、この操作権の変更は、自動的に回線接続が確立したところで行っても良いし、また端末のモニタ上に表示したアプリケーションソフト上の操作用のボタンを依頼者が任意のタイミングでマウスクリック等により切り替えてもよい。図１の例では、マクロ像を依頼側端末９０５が撮り込んだ後に操作権を観察側端末９０１に渡している。
【００２３】
観察者（病理医）は、マクロ像で送られた画像から注目したい位置を見つけるために、顕微鏡の低倍対物で観察する（Ｓ１０１３、Ｓ１０１４）。通常、マクロ像画像の全領域をくまなく観察するために、拡大指定枠方法として、メッシュ撮り込み指定を選択する（Ｓ１０１５）。メッシュ撮り込み指定とは、図１３に示すように標本を格子上に分割して拡大位置を指定することである。図３の例ではＭ０乃至Ｍ８がメッシュ撮り込み指定であり、ステージ移動精度も考慮し撮り込んだ画像が重複するように指定している。倍率指定とメッシュ撮り込み指定は、観察側端末９０１の任意のキーボード（図示せず）に割り当ててもよい。
【００２４】
メッシュ撮り込み指定は、観察側端末９０１のモニタ９０２上で静止画像を確認しつつ、マウス操作でメッシュ撮り込み始点指定と終点指定を行うことによりメッシュ指定エリアを決め、このエリアの中に拡大指定枠を自動的に位置決定し静止画上にオーバーレイ表示する。または、自動的に標本が存在する位置を認識し、効率的にメッシュ撮り込み指定枠を静止画上にオーバレイしても構わない。ここで、拡大指定枠方法選択でメッシュを選択すると、メッシュ撮り込み指定処理が行われるとともに（Ｓ１０１７）、この拡大指定枠情報を依頼側端末９０５が受信すると、この情報に基づき依頼側端末９０５のモニタ９０４に表示している静止画像（マクロ画像）上にメッシュ撮り込み指定枠をオーバレイ表示する（Ｓ１０１８、Ｓ１００５）。観察側端末９０１のモニタ９０２と依頼側端末９０５のモニタ９０４上には同一の拡大指定枠を表示し、同じ画面を共有することができる。
【００２５】
また、（Ｓ１０１５）の拡大指定枠方法選択でメッシュが選択されなかった場合、（Ｓ１０１６）に示すようなスポット撮り込み指定が行われる（図３中Ｓ０参照）。観察側端末９０１のモニタ９０２上でスポット撮り込み指定処理を行う（Ｓ１０１７）と、この拡大指定情報を観察側端末９０１より依頼側端末９０５に回線接続装置９１０ａとＩＳＤＮ９０３と回線接続装置９１０ｂを介して送信する（Ｓ１０１８）。依頼側端末９０５は、この拡大指定枠情報を受信すると、この情報に基づき、依頼側端末９０５のモニタ９０４の静止画像上にスポット撮り込み指定枠をオーバーレイ表示する（Ｓ１００５）。スポット指定は、任意の位置を中心に一箇所拡大指定するものである。スポット処理もメッシュ処理と同様に観察端末９０１のモニタ９０２上で静止画像を確認しつつ、マウス操作で拡大位置を指定する。また、このスポット指定とメッシュ指定の拡大指定フレーム枠は、図４に示すように移動可能である。図４では、一度設定した拡大指定フレーム枠を（Ｓ０ａ）から（Ｓ０ｂ）の位置に移動する例を示している。この拡大枠指定位置情報は、依頼側端末９０５と観察側端末９０１の記録媒体に記録する。
【００２６】
拡大指定枠は追加することも可能であり（Ｓ１０１９）、もし追加するようであればフローを戻り、（Ｓ１０１３）から（Ｓ１０１５）までの処理を繰り返し、その位置を決め、拡大指定率も指定変更し、さらに、拡大指定枠方法選択を行う。
【００２７】
観察者（病理医）は次に拡大したい位置と倍率が決定し、拡大指定枠を追加する必要が無ければ（Ｓ１０１９）、画像撮り込み要求を観察側端末９０１から依頼側端末９０５に画像取り込み要求を送信する（Ｓ１０２０）。
【００２８】
画像撮り込み要求を受信した依頼側端末９０５は顕微鏡操作として、ステージ移動、対物変更、ＡＦ実行等を行う（Ｓ１００６）。ステージ移動は、メッシュあるいはスポットで指定した依頼側端末９０５のモニタ９０４上の位置座標をステージ座標位置に変換し、ＸＹステージ制御ユニット９１２に制御データを観察側端末９０１から依頼側端末９０５を介して転送することにより電動ステージ９０９を移動させる。同様に、対物変更並びにＡＦ実行は、観察側端末９０１から依頼側端末９０５を介して顕微鏡操作ユニット９１３に制御データを送ることにより動作を実行する。
【００２９】
電動ステージ９０９の移動および対物レンズの倍率を電動レボルバ９０８を制御して変更すると、標本画像情報をビデオカメラ９０６で撮り込み、さらにこの画像情報を依頼側端末９０５内のビデオキャプチャボードに入力し、画像を静止画にする。静止画にした画像は、このまま記録媒体に記録しても良いが、画像情報を転送するためにＪＰＥＧ(Joint Photographic Coding Experts Group)などの形式で画像を圧縮する。圧縮した画像情報は記録媒体に記録される。記録媒体に記録された画像情報は、依頼側端末９０５から回線接続装置９１０ｂに転送し、公衆回線９０３、回線接続装置９１０ａを介して観察側端末９０１にデータ転送する（Ｓ１００７）。
【００３０】
依頼側端末９０５から転送された画像情報を観察端末９０１が受信すると（Ｓ１０２１）、観察側端末９０１は受信した画像情報を観察側端末９０１のモニタ９０２上に表示する。画像情報がＪＰＥＧなどの形式で画像圧縮している場合には、伸張して画像表示する。
【００３１】
依頼側端末９０５は１枚の画像を観察側端末９０１に転送し終わると、次なる画像撮り込み指定位置が残っているかの判断を行う（Ｓ１００８）。もし残っていれば、依頼側端末９０５は、再び顕微鏡操作を行い（Ｓ１００６）、画像を撮り込み観察側端末９０１に画像データを送信する。この作業はすべての画像指定位置が無くなるまで行う。観察側端末９０１は全ての画像を受信し終わると、観察者（病理医）は観察側端末９０１のモニタ９０２に表示される画像を見て遠隔観察を行ない診断する（Ｓ１０２２）。このとき画像の連携とマウス位置情報等を操作権のある観察側端末９０１から依頼側端末９０５に回線接続装置９１０ａおよび公衆回線９０３、回線接続装置９１０ｂを介して送信する。画像連携情報やマウス位置情報を受信した依頼側端末９０５は、情報に基づき画像を依頼側端末９０５のモニタ９０４に表示し、マウス位置等の情報も連携する（Ｓ１０２４）。診断を終了し観察側端末９０１から回線切断をする場合、回線切断要求を依頼側端末９０５に送信する（Ｓ１０２５）。回線切断要求を受信した依頼側端末９０５は、回線切断処理をする（Ｓ１０２６）。観察側端末９０１は遠隔観察の後終了の判断を行う（Ｓ１０２３）。さらに、高倍に拡大し、診断を続けたい場合にはロジックはＳ１０１３のシーケンスに戻り、倍率指定（Ｓ１０１４）から再度繰り返される。
【００３２】
通常、遠隔診断は観察側端末９０１から行うので、操作権は観察者側にあるが、この操作権を依頼側端末９０５に任意に切り替えることも可能である。
【００３３】
図５は操作権を観察側端末９０１から依頼側端末９０５に切り替えて前記拡大指定と画像撮り込みを行う例のフローチャートである。
【００３４】
すなわち、図５において、観察側端末９０１は操作権交代要求を依頼側端末９０５に送信する（Ｓ１１０１）。依頼側端末９０５はこの操作権交代要求を受信し操作権を得る（Ｓ１１０６）。以下、ステップS１１０７乃至Ｓ１１１３は図２のＳ１０１３乃至Ｓ１０１９と同様である。さらに、ステップＳ１１１４乃至Ｓ１１１９は図２のＳ１００６乃至Ｓ１０２６と同様である。
【００３５】
一方、観察側のステップＳ１１０２は図２の依頼者側のステップＳ１００５と同様である。又、図５において、観察側のステップＳ１１０３乃至Ｓ１１０５は図２のＳ１０２１乃至Ｓ１０２５と同様である。
【００３６】
以上が概略のテレパソロジーシステムのシーケンス動作である。この発明では、このシーケンス動作のうちＳ１０１７のメッシュ指定における顕微鏡操作（Ｓ１００６）と画像撮り込み（Ｓ１００７）の処理に関わり、メッシュ指定画像を最適なフォーカス位置で撮り込むことを目的とする。
【００３７】
以下、この発明の動作を図６および図７を参照して説明する。
【００３８】
図６はマクロ撮影後の静止画状態で、メッシュ指定処理（Ｓ１０１７）を行った時の図を示している。メッシュ指定は、通常マクロ像を取り込んだ後に、標本全領域あるいは標本部分領域を顕微鏡の低倍の対物レンズにより観察できる範囲で格子状に分割して観察する時に使用する。標本全領域をくまなく観察する場合、メッシュ指定した位置すべてにＡＦを実行すると全ての画像を撮り込むまでに時間を費やしてしまう。ＡＦ箇所を一箇所設け、そのＺ位置ですべてのメッシュ指定位置の画像データを取得する方が画像撮り込み指定から画像撮り込み終了までの時間が短くなる。しかしながら、ＡＦ箇所が１つの場合、すべてのメッシュ指定位置での画像のフォーカスが合っているとは限らない。その原因として、ステージ面精度の問題あるいは標本の厚みによる誤差が考えられる。ここでは、スライドガラスと顕微鏡ステージとの取付けは平行であり、正確に固定されているものと仮定している。ステージの面精度によるフォーカスが合わないという問題を解決するためには以下のようにする。メッシュ撮り込み指定位置変化に応じてステージをＸＹに移動させるとともに、そのＸＹ移動量に応じてＺ方向微動を行う。
【００３９】
Ｚ方向微動を行うために事前にステージ移動に伴うＺの変動データを顕微鏡の対物レンズ毎に取っておく。図７に示すようにスライドガラスの表面上に格子状にラインを引いた調整用部品を用意する。格子の間隔は、細かく任意に設定しても良いが、調整する顕微鏡の倍率対物視野に応じた大きさにする。初めに顕微鏡の対物レンズをデータを取得するための倍率に変更する。次に、図７のスライドガラスを顕微鏡９０６の電動ステージ９０９に載せてスライド座標上Ｘ＝０、Ｙ＝０になるようにステージ移動させる。Ｘ＝０、Ｙ＝０では、ガラスの端になるので、数ｍｍ程度スライドガラスの内側にラインが引かれているものとする。この位置でフォーカスが合うように顕微鏡の準焦部を手作業あるいは依頼側端末９０５から顕微鏡操作ユニット９１３を制御することによりＺ方向微動を行う。フォーカス位置の確認は、ビデオカメラ９０６を通じて依頼側端末９０５内のキャプチャボード（図示せず）経由で入力した依頼側端末９０５のモニタ９０４上に動画表示した画像を基に行う。フォーカス位置の調整ができると、顕微鏡のＺ位置情報を顕微鏡操作ユニット９１３経由で依頼側端末９０５に取り込む。このＸ＝０、Ｙ＝０のスライド座標位置での顕微鏡Ｚ位置を初期値（Ｚ０）として、依頼側端末９０５内のメモリ（図示せず）にデータ格納する。
【００４０】
次に、Ｘ＝０、Ｙ＝１のステージ座標にステージを移動させ、スライドガラス上のラインにフォーカスを合わせる。
【００４１】
フォーカス位置の確認をした後、顕微鏡Ｚ位置情報を取得し、Ｚ初期値Ｚ０との比較を行ない、その比較結果データを依頼側端末９０５内のメモリ（図示せず）に記憶する。このようにしてスライドガラス上の座標を移動させながら、フォーカスを確認し、フォーカスの合った位置でのＺ位置をＺ初期値データ（Ｚ０）と比較して各座標毎の比較データΔＺを取得し、そのデータを依頼側端末９０５内のメモリにデータ格納する。その結果を表したのが図８に示す表である。このデータは各対物毎にデータを保持するものである。
【００４２】
以上のようにしてスライドガラスを顕微鏡ステージに載せた状態でＸＹ変動に対するＺのずれデータを依頼側端末９０５のメモリ内に記憶する。この補正データを元にＸＹステージ移動に伴うＺ補正を行うが、これを図９のフローチャートを用いて説明する。
【００４３】
まずスライドガラス上の標本全体像（マクロ像）を撮影し、モニタ上に表示する（Ｓ５０１）。マクロ像は、通常依頼側端末９０５を操作してマクロ撮影装置９１１や顕微鏡９０７を用いて撮影するものである。。この撮影したマクロ像は静止画状態のＲＧＢ各々の輝度情報として依頼側端末９０５及び観察側端末９０１のメモリ内に格納する（Ｓ５０２）。メモリは２次元の配列にして（例えばＶＧＡサイズの画像の場合Ｒ（ｉＸ，ｉＹ）に保管（ｉＸ＝０〜６３９、ｉＹ＝０〜４７９）し、後でデータを取り出しやすくする。次に、メッシュ撮り込み指定領域を指定する。メッシュ撮り込み指定は、通常回線に接続した後に、観察側端末９０１が行う。もちろん回線を接続していなくても依頼側端末９０５でメッシュ撮り込み指定もできるし、回線接続状態でも依頼側端末９０５でもメッシュ撮り込み指定ができる。この領域指定は、各モニタ９０２、９０４上で確認しながら静止画像にオーバーレイ表示する（Ｓ５０３）。メッシュ指定した例を図１０に示す。マクロ静止画像上にオーバレイ表示したメッシュ位置は、その座標情報を依頼側端末９０５及び観察側端末９０１のメモリ内に格納する（Ｓ５０４）。この座標情報は、各メッシュ枠の中心を記憶すればよい。また中心座標のみならず、静止画像の倍率情報と、メッシュ拡大指定の倍率情報を各メッシュ拡大指定枠毎に依頼側端末９０５及び観察側端末９０１のメモリ内に格納しておけば、後で再現することもできる。
【００４４】
次に最初にＡＦを実行するメッシュ拡大指定枠の位置をモニタ上で指定する（Ｓ５０５）。このＡＦを実行するメッシュ拡大指定枠の位置の指定も操作権のある方の端末（依頼側端末９０５あるいは観察側端末９０１）のモニタ９０２あるいは９０４上に表示されているマクロ静止画像上のメッシュ枠をマウスクリックすることにより行う。当然、このマウスクリック情報は、依頼側端末９０５と観察側端末９０１の両者で共有するものである。マクロ像上のメッシュ拡大指定枠のうちどの枠を選択したかわかるように、拡大指定枠の線の太さあるいは、線の色を他のメッシュ拡大指定枠と変えるものとする。最初にＡＦを指定する位置が決定されると、画像撮り込みを開始する。この画像撮り込みの開始は、操作権のある端末から、図示しないアプリケーション上の操作用のボタンあるいは、端末のキーボードの任意キーを押すことによって行う。
【００４５】
依頼側端末９０５が画像撮り込み開始の指示を認識すると、最初にＡＦを実行する指定がされているメッシュ位置にステージ移動する（Ｓ５０６）。このステージ移動は、依頼側端末９０５がＸＹステージ制御ユニット９１２に移動コマンドを送ることにより、顕微鏡９０７の電動ステージ９０９を指定位置に移動する。ステージ移動量は、モニタ上のメッシュ拡大指定枠位置から実際にステージ座標系とのデータ変換により演算する。
【００４６】
最初にＡＦ位置を実行するステージ位置に移動停止した後、ＡＦを実行する（Ｓ５０７）。ＡＦ実行は、依頼側端末９０５が顕微鏡操作ユニット９１３にＡＦ実行データを送ることにより、顕微鏡９０７のＡＦユニット（図示せず）が動作することにより実現する。ここで、ＡＦを実行した後、正常に動作すれば良いのであるが、標本が顕微鏡対物光軸の付近（画面の中心付近）に存在しない場合、ＡＦエラーが発生する場合がある。従ってＡＦエラーが発生するか否かをチェックする（Ｓ５０８）。このＡＦエラーは図示しないＡＦユニットから出力される。ＡＦエラーが発生すると、顕微鏡操作ユニット９１３から依頼側端末９０５にＡＦエラー通知がなされる。このエラーを依頼側端末９０５が認識した場合、依頼側端末９０５のモニタ９０４上にＡＦエラーが発生したことを示すエラー表示がされる。エラー表示はエラーウインドウとして表示しても良い。また、依頼側端末９０５を操作している依頼者に合焦位置に顕微鏡のＺステージ微動ハンドルを手作業による操作で移動するように指示をする。これで最初のフォーカス位置が決定される。このＺ位置を依頼側端末９０５のメモリ内に記憶するとともに、Ｚ位置を記憶したＸＹステージ位置座標も記憶する。ステップＳ５０８において、ＡＦが正常に動作した場合はＺ位置とＸＹステージ位置座標を操作することなく記憶する（Ｓ５１０）。
【００４７】
ステージＸＹＺの移動が終わると、この位置で静止画像の画像撮り込み（キャプチャ）をする（Ｓ５１１）。画像撮り込みは、依頼側端末９０５がＸＹステージ及びＡＦ確認を行った後に依頼側端末９０５に装着しているキャプチャーボードを制御することにより、顕微鏡９０７の画像をビデオカメラ９０６を通じて画像撮り込みをする。画像を撮り込んだ後、任意の画像ファイルフォーマットで依頼側端末９０５のＨＤなどの記録媒体（図示せず）に画像データを保存する。撮り込まれた画像は、回線接続装置９１０ｂ、９１０ａと公衆回線９０３を通じて依頼側端末９０５から観察側端末９０１へ転送され、モニタ９０２に同画像を表示される。
【００４８】
最初にＡＦ実行する箇所のメッシュ拡大指定画像を撮り込んだ後に、次のメッシュ拡大指定枠が存在するか否かチェックする（Ｓ５１２）。次のメッシュ拡大指定枠がなければ終了する。次のメッシュ拡大指定枠が存在する場合、次の箇所にＸＹステージを移動させる（Ｓ５１３）。
【００４９】
ＸＹステージを移動させるとともに、ＸＹの移動に応じてＺ位置を微動させる（Ｓ５１４）。このＺ位置の微動は、図８の表のステージ座標とΔＺのデータにもとづいて行う。すなわち、前回のステージ位置が図８の表においてどの座標箇所にあたるかを確認し、その時のΔＺをΔＺｉ−１とし、同様に今回のステージ位置が図８の表においてどの座標箇所およびΔＺ（ΔＺｉ）になるかを確認する。前回のΔＺｉ−１とΔＺｉの差分（（ΔＺｉ−１）−（ΔＺｉ））がＸＹステージ移動に伴うＺ微動量となる。Ｚ微動制御は、依頼側端末９０５から顕微鏡操作ユニット９１３にＺ微動量データを送ることにより、顕微鏡Ｚモータを駆動し、Ｚ位置が変化する。
【００５０】
電動ステージ９０９によるＸＹ移動とＺ微動制御が終了したことを依頼側端末９０５が確認すると、依頼側端末９０５は、ＡＦ動作を実行するべきか否かの判断をする（Ｓ５１５）。ステージだけのＺのずれだけでなく、標本の厚みによるＺ誤差を吸収するために、任意にＡＦするか否か判断する。この判断処理の詳細は図１１に示すフローチャートを参照して後に説明する。ＡＦを実行するべきだという判断（Ｓ５１６）があればＡＦを実行する（Ｓ５１７）。ＡＦを実行する必要が無ければ（Ｓ５１６）、画像撮り込み処理に戻る（Ｓ５１１）。またＡＦ実行（Ｓ５１７）してエラーが無い場合（Ｓ５１８）、そのＺ位置並びにＸＹ座標値を記憶する処理（Ｓ５１０）に戻る。もしＡＦ実行してＡＦエラーが発生していれば（Ｓ５１８）、顕微鏡操作ユニット９１３から依頼側端末９０５にエラーが通知される。このエラーを依頼側端末９０５が認識した場合、前回画像を撮り込んだ位置のＺ位置を依頼側端末９０５のメモリ内（図示せず）から呼出し、このＺ位置データを顕微鏡操作ユニット９１３に転送することにより、自動的に最良なＺ位置に復帰する。この時依頼側端末９０５にはエラー表示および手動でＺ微動操作することを要求したりしない。自動的に前回Ｚ位置に移動後（Ｓ５１９）、画像撮り込み処理（Ｓ５１１）に戻る。
【００５１】
次に、ＡＦ実行すべきか否かを判断するフローチャートを図１１を参照して説明する。
【００５２】
最初に前回のステージ位置と今回のステージ位置がどの位の移動差があれば、ＡＦ実行するか否かの判断基準の移動差基準データ（ＸＹｒｅｆｔｈ）を閾値として設定する（Ｓ６０１）。この移動差基準データ（ＸＹｒｅｆｔｈ）は、任意に初期設定で決められるようにしておく。また、移動差基準データ（ＸＹｒｅｆｔｈ）は、対物レンズの開口数（ＮＡ:Numerical Aperture）から焦点深度を求め、この焦点深度をカバーできないＸＹ移動に伴うＺ変位のときのＸＹ移動量をプリセットデータとして持っても良い。移動差基準データ（ＸＹｒｅｆｔｈ）は依頼側端末９０５内のメモリ内に格納しておく。次に今回のメッシュ拡大指定枠のステージＸＹ座標位置と前回ＡＦを実行したステージＸＹ座標位置の差分を取り、その差分をＸＹｒｅｆ（Ｓ６０２）とする。前回ＡＦを実行したステージＸＹ座標は、依頼側端末９０５のメモリ内に格納されている。ＸＹｒｅｆとＸＹｒｅｆｔｈとの比較を行う（Ｓ６０３）。前回ＡＦ実行したステージＸＹ座標位置との差分ＸＹｒｅｆが移動差基準データ（ＸＹｒｅｆｔｈ）より小さければ、ＡＦ実行しなくてもよい（Ｓ６１９）。逆に前回実行したステージ座標位置との差分ＸＹｒｅｆが移動差基準データ（ＸＹｒｅｆｔｈ）より大きければ、さらにＡＦを実行しても良いかを確認する処理へと移行する。ＡＦを実行しても良いかのチェックは、画像の中心付近（光軸中心付近）に標本が存在するか否かの判断をする。これは、光軸の中心付近に標本が存在しない場合、ＡＦが正常動作しない可能性があるからである。ステップＳ６０５以降のフローチャートは、次に拡大したい座標位置の光軸の中心付近に標本が存在するか否かを静止画像状態で判断する処理を表している。動画状態でも、光軸中心付近に標本が存在することは判断できるが、この発明では、拡大画像を得る前の静止画像のメッシュ拡大指定枠を決めた状態で予め拡大像を取り込む前に、光軸付近に標本が存在するか否かを予測する。
【００５３】
まず、標本が存在するか否かを判断する基準として、静止画像のＲＧＢの輝度情報を用いる。この静止画像状態でのＲＧＢ各々の輝度情報は、ステップＳ５０２ですでに依頼側端末９０５のメモリ内に格納されている。ステップＳ６０４では、標本として認識する輝度閾値（Ｇｔｈ）を決定するとともに、ステップＳ６０５で標本像認識チェック用カウンタをクリアする。この標本認識用の輝度閾値は初期データとして任意のファイルに格納しておき、使用するときにこのファイルからデータを取り出し、依頼側端末９０５のメモリ内に格納する。次に標本像として認識するには、１画素だけでは判断しかねるので、中心付近の画素データの範囲を決めて前記輝度閾値（Ｇｔｈ）と比較する必要がある。ステップＳ６０６とＳ６０７では、静止画像状態でチェックをするＸＹ座標値の範囲を決定している。まず、Ｘ座標のチェックする範囲を決める。図１０はスライドガラス上の標本全体像（マクロ像）を撮り込み後、メッシュ拡大指定枠をマクロ像静止画像の上にオーバーレイ表示している状態である。図１０のImageWidthとImageHeightは、静止画像の幅、高さを示してあり、ＶＧＡサイズでは、６４０Ｘ４８０ピクセルであり、(ImgXmax, ImgYmax)=(639,479)となる。（１）から（１８）のフレームは、メッシュ拡大指定枠であり、現表示倍率と次の拡大指定倍率によりその幅(FrameWidth)、高さ(FrameHeight)が決まる。
【００５４】
FrameWidth=ImageWidth×（現表示倍率／次の指定倍率）
FrameHeight=ImageHeight×（現表示倍率／次の指定倍率）
図１２は図１０におけるメッシュ拡大指定枠のうち（１０）の枠を拡大表示したものである。図１２の(Xmin, Ymin)〜(Xmax, Ymax)は、ＡＦを実行しても中心付近に標本が存在するかを評価する領域である。図１２の(Xic, Yic)は、図１０の画像左上を（０、０）としたときのメッシュ拡大指定枠（１０）の中心座標を表す。
【００５５】
Ｘ座標領域を決定するフローチャートを図１３に、Y座標領域を決定するフローチャートを図１４に示す。
【００５６】
まず、Ｘ座標領域を決定するフローチャートを説明する。まず、図１０の全体画像から見たメッシュ拡大指定枠の中心座標（Ｘｉｃ、Ｙｉｃ）を検出する（Ｓ７０１）。各メッシュ拡大指定枠の中心座標は、依頼側端末９０５のメモリ内（図示せず）から取り出す。その中心座標から標本が存在するか否かのチェックをするため以下の式に基づきＸ領域の指定を行う（Ｓ７０２）。
【００５７】
Xmin=Xic-FrameWidth/n
Xmax=Xic+FrameWidth/n
ｎの値は初期設定において任意に変更可能である。
【００５８】
同様にしてＹ領域においても、図１０の全体画像から見たメッシュ拡大指定枠の中心座標（Ｘｉｃ、Ｙｉｃ）を検出し（Ｓ８０１）、標本が存在するか否かのチェックをするため以下の式に基づきＹ領域の指定を行う（Ｓ８０２）。
【００５９】
Ymin=Yic-FrameHeight/m
Ymax=Yic+FrameHeight/m
ｍの値は初期設定において任意に変更可能である。
【００６０】
以上のようにして標本が存在するか否かをチェックする領域を決定する。標本が存在するか否かは、各画素の輝度情報と前記ステップＳ６０４で決定した輝度閾値（Ｇｔｈ）との比較により行う。ここで各画素の輝度情報は３種類あるが、図９のフローチャートの例では、Ｇ情報だけで行う。もちろんＲＧＢ３つの輝度情報を用いて各々輝度閾値Ｒｔｈ、Ｇｔｈ、Ｂｔｈを持ち、それぞれを比較し、総合的に判断してもよい。
【００６１】
標本が存在するか否かを判断する領域内での各画素のＧｄａｔａ（Ｘ，Ｙ）輝度情報とステップＳ６０４で決定した輝度閾値（Ｇｔｈ）との比較を行ない、最終的にＡＦを実行しても良いか否かの判断する処理のフローチャートをステップＳ６０８以降に示す。
【００６２】
まず、初期座標を設定する（Ｓ６０８）。ここで、Ｘ、Ｙは変数であり、依頼者側端末９０５のメモリ（図示せず）に格納する。初期値は前述したチェック座標領域の初期座標であり、X=Xmin, Y=Yminとする。
【００６３】
このＸ、Ｙ座標におけるＧ輝度情報（Ｇｄａｔａ（Ｘ、Ｙ））を依頼側端末９０５のメモリ（図示せず）に格納する。初期値は前述したチェック座標領域の初期座標であり、Ｘ＝Ｘｍｉｎ、Ｙ＝Ｙｍｉｎとする。
【００６４】
このＸ、Ｙ座標におけるＧ輝度情報（Ｇｄａｔａ（X、Ｙ））を依頼側端末９０５のメモリ（図示せず）から取り出す（Ｓ６０９）。この輝度情報（Ｇｄａｔａ（X、Ｙ））と輝度閾値（Ｇｔｈ）との比較を行う（Ｓ６１０）。
【００６５】
もしＧ輝度情報（Ｇｄａｔａ（Ｘ、Ｙ））の値の方が輝度閾値Ｇｔｈの値より小さければ（Ｓ６１１）標本像が存在すると判断し、ステップＳ６０５でクリアした標本像認識チェック用カウンタをインクリメント（Ｓ６１２）し、依頼側端末９０５のメモリ（図示せず）に格納する。もしＧ輝度情報（Ｇｄａｔａ（Ｘ，Ｙ））の値の方が輝度閾値（Ｇｔｈ）の値より大きければ（Ｓ６１１）標本像が存在しないと判断し、標本像認識チェック用カウンタ（ChkCounter）は変化しない。次に、Ｘ座標を１画素分インクリメントする（Ｓ６１３）。このときＸ座標がＳ６０６で決定した領域外になるか否かの判断をする（Ｓ６１４）。Ｘ座標が領域内に入っているならばＳ６０９の輝度情報と輝度閾値の比較を行う処理に戻る。Ｘ座標が領域外になる場合（Ｓ６１４）、Ｘ座標を初期値（Ｘ＝Ｘｍｉｎ）とし、Ｙ座標を１画素分インクリメントする（Ｓ６１５）。Ｙ座標をインクリメントした後、そのＹ座標が領域外になるか否かの判断をする（Ｓ６１６）。Ｙ座標が領域外にならない場合には、再びＳ６０９の輝度情報と輝度閾値を比較し標本像が存在するか否かの判断する。Ｙ座標インクリメントして、そのＹ座標が領域外になる場合、標本像が存在するか否かの判断をする領域すべてのチェックを終了したことになる。次に、比較用データ(ChkCounterMin)の値を以下の式に基づき設定する（Ｓ６１７）。
【００６６】
ChkCounterMin=((Xmax-Xmin)×(Ymax-Ymin))/2
上記式では、標本が存在するか否かを判断する領域の半分とするために２で割っているが、任意の値にしても構わない。
【００６７】
次に最終的中心付近に標本像が存在するか否かを判断する（Ｓ６１８）。標本像認識カウンタ（ChkCounter）が比較用データ(ChkCounterMin)以上であればその領域に標本像が存在すると判断できる。その比較用データ(ChkCounterMin)以上であれば、その領域に標本像が存在すると判断できる。
【００６８】
標本像認識カウンタ(ChkCounter)と比較用データ(ChkCounterMin)との比較を行ない、標本像認識カウンタの方が大きければＡＦ実行可能と判断し（Ｓ６２０）、小さければＡＦ実行不可として判断する（Ｓ６１９）。
【００６９】
以上のようにして、標本像が画像の中心付近に存在するか否かを判断し、静止画像状態でＡＦ実行可能か否か判断することができる。
【００７０】
次にこの発明の第２実施形態について説明する。
【００７１】
実施形態１では、メッシュ拡大指定枠の中心付近に標本像が存在するか否かをチェックし、ＡＦを実行しても良いかを判断していたが、図１５に示すように中心付近に標本像が存在しなくても中心付近以外に全領域にわたり標本像が存在する場合がある。例えば、図１５に示すように、標本１５０１をスライスしたときに、穴１５０３が空いたような場合が考えられる。このような場合において、実施形態１の図１１のフローチャートの例では、ＡＦ実行不可になる（Ｓ６１９）。第２実施形態では、このＡＦ実行不可と判断した後に再度ＡＦ実行チェックする処理が行われる。
【００７２】
図１５のAFChkAria(a)は図１１のフローチャートで拡大指定枠の中心付近に標本が存在するかチェックした領域である。確かに中心付近に標本は存在しないが、AFChkAria(b)を画像の中心（光軸中心）としてＡＦ実行すれば、ＡＦエラーが発生しないはずである。
【００７３】
図１６のフローチャートを用いてＳ６１９でＡＦ実行不可と認識した後のＡＦ実行再チェックについて説明する。まず、標本像として認識する基準のための輝度閾値（Ｇｔｈ）を設定し、依頼側端末９０５内のメモリに格納する（Ｓ１５０１）。そしてチェックをする座標の初期値を設定する（Ｓ１５０２）。(Xic,Yic)は図１０のようなマクロ像からメッシュ拡大指定枠を表示したときの任意のメッシュ拡大指定枠の中心座標である。FrameWidthとFrameHeightは、メッシュ拡大指定枠の幅と高さである。
【００７４】
次に、標本像が存在するか否かを判断するためのチェック用カウンタをクリアする（Ｓ１５０３）。次にＸＹ座標を変化させながら、個別画素におけるＧ輝度情報（Gdata(X,Y)）を取得し、その輝度情報とＳ１５０１で決定した輝度閾値（Ｇｔｈ）との比較を行う（Ｓ１５０４）。もし輝度閾値（Ｇｔｈ）より小さければチェック用カウンタをインクリメントする（Ｓ１５０５）。すなわち、一般に輝度レベルは白色が一番高い。標本１５０１に穴１５０３が空いていれば、Ｇ輝度情報（Gdata(X,Y)）は輝度閾値（Ｇｔｈ）よりも大きくなる。逆に、標本が存在すれば、Ｇ輝度情報（Gdata(X,Y)）は輝度閾値（Ｇｔｈ）よりも小さくなる。そして、Ｘ座標をインクリメントし次の座標を準備する（Ｓ１５０６）。ステップＳ１５０７において、Ｘ座標がメッシュ拡大指定枠内の領域に入っていれば、ステップＳ１５０４の処理に戻る。逆に、ステップＳ１５０７において、Ｘ座標をインクリメントした後にメッシュ拡大指定枠になれば、Ｙ座標をインクリメントし、かつＸ座標を初期値に戻す（Ｓ１５０８）。Ｙ座標がインクリメントした後にメッシュ拡大指定枠の領域外になっていないかをチェックする（Ｓ１５０９）。領域内であれば、ステップＳ１５０４の処理に戻る。
【００７５】
すべてのＸＹ座標をチェックし終わるとメッシュ拡大指定枠内で標本が存在する画素数比率を以下の式に基づき算出する（Ｓ１５１０）。
【００７６】
PicRate=(ChkCounter/FrameWidth×FrameHeight)×１００
PicRateが６０％以下であれば、中心付近には標本が存在しないものの、中心以外の領域で標本が存在すると判断する（Ｓ１５１１）。この６０％という数字は任意に変更できるものとする。中心以外の領域で標本が存在することを確認後、標本が存在する位置にステージを移動させる（Ｓ１５１２）。
【００７７】
標本が存在する位置は、中心座標を数ピクセル移動させながら、標本像が連続的に存在するか否かを探すことにより判断できる。
【００７８】
ステージ移動することで、光軸の中心付近に標本画像がある位置に移動し、この位置でＡＦを実行する（Ｓ１５１３）。ＡＦエラーが発生した場合には、Ｚ位置を前回のメッシュ拡大指定枠撮り込みしたＺ位置に戻す。Ｚ移動が完了すると現Ｚ位置とＸＹ座標値を依頼側端末９０５のメモリ内に記憶した後（Ｓ１５１４）、ステージ位置を元の位置(Xic,Yic)に戻す（Ｓ１５１５）。
【００７９】
以上のように、中心付近に標本像が無く、ＡＦ実行ができないと判断した後でも、中心付近以外の領域で標本が存在する領域が多いと判断する場合には、標本像が存在する位置にステージを移動させ、この位置でＡＦを実行した後、再び元のステージ位置に戻すことにより、合焦位置の正しいメッシュ撮り込み指定画像が取得できる。
【００８０】
次に、この発明の第３実施形態について説明する。
【００８１】
実施形態１では、図９のフローチャートのステップＳ５０６において、最初にＡＦを実行するメッシュ指定枠位置をモニタ９０２、９０４上で指示する例を示したが、実施形態３では、この最初にＡＦを実行するメッシュ指定枠位置を自動で指定する例を示す。
【００８２】
図１７はこの発明の第３実施形態の処理を示すフローチャートである。
【００８３】
マクロ像を撮影した後に静止画像上でメッシュ拡大指定枠を指示する。この指示が終了したときに、最初にＡＦを実行するメッシュ拡大指定枠を自動的に決定処理する。
【００８４】
まず、メッシュ拡大指定枠の個数をチェックする（Ｓ１６０１）。メッシュ拡大指定枠個別の標本像認識画素数データを持つために標本像チェック用カウンタを配列データとして持つとともに（Ｓ１６０２）、配列データの中身をクリアしておく。メッシュ拡大指定枠毎に標本像存在チェックをする（Ｓ１６０３）。標本像チェックは、上述したように輝度閾値データと各画素の輝度情報の比較により判断する。そして標本像として認識した画素数をChkCounter(i)に記憶する。iは任意のメッシュ拡大指定枠番号を示す（図１０では、（０）〜（１９）の番号）。すべてのメッシュ拡大指定枠の標本像チェックが終了したならば、標本像チェック用カウンタの値が大きいものから順に並べる（Ｓ１６０４）。並べた順番は、別の変数として記憶しておく。次に標本像チェック用カウンタ値の大きいものから、順に中心付近に標本が存在するか否かを判断する（Ｓ１６０５）。中心付近に標本が存在するか否かの判断は、中心座標に対応する、ステップＳ１６０２において記憶した配列データを調べることにより行うことができる。中心付近に標本像が存在しないと判断した場合には（Ｓ１６０６）、再度Ｓ１６０５に戻り、次に標本像チェック用カウンタ値の大きいメッシュ拡大指定枠を取り出し、中心付近に標本像が存在するか否か判断する。中心付近に標本像が存在すれば、最初にＡＦを実行する位置として記憶する（Ｓ１６０７）。
【００８５】
以上のようにして、複数のメッシュ拡大指定枠の中から最も標本像として認識できる画素数を持ち、かつ中心付近に標本像が存在する箇所を最初にＡＦする位置として自動的に認識できる。
【００８６】
【発明の効果】
この発明によれば、顕微鏡画像の遠隔観察において、初期観察画像における観察領域の指定（メッシュ分割）後の画像撮り込み時間を短縮かつ合焦位置が正しい画像観察できる顕微鏡画像転送システムを提供することができる。
【図面の簡単な説明】
【図１】この発明が適用される顕微鏡画像転送システムの概略図。
【図２】テレパソロジーシステムの基本操作を示すフローチャート。
【図３】メッシュ撮り込み指定枠とスポット撮り込み指定枠の説明図。
【図４】拡大指定枠の移動を説明する図。
【図５】テレパソロジーシステムの操作権が依頼側にあるときの基本操作を示すフローチャート。
【図６】この発明の実施形態において、マクロ撮影後の静止画状態において、メッシュ指定処理を行ったときの図。
【図７】この発明の実施形態において、ステージＸＹ移動に伴うＺ補正データを取得することを説明するための図。
【図８】この発明の実施形態において、フォーカスの合った位置でのＺ位置をＺ初期値データと比較して得られる各座標毎の比較データΔＺを示す表。
【図９】この発明の実施形態において、メッシュ画像撮り込み処理を示すフローチャート。
【図１０】この発明の実施形態において、標本像位置にメッシュ分割位置を設定することを表す図。
【図１１】この発明の実施形態において、オートフォーカス動作実行可否のチェック処理を示すフローチャート。
【図１２】この発明の実施形態において、メッシュ分割画面からＡＦ実行を判断する領域を説明する図。
【図１３】この発明の実施形態において、オートフォーカス実行判断をするＸ領域を決定する処理を示すフローチャート。
【図１４】この発明の実施形態において、オートフォーカス実行判断をするＹ領域を決定する処理を示すフローチャート。
【図１５】この発明の第２実施形態において、オートフォーカスチェックエリアの変更を説明する図。
【図１６】この発明の第２実施形態において、オートフォーカスを再チェックするフローチャート。
【図１７】この発明の第３実施形態において、オートフォーカスを実行する箇所を説明する図。
【符号の説明】
９０１…観察側端末
９０２…モニタ
９０３…ＩＳＤＮ
９０４…モニタ
９０５…依頼側端末
９０６…ビデオカメラ
９０７…顕微鏡
９０８…電動レボルバ
９０９…電動ステージ
９１０ａ、９１０ｂ…回線接続装置
９１１…マクロ撮影装置
９１２…ＸＹステージ制御ユニット
９１３…顕微鏡操作ユニット
【発明の属する技術分野】
この発明は顕微鏡による観察像を静止画として伝送する顕微鏡画像転送システムに関わり、特に病理標本を遠隔で観察するテレパソロジーシステムで利用されるものである。
【０００２】
【従来の技術】
従来、顕微鏡静止画像伝送システムは、例えば病理医の顕微鏡ＴＶ画像を用いた遠隔病理診断に利用されている。そして、顕微鏡静止画像観察システムにより、病理診断や生物学における組織標本の観察を行う場合には、まずスライドガラス上のどの位置にどのような大きさ、形状、色彩の観察対象が載っているかを把握することが、見落としの無い効率の良い観察を行うために重要であるとされている。
【０００３】
このようにスライドガラス上の標本全体像を把握するためには、検鏡に入る前に肉眼又は拡大鏡で観察するのが一般的であり、顕微鏡最低対物で観察できないような標本においては、巨視的映像撮影手段を用いたりする。
【０００４】
特開平６−３５９７では、病理医（観察者）の顕微鏡下での観察手法をＴＶ観察システムに組込む提案であり、標本全体像を撮影する巨視的映像撮影手段と、画像領域の指定を行うポインティング手段により、巨視的映像撮影手段で撮影された標本の全体像をポインティング手段で画像領域をブロック化し、顕微鏡の電動ステージを設定し、順次撮影する顕微鏡静止画像観察システムが考案されている。
【０００５】
特開平６―２２２２８１では、標本全体像に顕微鏡低倍率の視野に相当するフレーム（ブロック）を複数箇所指定し、フレーム（ブロック）により指定された箇所（ステージ位置）の顕微鏡画像を取り込むよう制御する。この画像撮り込み指定位置を遠隔地の観察者側（病理医側）で指示できる提案がされている。観察者側（病理医側）は、スライドガラス上の標本全体像（マクロ像）を依頼者側端末から静止画で受信した後、このマクロ像を均等に分割して拡大指定フレームを指示することも提案されている。このマクロ像を均等に分割して拡大指定フレームを指示することをここでは、メッシュ分割指定と呼ぶ。また、依頼者の手作業をなくすために、オートフォーカス機能を有する顕微鏡を使用することも提案されている。本提案において単一のフレームで拡大指定枠を示すものを「スポット」、マクロ像を均等に分割して拡大指定フレームを複数指示するものを「メッシュ」として表現する。
【０００６】
すなわち、従来の顕微鏡静止画像伝送システムは、顕微鏡ステージ上の標本像をＴＶカメラに取り込んだ後、コンピュータの画像をキャプチャボードで撮り込み、画像をデジタル化し、ＩＳＤＮなどの公衆回線を通じて、遠隔のコンピュータにデータ転送し、画像表示する顕微鏡画像転送システムが知られている。遠隔のコンピュータからも顕微鏡を操作し、倍率の変更やステージの移動も可能である。
【０００７】
【発明が解決しようとする課題】
本発明で注目した点は、スライドガラスの標本全体像（マクロ像）から顕微鏡低倍率の視野に相当する拡大指定フレームを複数箇所指定するメッシュ指定を行ない、所望の顕微鏡画像を取得する時の改善にある。
【０００８】
上述した従来技術では、いずれも巨視的画像を撮影する手段でスライドガラス上の標本全体像（マクロ像）を撮影し、ポインティング手段により矩形枠（フレーム（ブロック））を所望の位置に複数設定（メッシュ分割指定）し、矩形枠（フレーム）により指定された箇所の顕微鏡画像を制御し、依頼者の手作業をなくすために、オートフォーカスを用いること等が記載されている。しかしながら、メッシュ指定画像を全て撮り込むまでの時間や撮り込んだ画像に対してフォーカス位置の正しさまでは触れていない。
【０００９】
遠隔病理診断、特に手術中診断においては、観察者（病理医）が診断できるレベルの画像を最短の時間で依頼者側（病理医のいない施設）から観察者側（病理医側）に転送しなければならない。従って複数のメッシュ画像について個々に合焦位置を手作業で得るのは手術中診断では時間がかかり過ぎるという問題がある。また、複数のメッシュ画像のうちのいずれか１つの画像についてオートフォーカスを実行し、残りのすべての画像についてその最初に得られた合焦位置を用いて撮像することも考えられるが、光軸に対するＺステージの変位や標本の厚み等の違いにより合焦位置の正しい画像を取得することは困難であった。
【００１０】
この発明は上記実情に鑑みてなされたものであり、その目的は、遠隔地の観察者側（病理医側）が、スライドガラスの標本全体像（マクロ画像）上からメッシュ分割指定を行ない、このメッシュ指定のフレーム位置の顕微鏡画像を撮り込むよう依頼者側（病理医のいない方）に指示したときに、全てのメッシュ指定画像が短時間で合焦位置の正しい画像を取得することのできる顕微鏡画像転送システムを提供することである。
【００１１】
【課題を解決するための手段】
請求項１に記載の静止画像上で所望の倍率で拡大画像撮り込みが指定可能な顕微鏡画像転送システムにおいて、静止画像上で拡大指定枠領域の輝度情報を記憶する輝度情報記憶手段と、顕微鏡ＸＹステージの変位に伴うＺ方向の位置を補正するＺ方向位置補正手段と、静止画像上で拡大画像撮り込み前に、オートフォーカス実行可能か否かを判断するオートフォーカス実行可否判断手段と、前記オートフォーカス実行可否判断手段によりオートフォーカス実行可能と判断したとき、顕微鏡ＸＹステージのＸＹ位置と顕微鏡ＸＹステージのＺ位置を記憶するＸＹＺ位置記憶手段と、前記オートフォーカス実行可否判断手段によりオートフォーカス実行不可と判断したとき、前記ＸＹＺ位置記憶手段に記憶された前回の顕微鏡ＸＹステージのＺ位置を復元するＺ位置復元手段とを有することを特徴とする。
【００１２】
また、請求項２に記載の静止画像上で所望の倍率で拡大画像撮り込みが指定可能な顕微鏡画像転送システムにおいて、オートフォーカス可能な位置に顕微鏡ＸＹステージをＸＹに移動する手段と、前記顕微鏡ＸＹステージのＸＹ移動後にオートフォーカスを実行制御する手段と、オートフォーカス実行後に前記ＸＹステージの位置を移動前の位置に復元する手段と、前の顕微鏡ＸＹステージの位置を移動前の位置に復元後に画像撮り込みを制御する手段とを有する。
【００１３】
また、請求項３に記載の静止画像上で所望の顕微鏡倍率で拡大画像撮り込み指定可能な顕微鏡画像転送システムにおいて、複数の各画像撮り込み指定枠から最初にオートフォーカスを実行する箇所を自動的に選択する手段を有することを特徴とする。
【００１４】
この発明の顕微鏡画像転送システムによれば、顕微鏡ＸＹステージの変位に伴うＺ方向位置補正手段により顕微鏡ＸＹステージをＸＹＺの方向で制御を行ない、顕微鏡ＸＹステージの位置と顕微鏡ＸＹステージのＺ位置をＸＹＺ位置記憶手段により記憶する。次いで、顕微鏡ＸＹステージのＺ位置を復元する手段により、前回位置情報の呼出し、顕微鏡ＸＹステージのＸＹＺ移動を行う。静止画像上で拡大指定枠領域の輝度情報を記憶する輝度情報記憶手段は静止画像上で拡大指定枠領域の輝度情報を記憶する。静止画像上で拡大画像撮り込み前に、オートフォーカス実行可否判断手段でオートフォーカス実行可能か否か判断し、オートフォーカス実行可能と判断したとき、最適な箇所でオートフォーカスを実行する。また、オートフォーカス実行可否判断手段でオートフォーカス実行不可と判断したとき前記ＸＹＺ位置記憶手段に記憶された前回の顕微鏡ＸＹステージのＺ位置をＺ位置記憶手段で復元し、エラー復帰を自動で行ない、オートフォーカスエラーの発生する確率を削減する。
【００１５】
さらに、標本が存在する位置に顕微鏡ＸＹステージを移動した後光軸上に標本がなくてもオートフォーカス実行後に顕微鏡ＸＹステージの位置を移動前の位置に復元する手段により顕微鏡ＸＹステージをＸＹ移動してオートフォーカスを実行制御する手段により最適なＺ位置での画像取得を可能にすることで、いかなるメッシュ拡大指定画像であっても最適なＺ位置での画像を取得可能にしている。
【００１６】
複数の拡大画像撮り込み指定枠（メッシュ指定枠）から最初にオートフォーカスを実行する箇所を自動的に選択する手段により、観察者側（病理医）の操作を簡単にすることができる。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１８】
図１はこの発明に関わる顕微鏡画像転送システムの概略図である。顕微鏡９０７には、電動ステージ９０９と電動レボルバ９０８を備え、さらにビデオカメラ９０６を備えている。また、同顕微鏡９０７には、図示しないオートフォーカスユニット、調光機能、電動絞り機能等を備えることも可能である。図１に示す例では、顕微鏡操作ユニット９１３とパーソナルコンピュータ等で実現される依頼側端末９０５を接続し、依頼側端末９０５から顕微鏡操作ユニット９１３に操作データを転送することにより、顕微鏡の電動部位である対物制御、オートフォーカス（ＡＦ:Auto Focus）制御、Ｚ方向微動、調光制御、電動絞り機能等を可能にする。なお、電動機能を有しない手作業による顕微鏡であってもよい。依頼側端末９０５内には、図示しないビデオキャプチャ機能を有しており、前記ビデオカメラ９０６の画像出力と接続する端子も備えている。依頼側端末９０５およびパーソナルコンピュータ等で構成される観察側端末９０１内には画像等の情報を記憶する記憶媒体を備える。依頼側端末９０５あるいは観察側端末９０１の周辺機器としてＭＯ等の記録装置を備えても良い。依頼側端末９０５にはモニタ９０４が接続され、このモニタ上で顕微鏡画像やマクロ撮影装置画像が観察可能である。
【００１９】
さらに、画像情報等の情報を公衆回線で伝送するための回線接続装置９１０ａ、９１０ｂを備え、この回線接続装置９１０ａ、９１０ｂはそれぞれ観察側端末９０１および依頼側端末９０５とのインターフェース回路を有する。依頼側端末９０５と観察側端末９０１は回線接続装置９１０ａ、９１０ｂとＩＳＤＮ等の公衆回線９０３を介して接続される。なお、公衆回線の代わりにローカルエリアネットワーク（ＬＡＮ）を用いてもよい。
【００２０】
病理診断を遠隔で行うテレパソロジーシステムにおいては、病理医（観察者）のいない施設の端末を依頼側端末９０５とし、病理医（観察者）のいる施設の端末を観察側端末９０１とする。通常依頼者側には、スライドガラス上の標本全体像を撮影するマクロ撮影装置９１１や標本全体像から拡大観察する顕微鏡９０７を備える。観察者側にはマクロ撮影装置や顕微鏡等は通常不要であるが、これらを観察側端末９０１に接続していてもよい。
【００２１】
図２はテレパソロジーシステムにおける操作シーケンスをフローチャートで示したものである。まず、顕微鏡のある依頼者側が観察者側に検査してほしいスライドガラス上の標本の全体像（以下マクロ像と呼ぶ）をマクロ撮影装置９１１を用いて撮り込む（Ｓ１００１）。その際、観察者側は依頼者側から送信されたマクロ像を受信できるように観察側端末９０１を立ち上げておく（Ｓ１００９）。マクロ像が顕微鏡の低倍対物により観察できるようであれば、マクロ撮影装置を使うまでもなく、顕微鏡下にスライドガラスを置き、最適な顕微鏡対物倍率で画像を撮り込んでも構わない。また、顕微鏡下で顕微鏡対物を最低倍率に設定し、視野を考慮したステージ移動を行ったのち順次画像を撮り込み、これらの画像を貼り合わせることでマクロ像を作成することも可能である。
【００２２】
マクロ撮影装置９１１のビデオカメラ９１４で撮像したマクロ像は、依頼側端末９０５内のビデオキャプチャボード（図示しない）を介して、フレームメモリに順次記憶し、依頼側端末９０５のモニタ９０４上に表示する。マクロ像を取り込むトリガは任意のスイッチ（ＳＷ）により行われ、依頼側端末９０５のモニタ９０４上に表示したアプリケーションソフト上に設けられた操作用のＳＷボタンをマウスクリック等のイベントで認識したり、図示しない外部操作パネルのＳＷで選択することで行う。依頼側端末９０５はマクロ像を取り込むと観察側端末９０１に回線接続要求を出す（Ｓ１００２）。この回線接続要求は、回線接続装置９１０ａ、９１０ｂを介してＩＳＤＮなどの公衆回線９０３経由でデジタルデータを観察側端末９０１に転送する。観察側端末９０１は回線接続要求を受信すると、接続要求処理を行う（Ｓ１０１０）。この接続処理は、接続先相手を認識し、問題なければ接続許可を接続先相手に返す。回線接続処理が確立すると、依頼側端末９０５は、マクロ像と初期設定データを観察側端末９０１に送信する（Ｓ１００３）。初期設定ファイルには、依頼側端末９０５に接続しているハードウエア情報（顕微鏡、マクロ装置、ＴＶカメラ種別等）が含まれる。これらのデータを観察側端末９０１が受信した後（Ｓ１０１１）、操作権を依頼側端末９０５から観察側端末９０１に渡す（Ｓ１００４、Ｓ１０１２）。操作権とは、顕微鏡やステージの制御や画像撮り込み指定などの操作をする権利のことを示す。なお、この操作権の変更は、自動的に回線接続が確立したところで行っても良いし、また端末のモニタ上に表示したアプリケーションソフト上の操作用のボタンを依頼者が任意のタイミングでマウスクリック等により切り替えてもよい。図１の例では、マクロ像を依頼側端末９０５が撮り込んだ後に操作権を観察側端末９０１に渡している。
【００２３】
観察者（病理医）は、マクロ像で送られた画像から注目したい位置を見つけるために、顕微鏡の低倍対物で観察する（Ｓ１０１３、Ｓ１０１４）。通常、マクロ像画像の全領域をくまなく観察するために、拡大指定枠方法として、メッシュ撮り込み指定を選択する（Ｓ１０１５）。メッシュ撮り込み指定とは、図１３に示すように標本を格子上に分割して拡大位置を指定することである。図３の例ではＭ０乃至Ｍ８がメッシュ撮り込み指定であり、ステージ移動精度も考慮し撮り込んだ画像が重複するように指定している。倍率指定とメッシュ撮り込み指定は、観察側端末９０１の任意のキーボード（図示せず）に割り当ててもよい。
【００２４】
メッシュ撮り込み指定は、観察側端末９０１のモニタ９０２上で静止画像を確認しつつ、マウス操作でメッシュ撮り込み始点指定と終点指定を行うことによりメッシュ指定エリアを決め、このエリアの中に拡大指定枠を自動的に位置決定し静止画上にオーバーレイ表示する。または、自動的に標本が存在する位置を認識し、効率的にメッシュ撮り込み指定枠を静止画上にオーバレイしても構わない。ここで、拡大指定枠方法選択でメッシュを選択すると、メッシュ撮り込み指定処理が行われるとともに（Ｓ１０１７）、この拡大指定枠情報を依頼側端末９０５が受信すると、この情報に基づき依頼側端末９０５のモニタ９０４に表示している静止画像（マクロ画像）上にメッシュ撮り込み指定枠をオーバレイ表示する（Ｓ１０１８、Ｓ１００５）。観察側端末９０１のモニタ９０２と依頼側端末９０５のモニタ９０４上には同一の拡大指定枠を表示し、同じ画面を共有することができる。
【００２５】
また、（Ｓ１０１５）の拡大指定枠方法選択でメッシュが選択されなかった場合、（Ｓ１０１６）に示すようなスポット撮り込み指定が行われる（図３中Ｓ０参照）。観察側端末９０１のモニタ９０２上でスポット撮り込み指定処理を行う（Ｓ１０１７）と、この拡大指定情報を観察側端末９０１より依頼側端末９０５に回線接続装置９１０ａとＩＳＤＮ９０３と回線接続装置９１０ｂを介して送信する（Ｓ１０１８）。依頼側端末９０５は、この拡大指定枠情報を受信すると、この情報に基づき、依頼側端末９０５のモニタ９０４の静止画像上にスポット撮り込み指定枠をオーバーレイ表示する（Ｓ１００５）。スポット指定は、任意の位置を中心に一箇所拡大指定するものである。スポット処理もメッシュ処理と同様に観察端末９０１のモニタ９０２上で静止画像を確認しつつ、マウス操作で拡大位置を指定する。また、このスポット指定とメッシュ指定の拡大指定フレーム枠は、図４に示すように移動可能である。図４では、一度設定した拡大指定フレーム枠を（Ｓ０ａ）から（Ｓ０ｂ）の位置に移動する例を示している。この拡大枠指定位置情報は、依頼側端末９０５と観察側端末９０１の記録媒体に記録する。
【００２６】
拡大指定枠は追加することも可能であり（Ｓ１０１９）、もし追加するようであればフローを戻り、（Ｓ１０１３）から（Ｓ１０１５）までの処理を繰り返し、その位置を決め、拡大指定率も指定変更し、さらに、拡大指定枠方法選択を行う。
【００２７】
観察者（病理医）は次に拡大したい位置と倍率が決定し、拡大指定枠を追加する必要が無ければ（Ｓ１０１９）、画像撮り込み要求を観察側端末９０１から依頼側端末９０５に画像取り込み要求を送信する（Ｓ１０２０）。
【００２８】
画像撮り込み要求を受信した依頼側端末９０５は顕微鏡操作として、ステージ移動、対物変更、ＡＦ実行等を行う（Ｓ１００６）。ステージ移動は、メッシュあるいはスポットで指定した依頼側端末９０５のモニタ９０４上の位置座標をステージ座標位置に変換し、ＸＹステージ制御ユニット９１２に制御データを観察側端末９０１から依頼側端末９０５を介して転送することにより電動ステージ９０９を移動させる。同様に、対物変更並びにＡＦ実行は、観察側端末９０１から依頼側端末９０５を介して顕微鏡操作ユニット９１３に制御データを送ることにより動作を実行する。
【００２９】
電動ステージ９０９の移動および対物レンズの倍率を電動レボルバ９０８を制御して変更すると、標本画像情報をビデオカメラ９０６で撮り込み、さらにこの画像情報を依頼側端末９０５内のビデオキャプチャボードに入力し、画像を静止画にする。静止画にした画像は、このまま記録媒体に記録しても良いが、画像情報を転送するためにＪＰＥＧ(Joint Photographic Coding Experts Group)などの形式で画像を圧縮する。圧縮した画像情報は記録媒体に記録される。記録媒体に記録された画像情報は、依頼側端末９０５から回線接続装置９１０ｂに転送し、公衆回線９０３、回線接続装置９１０ａを介して観察側端末９０１にデータ転送する（Ｓ１００７）。
【００３０】
依頼側端末９０５から転送された画像情報を観察端末９０１が受信すると（Ｓ１０２１）、観察側端末９０１は受信した画像情報を観察側端末９０１のモニタ９０２上に表示する。画像情報がＪＰＥＧなどの形式で画像圧縮している場合には、伸張して画像表示する。
【００３１】
依頼側端末９０５は１枚の画像を観察側端末９０１に転送し終わると、次なる画像撮り込み指定位置が残っているかの判断を行う（Ｓ１００８）。もし残っていれば、依頼側端末９０５は、再び顕微鏡操作を行い（Ｓ１００６）、画像を撮り込み観察側端末９０１に画像データを送信する。この作業はすべての画像指定位置が無くなるまで行う。観察側端末９０１は全ての画像を受信し終わると、観察者（病理医）は観察側端末９０１のモニタ９０２に表示される画像を見て遠隔観察を行ない診断する（Ｓ１０２２）。このとき画像の連携とマウス位置情報等を操作権のある観察側端末９０１から依頼側端末９０５に回線接続装置９１０ａおよび公衆回線９０３、回線接続装置９１０ｂを介して送信する。画像連携情報やマウス位置情報を受信した依頼側端末９０５は、情報に基づき画像を依頼側端末９０５のモニタ９０４に表示し、マウス位置等の情報も連携する（Ｓ１０２４）。診断を終了し観察側端末９０１から回線切断をする場合、回線切断要求を依頼側端末９０５に送信する（Ｓ１０２５）。回線切断要求を受信した依頼側端末９０５は、回線切断処理をする（Ｓ１０２６）。観察側端末９０１は遠隔観察の後終了の判断を行う（Ｓ１０２３）。さらに、高倍に拡大し、診断を続けたい場合にはロジックはＳ１０１３のシーケンスに戻り、倍率指定（Ｓ１０１４）から再度繰り返される。
【００３２】
通常、遠隔診断は観察側端末９０１から行うので、操作権は観察者側にあるが、この操作権を依頼側端末９０５に任意に切り替えることも可能である。
【００３３】
図５は操作権を観察側端末９０１から依頼側端末９０５に切り替えて前記拡大指定と画像撮り込みを行う例のフローチャートである。
【００３４】
すなわち、図５において、観察側端末９０１は操作権交代要求を依頼側端末９０５に送信する（Ｓ１１０１）。依頼側端末９０５はこの操作権交代要求を受信し操作権を得る（Ｓ１１０６）。以下、ステップS１１０７乃至Ｓ１１１３は図２のＳ１０１３乃至Ｓ１０１９と同様である。さらに、ステップＳ１１１４乃至Ｓ１１１９は図２のＳ１００６乃至Ｓ１０２６と同様である。
【００３５】
一方、観察側のステップＳ１１０２は図２の依頼者側のステップＳ１００５と同様である。又、図５において、観察側のステップＳ１１０３乃至Ｓ１１０５は図２のＳ１０２１乃至Ｓ１０２５と同様である。
【００３６】
以上が概略のテレパソロジーシステムのシーケンス動作である。この発明では、このシーケンス動作のうちＳ１０１７のメッシュ指定における顕微鏡操作（Ｓ１００６）と画像撮り込み（Ｓ１００７）の処理に関わり、メッシュ指定画像を最適なフォーカス位置で撮り込むことを目的とする。
【００３７】
以下、この発明の動作を図６および図７を参照して説明する。
【００３８】
図６はマクロ撮影後の静止画状態で、メッシュ指定処理（Ｓ１０１７）を行った時の図を示している。メッシュ指定は、通常マクロ像を取り込んだ後に、標本全領域あるいは標本部分領域を顕微鏡の低倍の対物レンズにより観察できる範囲で格子状に分割して観察する時に使用する。標本全領域をくまなく観察する場合、メッシュ指定した位置すべてにＡＦを実行すると全ての画像を撮り込むまでに時間を費やしてしまう。ＡＦ箇所を一箇所設け、そのＺ位置ですべてのメッシュ指定位置の画像データを取得する方が画像撮り込み指定から画像撮り込み終了までの時間が短くなる。しかしながら、ＡＦ箇所が１つの場合、すべてのメッシュ指定位置での画像のフォーカスが合っているとは限らない。その原因として、ステージ面精度の問題あるいは標本の厚みによる誤差が考えられる。ここでは、スライドガラスと顕微鏡ステージとの取付けは平行であり、正確に固定されているものと仮定している。ステージの面精度によるフォーカスが合わないという問題を解決するためには以下のようにする。メッシュ撮り込み指定位置変化に応じてステージをＸＹに移動させるとともに、そのＸＹ移動量に応じてＺ方向微動を行う。
【００３９】
Ｚ方向微動を行うために事前にステージ移動に伴うＺの変動データを顕微鏡の対物レンズ毎に取っておく。図７に示すようにスライドガラスの表面上に格子状にラインを引いた調整用部品を用意する。格子の間隔は、細かく任意に設定しても良いが、調整する顕微鏡の倍率対物視野に応じた大きさにする。初めに顕微鏡の対物レンズをデータを取得するための倍率に変更する。次に、図７のスライドガラスを顕微鏡９０６の電動ステージ９０９に載せてスライド座標上Ｘ＝０、Ｙ＝０になるようにステージ移動させる。Ｘ＝０、Ｙ＝０では、ガラスの端になるので、数ｍｍ程度スライドガラスの内側にラインが引かれているものとする。この位置でフォーカスが合うように顕微鏡の準焦部を手作業あるいは依頼側端末９０５から顕微鏡操作ユニット９１３を制御することによりＺ方向微動を行う。フォーカス位置の確認は、ビデオカメラ９０６を通じて依頼側端末９０５内のキャプチャボード（図示せず）経由で入力した依頼側端末９０５のモニタ９０４上に動画表示した画像を基に行う。フォーカス位置の調整ができると、顕微鏡のＺ位置情報を顕微鏡操作ユニット９１３経由で依頼側端末９０５に取り込む。このＸ＝０、Ｙ＝０のスライド座標位置での顕微鏡Ｚ位置を初期値（Ｚ０）として、依頼側端末９０５内のメモリ（図示せず）にデータ格納する。
【００４０】
次に、Ｘ＝０、Ｙ＝１のステージ座標にステージを移動させ、スライドガラス上のラインにフォーカスを合わせる。
【００４１】
フォーカス位置の確認をした後、顕微鏡Ｚ位置情報を取得し、Ｚ初期値Ｚ０との比較を行ない、その比較結果データを依頼側端末９０５内のメモリ（図示せず）に記憶する。このようにしてスライドガラス上の座標を移動させながら、フォーカスを確認し、フォーカスの合った位置でのＺ位置をＺ初期値データ（Ｚ０）と比較して各座標毎の比較データΔＺを取得し、そのデータを依頼側端末９０５内のメモリにデータ格納する。その結果を表したのが図８に示す表である。このデータは各対物毎にデータを保持するものである。
【００４２】
以上のようにしてスライドガラスを顕微鏡ステージに載せた状態でＸＹ変動に対するＺのずれデータを依頼側端末９０５のメモリ内に記憶する。この補正データを元にＸＹステージ移動に伴うＺ補正を行うが、これを図９のフローチャートを用いて説明する。
【００４３】
まずスライドガラス上の標本全体像（マクロ像）を撮影し、モニタ上に表示する（Ｓ５０１）。マクロ像は、通常依頼側端末９０５を操作してマクロ撮影装置９１１や顕微鏡９０７を用いて撮影するものである。。この撮影したマクロ像は静止画状態のＲＧＢ各々の輝度情報として依頼側端末９０５及び観察側端末９０１のメモリ内に格納する（Ｓ５０２）。メモリは２次元の配列にして（例えばＶＧＡサイズの画像の場合Ｒ（ｉＸ，ｉＹ）に保管（ｉＸ＝０〜６３９、ｉＹ＝０〜４７９）し、後でデータを取り出しやすくする。次に、メッシュ撮り込み指定領域を指定する。メッシュ撮り込み指定は、通常回線に接続した後に、観察側端末９０１が行う。もちろん回線を接続していなくても依頼側端末９０５でメッシュ撮り込み指定もできるし、回線接続状態でも依頼側端末９０５でもメッシュ撮り込み指定ができる。この領域指定は、各モニタ９０２、９０４上で確認しながら静止画像にオーバーレイ表示する（Ｓ５０３）。メッシュ指定した例を図１０に示す。マクロ静止画像上にオーバレイ表示したメッシュ位置は、その座標情報を依頼側端末９０５及び観察側端末９０１のメモリ内に格納する（Ｓ５０４）。この座標情報は、各メッシュ枠の中心を記憶すればよい。また中心座標のみならず、静止画像の倍率情報と、メッシュ拡大指定の倍率情報を各メッシュ拡大指定枠毎に依頼側端末９０５及び観察側端末９０１のメモリ内に格納しておけば、後で再現することもできる。
【００４４】
次に最初にＡＦを実行するメッシュ拡大指定枠の位置をモニタ上で指定する（Ｓ５０５）。このＡＦを実行するメッシュ拡大指定枠の位置の指定も操作権のある方の端末（依頼側端末９０５あるいは観察側端末９０１）のモニタ９０２あるいは９０４上に表示されているマクロ静止画像上のメッシュ枠をマウスクリックすることにより行う。当然、このマウスクリック情報は、依頼側端末９０５と観察側端末９０１の両者で共有するものである。マクロ像上のメッシュ拡大指定枠のうちどの枠を選択したかわかるように、拡大指定枠の線の太さあるいは、線の色を他のメッシュ拡大指定枠と変えるものとする。最初にＡＦを指定する位置が決定されると、画像撮り込みを開始する。この画像撮り込みの開始は、操作権のある端末から、図示しないアプリケーション上の操作用のボタンあるいは、端末のキーボードの任意キーを押すことによって行う。
【００４５】
依頼側端末９０５が画像撮り込み開始の指示を認識すると、最初にＡＦを実行する指定がされているメッシュ位置にステージ移動する（Ｓ５０６）。このステージ移動は、依頼側端末９０５がＸＹステージ制御ユニット９１２に移動コマンドを送ることにより、顕微鏡９０７の電動ステージ９０９を指定位置に移動する。ステージ移動量は、モニタ上のメッシュ拡大指定枠位置から実際にステージ座標系とのデータ変換により演算する。
【００４６】
最初にＡＦ位置を実行するステージ位置に移動停止した後、ＡＦを実行する（Ｓ５０７）。ＡＦ実行は、依頼側端末９０５が顕微鏡操作ユニット９１３にＡＦ実行データを送ることにより、顕微鏡９０７のＡＦユニット（図示せず）が動作することにより実現する。ここで、ＡＦを実行した後、正常に動作すれば良いのであるが、標本が顕微鏡対物光軸の付近（画面の中心付近）に存在しない場合、ＡＦエラーが発生する場合がある。従ってＡＦエラーが発生するか否かをチェックする（Ｓ５０８）。このＡＦエラーは図示しないＡＦユニットから出力される。ＡＦエラーが発生すると、顕微鏡操作ユニット９１３から依頼側端末９０５にＡＦエラー通知がなされる。このエラーを依頼側端末９０５が認識した場合、依頼側端末９０５のモニタ９０４上にＡＦエラーが発生したことを示すエラー表示がされる。エラー表示はエラーウインドウとして表示しても良い。また、依頼側端末９０５を操作している依頼者に合焦位置に顕微鏡のＺステージ微動ハンドルを手作業による操作で移動するように指示をする。これで最初のフォーカス位置が決定される。このＺ位置を依頼側端末９０５のメモリ内に記憶するとともに、Ｚ位置を記憶したＸＹステージ位置座標も記憶する。ステップＳ５０８において、ＡＦが正常に動作した場合はＺ位置とＸＹステージ位置座標を操作することなく記憶する（Ｓ５１０）。
【００４７】
ステージＸＹＺの移動が終わると、この位置で静止画像の画像撮り込み（キャプチャ）をする（Ｓ５１１）。画像撮り込みは、依頼側端末９０５がＸＹステージ及びＡＦ確認を行った後に依頼側端末９０５に装着しているキャプチャーボードを制御することにより、顕微鏡９０７の画像をビデオカメラ９０６を通じて画像撮り込みをする。画像を撮り込んだ後、任意の画像ファイルフォーマットで依頼側端末９０５のＨＤなどの記録媒体（図示せず）に画像データを保存する。撮り込まれた画像は、回線接続装置９１０ｂ、９１０ａと公衆回線９０３を通じて依頼側端末９０５から観察側端末９０１へ転送され、モニタ９０２に同画像を表示される。
【００４８】
最初にＡＦ実行する箇所のメッシュ拡大指定画像を撮り込んだ後に、次のメッシュ拡大指定枠が存在するか否かチェックする（Ｓ５１２）。次のメッシュ拡大指定枠がなければ終了する。次のメッシュ拡大指定枠が存在する場合、次の箇所にＸＹステージを移動させる（Ｓ５１３）。
【００４９】
ＸＹステージを移動させるとともに、ＸＹの移動に応じてＺ位置を微動させる（Ｓ５１４）。このＺ位置の微動は、図８の表のステージ座標とΔＺのデータにもとづいて行う。すなわち、前回のステージ位置が図８の表においてどの座標箇所にあたるかを確認し、その時のΔＺをΔＺｉ−１とし、同様に今回のステージ位置が図８の表においてどの座標箇所およびΔＺ（ΔＺｉ）になるかを確認する。前回のΔＺｉ−１とΔＺｉの差分（（ΔＺｉ−１）−（ΔＺｉ））がＸＹステージ移動に伴うＺ微動量となる。Ｚ微動制御は、依頼側端末９０５から顕微鏡操作ユニット９１３にＺ微動量データを送ることにより、顕微鏡Ｚモータを駆動し、Ｚ位置が変化する。
【００５０】
電動ステージ９０９によるＸＹ移動とＺ微動制御が終了したことを依頼側端末９０５が確認すると、依頼側端末９０５は、ＡＦ動作を実行するべきか否かの判断をする（Ｓ５１５）。ステージだけのＺのずれだけでなく、標本の厚みによるＺ誤差を吸収するために、任意にＡＦするか否か判断する。この判断処理の詳細は図１１に示すフローチャートを参照して後に説明する。ＡＦを実行するべきだという判断（Ｓ５１６）があればＡＦを実行する（Ｓ５１７）。ＡＦを実行する必要が無ければ（Ｓ５１６）、画像撮り込み処理に戻る（Ｓ５１１）。またＡＦ実行（Ｓ５１７）してエラーが無い場合（Ｓ５１８）、そのＺ位置並びにＸＹ座標値を記憶する処理（Ｓ５１０）に戻る。もしＡＦ実行してＡＦエラーが発生していれば（Ｓ５１８）、顕微鏡操作ユニット９１３から依頼側端末９０５にエラーが通知される。このエラーを依頼側端末９０５が認識した場合、前回画像を撮り込んだ位置のＺ位置を依頼側端末９０５のメモリ内（図示せず）から呼出し、このＺ位置データを顕微鏡操作ユニット９１３に転送することにより、自動的に最良なＺ位置に復帰する。この時依頼側端末９０５にはエラー表示および手動でＺ微動操作することを要求したりしない。自動的に前回Ｚ位置に移動後（Ｓ５１９）、画像撮り込み処理（Ｓ５１１）に戻る。
【００５１】
次に、ＡＦ実行すべきか否かを判断するフローチャートを図１１を参照して説明する。
【００５２】
最初に前回のステージ位置と今回のステージ位置がどの位の移動差があれば、ＡＦ実行するか否かの判断基準の移動差基準データ（ＸＹｒｅｆｔｈ）を閾値として設定する（Ｓ６０１）。この移動差基準データ（ＸＹｒｅｆｔｈ）は、任意に初期設定で決められるようにしておく。また、移動差基準データ（ＸＹｒｅｆｔｈ）は、対物レンズの開口数（ＮＡ:Numerical Aperture）から焦点深度を求め、この焦点深度をカバーできないＸＹ移動に伴うＺ変位のときのＸＹ移動量をプリセットデータとして持っても良い。移動差基準データ（ＸＹｒｅｆｔｈ）は依頼側端末９０５内のメモリ内に格納しておく。次に今回のメッシュ拡大指定枠のステージＸＹ座標位置と前回ＡＦを実行したステージＸＹ座標位置の差分を取り、その差分をＸＹｒｅｆ（Ｓ６０２）とする。前回ＡＦを実行したステージＸＹ座標は、依頼側端末９０５のメモリ内に格納されている。ＸＹｒｅｆとＸＹｒｅｆｔｈとの比較を行う（Ｓ６０３）。前回ＡＦ実行したステージＸＹ座標位置との差分ＸＹｒｅｆが移動差基準データ（ＸＹｒｅｆｔｈ）より小さければ、ＡＦ実行しなくてもよい（Ｓ６１９）。逆に前回実行したステージ座標位置との差分ＸＹｒｅｆが移動差基準データ（ＸＹｒｅｆｔｈ）より大きければ、さらにＡＦを実行しても良いかを確認する処理へと移行する。ＡＦを実行しても良いかのチェックは、画像の中心付近（光軸中心付近）に標本が存在するか否かの判断をする。これは、光軸の中心付近に標本が存在しない場合、ＡＦが正常動作しない可能性があるからである。ステップＳ６０５以降のフローチャートは、次に拡大したい座標位置の光軸の中心付近に標本が存在するか否かを静止画像状態で判断する処理を表している。動画状態でも、光軸中心付近に標本が存在することは判断できるが、この発明では、拡大画像を得る前の静止画像のメッシュ拡大指定枠を決めた状態で予め拡大像を取り込む前に、光軸付近に標本が存在するか否かを予測する。
【００５３】
まず、標本が存在するか否かを判断する基準として、静止画像のＲＧＢの輝度情報を用いる。この静止画像状態でのＲＧＢ各々の輝度情報は、ステップＳ５０２ですでに依頼側端末９０５のメモリ内に格納されている。ステップＳ６０４では、標本として認識する輝度閾値（Ｇｔｈ）を決定するとともに、ステップＳ６０５で標本像認識チェック用カウンタをクリアする。この標本認識用の輝度閾値は初期データとして任意のファイルに格納しておき、使用するときにこのファイルからデータを取り出し、依頼側端末９０５のメモリ内に格納する。次に標本像として認識するには、１画素だけでは判断しかねるので、中心付近の画素データの範囲を決めて前記輝度閾値（Ｇｔｈ）と比較する必要がある。ステップＳ６０６とＳ６０７では、静止画像状態でチェックをするＸＹ座標値の範囲を決定している。まず、Ｘ座標のチェックする範囲を決める。図１０はスライドガラス上の標本全体像（マクロ像）を撮り込み後、メッシュ拡大指定枠をマクロ像静止画像の上にオーバーレイ表示している状態である。図１０のImageWidthとImageHeightは、静止画像の幅、高さを示してあり、ＶＧＡサイズでは、６４０Ｘ４８０ピクセルであり、(ImgXmax, ImgYmax)=(639,479)となる。（１）から（１８）のフレームは、メッシュ拡大指定枠であり、現表示倍率と次の拡大指定倍率によりその幅(FrameWidth)、高さ(FrameHeight)が決まる。
【００５４】
FrameWidth=ImageWidth×（現表示倍率／次の指定倍率）
FrameHeight=ImageHeight×（現表示倍率／次の指定倍率）
図１２は図１０におけるメッシュ拡大指定枠のうち（１０）の枠を拡大表示したものである。図１２の(Xmin, Ymin)〜(Xmax, Ymax)は、ＡＦを実行しても中心付近に標本が存在するかを評価する領域である。図１２の(Xic, Yic)は、図１０の画像左上を（０、０）としたときのメッシュ拡大指定枠（１０）の中心座標を表す。
【００５５】
Ｘ座標領域を決定するフローチャートを図１３に、Y座標領域を決定するフローチャートを図１４に示す。
【００５６】
まず、Ｘ座標領域を決定するフローチャートを説明する。まず、図１０の全体画像から見たメッシュ拡大指定枠の中心座標（Ｘｉｃ、Ｙｉｃ）を検出する（Ｓ７０１）。各メッシュ拡大指定枠の中心座標は、依頼側端末９０５のメモリ内（図示せず）から取り出す。その中心座標から標本が存在するか否かのチェックをするため以下の式に基づきＸ領域の指定を行う（Ｓ７０２）。
【００５７】
Xmin=Xic-FrameWidth/n
Xmax=Xic+FrameWidth/n
ｎの値は初期設定において任意に変更可能である。
【００５８】
同様にしてＹ領域においても、図１０の全体画像から見たメッシュ拡大指定枠の中心座標（Ｘｉｃ、Ｙｉｃ）を検出し（Ｓ８０１）、標本が存在するか否かのチェックをするため以下の式に基づきＹ領域の指定を行う（Ｓ８０２）。
【００５９】
Ymin=Yic-FrameHeight/m
Ymax=Yic+FrameHeight/m
ｍの値は初期設定において任意に変更可能である。
【００６０】
以上のようにして標本が存在するか否かをチェックする領域を決定する。標本が存在するか否かは、各画素の輝度情報と前記ステップＳ６０４で決定した輝度閾値（Ｇｔｈ）との比較により行う。ここで各画素の輝度情報は３種類あるが、図９のフローチャートの例では、Ｇ情報だけで行う。もちろんＲＧＢ３つの輝度情報を用いて各々輝度閾値Ｒｔｈ、Ｇｔｈ、Ｂｔｈを持ち、それぞれを比較し、総合的に判断してもよい。
【００６１】
標本が存在するか否かを判断する領域内での各画素のＧｄａｔａ（Ｘ，Ｙ）輝度情報とステップＳ６０４で決定した輝度閾値（Ｇｔｈ）との比較を行ない、最終的にＡＦを実行しても良いか否かの判断する処理のフローチャートをステップＳ６０８以降に示す。
【００６２】
まず、初期座標を設定する（Ｓ６０８）。ここで、Ｘ、Ｙは変数であり、依頼者側端末９０５のメモリ（図示せず）に格納する。初期値は前述したチェック座標領域の初期座標であり、X=Xmin, Y=Yminとする。
【００６３】
このＸ、Ｙ座標におけるＧ輝度情報（Ｇｄａｔａ（Ｘ、Ｙ））を依頼側端末９０５のメモリ（図示せず）に格納する。初期値は前述したチェック座標領域の初期座標であり、Ｘ＝Ｘｍｉｎ、Ｙ＝Ｙｍｉｎとする。
【００６４】
このＸ、Ｙ座標におけるＧ輝度情報（Ｇｄａｔａ（X、Ｙ））を依頼側端末９０５のメモリ（図示せず）から取り出す（Ｓ６０９）。この輝度情報（Ｇｄａｔａ（X、Ｙ））と輝度閾値（Ｇｔｈ）との比較を行う（Ｓ６１０）。
【００６５】
もしＧ輝度情報（Ｇｄａｔａ（Ｘ、Ｙ））の値の方が輝度閾値Ｇｔｈの値より小さければ（Ｓ６１１）標本像が存在すると判断し、ステップＳ６０５でクリアした標本像認識チェック用カウンタをインクリメント（Ｓ６１２）し、依頼側端末９０５のメモリ（図示せず）に格納する。もしＧ輝度情報（Ｇｄａｔａ（Ｘ，Ｙ））の値の方が輝度閾値（Ｇｔｈ）の値より大きければ（Ｓ６１１）標本像が存在しないと判断し、標本像認識チェック用カウンタ（ChkCounter）は変化しない。次に、Ｘ座標を１画素分インクリメントする（Ｓ６１３）。このときＸ座標がＳ６０６で決定した領域外になるか否かの判断をする（Ｓ６１４）。Ｘ座標が領域内に入っているならばＳ６０９の輝度情報と輝度閾値の比較を行う処理に戻る。Ｘ座標が領域外になる場合（Ｓ６１４）、Ｘ座標を初期値（Ｘ＝Ｘｍｉｎ）とし、Ｙ座標を１画素分インクリメントする（Ｓ６１５）。Ｙ座標をインクリメントした後、そのＹ座標が領域外になるか否かの判断をする（Ｓ６１６）。Ｙ座標が領域外にならない場合には、再びＳ６０９の輝度情報と輝度閾値を比較し標本像が存在するか否かの判断する。Ｙ座標インクリメントして、そのＹ座標が領域外になる場合、標本像が存在するか否かの判断をする領域すべてのチェックを終了したことになる。次に、比較用データ(ChkCounterMin)の値を以下の式に基づき設定する（Ｓ６１７）。
【００６６】
ChkCounterMin=((Xmax-Xmin)×(Ymax-Ymin))/2
上記式では、標本が存在するか否かを判断する領域の半分とするために２で割っているが、任意の値にしても構わない。
【００６７】
次に最終的中心付近に標本像が存在するか否かを判断する（Ｓ６１８）。標本像認識カウンタ（ChkCounter）が比較用データ(ChkCounterMin)以上であればその領域に標本像が存在すると判断できる。その比較用データ(ChkCounterMin)以上であれば、その領域に標本像が存在すると判断できる。
【００６８】
標本像認識カウンタ(ChkCounter)と比較用データ(ChkCounterMin)との比較を行ない、標本像認識カウンタの方が大きければＡＦ実行可能と判断し（Ｓ６２０）、小さければＡＦ実行不可として判断する（Ｓ６１９）。
【００６９】
以上のようにして、標本像が画像の中心付近に存在するか否かを判断し、静止画像状態でＡＦ実行可能か否か判断することができる。
【００７０】
次にこの発明の第２実施形態について説明する。
【００７１】
実施形態１では、メッシュ拡大指定枠の中心付近に標本像が存在するか否かをチェックし、ＡＦを実行しても良いかを判断していたが、図１５に示すように中心付近に標本像が存在しなくても中心付近以外に全領域にわたり標本像が存在する場合がある。例えば、図１５に示すように、標本１５０１をスライスしたときに、穴１５０３が空いたような場合が考えられる。このような場合において、実施形態１の図１１のフローチャートの例では、ＡＦ実行不可になる（Ｓ６１９）。第２実施形態では、このＡＦ実行不可と判断した後に再度ＡＦ実行チェックする処理が行われる。
【００７２】
図１５のAFChkAria(a)は図１１のフローチャートで拡大指定枠の中心付近に標本が存在するかチェックした領域である。確かに中心付近に標本は存在しないが、AFChkAria(b)を画像の中心（光軸中心）としてＡＦ実行すれば、ＡＦエラーが発生しないはずである。
【００７３】
図１６のフローチャートを用いてＳ６１９でＡＦ実行不可と認識した後のＡＦ実行再チェックについて説明する。まず、標本像として認識する基準のための輝度閾値（Ｇｔｈ）を設定し、依頼側端末９０５内のメモリに格納する（Ｓ１５０１）。そしてチェックをする座標の初期値を設定する（Ｓ１５０２）。(Xic,Yic)は図１０のようなマクロ像からメッシュ拡大指定枠を表示したときの任意のメッシュ拡大指定枠の中心座標である。FrameWidthとFrameHeightは、メッシュ拡大指定枠の幅と高さである。
【００７４】
次に、標本像が存在するか否かを判断するためのチェック用カウンタをクリアする（Ｓ１５０３）。次にＸＹ座標を変化させながら、個別画素におけるＧ輝度情報（Gdata(X,Y)）を取得し、その輝度情報とＳ１５０１で決定した輝度閾値（Ｇｔｈ）との比較を行う（Ｓ１５０４）。もし輝度閾値（Ｇｔｈ）より小さければチェック用カウンタをインクリメントする（Ｓ１５０５）。すなわち、一般に輝度レベルは白色が一番高い。標本１５０１に穴１５０３が空いていれば、Ｇ輝度情報（Gdata(X,Y)）は輝度閾値（Ｇｔｈ）よりも大きくなる。逆に、標本が存在すれば、Ｇ輝度情報（Gdata(X,Y)）は輝度閾値（Ｇｔｈ）よりも小さくなる。そして、Ｘ座標をインクリメントし次の座標を準備する（Ｓ１５０６）。ステップＳ１５０７において、Ｘ座標がメッシュ拡大指定枠内の領域に入っていれば、ステップＳ１５０４の処理に戻る。逆に、ステップＳ１５０７において、Ｘ座標をインクリメントした後にメッシュ拡大指定枠になれば、Ｙ座標をインクリメントし、かつＸ座標を初期値に戻す（Ｓ１５０８）。Ｙ座標がインクリメントした後にメッシュ拡大指定枠の領域外になっていないかをチェックする（Ｓ１５０９）。領域内であれば、ステップＳ１５０４の処理に戻る。
【００７５】
すべてのＸＹ座標をチェックし終わるとメッシュ拡大指定枠内で標本が存在する画素数比率を以下の式に基づき算出する（Ｓ１５１０）。
【００７６】
PicRate=(ChkCounter/FrameWidth×FrameHeight)×１００
PicRateが６０％以下であれば、中心付近には標本が存在しないものの、中心以外の領域で標本が存在すると判断する（Ｓ１５１１）。この６０％という数字は任意に変更できるものとする。中心以外の領域で標本が存在することを確認後、標本が存在する位置にステージを移動させる（Ｓ１５１２）。
【００７７】
標本が存在する位置は、中心座標を数ピクセル移動させながら、標本像が連続的に存在するか否かを探すことにより判断できる。
【００７８】
ステージ移動することで、光軸の中心付近に標本画像がある位置に移動し、この位置でＡＦを実行する（Ｓ１５１３）。ＡＦエラーが発生した場合には、Ｚ位置を前回のメッシュ拡大指定枠撮り込みしたＺ位置に戻す。Ｚ移動が完了すると現Ｚ位置とＸＹ座標値を依頼側端末９０５のメモリ内に記憶した後（Ｓ１５１４）、ステージ位置を元の位置(Xic,Yic)に戻す（Ｓ１５１５）。
【００７９】
以上のように、中心付近に標本像が無く、ＡＦ実行ができないと判断した後でも、中心付近以外の領域で標本が存在する領域が多いと判断する場合には、標本像が存在する位置にステージを移動させ、この位置でＡＦを実行した後、再び元のステージ位置に戻すことにより、合焦位置の正しいメッシュ撮り込み指定画像が取得できる。
【００８０】
次に、この発明の第３実施形態について説明する。
【００８１】
実施形態１では、図９のフローチャートのステップＳ５０６において、最初にＡＦを実行するメッシュ指定枠位置をモニタ９０２、９０４上で指示する例を示したが、実施形態３では、この最初にＡＦを実行するメッシュ指定枠位置を自動で指定する例を示す。
【００８２】
図１７はこの発明の第３実施形態の処理を示すフローチャートである。
【００８３】
マクロ像を撮影した後に静止画像上でメッシュ拡大指定枠を指示する。この指示が終了したときに、最初にＡＦを実行するメッシュ拡大指定枠を自動的に決定処理する。
【００８４】
まず、メッシュ拡大指定枠の個数をチェックする（Ｓ１６０１）。メッシュ拡大指定枠個別の標本像認識画素数データを持つために標本像チェック用カウンタを配列データとして持つとともに（Ｓ１６０２）、配列データの中身をクリアしておく。メッシュ拡大指定枠毎に標本像存在チェックをする（Ｓ１６０３）。標本像チェックは、上述したように輝度閾値データと各画素の輝度情報の比較により判断する。そして標本像として認識した画素数をChkCounter(i)に記憶する。iは任意のメッシュ拡大指定枠番号を示す（図１０では、（０）〜（１９）の番号）。すべてのメッシュ拡大指定枠の標本像チェックが終了したならば、標本像チェック用カウンタの値が大きいものから順に並べる（Ｓ１６０４）。並べた順番は、別の変数として記憶しておく。次に標本像チェック用カウンタ値の大きいものから、順に中心付近に標本が存在するか否かを判断する（Ｓ１６０５）。中心付近に標本が存在するか否かの判断は、中心座標に対応する、ステップＳ１６０２において記憶した配列データを調べることにより行うことができる。中心付近に標本像が存在しないと判断した場合には（Ｓ１６０６）、再度Ｓ１６０５に戻り、次に標本像チェック用カウンタ値の大きいメッシュ拡大指定枠を取り出し、中心付近に標本像が存在するか否か判断する。中心付近に標本像が存在すれば、最初にＡＦを実行する位置として記憶する（Ｓ１６０７）。
【００８５】
以上のようにして、複数のメッシュ拡大指定枠の中から最も標本像として認識できる画素数を持ち、かつ中心付近に標本像が存在する箇所を最初にＡＦする位置として自動的に認識できる。
【００８６】
【発明の効果】
この発明によれば、顕微鏡画像の遠隔観察において、初期観察画像における観察領域の指定（メッシュ分割）後の画像撮り込み時間を短縮かつ合焦位置が正しい画像観察できる顕微鏡画像転送システムを提供することができる。
【図面の簡単な説明】
【図１】この発明が適用される顕微鏡画像転送システムの概略図。
【図２】テレパソロジーシステムの基本操作を示すフローチャート。
【図３】メッシュ撮り込み指定枠とスポット撮り込み指定枠の説明図。
【図４】拡大指定枠の移動を説明する図。
【図５】テレパソロジーシステムの操作権が依頼側にあるときの基本操作を示すフローチャート。
【図６】この発明の実施形態において、マクロ撮影後の静止画状態において、メッシュ指定処理を行ったときの図。
【図７】この発明の実施形態において、ステージＸＹ移動に伴うＺ補正データを取得することを説明するための図。
【図８】この発明の実施形態において、フォーカスの合った位置でのＺ位置をＺ初期値データと比較して得られる各座標毎の比較データΔＺを示す表。
【図９】この発明の実施形態において、メッシュ画像撮り込み処理を示すフローチャート。
【図１０】この発明の実施形態において、標本像位置にメッシュ分割位置を設定することを表す図。
【図１１】この発明の実施形態において、オートフォーカス動作実行可否のチェック処理を示すフローチャート。
【図１２】この発明の実施形態において、メッシュ分割画面からＡＦ実行を判断する領域を説明する図。
【図１３】この発明の実施形態において、オートフォーカス実行判断をするＸ領域を決定する処理を示すフローチャート。
【図１４】この発明の実施形態において、オートフォーカス実行判断をするＹ領域を決定する処理を示すフローチャート。
【図１５】この発明の第２実施形態において、オートフォーカスチェックエリアの変更を説明する図。
【図１６】この発明の第２実施形態において、オートフォーカスを再チェックするフローチャート。
【図１７】この発明の第３実施形態において、オートフォーカスを実行する箇所を説明する図。
【符号の説明】
９０１…観察側端末
９０２…モニタ
９０３…ＩＳＤＮ
９０４…モニタ
９０５…依頼側端末
９０６…ビデオカメラ
９０７…顕微鏡
９０８…電動レボルバ
９０９…電動ステージ
９１０ａ、９１０ｂ…回線接続装置
９１１…マクロ撮影装置
９１２…ＸＹステージ制御ユニット
９１３…顕微鏡操作ユニット
Claims (3)
- 静止画像上で所望の倍率で拡大画像撮り込みが指定可能な顕微鏡画像転送システムにおいて、
静止画像上で拡大指定枠領域の輝度情報を記憶する輝度情報記憶手段と、
顕微鏡ＸＹステージの変位に伴うＺ方向の位置を補正するＺ方向位置補正手段と、
静止画像上で拡大画像撮り込み前に、オートフォーカス実行可能か否かを判断するオートフォーカス実行可否判断手段と、
前記オートフォーカス実行可否判断手段によりオートフォーカス実行可能と判断したとき、顕微鏡ＸＹステージのＸＹ位置と顕微鏡ＸＹステージのＺ位置を記憶するＸＹＺ位置記憶手段と、
前記オートフォーカス実行可否判断手段によりオートフォーカス実行不可と判断したとき、前記ＸＹＺ位置記憶手段に記憶された前回の顕微鏡ＸＹステージのＺ位置を復元するＺ位置復元手段と、
を有することを特徴とする顕微鏡画像転送システム。 - オートフォーカス可能な位置に顕微鏡ＸＹステージをＸＹに移動する手段と、
前記顕微鏡ＸＹステージのＸＹ移動後にオートフォーカスを実行制御する手段と、
オートフォーカス実行後に前記ＸＹステージの位置を移動前の位置に復元する手段と、
前の顕微鏡ＸＹステージの位置を移動前の位置に復元後に画像撮り込みを制御する手段と、
をさらに有することを特徴とする請求項１記載の顕微鏡画像転送システム。 - 複数の各画像撮り込み指定枠から最初にオートフォーカスを実行する箇所を自動的に選択する手段をさらに有することを特徴とする請求項１記載の顕微鏡画像転送システム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27129499A JP4434376B2 (ja) | 1999-09-24 | 1999-09-24 | 顕微鏡画像転送システム |
| KR1020017006095A KR20010092740A (ko) | 1999-09-24 | 2000-09-21 | 현미경화상전송시스템 |
| PCT/JP2000/006475 WO2001022147A1 (fr) | 1999-09-24 | 2000-09-21 | Systeme de transfert d'image a microscope |
| CNB008019886A CN100442099C (zh) | 1999-09-24 | 2000-09-21 | 显微镜图象传送***和显微镜图象传送方法 |
| TW089119679A TW513582B (en) | 1999-09-24 | 2000-09-22 | Microscope image transfer system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27129499A JP4434376B2 (ja) | 1999-09-24 | 1999-09-24 | 顕微鏡画像転送システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001091846A JP2001091846A (ja) | 2001-04-06 |
| JP4434376B2 true JP4434376B2 (ja) | 2010-03-17 |
Family
ID=17498053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27129499A Expired - Fee Related JP4434376B2 (ja) | 1999-09-24 | 1999-09-24 | 顕微鏡画像転送システム |
Country Status (5)
| Country | Link |
|---|---|
| JP (1) | JP4434376B2 (ja) |
| KR (1) | KR20010092740A (ja) |
| CN (1) | CN100442099C (ja) |
| TW (1) | TW513582B (ja) |
| WO (1) | WO2001022147A1 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4544850B2 (ja) * | 2002-11-29 | 2010-09-15 | オリンパス株式会社 | 顕微鏡画像撮影装置 |
| JP4818592B2 (ja) * | 2003-07-01 | 2011-11-16 | オリンパス株式会社 | 顕微鏡システム、顕微鏡画像表示システム、観察体画像表示方法、及びプログラム |
| JP4877588B2 (ja) * | 2006-08-15 | 2012-02-15 | 横河電機株式会社 | 合焦補正方法 |
| US8878923B2 (en) | 2007-08-23 | 2014-11-04 | General Electric Company | System and method for enhanced predictive autofocusing |
| JP4974060B2 (ja) * | 2008-02-19 | 2012-07-11 | 横河電機株式会社 | 創薬スクリーニング方法 |
| JP5394887B2 (ja) | 2009-10-29 | 2014-01-22 | オリンパス株式会社 | 顕微鏡装置および顕微鏡観察方法 |
| JP5537281B2 (ja) | 2010-06-21 | 2014-07-02 | オリンパス株式会社 | 顕微鏡装置および画像取得方法 |
| JP5589619B2 (ja) * | 2010-07-01 | 2014-09-17 | ソニー株式会社 | 情報処理装置、ステージうねり補正方法、プログラム |
| KR101304375B1 (ko) * | 2011-10-19 | 2013-09-11 | (주)코셈 | 다중 사용자를 위한 전자현미경의 제어방법 |
| JP6053327B2 (ja) * | 2012-05-23 | 2016-12-27 | オリンパス株式会社 | 顕微鏡システム、標本画像生成方法及びプログラム |
| US9664016B2 (en) | 2013-03-15 | 2017-05-30 | Chevron U.S.A. Inc. | Acoustic artificial lift system for gas production well deliquification |
| KR102411099B1 (ko) | 2017-09-29 | 2022-06-22 | 라이카 바이오시스템즈 이미징 인크. | 실시간 오토포커스 스캐닝 |
| CN113472984B (zh) * | 2021-06-28 | 2023-10-20 | 平湖莱顿光学仪器制造有限公司 | 图像获取方法、装置、***、存储介质和设备 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63167313A (ja) * | 1986-12-27 | 1988-07-11 | Hitachi Ltd | 自動焦点制御方法 |
| JP2893061B2 (ja) * | 1990-07-10 | 1999-05-17 | オムロン株式会社 | 顕微鏡の自動焦点調整装置 |
| JP2989921B2 (ja) * | 1991-02-21 | 1999-12-13 | オリンパス光学工業株式会社 | 顕微鏡 |
| JP3078083B2 (ja) * | 1992-02-19 | 2000-08-21 | オリンパス光学工業株式会社 | 自動合焦装置 |
| JP3325064B2 (ja) * | 1993-01-22 | 2002-09-17 | オリンパス光学工業株式会社 | 顕微鏡遠隔観察システムとその制御方法 |
| JP3631304B2 (ja) * | 1995-10-24 | 2005-03-23 | オリンパス株式会社 | 顕微鏡の自動焦点整合装置 |
| JPH09304703A (ja) * | 1996-05-16 | 1997-11-28 | Olympus Optical Co Ltd | フォーカシング装置 |
| JP3863993B2 (ja) * | 1998-03-18 | 2006-12-27 | オリンパス株式会社 | 顕微鏡 |
| JPH11271623A (ja) * | 1998-03-19 | 1999-10-08 | Olympus Optical Co Ltd | 顕微鏡用オートフォーカス装置 |
| JP2000352661A (ja) * | 1999-06-14 | 2000-12-19 | Olympus Optical Co Ltd | 合焦装置 |
-
1999
- 1999-09-24 JP JP27129499A patent/JP4434376B2/ja not_active Expired - Fee Related
-
2000
- 2000-09-21 CN CNB008019886A patent/CN100442099C/zh not_active Expired - Lifetime
- 2000-09-21 WO PCT/JP2000/006475 patent/WO2001022147A1/ja active Application Filing
- 2000-09-21 KR KR1020017006095A patent/KR20010092740A/ko not_active Application Discontinuation
- 2000-09-22 TW TW089119679A patent/TW513582B/zh not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR20010092740A (ko) | 2001-10-26 |
| CN100442099C (zh) | 2008-12-10 |
| CN1321257A (zh) | 2001-11-07 |
| WO2001022147A1 (fr) | 2001-03-29 |
| TW513582B (en) | 2002-12-11 |
| JP2001091846A (ja) | 2001-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4937457B2 (ja) | 顕微鏡制御装置、顕微鏡制御システム、顕微鏡の制御方法、プログラム、及び記録媒体 | |
| JP4434376B2 (ja) | 顕微鏡画像転送システム | |
| KR101760142B1 (ko) | 카메라 장치, 카메라 시스템, 제어 장치 및 컴퓨터로 판독가능한 기록 매체 | |
| JP3557246B2 (ja) | 顕微鏡画像遠隔観察装置および顕微鏡画像の遠隔観察方法 | |
| JP5041757B2 (ja) | カメラ制御装置およびカメラ制御システム | |
| TWI461064B (zh) | 相機裝置、相機系統、控制裝置及程式 | |
| JP5705883B2 (ja) | レンズ装置 | |
| JP2006191411A (ja) | カメラ制御装置、画像表示装置、カメラ制御方法、画像表示方法及びプログラム | |
| JP2019198043A (ja) | 制御装置、制御方法及びプログラム | |
| JP2019201401A (ja) | 制御装置、制御方法及びプログラム | |
| JP2000295462A (ja) | 顕微鏡画像伝送システム | |
| JP2006340091A (ja) | カメラサーバ、ビューワ、画像表示システム及び画像配信方法 | |
| US20140063072A1 (en) | Information processing apparatus, information processing method, and information processing program | |
| JP3325064B2 (ja) | 顕微鏡遠隔観察システムとその制御方法 | |
| JP3698737B2 (ja) | 顕微鏡遠隔観察システム及び遠隔観察方法 | |
| JP3704529B2 (ja) | 顕微鏡観察システムおよび顕微鏡画像の表示方法 | |
| JP2021125854A (ja) | 画像配信装置、方法、プログラム及び記憶媒体 | |
| JPH11119108A (ja) | 遠隔観察システム | |
| JP3432851B2 (ja) | 顕微鏡遠隔観察システム | |
| JP6516410B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2008236785A (ja) | 画像提供装置、画像提供方法、および画像提供システム | |
| JP2017063277A (ja) | 表示制御装置および表示制御方法 | |
| JPH0651208A (ja) | 画像遠隔観察システム | |
| JPH11234658A (ja) | カメラ制御装置 | |
| JP4211377B2 (ja) | 画像信号処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060907 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091201 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091222 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130108 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140108 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |