JPWO2020066041A1 - 顕微鏡システム - Google Patents

Abstract

顕微鏡システム１は、接眼レンズ１０４と、試料からの光を接眼レンズ１０４へ導く対物レンズ１０２と、接眼レンズ１０４と対物レンズ１０２の間の光路上に配置され、試料の光学画像を形成する結像レンズ１０３と、試料のデジタル画像データを取得する撮像装置１４０と、光学画像が形成されている結像レンズ１０３と接眼レンズ１０４の間の像面へ投影画像を投影する投影装置１３１と、制御装置１０を備える。制御装置１０は、少なくとも、試料が像面に投影される第１倍率と、試料が撮像装置１４０に投影される第２倍率と、撮像装置１４０が像面に投影される第３倍率と、撮像装置１４０のサイズと、投影装置１３１のサイズと、を含む顕微鏡情報を管理する。

Description

本明細書の開示は、顕微鏡システムに関する。

病理診断における病理医の負担を軽減する技術の一つとして、WSI（Whole Slide Imaging）技術が注目されている。WSI技術とはスライドガラス上の検体全域のデジタル画像を作成する技術である。WSI技術については、例えば、特許文献１に記載されている。

また、WSI技術のような、複数の画像をタイリングすることで顕微鏡の視野よりも広い領域を高い解像力で画像化する技術は、工業用途でも使用されている。例えば、品質管理のため、工業用部品の材料の微細組織を検査し、評価するなどの用途がその一例である。

上述した技術によれば、モニタに表示した高解像度の画像を見ながら対象物の任意の領域を観察することが可能となる。このため、診断、検査、評価等における作業者の負担を軽減することができる。

特表２００１−５１９９４４号公報

その一方で、接眼レンズを覗いて試料の光学画像を目視するニーズも引き続き存在する。これは、一般に、デジタル画像は、光学画像と比較して、色再現性とダイナミックレンジにおいて劣っているためである。例えば、病理診断では、色と濃淡の情報は極めて重要であることから、光学画像を用いて診断を行いたいといったニーズが存在している。また、仮に、光学画像と同程度まで高い色再現性と広いダイナミックレンジをデジタル画像に要求すると、顕微鏡システムは、非常に高価なものになってしまう。このため、そのような顕微鏡システムを導入できる利用者は、限られてしまう。

本発明の一側面に係る目的は、光学顕微鏡によって得られる光学画像に基づいて行う、診断、検査、評価などの作業を補助することで、作業者の負担を軽減する新たな技術を提供することである。

本発明の一態様に係る顕微鏡システムは、接眼レンズと、試料からの光を前記接眼レンズへ導く対物レンズと、前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、前記試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、前記光学画像が形成されている前記結像レンズと前記接眼レンズの間の像面へ投影画像を投影する投影装置と、少なくとも、前記試料が前記像面に投影される第１倍率と、前記試料が前記撮像装置に投影される第２倍率と、前記投影装置が前記像面に投影される第３倍率と、前記撮像装置のサイズと、前記投影装置のサイズと、を含む顕微鏡情報を管理する制御装置と、を備える。

上記の態様によれば、光学顕微鏡によって得られる光学画像に基づいて行う、診断、検査、評価などの作業を補助することで、作業者の負担を軽減することができる。

顕微鏡システム１の構成を示した図である。 顕微鏡情報ＭＩについて説明するための図である。 制御装置１０の構成を示した図である。 顕微鏡システム１が行う画像投影処理のフローチャートの一例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の一例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の別の例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。 顕微鏡システム１が行う画像投影処理のフローチャートの別の例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。 顕微鏡システム１が行う画像投影処理のフローチャートの更に別の例である。 ビニングについて説明するための図である。 取り込み範囲について説明するための図である。 顕微鏡システム２の構成を示した図である。 顕微鏡システム３の構成を示した図である。 顕微鏡４００の構成を示した図である。 顕微鏡６００の構成を示した図である。 顕微鏡７００の構成を示した図である。

［第１実施形態］
図１は、本実施形態に係る顕微鏡システム１の構成を示した図である。図２は、顕微鏡情報ＭＩについて説明するための図である。図３は、制御装置１０の構成を示した図である。顕微鏡システム１は、接眼レンズ１０４を覗いて試料を観察する顕微鏡システムであり、少なくとも、対物レンズ１０２と、結像レンズ１０３と、接眼レンズ１０４と、撮像装置１４０と、投影装置１３１と、制御装置１０を備えている。

顕微鏡システム１は、対物レンズ１０２と結像レンズ１０３によって試料の光学画像が形成されている像面に、投影装置１３１を用いて投影画像を投影する。これにより、接眼レンズ１０４を覗き光学画像で試料を観察する顕微鏡システム１の利用者に、種々の情報を提供することができる。このため、顕微鏡システム１は、利用者が光学画像で試料を観察しながら行う作業を補助することができる。さらに、顕微鏡システム１では、制御装置１０が顕微鏡情報ＭＩを管理している。顕微鏡システム１は、制御装置１０が管理する顕微鏡情報ＭＩを用いることで、投影画像を像面に投影する投影制御を適切に行うことができる。

以下、図１から図３を参照しながら、顕微鏡システム１の構成の具体例について詳細に説明する。顕微鏡システム１は、図１に示すように、顕微鏡１００と、制御装置１０と、入力装置４０と、音声出力装置５０を備えている。なお、顕微鏡システム１は、これらに加えて、表示装置などを備えても良い。

顕微鏡１００は、例えば、正立顕微鏡であり、顕微鏡本体１１０と、鏡筒１２０と、中間鏡筒１３０と、撮像装置１４０を備えている。なお、顕微鏡１００は、倒立顕微鏡であってもよい。

顕微鏡本体１１０は、試料を載置するステージ１０１と、試料からの光を接眼レンズ１０４に導く対物レンズ（対物レンズ１０２、対物レンズ１０２ａ）と、落射照明光学系と、透過照明光学系と、を備えている。ステージ１０１は、手動ステージであっても、電動ステージであってもよい。レボルバには、倍率の異なる複数の対物レンズが装着されていることが望ましい。なお、顕微鏡本体１１０は、落射照明光学系と透過照明光学系の少なくとも一方を備えていれば良い。

顕微鏡本体１１０は、さらに、顕鏡法を切り換えるためのターレット１１１を備えている。ターレット１１１には、例えば、蛍光観察法で用いられる蛍光キューブ、明視野観察法で用いられるハーフミラーなどが配置されている。その他、顕微鏡本体１１０は、特定の顕鏡法で用いられる光学素子を光路に対して挿脱自在に備えていても良い。具体的には、顕微鏡本体１１０は、例えば、微分干渉観察法で用いられるＤＩＣプリズム、ポラライザ、アナライザなどを備えても良い。

鏡筒１２０は、接眼レンズ１０４と撮像装置１４０が装着された三眼鏡筒である。鏡筒１２０内には、結像レンズ１０３が設けられる。結像レンズ１０３は、対物レンズ１０２と接眼レンズ１０４の間の光路上に配置されている。

結像レンズ１０３は、接眼レンズ１０４と結像レンズ１０３の間の像面に、試料からの光に基づいて試料の光学画像を形成する。つまり、対物レンズ１０２と結像レンズ１０３は、図２に示す物体面ＯＰ１を像面ＩＰ１に投影する。また、結像レンズ１０３は、撮像素子１４１と結像レンズ１０３の間の像面ＩＰ１ａにも、試料からの光に基づいて試料の光学画像を形成する。つまり、対物レンズ１０２と結像レンズ１０３は、図２に示す物体面ＯＰ１を像面ＩＰ１ａにも投影する。なお、物体面ＯＰ１を像面ＩＰ１及び像面ＩＰ１ａへ投影する投影倍率は、“結像レンズ１０３の焦点距離／対物レンズ１０２の焦点距離”で算出される投影倍率αである。

結像レンズ１０３は、これらの像面（像面ＩＰ１、像面ＩＰ１ａ）に、投影装置１３１からの光に基づいて後述する投影画像も形成する。つまり、投影レンズ１３３と結像レンズ１０３は、図２に示す表示面ＯＰ２を像面ＩＰ１及び像面ＩＰ１ａに投影する。これにより、像面において光学画像上に投影画像が重畳されるため、顕微鏡システム１の利用者は、接眼レンズ１０４を覗くことで光学画像に投影画像が重畳した重畳画像を見ることができる。なお、表示面ＯＰ２を像面ＩＰ１及び像面ＩＰ１ａへ投影する投影倍率は、“結像レンズ１０３の焦点距離／投影レンズ１３３の焦点距離”で算出される投影倍率γである。

なお、結像レンズ１０３は、像面の位置を変更することなく焦点距離を可変する機能、焦点距離を変更することなく像面の位置を可変する機能、または、像面の位置と焦点距離をそれぞれ独立して可変する機能を備える。これらの機能を実現するものには、結像レンズ１０３を構成するレンズの少なくとも一部を光軸方向に移動させるレンズが含まれる。また、結像レンズ１０３を構成する光学系の少なくとも一部のレンズの曲率半径と屈折率の少なくとも一方を、例えば、電気的な制御により、可変するアクティブレンズも含まれる。アクティブレンズは、例えば、液体レンズであってもよい。

中間鏡筒１３０は、顕微鏡本体１１０と鏡筒１２０の間に設けられている。中間鏡筒１３０は、投影装置１３１と、光偏向素子１３２と、投影レンズ１３３を備えている。

投影装置１３１は、制御装置１０からの命令に従って、投影画像を光学画像が形成されている像面に投影する装置である。投影装置１３１は、例えば、液晶デバイスを用いたプロジェクタ、デジタルミラーデバイスを用いたプロジェクタ、ＬＣＯＳを用いたプロジェクタなどである。なお、表示面ＯＰ２における投影装置１３１のサイズはサイズＢである。ここで、表示面ＯＰ２は、投影装置１３１が光を出射する面である。また、投影装置１３１のサイズとは、投影装置１３１が光を出射する領域のサイズのことであり、具体的には、例えば、対角長などである。

光偏向素子１３２は、投影装置１３１から出射した光を像面に向けて偏向し、接眼レンズへ導く。光偏向素子１３２は、例えば、ハーフミラー、ダイクロイックミラーなどのビームスプリッタであり、顕鏡法に応じて、異なる種類のビームスプリッタが使用されてもよい。光偏向素子１３２には、透過率と反射率を可変する可変ビームスプリッタが用いられても良い。光偏向素子１３２は、対物レンズ１０２と接眼レンズ１０４の間、より詳細には、対物レンズ１０２と結像レンズ１０３の間、の光路上に配置される。

投影レンズ１３３は、投影装置１３１からの光を結像レンズ１０３へ導くレンズである。投影レンズ１３３にも、結像レンズ１０３と同様に、像面の位置と焦点距離の少なくとも一方を可変する機能を備えたレンズ、例えば、アクティブレンズが採用されてもよい。投影レンズ１３３の焦点距離を変更することで、光学画像の大きさとは独立して投影画像の大きさを調整することができる。

撮像装置１４０は、例えば、デジタルカメラであり、撮像素子１４１と、アダプタレンズ１４２を備えている。撮像装置１４０は、試料からの光に基づいて、試料のデジタル画像データを取得する。

撮像素子１４１は、試料からの光を検出する光検出器の一例である。撮像素子１４１は、二次元イメージセンサであり、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどである。撮像素子１４１は、試料からの光を検出し、電気信号へ変換する。なお、像面ＩＰ２における投影装置１３１のサイズはサイズＡである。ここで、像面ＩＰ２は、撮像素子１４１の受光面である。また、撮像素子１４１のサイズとは、撮像素子１４１の有効画素領域のサイズのことであり、具体的には、例えば、対角長などである。

投影装置１３１が像面に投影画像を投影しているとき、撮像装置１４０には投影装置１３１からの光も入射する。このため、撮像装置１４０で取得したデジタル画像データで表されるデジタル画像には、試料の光学画像に加えて投影画像も含まれ得る。ただし、投影装置１３１の投影期間と撮像装置１４０の露光期間とを調整することで、撮像装置１４０は、投影画像が含まれない試料のデジタル画像データを取得することができる。

アダプタレンズ１４２は、像面ＩＰ１ａに形成された光学画像を撮像素子１４１へ投影する。つまり、像面ＩＰ１ａを像面ＩＰ２へ投影する。なお、物体面ＯＰ１を像面ＩＰ２へ投影する投影倍率は、投影倍率βである。

入力装置４０は、利用者の入力操作に応じた操作信号を制御装置１０へ出力する。入力装置４０は、例えば、キーボードであるが、マウス、ジョイスティック、タッチパネルなどを含んでもよい。また、入力装置４０は、音声入力を受け付ける音声入力装置４１を含んでいる。音声入力装置４１は、例えば、マイクなどである。音声出力装置５０は、制御装置１０からの指示に従って音声を出力する。音声出力装置５０は、例えば、スピーカーである。

制御装置１０は、顕微鏡システム１全体を制御する。制御装置１０は、顕微鏡１００、入力装置４０、及び、音声出力装置５０に接続されている。制御装置１０は、主に投影装置１３１の制御に関連する構成要素として、図１に示すように、撮像制御部２１、画像解析部２２、投影画像生成部２３、投影制御部２４、及び通信制御部２５を備えている。制御装置１０は、さらに、情報管理部３０を備えている。

撮像制御部２１は、撮像装置１４０を制御することで、撮像装置１４０から試料のデジタル画像データを取得する。撮像制御部２１は、例えば、撮像装置１４０の露光期間と投影装置１３１の投影期間が重ならないように、撮像装置１４０を制御しても良い。撮像制御部２１が取得したデジタル画像データは、画像解析部２２、投影画像生成部２３、及び、通信制御部２５へ出力される。

画像解析部２２は、撮像制御部２１が取得したデジタル画像データを解析し、解析結果を投影画像生成部２３へ出力する。画像解析部２２が行う解析処理の内容は特に限定しない。解析処理は、例えば、デジタル画像の写っている細胞数をカウントする処理であってもよく、細胞数、細胞密度などの時間変化をグラフ化する処理であってもよい。また、輝度の閾値に基づいて注目領域を自動的に検出する処理であっても良く、デジタル画像に写っている構造物の形状認識、重心計算などを行う処理であってもよい。

また、画像解析部２２は、例えば、デジタル画像データが表現するデジタル画像に写る一つ以上の構造物を一つ以上のクラスに分類し、その一つ以上のクラスのうちの少なくとも一つのクラスに分類された構造物の位置を特定する情報を含む解析結果を出力してもよい。より具体的には、画像解析部２２は、デジタル画像に写る細胞を染色強度に応じて分類し、細胞が分類されたクラス情報とその細胞の輪郭又はその細胞の核の輪郭を特定する位置情報とを含む解析結果を生成してもよい。なお、その場合、少なくとも一つのクラスに分類された構造物は、病理医による病理診断における判定の根拠となる対象物であることが望ましい。

また、画像解析部２２は、例えば、デジタル画像データに基づいて、試料内の注目領域を追跡しても良い。この場合、画像解析部２２が出力する解析結果には、注目領域の位置情報が含まれる。なお、追跡すべき注目領域は、デジタル画像データを解析することで決定されてもよく、利用者が入力装置４０を用いて指定することで決定されてもよい。

投影画像生成部２３は、投影画像を表す投影画像データを生成する。投影画像生成部２３で生成された投影画像データは、投影制御部２４及び通信制御部２５へ出力される。投影画像生成部２３は、少なくとも情報管理部３０に管理されている顕微鏡情報ＭＩに基づいて、投影画像データを生成する。また、投影画像生成部２３は、顕微鏡情報ＭＩと画像解析部２２での解析結果とに基づいて、投影画像データを生成してもよい。また、投影画像生成部２３は、顕微鏡情報ＭＩと通信制御部２５が外部のシステムから受信したデータとに基づいて、投影画像データを生成してもよい。また、投影画像生成部２３は、顕微鏡情報ＭＩと入力装置４０からの入力情報とに基づいて、投影画像データを生成してもよい。

投影制御部２４は、投影装置１３１を制御することで、像面への投影画像の投影を制御する。投影制御部２４は、例えば、顕微鏡システム１の設定に応じて投影装置１３１を制御しても良い。具体的には、投影制御部２４は、顕微鏡システム１の設定に応じて、像面に投影画像を投影するか否かを決定してもよく、顕微鏡システム１が所定の設定のときに、投影装置１３１が像面へ投影画像を投影するように、投影装置１３１を制御しても良い。つまり、顕微鏡システム１は、投影画像を像面に投影するか否かを設定によって変更することができる。

また、投影制御部２４は、例えば、投影装置１３１の発光期間と撮像素子１４１の露光期間が重ならないように、投影装置１３１を制御しても良い。これにより、デジタル画像に投影画像が写りこむことを防止することができる。

通信制御部２５は、顕微鏡システム１外部のシステムとデータをやり取りする。なお、顕微鏡システム１は、外部のシステムとインターネットなどのネットワークを経由して接続されている。通信制御部２５は、例えば、画像データを外部のシステムへ送信し、画像データの解析結果を受信しても良い。また、通信制御部２５は、例えば、外部のシステムの利用者が入力した操作情報を受信してもよい。

情報管理部３０は、顕微鏡情報ＭＩを管理する。顕微鏡情報ＭＩは、図２に示すように、少なくとも、試料が像面ＩＰ１に投影される第１倍率である投影倍率αと、試料が撮像装置１４０に投影される第２倍率である投影倍率βと、投影装置１３１が像面ＩＰ１に投影される第３倍率である投影倍率γと、撮像装置１４０のサイズＡと、投影装置１３１のサイズＢと、を含んでいる。上述した、投影倍率α、投影倍率β、投影倍率γ、撮像装置１４０のサイズＡ、及び、投影装置１３１のサイズＢは、光学画像に対して投影画像を所望の位置に所望の大きさで投影するために用いられる情報であり、以降では、これらを基本情報と記す。顕微鏡情報ＭＩには、基本情報に加えて、その他の情報が含まれても良い。顕微鏡情報ＭＩには、例えば、光学画像の形成に用いられた顕鏡法の情報が含まれてもよい。また、顕微鏡情報ＭＩには、合焦状態におけるステージ１０１の位置を示す、対物レンズ１０２の光軸と直交する方向の座標情報と、光軸の方向の座標情報と、の組み合わせが含まれてもよい。また、顕微鏡情報ＭＩには、接眼レンズ１０４の視野数（ＦＮ）、対物レンズ１０２の視野数（ＯＦＮ）、撮像装置１４０の有効画素数、投影装置１３１の画素数などが含まれてもよい。

なお、制御装置１０は、汎用装置であっても、専用装置であってもよい。制御装置１０は、特にこの構成に限定されるものではないが、例えば、図３に示すような物理構成を有してもよい。具体的には、制御装置１０は、プロセッサ１０ａ、メモリ１０ｂ、補助記憶装置１０ｃ、入出力インタフェース１０ｄ、媒体駆動装置１０ｅ、通信制御装置１０ｆを備えてもよく、それらが互いにバス１０ｇによって接続されてもよい。

プロセッサ１０ａは、例えば、ＣＰＵ（Central Processing Unit）を含む、任意の処理回路である。プロセッサ１０ａは、メモリ１０ｂ、補助記憶装置１０ｃ、又は、記憶媒体１０ｈに格納されているプログラムを実行してプログラムされた処理を行うことで、上述した投影装置１３１の制御に関連する構成要素（撮像制御部２１、画像解析部２２、投影画像生成部２３等）を実現しても良い。また、プロセッサ１０ａは、ＡＳＩＣ、ＦＰＧＡ等の専用プロセッサを用いて構成されてもよい。

メモリ１０ｂは、プロセッサ１０ａのワーキングメモリである。メモリ１０ｂは、たとえば、ＲＡＭ（Random Access Memory）等の任意の半導体メモリである。補助記憶装置１０ｃは、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（Hard Disc Drive）等の不揮発性のメモリである。入出力インタフェース１０ｄは、外部装置（顕微鏡１００、入力装置４０、音声出力装置５０）と情報をやり取りする。

媒体駆動装置１０ｅは、メモリ１０ｂ及び補助記憶装置１０ｃに格納されているデータを記憶媒体１０ｈに出力することができ、また、記憶媒体１０ｈからプログラム及びデータ等を読み出すことができる。記憶媒体１０ｈは、持ち運びが可能な任意の記憶媒体である。記憶媒体１０ｈには、例えば、ＳＤカード、ＵＳＢ（Universal Serial Bus）フラッシュメモリ、ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)などが含まれる。

通信制御装置１０ｆは、ネットワークへの情報の入出力を行う。通信制御装置１０ｆとしては、例えば、ＮＩＣ（Network Interface Card）、無線ＬＡＮ（Local Area Network）カード等が採用され得る。バス１０ｇは、プロセッサ１０ａ、メモリ１０ｂ、補助記憶装置１０ｃ等を、相互にデータの授受可能に接続する。

以上のように構成された顕微鏡システム１は、図４に示す画像投影処理を行う。図４は、顕微鏡システム１が行う画像投影処理のフローチャートである。図５は、顕微鏡システム１の接眼レンズ１０４から見える画像の一例である。以下、図４及び図５を参照しながら、顕微鏡システム１の画像投影方法について説明する。

まず、顕微鏡システム１は、試料の光学画像を像面ＩＰ１に投影する（ステップＳ１）。ここでは、対物レンズ１０２が取り込んだ試料からの光を結像レンズ１０３が像面ＩＰ１に集光し、試料の光学画像を形成する。これにより、例えば、図５の画像Ｖ１に示すように、像面ＩＰ１上の領域Ｒ１に光学画像Ｏ１が投影される。なお、領域Ｒ１は、対物レンズ１０２からの光束が入射する像面ＩＰ１上の領域を示している。また、領域Ｒ２は、接眼レンズ１０４を覗くことで見ることが出来る像面ＩＰ１上の領域を示している。

次に、顕微鏡システム１は、顕微鏡情報ＭＩを取得する（ステップＳ２）。ここでは、投影画像生成部２３が情報管理部３０から顕微鏡情報ＭＩを取得する。

その後、顕微鏡システム１は、投影画像データを生成する（ステップＳ３）。ここでは、投影画像生成部２３がステップＳ２で取得した顕微鏡情報ＭＩに基づいて投影画像データを生成する。投影画像生成部２３は、例えば、顕微鏡情報ＭＩに含まれる投影倍率α、投影倍率γ、投影装置１３１のサイズＢを用いて、図５の画像Ｖ２に示すような、スケールを含む投影画像Ｐ１を表す投影画像データを生成する。より詳細には、投影倍率αと投影倍率γの関係から物体面ＯＰ１における単位長さは、表示面ＯＰ２におけるα／γであることが分かる。さらに、投影装置１３１のサイズＢから投影装置１３１の１画素当たりの大きさも既知であるため、物体面ＯＰ１における単位長さが表示面ＯＰ２における何画素分かも既知である。投影画像生成部２３は、これらの関係を用いて、光学画像Ｏ１上にスケールを正確な大きさで投影するための投影画像データを生成する。

最後に、顕微鏡システム１は、投影画像を像面ＩＰ１に投影する（ステップＳ４）。ここでは、投影制御部２４がステップＳ３で生成された投影画像データに基づいて投影装置１３１を制御することで、投影装置１３１が投影画像を像面に投影する。これにより、図５の画像Ｖ２に示すように、光学画像Ｏ１上に、スケールを含む投影画像Ｐ１が重畳される。

顕微鏡システム１では、光学画像が形成される像面ＩＰ１に投影画像が投影される。これにより、利用者は、接眼レンズ１０４から眼を離すことなく、作業に有益な情報の提供を受けることができる。また、顕微鏡システム１は、投影倍率などを含む顕微鏡情報を用いて、投影画像データを生成する。これにより、投影画像を用いて、光学画像に対して所望の位置に光学画像に対して所望の大きさを有する情報を表示することができる。従って、顕微鏡システム１によれば、利用者が光学画像で試料を観察しながら行う作業を補助することが可能であり、利用者の作業負担を軽減することができる。

さらに、顕微鏡システム１では、デジタル画像に基づいて病理診断を行うＷＳＩシステムとは異なり高価な機器を必要としない。従って、顕微鏡システム１によれば、大幅な機器コストの上昇を回避しながら利用者の負担を軽減することができる。

図６及び図７は、顕微鏡システム１の接眼レンズ１０４から見える画像の別の例である。図５では、像面ＩＰ１にスケールを含む投影画像Ｐ１を投影する例を示したが、像面ＩＰ１に投影する投影画像は、投影画像Ｐ１に限らない。

例えば、図６の画像Ｖ３に示すように、投影装置１３１は、顕微鏡システム１の設定情報を含む投影画像Ｐ２を投影しても良い。投影画像Ｐ２を表す投影画像データについても、投影画像生成部２３が顕微鏡情報に基づいて生成することができる。

なお、投影画像生成部２３は、顕微鏡情報に含まれる顕鏡法の情報に基づいて、投影画像Ｐ２の背景色を決定してもよい。例えば、明視野観察中であれば、光学画像の背景色は白色であるので、投影画像Ｐ２も同様に背景色を白色にしてもよい。また、投影画像Ｐ２の背景色を光学画像の背景色とは意図的に異なる色にしてもよい。また、投影画像Ｐ２は、利用者から指示された期間だけ投影されても良い。例えば、利用者が音声で表示を指示すると、投影画像生成部２３が投影画像データを生成して、投影装置１３１が所定期間（例えば、１０秒間）だけ投影画像Ｐ２を投影してもよい。また、利用者が音声で表示を指示すると、顕微鏡情報が音声として音声出力装置５０から出力されても良い。

また、図７の画像Ｖ４に示すように、投影装置１３１は、利用者に操作を促すナビゲーション表示を含む投影画像Ｐ３を投影しても良い。投影画像Ｐ３を表す投影画像データについても、投影画像生成部２３が顕微鏡情報に基づいて生成する。このため、投影装置１３１は、例えば、光学画像Ｏ２に含まれる製品と投影画像Ｐ３に含まれるナビゲーション表示の両方を同時に確認できる位置に投影画像Ｐ３を投影することができる。また、ナビゲーション表示の内容は、音声出力装置５０から音声として出力されても良い。さらに、利用者がナビゲーション表示に従って製品識別情報である製品Ｎｏ．を音声入力すると、投影画像生成部２３が、顕微鏡情報と音声入力装置４１から入力された製品Ｎｏ．とに基づいて投影画像Ｐ４を表す投影画像データを生成する。そして、投影装置１３１が、図７の画像Ｖ５に示すように、光学画像Ｏ２上に投影画像Ｐ４を投影し、さらに、撮像装置１４０が、試料からの光と投影装置１３１からの光に基づいて、光学画像Ｏ２に投影画像Ｐ４が重畳された重畳画像を表す重畳画像データを取得しても良い。なお、投影画像Ｐ４は、光学画像Ｏ２が示す製品を特定するバーコードである。このように、製品Ｎｏ．で識別された製品に関連する画像を投影画像に含めることで、製品と製品の情報を一度に記録することができる。

顕微鏡システム１は、図４に示す画像投影処理の代わりに図８に示す画像投影処理を行ってもよい。図８は、顕微鏡システム１が行う画像投影処理のフローチャートの別の例である。図９は、顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。

図８に示す画像投影処理では、顕微鏡システム１は、まず、試料の光学画像を像面ＩＰ１に投影し（ステップＳ１１）、さらに、顕微鏡情報を取得する（ステップＳ１２）。ステップＳ１１とステップＳ１２の処理は、図４に示すステップＳ１とステップＳ２と同様である。

次に、顕微鏡システム１は、試料のデジタル画像データを取得する（ステップＳ１３）。ここでは、撮像装置１４０が、試料からの光に基づいて試料を撮像することでデジタル画像データを取得する。

その後、顕微鏡システム１は、デジタル画像データを解析する（ステップＳ１４）。ここでは、画像解析部２２が、デジタル画像データを解析して、例えば、病理診断を補助する情報を生成する。具体的には、解析により細胞の核を特定し、その染色強度に応じてクラス分けする。

解析が終了すると、顕微鏡システム１は、投影画像データを生成する（ステップＳ１５）。ここでは、投影画像生成部２３が、顕微鏡情報と画像解析部２２から出力された解析結果とに基づいて、例えば、図９の画像Ｖ６に示すような、細胞の核を染色強度により色分けする投影画像Ｐ５を表す投影画像データを生成する。より詳細には、顕微鏡情報に含まれる投影倍率β及び撮像装置１４０のサイズＡから、デジタル画像（撮像装置１４０）の各画素と物体面ＯＰ１の位置の関係は既知である。さらに、投影倍率α、投影倍率γ及び投影装置１３１のサイズＢから、投影装置１３１の各画素と物体面ＯＰ１の位置の関係も既知である。投影画像生成部２３は、これらの関係を用いて、光学画像Ｏ１に含まれる細胞の核の位置に核の大きさにあわせた色の画像を含む投影画像Ｐ５を表す投影画像データを生成する。

最後に、顕微鏡システム１は、投影画像を像面ＩＰ１に投影する（ステップＳ１６）。ここでは、投影制御部２４がステップＳ１５で生成された投影画像データに基づいて投影装置１３１を制御することで、投影装置１３１が投影画像を像面に投影する。これにより、図９の画像Ｖ６に示すように、光学画像Ｏ１上に、細胞の核を染色強度により色分けした投影画像Ｐ５が重畳される。

このように、顕微鏡情報に加えて解析結果を用いて投影画像データを生成することで、顕微鏡システム１は、更に有益な情報を利用者に提供することができる。このため、利用者の作業負担をさらに軽減することができる。

図１０は、顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。図１０のＶ４に示すように、投影装置１３１は、利用者に操作を促すナビゲーション表示を含む投影画像Ｐ３を投影しても良い。そして、利用者がナビゲーション表示に従って製品識別情報である製品Ｎｏ．を音声入力すると、画像解析部２２は、顕微鏡情報と、デジタル画像データと、音声入力装置４１から入力された製品Ｎｏ．と、に基づいて試料を検査し、その検査結果を解析結果として出力してもよい。その後、投影画像生成部２３は、解析結果と顕微鏡情報とに基づいて投影画像Ｐ６を表す投影画像データを生成してもよい。投影画像Ｐ６は、図１０の画像Ｖ７に示すように、試料の検査の合否を表す画像を含んでいる。このように、画像解析により検査を行い、検査結果を表示することで、利用者の作業負担をさらに軽減することができる。特に、検査に顕微鏡情報を用いることで検査対象物の長さなどを精度良く測定することができる。このため、高い精度で検査を行うことができる。さらに、制御装置１０は、解析結果に基づいて試料の検査項目についてのチェックシートを作成し、例えば、補助記憶装置１０ｃに記録してもよい。なお、チェックシートは、試料の画像と関連付けて記録することが望ましい。また、各製品の検査対象の情報（例えば、製品の各部のサイズ、形状など）は、予めに補助記憶装置１０ｃに記憶されていてもよく、また、通信制御装置１０ｆを用いてネットワークを経由して外部の装置から取得してもよい。

図１０では、音声入力によって製品識別情報である製品Ｎｏ．を取得する例を示したが、製品識別情報の取得方法は、音声入力に限らない。例えば、試料に製品識別情報が付されている場合には、画像解析部２２は、撮像装置１４０で取得したデジタル画像データを画像解析部２２が解析することで製品識別情報を特定してもよい。そして、画像解析部２２は、製品識別情報と顕微鏡情報とデジタル画像データとに基づいて製品を検査し、検査結果を解析結果として投影画像生成部２３へ出力しても良い。

また、画像解析部２２がデジタル画像データを解析することで製品識別情報を特定した場合、投影画像生成部２３は、例えば、図７の画像Ｖ５に示すように、製品識別情報で識別される製品に関連する画像を含む投影画像Ｐ４を表す投影画像データを生成してもよい。なお、製品に関連する画像は、例えば、製品の製品コード、製品の製品番号、又は、製品の検査手順を含む画像であることが望ましい。

図１１は、顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。図１１のＶ８に示すように、投影装置１３１は、マップ画像を含む投影画像Ｐ７を投影しても良い。マップ画像とは、試料の画像であって、像面に形成されている光学画像に対応する実視野よりも広い領域を写した画像のことである。このため、マップ画像は、例えば、対物レンズ１０２よりも低倍の対物レンズを用いて取得した試料の画像であってもよい。また、Whole Slide Imageのような複数の画像をタイリングすることで生成された画像であってもよい。画像解析部２２は、デジタル画像と予め取得したマップ画像とを比較することで、マップ画像上における光学画像に対応する位置を特定し、解析結果として投影画像生成部２３へ出力してもよい。投影画像生成部２３は、解析結果を用いることで、マップ画像の光学画像に対応する位置にマークＣを含む投影画像Ｐ７を生成しても良い。

また、結像レンズ１０３の焦点距離を変更することで、図１１に示すように、光学画像Ｏ３が投影される領域Ｒ１を領域Ｒ２に対して十分に小さくしてもよい。その上で、さらに、投影レンズ１３３の焦点距離を変更することで、投影画像Ｐ８を領域Ｒ１の外側に投影しても良い。なお、領域Ｒ３は、投影レンズ１３３からの光束が入射する像面ＩＰ１上の領域を示している。領域Ｒ４は、投影装置１３１が像面ＩＰ１に投影される領域を示している。つまり、図１１には、投影装置１３１からの光によって像面ＩＰ１に形成されるイメージサークルが試料からの光によって像面ＩＰ１に形成されるイメージサークルよりも大きい様子が示されている。

図１２は、顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。図１１に示す状態から対物レンズをより高い倍率を有する対物レンズに切り換えると、図１２の画像Ｖ９に示すように、領域Ｒ１には光学画像Ｏ３よりも高い倍率の光学画像Ｏ４が投影される。このとき、投影画像生成部２３は、マークＣの像面ＩＰ１における大きさが維持されるように投影画像データを生成し、投影装置１３１が投影画像Ｐ８を投影してもよい。

顕微鏡システム１は、図４及び図８に示す画像投影処理の代わりに図１３に示す画像投影処理を行ってもよい。図１３は、顕微鏡システム１が行う画像投影処理のフローチャートの更に別の例である。

図１３に示す画像投影処理では、顕微鏡システム１は、まず、試料の光学画像を像面ＩＰ１に投影し（ステップＳ２１）、さらに、顕微鏡情報を取得する（ステップＳ２２）。ステップＳ２１とステップＳ２２の処理は、図８に示すステップＳ１１とステップＳ１２と同様である。

次に、顕微鏡システム１は、画像取得設定を変更する（ステップＳ２３）。ここでは、制御装置１０は、ステップＳ２２で取得した顕微鏡情報に基づいて、画像取得設定を変更する。

その後、顕微鏡システム１は、デジタル画像データを取得し（ステップＳ２４）、デジタル画像データを解析する（ステップＳ２５）。さらに、顕微鏡システム１は、投影画像データを生成し（ステップＳ２６）、投影画像を像面に投影する（ステップＳ２７）。ステップＳ２４からステップＳ２６の処理は、図８に示すステップＳ１３とステップＳ１６と同様である。

このように、顕微鏡情報に基づいて画像取得設定を変更することで、顕微鏡システム１は、利用者の作業負担をさらに軽減することができる。以下、具体例について説明する。

制御装置１０は、例えば、投影倍率βに基づいてデジタル画像の明るさを推定することで、撮像装置１４０の検出感度を決定してもよく、撮像制御部２１が撮像装置１４０の検出感度の設定を変更してもよい。具体的には、例えば、増幅率を変更してもよく、図１４に示すように複数の画素ＰＸ１をひとまとめにして１つの画素ＰＸ２として扱うビニング処理を行ってもよい。これにより、画像解析に必要される明るさが確保されるため、精度の高い解析結果を得ることができる。

また、制御装置１０は、例えば、投影倍率αに基づいて光学画像の明るさを推定することで、光偏向素子１３２の反射率を変更してもよい。具体的には、例えば、光学画像の明るさが低い場合には、光偏向素子１３２の透過率を高めて反射率を低下させてもよい。これにより、光偏向素子１３２での試料からの光の損失を抑えて光学画像の明るさを確保することが可能となる。

また、制御装置１０は、例えば、投影倍率βと撮像素子１４１のサイズＡに基づいて、撮像素子１４１が有する有効画素のうち信号を読み出す画素を決定してもよく、撮像制御部２１が撮像装置１４０の読み出し範囲の設定を変更してもよい。例えば、図１５に示すように、有効画素からなる領域Ａ１に対して、試料からの光束が照射される領域Ａ３が小さい場合には、例えば、両域Ａ２に含まれる画素から信号を読み出しても良い。これにより、有効画素全体から信号を読み出す場合に比べてデジタル画像データを短時間で取得することができる。

なお、以上では、顕微鏡情報に基づいて画像取得設定を変更する例を示したが、顕微鏡情報とデジタル画像データに基づいて画像取得設定を変更してもよい。例えば、デジタル画像データに基づいてデジタル画像の明るさを検出し、その結果を踏まえて、照明強度、投影装置１３１の発光強度、光偏向素子１３２の反射率、などを調整して、光学画像と投影画像の明るさを調整しても良い。また、顕微鏡情報と解析結果に基づいて画像取得設定を変更してもよい。例えば、注目領域を追跡する解析を行う場合であれば、制御装置１０は、追跡結果に基づいて、注目領域が対物レンズ１０２の光軸上に位置するように、電動ステージであるステージ１０１を制御してもよい。つまり、解析結果に基づいて画像取得位置を変更してもよい。

［第２実施形態］
図１６は、本実施形態に係る顕微鏡システム２の構成を示した図である。顕微鏡システム２は、顕微鏡１００の代わりに顕微鏡２００を備える点が、顕微鏡システム１とは異なっている。顕微鏡２００は、中間鏡筒１３０の代わりに中間鏡筒１５０を備えている。中間鏡筒１５０には、投影装置１３１、光偏向素子１３２、及び、投影レンズ１３３に加えて、撮像装置１４０と、光偏向素子１４３が設けられている。

光偏向素子１４３は、試料からの光を撮像素子１４１に向けて偏向する。光偏向素子１４３は、例えば、ハーフミラーなどのビームスプリッタである。光偏向素子１４３は、光偏向素子１３２と対物レンズ１０２の間の光路上に配置されている。これにより、投影装置１３１からの光が撮像素子１４１へ入射することを回避することができる。

本実施形態に係る顕微鏡システム２によっても、顕微鏡システム１と同様の効果を得ることができる。また、投影装置１３１と撮像装置１４０を中間鏡筒１５０内に組み込むことで、投影画像を像面に投影するための機器を一つのユニットてして構成することができる。このため、既存の顕微鏡システムを容易に拡張することができる。

［第３実施形態］
図１７は、本実施形態に係る顕微鏡システム３の構成を示した図である。顕微鏡システム３は、顕微鏡１００の代わりに顕微鏡３００を備える点が、顕微鏡システム１とは異なっている。顕微鏡３００は、中間鏡筒１３０の代わりに中間鏡筒１６０を備えている。中間鏡筒１６０には、投影装置１３１、光偏向素子１３２、及び、投影レンズ１３３に加えて、撮像装置１４０と、光偏向素子１４３が設けられている。

光偏向素子１４３は、試料からの光を撮像素子１４１に向けて偏向する。光偏向素子１４３は、例えば、ハーフミラーなどのビームスプリッタである。光偏向素子１４３は、結像レンズ１０３と光偏向素子１３２の間の光路上に配置されている。

本実施形態に係る顕微鏡システム３によっても、顕微鏡システム１と同様の効果を得ることができる。

［第４実施形態］
図１８は、本実施形態に係る顕微鏡４００の構成を示した図である。なお、本実施形態に係る顕微鏡システムは、顕微鏡１００の代わりに顕微鏡４００を備える点を除き、顕微鏡システム１と同様である。

顕微鏡４００は、アクティブ方式のオートフォーカス装置５００を備えている点が、顕微鏡１００とは異なっている。その他の点は、顕微鏡１００と同様である。

オートフォーカス装置５００は、レーザ５０１、コリメートレンズ５０２、遮蔽板５０３、偏光ビームスプリッタ５０４、１／４波長板５０５、ダイクロイックミラー５０６、結像レンズ５０７、２分割ディテクタ５０８を備えている。レーザ５０１から出射したレーザ光は、コリメートレンズ５０２でコリメートされた後に、遮蔽板５０３でその半分の光束が遮断される。残りの半分の光束は、偏光ビームスプリッタ５０４で反射し、１／４波長板５０５、ダイクロイックミラー５０６を経由して、対物レンズ１０２に入射し、対物レンズ１０２によって試料に照射される。試料で反射したレーザ光は、対物レンズ１０２、ダイクロイックミラー５０６、１／４波長板５０５を経由して、再び、偏光ビームスプリッタ５０４へ入射する。偏光ビームスプリッタ５０４へ２度目に入射するレーザ光は、偏光ビームスプリッタ５０４で反射して以降、１／４波長板５０５を２度通過している。従って、偏光ビームスプリッタ５０４へ１度目に入射したときとの偏光方向とは直交する偏光方向を有している。このため、レーザ光は偏光ビームスプリッタ５０４を透過する。その後、レーザ光は、結像レンズ５０７により２分割ディテクタ５０８へ照射される。２分割ディテクタ５０８で検出される光量分布は、合焦状態からのずれ量に応じて変化する。このため、２分割ディテクタ５０８で検出される光量分布に応じてステージ１０１と対物レンズ１０２間の距離を調整することで、合焦状態を達成することができる。

本実施形態に係る顕微鏡システムは、ステージ１０１が対物レンズ１０２の光軸と直交する方向に移動したときに、オートフォーカス装置５００によりオートフォーカス処理を行う。これにより、顕微鏡システム１に比べて、更に利用者の作業負担を軽減することができる。

［第５実施形態］
図１９は、本実施形態に係る顕微鏡６００の構成を示した図である。なお、本実施形態に係る顕微鏡システムは、顕微鏡１００の代わりに顕微鏡６００を備える点を除き、顕微鏡システム１と同様である。

顕微鏡６００は、倒立顕微鏡である。顕微鏡６００は、透過照明光学系として、光源６０１とコンデンサレンズ６０２を備えている。顕微鏡６００は、コンデンサレンズ６０２と対向する位置に対物レンズ６０３を備えている。対物レンズ６０３の光軸上には、ビームスプリッタ６０４、ビームスプリッタ６０６、結像レンズ６０９、ビームスプリッタ６１０、リレーレンズ６１２、接眼レンズ６１３が並んでいる。

顕微鏡６００は、さらに、光源６０５を備える。光源６０５から出射した照明光は、ビームスプリッタ６０４によって試料に向けて偏向される。顕微鏡６００は、さらに、投影装置６０７と投影レンズ６０８を備える。投影装置６０７からの光は、投影レンズ６０８を経由して入射するビームスプリッタ６０６で接眼レンズ６１３へ向けて偏向される。これにより、結像レンズ６０９とリレーレンズ６１２の間の像面に、投影装置６０７からの光によって投影画像が投影される。顕微鏡６００は、さらに、撮像素子６１１を備えている。撮像素子６１１は、ビームスプリッタ６１０で反射した試料からの光を検出して、デジタル画像データを出力する。

本実施形態に係る顕微鏡システムによっても、顕微鏡システム１と同様の効果を得ることができる。

［第６実施形態］
図２０は、本実施形態に係る顕微鏡７００の構成を示した図である。なお、本実施形態に係る顕微鏡システムは、顕微鏡１００の代わりに顕微鏡７００を備える点を除き、顕微鏡システム１と同様である。

顕微鏡７００は、実体顕微鏡である。顕微鏡７００は、透過照明光学系として、光源７１２とコレクタレンズ７１１と、コンデンサレンズ７１０を備えている。顕微鏡７００は、落射照明光学系として、光源７０７と、対物レンズ７０８を備えている。顕微鏡７００は、外付けの照明光源である光源７０９を備えている。

顕微鏡７００は、さらに、対物レンズ７０８からの光を集光して中間像を形成する２組の結像レンズ（７０２ａ、７０２ｂ）と２組の接眼レンズ（７０１ａ、７０１ｂ）を備えている。接眼レンズ７０１ａと結像レンズ７０２ａは、右目用の光学系であり、接眼レンズ７０１ｂと結像レンズ７０２ｂは、左目用の光学系である。

顕微鏡７００は、さらに、右目用の光路上から分岐した光路上に、第１投影装置である投影装置７０３ａと、投影レンズ７０４ａを備え、左目用の光路上から分岐した光路上に、第２投影装置である投影装置７０３ｂと、投影レンズ７０４ｂを備えている。

顕微鏡７００は、さらに、右目用の光路上から分岐した光路上に、試料からの光に基づいて試料の第１デジタル画像データを取得する第１撮像装置である撮像装置７１０ａと、左目用の光路上から分岐した光路上に、試料からの光に基づいて試料の第２デジタル画像データを取得する第２撮像装置である撮像装置７１０ｂを備えている。撮像装置７１０ａは、結像レンズ７０６ａと撮像素子７０５ａを備え、撮像装置７１０ｂは、結像レンズ７０６ｂと撮像素子７０５ｂを備えている。

本実施形態に係る顕微鏡システムによっても、顕微鏡システム１と同様の効果を得ることができる。また、本実施形態では、画像解析部２２は、顕微鏡情報と第１デジタル画像データと第２デジタル画像データに基づいて、ステレオ計測を行い、試料の高さ情報を解析結果として出力することができる。そして、投影画像生成部２３は、顕微鏡情報と解析結果に基づいて、三次元画像である投影画像を表す投影画像データを生成する。その結果は、本実施形態に係る顕微鏡システムでは、投影装置７０３ａと投影装置７０３ｂが三次元画像である投影画像を像面に投影することができる。

さらに、本実施形態に係る顕微鏡システムでは、光源７０９が位相パターンを試料に照射してもよい。これにより、画像解析部２２は、第１デジタル画像データと第２デジタル画像データを解析して、ポイントクラウドデータを解析結果として出力することができる。そして、投影画像生成部２３は、顕微鏡情報と解析結果に基づいて、三次元画像である投影画像を表す投影画像データを生成する。その結果は、本実施形態に係る顕微鏡システムでは、投影装置７０３ａと投影装置７０３ｂが三次元画像である投影画像を像面に投影することができる。

上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。顕微鏡システムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。

また、上述した実施形態では、顕微鏡が撮像装置を含む例を示したが、上述した技術は、例えば、走査型顕微鏡に上述した技術を提供してもよい。その場合、顕微鏡は、撮像装置の代わりに、光電子増倍管（ＰＭＴ）などの光検出器を備えてもよい。

また、上述した実施形態では、結像レンズ１０３が焦点距離を可変するレンズである例、投影レンズ１３３が焦点距離を可変するレンズである例を示したが、顕微鏡システムは、他のレンズが可変焦点レンズであってもよい。顕微鏡システムは、第１投影倍率、第２投影倍率、第３投影倍率の少なくとも１つを可変するレンズを備えていることが望ましい。

また、画像解析部２２は、所定のアルゴリズムを用いて解析処理を行ってもよく、訓練済みのニューラルネットワークを用いて解析処理を行ってもよい。訓練済みのニューラルネットワークのパラメータは、顕微鏡システムとは異なる装置において、ニューラルネットワークを訓練することで生成されても良く、制御装置１０は生成されたパラメータをダウンロードして画像解析部２２に適用しても良い。

また、画像解析部２２は、顕微鏡システムの外部に設けられてもよい。例えば、通信制御部２５が外部システムへデジタル画像データを送信し、画像解析部２２を備える外部システムがデジタル画像データを解析してもよい。通信制御部２５は、デジタル画像データの解析結果を外部システムから受信してもよく、投影画像生成部２３は、受信した解析結果と顕微鏡情報に基づいて、投影画像データを生成してもよい。

１、２、３ 顕微鏡システム
１０ 制御装置
１０ａ プロセッサ
１０ｂ メモリ
１０ｃ 補助記憶装置
１０ｄ 入出力インタフェース
１０ｅ 媒体駆動装置
１０ｆ 通信制御装置
１０ｇ バス
１０ｈ 記憶媒体
２１ 撮像制御部
２２ 画像解析部
２３ 投影画像生成部
２４ 投影制御部
２５ 通信制御部
３０ 情報管理部
４０ 入力装置
４１ 音声入力装置
５０ 音声出力装置
１００、２００、３００、４００、６００、７００ 顕微鏡
１０１ ステージ
１０２、１０２ａ、６０３、７０８ 対物レンズ
１０３、５０７、６０９、７０２ａ、７０２ｂ、７０６ａ、７０６ｂ 結像レンズ
１０４、６１３、７０１ａ、７０１ｂ 接眼レンズ
１１０ 顕微鏡本体
１１１ ターレット
１２０ 鏡筒
１３０ 、１５０、１６０ 中間鏡筒
１３１、６０７、７０３ａ、７０３ｂ 投影装置
１３２、１４３ 光偏向素子
１３３、６０８、７０４ａ、７０４ｂ 投影レンズ
１４０、７１０ａ、７１０ｂ 撮像装置
１４１、６１１、７０５ａ、７０５ｂ 撮像素子
１４２ アダプタレンズ
５００ オートフォーカス装置
５０１ レーザ
５０２ コリメートレンズ
５０３ 遮蔽板
５０４ 偏光ビームスプリッタ
５０５ １／４波長板
５０６ ダイクロイックミラー
５０８ ２分割ディテクタ
６０１、６０５、７０７、７０９、７１２ 光源
６０２、７１０ コンデンサレンズ
６０４、６０６、６１０ ビームスプリッタ
６１２ リレーレンズ
７１１ コレクタレンズ
Ａ１〜Ａ３、Ｒ１〜Ｒ４ 領域
Ｃ マーク
ＩＰ１、ＩＰ１ａ、ＩＰ２ 像面
ＭＩ 顕微鏡情報
Ｏ１〜Ｏ４ 光学画像
ＯＰ１ 物体面
ＯＰ２ 表示面
Ｐ１〜Ｐ８ 投影画像
ＰＸ１、ＰＸ２ 画素
Ｖ１〜Ｖ９ 画像

Claims (28)

1. 接眼レンズと、
   試料からの光を前記接眼レンズへ導く対物レンズと、
   前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、
   前記試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、
   前記光学画像が形成されている前記結像レンズと前記接眼レンズの間の像面へ投影画像を投影する投影装置と、
   少なくとも、前記試料が前記像面に投影される第１倍率と、前記試料が前記撮像装置に投影される第２倍率と、前記投影装置が前記像面に投影される第３倍率と、前記撮像装置のサイズと、前記投影装置のサイズと、を含む顕微鏡情報を管理する制御装置と、を備える
   ことを特徴とする顕微鏡システム。
2. 請求項１に記載の顕微鏡システムにおいて、
   前記制御装置は、少なくとも前記顕微鏡情報に基づいて、前記投影画像を表す投影画像データを生成する投影画像生成部を備える
   ことを特徴とする顕微鏡システム。
3. 請求項２に記載の顕微鏡システムにおいて、
   前記制御装置は、さらに、前記撮像装置で取得した前記デジタル画像データを解析する画像解析部と、を備え、
   前記投影画像生成部は、前記画像解析部での解析結果と前記顕微鏡情報とに基づいて、前記投影画像データを生成する
   ことを特徴とする顕微鏡システム。
4. 請求項２又は請求項３に記載の顕微鏡システムにおいて、
   前記顕微鏡情報は、さらに、前記光学画像の形成に用いられた顕鏡法の情報を含み、
   前記投影画像生成部は、前記顕鏡法の情報に基づいて、前記投影画像の背景色を決定する
   ことを特徴とする顕微鏡システム。
5. 請求項１乃至請求項４のいずれか１項に記載の顕微鏡システムにおいて、
   前記制御装置は、さらに、前記撮像装置を制御する撮像制御部を備え、
   前記撮像制御部は、前記顕微鏡情報に基づいて、前記撮像装置の検出感度を決定する
   ことを特徴とする顕微鏡システム。
6. 請求項１乃至請求項４のいずれか１項に記載の顕微鏡システムにおいて、
   前記制御装置は、さらに、前記撮像装置を制御する撮像制御部を備え、
   前記撮像制御部は、前記顕微鏡情報に基づいて、前記撮像装置の有効画素から信号を読み出す画素を決定する
   ことを特徴とする顕微鏡システム。
7. 請求項１乃至請求項６のいずれか１項に記載の顕微鏡システムにおいて、さらに、
   前記対物レンズと前記接眼レンズの間の光路上に配置され、前記投影装置からの光を前記接眼レンズへ導く光偏向素子を備え、
   前記制御装置は、前記顕微鏡情報に基づいて、前記光偏向素子の反射率を変更する
   ことを特徴とする顕微鏡システム。
8. 請求項１乃至請求項７のいずれか１項に記載の顕微鏡システムにおいて、さらに、
   前記試料を載置するステージを備え、
   前記顕微鏡情報は、さらに、合焦状態における前記ステージの位置を示す、前記対物レンズの光軸と直交する方向の座標情報と、前記光軸の方向の座標情報と、の組み合わせ、を含む
   ことを特徴とする顕微鏡システム。
9. 請求項１乃至請求項８のいずれか１項に記載の顕微鏡システムにおいて、さらに、
   前記顕微鏡情報を音声で出力する音声出力装置を備える
   ことを特徴とする顕微鏡システム。
10. 請求項１乃至請求項９のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    前記第１倍率、前記第２倍率、前記第３倍率の少なくとも１つを可変するレンズを備える
    ことを特徴とする顕微鏡システム。
11. 請求項１０に記載の顕微鏡システムにおいて、
    前記レンズは、前記結像レンズである
    ことを特徴とする顕微鏡システム。
12. 請求項１乃至請求項１１のいずれか１項に記載の顕微鏡システムにおいて、
    前記投影装置からの光によって前記像面に形成されるイメージサークルが前記試料からの光によって前記像面に形成されるイメージサークルよりも大きい
    ことを特徴とする顕微鏡システム。
13. 請求項１乃至請求項４のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    前記制御装置は、さらに、前記撮像装置を制御する撮像制御部を備え、
    前記撮像制御部は、前記撮像装置の露光期間と前記投影画像の投影期間が重ならないように、前記撮像装置を制御する
    ことを特徴とする顕微鏡システム。
14. 請求項３に記載の顕微鏡システムにおいて、
    前記画像解析部は、前記デジタル画像データに基づいて、前記試料内の注目領域を追跡する
    ことを特徴とする顕微鏡システム。
15. 請求項１４に記載の顕微鏡システムにおいて、さらに、
    前記試料を載置する電動ステージを備え、
    前記制御装置は、前記画像解析部の追跡結果に基づいて、前記注目領域が前記対物レンズの光軸上に位置するように、前記電動ステージを制御する
    ことを特徴とする顕微鏡システム。
16. 請求項３に記載の顕微鏡システムにおいて、
    前記撮像装置は、
    前記試料からの光に基づいて前記試料の第１デジタル画像データを取得する第１撮像装置と、
    前記試料からの光に基づいて前記試料の第２デジタル画像データを取得する第２撮像装置と、を備え、
    前記画像解析部は、前記顕微鏡情報と前記第１デジタル画像データと前記第２デジタル画像データに基づいて、ステレオ計測を行い、前記試料の高さ情報を前記解析結果として出力する
    ことを特徴とする顕微鏡システム。
17. 請求項１６に記載の顕微鏡システムにおいて、
    前記投影画像生成部は、前記顕微鏡情報と前記解析結果に基づいて、前記投影画像データを生成し、ここで、前記投影画像データが表す前記投影画像は三次元画像であり、
    前記投影装置は、第１投影装置と、第２投影装置と、を備え、
    前記第１投影装置と前記第２投影装置は、前記像面へ前記投影画像を投影する
    ことを特徴とする顕微鏡システム。
18. 請求項３に記載の顕微鏡システムにおいて、さらに、
    位相パターンを前記試料に照射する光源を備え、
    前記画像解析部は、前記デジタル画像データを解析して、前記試料のポイントクラウドデータを前記解析結果として出力し、
    前記投影画像生成部は、前記顕微鏡情報と前記解析結果に基づいて、前記投影画像データを生成し、ここで、前記投影画像データが表す前記投影画像は三次元画像であり、
    前記投影装置は、第１投影装置と、第２投影装置と、を備え、
    前記第１投影装置と前記第２投影装置は、前記像面へ前記投影画像を投影する
    ことを特徴とする顕微鏡システム。
19. 請求項２乃至請求項４のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    音声入力装置と、を備え、
    前記投影画像生成部は、前記音声入力装置から入力された製品識別情報と前記顕微鏡情報とに基づいて、前記投影画像データを生成し、
    前記投影画像は、前記製品識別情報で識別される製品に関連する画像を含む
    ことを特徴とする顕微鏡システム。
20. 請求項３に記載の顕微鏡システムにおいて、さらに、
    前記画像解析部は、前記デジタル画像データを解析して、前記試料の付された製品識別情報を特定し、
    前記投影画像生成部は、前記画像解析部で特定された前記製品識別情報と前記顕微鏡情報とに基づいて、前記投影画像データを生成し、
    前記投影画像は、前記製品識別情報で識別される製品に関連する画像を含む
    ことを特徴とする顕微鏡システム。
21. 請求項１９又は請求項２０に記載の顕微鏡システムにおいて、
    前記製品に関連する画像は、前記製品の製品コード、前記製品の製品番号、又は、前記製品の検査手順を含む
    ことを特徴とする顕微鏡システム。
22. 請求項１９乃至請求項２１のいずれか１項に記載の顕微鏡システムにおいて、
    前記撮像装置は、前記試料からの光と前記投影装置からの光とに基づいて、前記光学画像に前記投影画像が重畳された重畳画像を表す重畳画像データを取得する
    ことを特徴とする顕微鏡システム。
23. 請求項３に記載の顕微鏡システムにおいて、さらに、
    音声入力装置と、を備え、
    前記画像解析部は、前記音声入力装置から入力された製品識別情報と前記顕微鏡情報と前記デジタル画像データとに基づいて前記試料を検査し、検査結果を前記解析結果として出力し、
    前記投影画像は、前記試料の検査の合否を表す画像を含む
    ことを特徴とする顕微鏡システム。
24. 請求項３に記載の顕微鏡システムにおいて、さらに、
    前記画像解析部は、
    前記デジタル画像データを解析して、前記試料の付された製品識別情報を特定し、
    特定された前記製品識別情報と前記顕微鏡情報と前記デジタル画像データとに基づいて前記試料を検査し、検査結果を前記解析結果として出力し、
    前記投影画像は、前記試料の検査の合否を表す画像を含む
    ことを特徴とする顕微鏡システム。
25. 請求項２３又は請求項２４に記載の顕微鏡システムにおいて、
    前記制御装置は、前記検査結果に基づいて前記試料の検査項目についてのチェックシートを作成する
    ことを特徴とする顕微鏡システム。
26. 請求項２３乃至請求項２５のいずれか１項に記載の顕微鏡システムにおいて、
    前記画像解析部は、前記試料の訓練済みのニューラルネットワークを用いて前記デジタル画像データを解析する
    ことを特徴とする顕微鏡システム。
27. 請求項２乃至請求項４のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    ネットワークを経由して前記顕微鏡システムと接続された外部システムとデータをやり取りする通信制御部と、を備え、
    前記投影画像生成部は、前記通信制御部が前記外部システムから受信したデータと前記顕微鏡情報に基づいて、前記投影画像データを生成する
    ことを特徴とする顕微鏡システム。
28. 請求項２乃至請求項４のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    ネットワークを経由して前記顕微鏡システムと接続された外部システムとデータをやり取りする通信制御部と、を備え、
    前記通信制御部は、
    前記外部システムへ前記デジタル画像データを送信し、
    前記デジタル画像データの解析結果を受信し、
    前記投影画像生成部は、前記通信制御部が前記外部システムから受信した前記解析結果と前記顕微鏡情報に基づいて、前記投影画像データを生成する
    ことを特徴とする顕微鏡システム。

Images