JP2023163525A - 顕微鏡システム、投影ユニット、画像投影方法 - Google Patents

顕微鏡システム、投影ユニット、画像投影方法 Download PDF

Info

Publication number
JP2023163525A
JP2023163525A JP2022074488A JP2022074488A JP2023163525A JP 2023163525 A JP2023163525 A JP 2023163525A JP 2022074488 A JP2022074488 A JP 2022074488A JP 2022074488 A JP2022074488 A JP 2022074488A JP 2023163525 A JP2023163525 A JP 2023163525A
Authority
JP
Japan
Prior art keywords
image
focus
information
analysis
microscope system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022074488A
Other languages
English (en)
Inventor
歩 櫻井
Ayumi Sakurai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Evident Co Ltd
Original Assignee
Evident Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Evident Co Ltd filed Critical Evident Co Ltd
Priority to JP2022074488A priority Critical patent/JP2023163525A/ja
Priority to US18/136,234 priority patent/US20230350185A1/en
Priority to EP23169987.7A priority patent/EP4270083A1/en
Priority to CN202310459470.3A priority patent/CN116974054A/zh
Publication of JP2023163525A publication Critical patent/JP2023163525A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/364—Projection microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/368—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

Figure 2023163525000001
【課題】ＡＲ顕微鏡における撮像装置のフォーカスずれに対処する。
【解決手段】顕微鏡システム１は、接眼レンズ１１３の物体側に標本Ｓの光学像を形成する観察光学系１１０と、光学像が形成される像面Ｐに情報を重畳する投影装置１３１と、観察光路から分岐した撮像光路上に設けられた撮像装置１２０と、制御装置２００を備える。制御装置２００は、投影装置１３１に、撮像装置１２０で取得した標本Ｓの撮像画像に基づくフォーカス情報と、前記撮像画像に対するフォーカス解析とは異なる画像解析の結果に関する解析情報とを、像面Ｐ上に重畳させる。
【選択図】図１

Description

本明細書の開示は、顕微鏡システム、投影ユニット、画像投影方法に関する。
近年、顕微鏡下で行う作業をＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）でサポートすることが期待されている。このようなＡＩサポートを提供可能な顕微鏡として、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）顕微鏡が知られている。
ＡＲ顕微鏡は、接眼レンズを覗いて観察する標本の光学像上に補助的な情報を重ねて表示する顕微鏡であり、例えば、特許文献１に記載されている。ＡＲ顕微鏡が表示する補助的な情報は、典型的には、その標本を撮像した撮像画像を解析することによって生成される。特に、撮像画像の解析にディープラーニングなどのＡＩ技術を用いることで、顕微鏡利用者に、ＡＩによる高度なサポートを提供することができる。
国際公開第２０２０／０６６０４１号公報
ところで、目視観察では、目の調整能力の分だけカメラ撮影よりも焦点深度が深くなる。このため、ＡＲ顕微鏡の利用者が目視観察で試料にフォーカスを合わせても、カメラではフォーカスが合っておらず、撮像画像がぼけてしまうといった事態が生じ得る。
このような課題は、目視用の観察光路と撮像光路を有する従来の顕微鏡でも生じるが、従来の顕微鏡では、撮像光路使用時にはモニタに表示される撮像画像でフォーカスが合っているかどうか確認可能である。これに対して、ＡＲ顕微鏡は、利用者の視線が接眼レンズとモニタを行き来する機会を減らすことで効率的な作業を可能とするといったメリットを享受するものである。従って、従来の顕微鏡のように、モニタで撮像画像を都度確認するといった対応は望ましくない。
以上のような実情を踏まえ、本発明の一側面に係る目的は、ＡＲ顕微鏡における撮像装置のフォーカスずれに対処する技術を提供することである。
本発明の一態様に係る顕微鏡システムは、接眼レンズの物体側に標本の光学像を形成する観察光学系と、前記光学像が形成される像面に情報を重畳する重畳装置と、前記観察光学系の光路から分岐した撮像光路上に設けられた撮像装置と、前記重畳装置に、前記撮像装置で取得した前記標本の撮像画像に基づく前記撮像装置のフォーカス状態に関するフォーカス情報と、前記撮像画像に対する画像解析であって前記フォーカス解析とは異なる画像解析の結果に関する解析情報とを、前記像面上に重畳させる制御装置と、を備える。
本発明の一態様に係る投影ユニットは、顕微鏡システム用の投影ユニットであって、前記顕微鏡システムに含まれる接眼レンズの物体側に前記顕微鏡システムに含まれる観察光学系が標本の光学像を形成する像面に情報を重畳する重畳装置と、前記観察光学系の光路から分岐した撮像光路上に設けられた撮像装置と、前記重畳装置に、前記撮像装置で取得した前記標本の撮像画像に基づく前記撮像装置のフォーカス状態に関するフォーカス情報と、前記撮像画像に対する画像解析であって前記フォーカス解析とは異なる画像解析の結果に関する解析情報とを、前記像面上に重畳させる制御装置と、を備える。
本発明の一態様に係る画像投影方法は、観察光学系を含む顕微鏡システムが行う画像投影方法であって、前記観察光学系に含まれる接眼レンズの物体側に標本の光学像を形成し、前記観察光学系の光路から分岐した撮像光路上に設けられた撮像装置で取得した前記標本の撮像画像に基づく前記撮像装置のフォーカス状態に関するフォーカス情報と、前記撮像画像に対する画像解析であって前記フォーカス解析とは異なる画像解析の結果に関する解析情報とを、前記像面上に重畳する。
上記の態様によれば、ＡＲ顕微鏡における撮像装置のフォーカスずれに対処することができる。
一実施形態に係る顕微鏡システムの構成を例示した図である。 一実施形態に係る画像投影処理のフローチャートの一例である。 第１の実施形態に係る画像投影処理のフローチャートの一例である。 接眼レンズ経由で観察される光学像の一例である。 第１の実施形態において接眼レンズ経由で観察される画像の一例である。 第２の実施形態において接眼レンズ経由で観察される画像の一例である。 第３の実施形態において接眼レンズ経由で観察される画像の一例である。 第４の実施形態に係る画像投影処理のフローチャートの一例である。 第４の実施形態において接眼レンズ経由で観察される画像の一例である。 第５の実施形態において接眼レンズ経由で観察される画像の一例である。 第６の実施形態に係る画像投影処理のフローチャートの一例である。 合焦レベルが十分でない場合に接眼レンズ経由で観察される画像の一例である。 第７の実施形態に係る画像投影処理のフローチャートの一例である。 第８の実施形態に係る画像投影処理のフローチャートの一例である。 第８の実施形態において接眼レンズ経由で観察される画像の一例である。 別の実施形態に係る顕微鏡システムの構成を例示した図である。 更に別の実施形態に係る顕微鏡システムの構成を例示した図である。 変形例に係る接眼レンズ経由で観察される画像の一例である。 制御装置を実現するためのコンピュータのハードウェア構成を例示した図である。
図１は、一実施形態に係る顕微鏡システム１の構成を例示した図である。顕微鏡システム１は、顕微鏡システム１は、例えば、病理医が病理診断で用いる顕微鏡システムである。ただし、顕微鏡システム１の用途はこれに限られない。顕微鏡システム１は、生物系の顕微鏡システムに限らず、工業用の顕微鏡システムであってもよい。
顕微鏡システム１は、少なくとも、接眼レンズ１１３を含む観察光学系１１０と、撮像装置１２０と、投影装置１３１と、制御装置２００を備えている。より詳細には、顕微鏡システム１は、図１に示すように、顕微鏡１００と、顕微鏡１００を制御する制御装置２００を備える。
顕微鏡１００は、光源１０１と、ステージ１０２と、焦準ハンドル１０３と、観察光学系１１０と、撮像装置１２０と、投影ユニット１３０を備えている。なお、図１では、顕微鏡１００は、正立顕微鏡であるが、倒立顕微鏡であってもよい。
観察光学系１１０は、接眼レンズ１１３の物体側に、ステージ１０２上に配置された標本Ｓの光学像を形成する。より詳細には、観察光学系１１０は、対物レンズ１１１と結像レンズ１１２を含み、対物レンズ１１１と結像レンズ１１２は、光源１０１からの光で照明された標本Ｓの光学像を、接眼レンズ１１３の物体側に位置する像面Ｐに形成する。なお、ステージ１０２から接眼レンズ１１３に至る観察光学系１１０の光路を、以降では、観察光路と記す。
撮像装置１２０は、例えば、撮像素子を備えたデジタルカメラであり、標本Ｓを撮像して、標本Ｓの撮像画像を取得する。撮像装置１２０は、観察光路から分岐した撮像光路上に設けられている。撮像装置１２０が備える撮像素子は、ＣＣＤやＣＭＯＳを用いたイメージセンサである。
投影ユニット１３０は、顕微鏡１００に着脱可能な中間鏡筒タイプのユニットであり、投影装置１３１と、ビームスプリッタ１３２を含んでいる。投影装置１３１は、光学像が形成される像面Ｐに情報を重畳する重畳装置の一例であり、例えば、ＤＭＤ（登録商標）を用いたＤＬＰ（登録商標）プロジェクタである。ただし、投影装置１３１は、液晶パネルを用いた液晶プロジェクタであってもよい。ビームスプリッタ１３２は、投影装置１３１からの光を観察光学系１１０の光路に合流させる光路合成素子である。
制御装置２００は、顕微鏡１００を制御する装置である。制御装置２００の構成の詳細については後述する。なお、図１では、制御装置２００は、単一の装置として示されているが、制御装置２００は、２以上の装置の集合であってもよい。制御装置２００は、例えば、顕微鏡制御専用のコントロールボックスと、汎用のコンピュータとで構成されてもよい。
図２は、一実施形態に係る画像投影処理のフローチャートの一例である。以下、図２を参照しながら、顕微鏡システム１の画像投影方法について説明する。上述した顕微鏡システム１は、図２に示す画像投影処理を実行することで、顕微鏡利用者が接眼レンズ１１３を覗いて標本Ｓを観察する際に、顕微鏡利用者に、コンピュータが行う画像解析を用いた高度なサポートを提供することができる。
まず、顕微鏡システム１は、標本Ｓの光学像を形成するとともに標本Ｓの撮像画像を取得する（ステップＳ１）。観察光路では、対物レンズ１１１が取り込んだ標本Ｓからの光を結像レンズ１１２が像面Ｐに集光することで、観察光学系１１０が接眼レンズ１１３の物体側に標本Ｓの光学像を形成する。一方で、観察光路から分岐した撮像光路では、撮像装置１２０が観察光路から入射した光で標本Ｓを撮像し、標本Ｓの撮像画像を取得する。なお、撮像装置１２０で取得した撮像画像は、制御装置２００へ出力される。
次に、顕微鏡システム１は、撮像画像に対してフォーカス解析と画像解析を実行する（ステップＳ２）。ここでは、制御装置２００が所定のプログラムを実行することで、フォーカス解析と画像解析を行う。フォーカス解析とは、撮像装置１２０のフォーカス状態を特定するために行われる画像解析のことである。また、フォーカス解析と共に行われる画像解析とは、フォーカス解析とは異なる画像解析のことであり、その内容については特に限定しない。この画像解析は、顕微鏡利用者の作業をサポートする情報を得るために行われればよい。
ステップＳ２では、制御装置２００は、撮像画像に対してフォーカス解析を実行することで、撮像装置１２０が標本Ｓへ合焦しているか否か、どの程度合焦しているか（合焦レベルがいくつか）などを、撮像装置１２０のフォーカス状態として特定する。なお、フォーカス解析の具体的なアルゴリズムは、既知の任意のアルゴリズムを採用すればよく、特に限定しない。例えば、標本Ｓの種類が既知であり合焦時のおよそのコントラスト値も既知である場合には、画像のコントラスト値を算出することでフォーカス状態を特定してもよい。また、撮像装置１２０に位相差検出画素が組み込まれている場合には、位相差検出画素で検出した像面位相差に基づいてフォーカス状態を特定してもよい。
その後、制御装置２００は、特定した撮像装置１２０のフォーカス状態に関する情報（以降、フォーカス情報と記す）を生成する。フォーカス情報は、ステップＳ３において像面に投影される情報である。このため、フォーカス情報は、顕微鏡利用者が撮像装置１２０のフォーカス状態を視覚的に認識できるものであればよく、フォーカス状態をどのように可視化したものであってもよい。フォーカス情報の具体例については、後述する実施形態において詳述する。
また、ステップＳ２では、制御装置２００は、撮像画像に対して画像解析を実行することで、画像解析の結果に関する情報（以降、解析情報と記す。）も生成する。画像解析には、特に限定しないが、機械学習によって得られた学習済みモデルが用いられてもよい。画像解析は、例えば、深層学習によって得られたニューラルネットワークモデルを用いて行われる画像分類、物体検出、セグメンテーション、又はこれらの組み合わせであってもよい。
なお、ステップＳ２では、制御装置２００は、フォーカス解析と画像解析を時間的に並列に行ってもよい。また、制御装置２００は、フォーカス解析と画像解析の一方を先に他方を後に行ってもよく、即ち、フォーカス解析と画像解析をシーケンシャルに行ってもよい。この場合、先行の処理の結果が一定の条件を満たすときにのみ後続の処理が行われてもよい。例えば、制御装置２００は、まずフォーカス解析を行い、その結果得られた撮像装置１２０のフォーカス状態が所定の条件を満たすときに、さらに画像解析を行ってもよい。また、先行の処理の結果を用いて後続の処理が行われてもよい。例えば、制御装置２００は、まず画像解析を行い、その結果得られた解析情報を用いて、さらにフォーカス解析を行ってもよい。
最後に、顕微鏡システム１は、フォーカス情報と解析情報を像面Ｐへ重畳する（ステップＳ３）。ここでは、制御装置２００が投影装置１３１を制御して、投影装置１３１に、ステップＳ２で取得したフォーカス情報と解析情報を像面Ｐ上に重畳させる。
ステップＳ３では、制御装置２００は、フォーカス情報と解析情報を同時に像面Ｐに重畳するように、投影装置１３１を制御してもよい。即ち、制御装置２００は、投影装置１３１がフォーカス情報と解析情報の両方を含む画像を像面Ｐ上に重畳してもよい。
ステップＳ３では、制御装置２００は、フォーカス情報と解析情報の少なくとも一方を含む画像を像面Ｐ上に重畳するように、投影装置１３１を制御してもよい。この場合、制御装置２００は、撮像装置１２０のフォーカス状態に応じて像面Ｐ上に重畳する画像に含まれる情報を変更するように、投影装置１３１を制御してもよい。例えば、制御装置２００は、撮像装置１２０のフォーカス状態が所定の条件を満たすときに、投影装置１３１に、解析情報を含む画像又は解析情報とフォーカス情報を含む画像を像面Ｐ上に重畳させてもよい。一方で、制御装置２００は、撮像装置１２０のフォーカス状態が所定の条件を満たさないときには、投影装置１３１に、解析情報を含まない画像、つまり、フォーカス情報のみを含む画像を像面Ｐ上に重畳させてもよい。
ステップＳ３では、制御装置２００は、フォーカス情報と解析情報のすべてを、つまり、撮像画像の全領域に関するフォーカス情報と解析情報を像面Ｐ上に重畳するように、投影装置１３１を制御してもよい。また、制御装置２００は、フォーカス情報と解析情報の一部を、つまり、撮像画像の一部の領域についてのフォーカス情報と解析情報を像面Ｐ上に重畳するように、投影装置１３１を制御してもよい。例えば、制御装置２００は、撮像装置１２０のフォーカス状態が所定の条件を満たす撮像画像中の領域を特定し、その領域についての解析情報を含む画像を、その領域に対応する像面Ｐ上の領域に重畳させてもよい。
以上のように、顕微鏡システム１が図２に示す画像投影処理を実行することで、標本Ｓの光学像が形成される像面に、顕微鏡利用者の作業をサポートするための解析情報に加えて、フォーカス情報が重畳される。顕微鏡利用者は、接眼レンズ１１３を覗いて標本Ｓの光学像を観察する際に、フォーカス情報を確認することで、カメラ撮影における焦点深度が目視観察における焦点深度よりも浅いことに起因するフォーカスずれが撮像装置１２０に生じているかどうかを容易に把握することができる。
顕微鏡利用者は、撮像装置１２０のフォーカスずれを把握することで、像面に重畳されている解析情報の信頼性を顕微鏡利用者自身で判断することができる。このため、フォーカスずれが大きく、撮像画像がボケていることが推測される場合は、顕微用利用者は解析情報を過度に信頼せずに、慎重に作業を行うことができる。このように、顕微鏡システム１によれば、顕微利用者に慎重な作業や判断を促すことで、フォーカスずれに対処することができる。
また、顕微鏡利用者は、フォーカスずれを把握することで、光学像がボケない範囲で焦準ハンドル１０３を操作してステージ１０２又は対物レンズ１１１を上下させて、撮像装置１２０のフォーカスを標本Ｓに合わせることができる。このように、顕微鏡システム１によれば、接眼レンズ１１３から目を離すことなく顕微鏡利用者に撮像装置１２０に生じたフォーカスずれを解消させることで、フォーカスずれに対処することができる。
特に、撮像装置１２０に生じるフォーカスずれを解消することで、画像解析に適した撮像画像が制御装置２００へ提供されるため、顕微鏡システム１は、ボケた撮像画像によって画像解析が適切に行われない状態や信頼性の低い解析情報が像面に投影されてしまう状態を解消することができる。従って、ＡＲ顕微鏡（顕微鏡システム１）が有する本来の機能を十分発揮して、解析情報による高度なサポートを顕微鏡利用者に提供することができる。
以下、顕微鏡システム１が行う図２に示す画像投影処理の具体例について、各実施形態で説明する。
（第１の実施形態）
図３は、本実施形態に係る画像投影処理のフローチャートの一例である。図４は、接眼レンズ１１３経由で観察される光学像の一例である。図５は、本実施形態において接眼レンズ１１３経由で観察される画像の一例である。
顕微鏡システム１が図３に示す画像投影処理を開始すると、まず、観察光学系１１０が標本Ｓの光学像を像面Ｐに形成する（ステップＳ１１）。ステップＳ１１では、顕微鏡利用者は、図４に示すように、接眼レンズ１１３を覗くことで光学像１０のみを観察することができる。
さらに、撮像装置１２０が標本Ｓの撮像画像を取得する（ステップＳ１２）。その後、制御装置２００がステップＳ１２で取得した撮像画像に基づいてフォーカス解析と画像解析を行い、フォーカス情報と解析情報を生成する（ステップＳ１３、ステップＳ１４）。なお、ステップＳ１３とステップＳ１４の処理順は、この例に限らない。制御装置２００は、時間的に並列にこれらの処理を行ってもよく、また、ステップＳ１４の処理をステップＳ１３の処理よりも先に行ってもよい。
ステップＳ１３では、制御装置２００は、撮像画像に対してフォーカス解析を行うことで、例えば、撮像画像のコントラスト値を算出する。撮像画像のコントラスト値は、特に限定しないが、撮像画像の全体に対して算出してもよく、撮像画像中の一部の関心領域（例えば、視野中心付近のみ）に対して算出してもよい。また、撮像画像のコントラスト値は、撮像画像が区分された複数の領域の各々に対して算出した領域毎のコントラスト値を平均することで算出してもよい。さらに、制御装置２００は、算出したコントラスト値を、基準値を用いて正規化してもよい。
なお、基準値は、撮像装置１２０が標本Ｓにフォーカスしている、つまり、合焦レベルが十分に高く撮像装置１２０のフォーカス状態が合焦状態にあると判断できる程度のコントラスト値であればよい。また、基準値は、標本Ｓの種類毎に予め適切な値に設定することが望ましい。
制御装置２００は、その後、コントラスト値に基づいて、フォーカス情報を生成する。本実施形態では、制御装置２００は、コントラスト値がフォーカス状態を示すインジケータとして可視化されるように、フォーカス情報を生成する。インジケータは、特に限定しないが、コントラスト値を、例えば、バーの長さで表すものであってもよい。なお、フォーカス情報はインジケータを含んでいればよく、インジケータの他に追加の情報を含んでもよい。
制御装置２００は、さらに、撮像画像に基づいて画像解析を行い、解析情報を生成する（ステップＳ１４）。ここでは、制御装置２００は、画像解析として、機械学習で学習済みのニューラルネットワークモデルを用いて画像中の物体とその物体のカテゴリを検出する推論処理を行い、検出した所定のカテゴリの物体の位置がマーキングされるように、解析情報を生成する。この推論処理は、例えば、物体検出やセグメンテーションである。なお、以降では、制御装置２００が、予め機械学習によって画像中の細胞と細胞の核を検出するように学習した学習済みモデルを用いて、核にマーキングする解析情報を生成する例を用いて、説明する。
フォーカス情報と解析情報が生成されると、制御装置２００は、投影装置１３１を制御して、投影装置１３１にフォーカス情報と解析情報を含む画像を像面Ｐに投影させる（ステップＳ１５）。ここでは、制御装置２００は、ステップＳ１３で生成したフォーカス情報とステップＳ１４で生成した解析情報を含む画像データを投影装置１３１に出力することで、図５に示すように、投影装置１３１が補助画像２１を像面Ｐに投影する。なお、補助画像とは、投影装置１３１が像面Ｐに投影する画像のことである。
図５には、細胞の核をマーキングした解析情報３０と、フォーカス状態を示すインジケータであるフォーカス情報４１とを含む補助画像２１が像面に重畳されて、光学像１０と同時に観察される様子を示している。
以上の様に、本実施形態によれば、顕微鏡システム１は、画像解析結果を光学像１０に重ねて表示することで顕微用利用者の作業をサポートしながら、撮像装置１２０のフォーカス状態を顕微鏡利用者に知らせることができる。特に、フォーカス情報４１のようなインジケータとしてフォーカス状態を可視化することで、顕微鏡利用者は、より直感的に撮像装置１２０のフォーカス状態を把握することができる。
（第２の実施形態）
図６は、本実施形態において接眼レンズ１１３経由で観察される画像の一例である。以下、図６を参照しながら、本実施形態に係る画像投影処理について説明する。
本実施形態に係る画像投影処理では、ステップＳ１３で生成されるフォーカス情報が第１の実施形態に係る画像投影処理とは異なっている。その他の点は、第１の実施形態に係る画像投影処理と同様である。
具体的には、制御装置２００は、ステップＳ１３では、算出されたコントラスト値が文字情報として可視化されるように、フォーカス情報を生成する。コントラスト値から文字情報への変換は、予め決められたルールによって行われればよい。例えば、コントラスト値が閾値以上であれば、撮像装置１２０が標本Ｓにフォーカスしていることを示す文字情報を生成すればよく、閾値未満であれば、撮像装置１２０が標本Ｓにフォーカスしていないことを示す文字情報を生成すればよい。また、文字情報は、フォーカス状態が合焦状態になるか非合焦状態になるかを示すものに限られず、どの程度フォーカスが合っているか、つまり、合焦レベルを示すものであってもよい。また、文字情報は、これらの組み合わせであってもよい。なお、フォーカス情報は文字情報を含んでいればよく、文字情報の他に追加の情報、例えば、第１の実施形態で示したインジケータなどを含んでもよい。
図６には、細胞の核をマーキングした解析情報３０と、フォーカス状態を示す文字情報であるフォーカス情報４２とを含む補助画像２２が像面に重畳されて、光学像１０と同時に観察される様子が示されている。この例では、フォーカス情報４２は、撮像装置１２０が標本Ｓにフォーカスしていることを示している。
本実施形態によっても、顕微鏡システム１は、画像解析結果を光学像１０に重ねて表示することで顕微用利用者の作業をサポートしながら、撮像装置１２０のフォーカス状態を顕微鏡利用者に知らせることができる。
（第３の実施形態）
図７は、本実施形態において接眼レンズ１１３経由で観察される画像の一例である。以下、図７を参照しながら、本実施形態に係る画像投影処理について説明する。
本実施形態に係る画像投影処理では、ステップＳ１３で生成されるフォーカス情報が第１の実施形態に係る画像投影処理とは異なっている。その他の点は、第１の実施形態に係る画像投影処理と同様である。
具体的には、制御装置２００は、ステップＳ１３では、合焦レベルが他の領域よりも高い領域をマーキングするフォーカスピーキング情報として可視化されるように、フォーカス情報を生成する。フォーカスピーキング情報は、例えば、撮像画像中の小領域毎（例えば数画素毎）にコントラスト値を算出して、そのコントラスト値を他の領域のコントラスト値と比較することで生成されてもよい。なお、フォーカス情報はフォーカスピーキング情報を含んでいればよく、フォーカスピーキング情報の他に追加の情報、例えば、第１の実施形態で示したインジケータや第２の実施形態で示す文字情報などを含んでもよい。
図７には、細胞の核をマーキングした解析情報３０と、フォーカス状態を示すフォーカスピーキング情報であるフォーカス情報４３とを含む補助画像２３が像面に重畳されて、光学像１０と同時に観察される様子が示されている。この例では、フォーカス情報４３は、視野の中心付近では撮像装置１２０が標本Ｓにフォーカスしているのに対して、視野周辺部分では撮像装置１２０が標本Ｓに十分にフォーカスしていないことを示している。
本実施形態によっても、顕微鏡システム１は、画像解析結果を光学像１０に重ねて表示することで顕微用利用者の作業をサポートしながら、撮像装置１２０のフォーカス状態を顕微鏡利用者に知らせることができる。特に、フォーカス情報４３のようなフォーカスピーキング情報としてフォーカス状態を可視化することで、顕微鏡利用者は、視野内の場所によって合焦レベルが異なる場合であっても、フォーカスが合っている領域と合っていない領域を見分けることができる。
（第４の実施形態）
図８は、本実施形態に係る画像投影処理のフローチャートの一例である。図９は、本実施形態において接眼レンズ経由で観察される画像の一例である。以下、図８及び図９を参照しながら、本実施形態に係る画像投影処理について説明する。
顕微鏡システム１が図８に示す画像投影処理を開始すると、まず、観察光学系１１０が標本Ｓの光学像を像面Ｐに形成し（ステップＳ２１）、撮像装置１２０が標本Ｓの撮像画像を取得する（ステップＳ２２）。なお、ステップＳ２１とステップＳ２２の処理は、図３に示すステップＳ１１とステップＳ１２の処理と同様である。
次に、制御装置２００は、撮像画像に基づいて画像解析を行い、解析情報を生成する（ステップＳ２３）。ステップＳ２３では、制御装置２００は、例えば、撮像画像に対して撮像画像中の細胞と細胞核を検出する推論処理を行う。そして、制御装置２００は、検出した細胞核をマーキングする情報と、検出した細胞の位置を示す図形、具体的には、バウンディングボックスと、を解析情報として生成する。より詳細には、制御装置２００は、細胞核をマーキングする情報をセグメンテーションで生成し、バウンディングボックスを物体検出で生成してもよい。
その後、制御装置２００は、撮像画像とステップＳ２３で生成した解析情報とに基づいてフォーカス解析を行い、フォーカス情報を生成する（ステップＳ２４）。ステップＳ２４では、制御装置２００は、例えば、ステップＳ２３の推論処理により検出された撮像画像中の細胞の領域毎に撮像画像からコントラスト値を算出する。そして、制御装置２００は、バウンディングボックスの色を算出したコントラスト値に応じた色に決定する。即ち、バウンディングボックスの色を含む情報をフォーカス情報として生成する。
フォーカス情報と解析情報が生成されると、制御装置２００は、投影装置１３１を制御して、投影装置１３１にフォーカス情報と解析情報を含む画像を像面Ｐに投影させる（ステップＳ２５）。ここでは、制御装置２００は、ステップＳ２３で生成した解析情報とステップＳ２４で生成したフォーカス情報を含む画像データを投影装置１３１に出力することで、図９に示すように、投影装置１３１が補助画像２４を像面Ｐに投影する。
図９には、細胞の核をマーキングした解析情報３０と、細胞の位置を示し、且つ、各細胞へのフォーカス状態に応じて色分けされたバウンディングボックス４４とを含む補助画像２４が像面に重畳されて、光学像１０と同時に観察される様子が示されている。なお、バウンディングボックス４４が示す位置の情報は解析情報３０と同様に、解析情報の一例である。また、バウンディングボックス４４が示す色の情報はフォーカス情報の一例である。図９では、説明の都合上、色の違いを線種の違いで表している。この例では、バウンディングボックス４４が細胞毎のフォーカス状態を示している。
本実施形態によっても、顕微鏡システム１は、画像解析結果を光学像１０に重ねて表示することで顕微用利用者の作業をサポートしながら、撮像装置１２０のフォーカス状態を顕微鏡利用者に知らせることができる。特に、画像解析結果であるバウンディングボックスをフォーカス状態に応じて色分けすることで、解析情報と同じ空間にフォーカス情報を重畳することができる。従って、像面Ｐ上の領域を補助画像が過度に占有して、光学像１０が観察しづらくなるといった事態を避けることができる。
（第５の実施形態）
図１０は、本実施形態において接眼レンズ経由で観察される画像の一例である。以下、図１０を参照しながら、本実施形態に係る画像投影処理について説明する。
本実施形態に係る画像投影処理では、ステップＳ２３で生成される解析情報とステップＳ２４で生成されるフォーカス情報が第４の実施形態に係る画像投影処理とは異なっている。その他の点は、第４の実施形態に係る画像投影処理と同様である。
具体的には、制御装置２００は、ステップＳ２３では、例えば、撮像画像に対して撮像画像中の細胞と細胞核を検出する推論処理を行う。この点は第４の実施形態と同様である。ただし、本実施形態では、制御装置２００は、検出した細胞核をマーキングする情報（解析情報３０）と、検出した細胞をマーキングする情報（情報４５）を、セグメンテーションで生成する。
さらに、制御装置２００は、ステップＳ２４では、例えば、ステップＳ２３の推論処理により検出された撮像画像中の細胞の領域毎に撮像画像からコントラスト値を算出する。この点は第４の実施形態と同様である。ただし、本実施形態では、制御装置２００は、検出した細胞をマーキングする情報（情報４５）の色を算出したコントラスト値に応じた色に決定する。即ち、一般にカテゴリに応じて行われるセグメンテーションの色分けをフォーカス状態に応じて行う。また、制御装置２００は、さらに、色分けとフォーカス状態の関係を示す凡例４５ａを生成してもよい。
図１０には、細胞の核をマーキングした解析情報３０と、細胞をマーキングし、且つ、各細胞へのフォーカス状態に応じて色分けされた情報４５と、凡例４５ａを含む補助画像２５が像面に重畳されて、光学像１０と同時に観察される様子が示されている。なお、情報４５が示す位置の情報は解析情報３０と同様に、解析情報の一例である。また、情報４５が示す色の情報はフォーカス情報の一例である。
本実施形態によっても、顕微鏡システム１は、画像解析結果を光学像１０に重ねて表示することで顕微用利用者の作業をサポートしながら、撮像装置１２０のフォーカス状態を顕微鏡利用者に知らせることができる。また、画像解析結果をフォーカス状態に応じて色分けすることで、解析情報と同じ空間にフォーカス情報を重畳することができる点は、第４の実施形態と同様である。
（第６の実施形態）
図１１は、本実施形態に係る画像投影処理のフローチャートの一例である。図１２は、合焦レベルが十分でない場合に接眼レンズ経由で観察される画像の一例である。以下、図１１及び図１２を参照しながら、本実施形態に係る画像投影処理について説明する。
顕微鏡システム１が図１１に示す画像投影処理を開始すると、まず、観察光学系１１０が標本Ｓの光学像を像面Ｐに形成し（ステップＳ３１）、撮像装置１２０が標本Ｓの撮像画像を取得し（ステップＳ３２）、制御装置２００が撮像画像に基づいてフォーカス解析を行う（ステップＳ３３）。なお、ステップＳ３１からステップＳ３３の処理は、図３に示すステップＳ１１からステップＳ１３の処理と同様である。
その後、制御装置２００は、撮像装置１２０の合焦レベルが閾値以上か否かを判定し（ステップＳ３４）、判定結果に応じてその後の処理を異ならせる。なお、閾値は、撮像装置１２０が標本Ｓにフォーカスしていると判断できる程度の合焦レベルであればよい。
合焦レベルが閾値以上であると判定した場合には（ステップＳ３４ＹＥＳ）、制御装置２００は、撮像画像に基づいて画像解析を行う（ステップＳ３５）。その後、制御装置２００は、投影装置１３１を制御して、投影装置１３１にステップＳ３３で生成したフォーカス情報とステップＳ３５で生成した解析情報を含む画像を像面Ｐに投影させる（ステップＳ３６）。なお、ステップＳ３５とステップＳ３６の処理は、図３に示すステップＳ１４とステップＳ１５の処理と同様である。ステップＳ３６では、顕微鏡利用者は、例えば、図５に示す画像を観察することができる。
一方、合焦レベルが閾値以上でないと判定した場合には（ステップＳ３４ＮＯ）、制御装置２００は、画像解析を行わず、投影装置１３１を制御して、投影装置１３１にステップＳ３３で生成したフォーカス情報を含む画像を像面Ｐに投影させる（ステップＳ３７）。これにより、例えば、図１２に示すようなフォーカス情報４１だけを含む補助画像２６が、投影装置１３１によって像面Ｐに投影される。
本実施形態によれば、顕微鏡システム１は、撮像装置１２０の合焦レベルがある程度高い状態でのみ、画像解析結果を光学像１０に重ねて表示することで顕微用利用者の作業をサポートすることができる。このため、ボケが生じた撮像画像に基づいて信頼性の低い画像解析結果が顕微鏡利用者に提供されることを回避することができる。また、顕微鏡システム１では、撮像装置１２０の合焦レベルが低い状態でも、フォーカス情報は光学像１０に重ねて表示される。このため、顕微鏡利用者は、フォーカス情報を確認することで、撮像装置１２０のフォーカスずれを認識することが可能であり、顕微鏡システム１は、顕微鏡利用者にフォーカスずれを解消するように操作を促すことができる。
なお、本実施形態では、第１の実施形態と同様に、フォーカス情報としてフォーカス状態を示すインジケータが表示される例を示したが、第２の実施形態と同様に、フォーカス情報としてフォーカス状態を示す文字情報が表示されてもよく、第３の実施形態と同様に、フォーカス情報としてフォーカス状態を示すフォーカスピーキング情報が表示されてもよい。
（第７の実施形態）
図１３は、本実施形態に係る画像投影処理のフローチャートの一例である。以下、図１３を参照しながら、本実施形態に係る画像投影処理について説明する。
顕微鏡システム１が図１３に示す画像投影処理を開始すると、まず、観察光学系１１０が標本Ｓの光学像を像面Ｐに形成し（ステップＳ４１）、撮像装置１２０が標本Ｓの撮像画像を取得する（ステップＳ４２）。なお、ステップＳ４１とステップＳ４２の処理は、図８に示すステップＳ２１とステップＳ２２の処理と同様である。
次に、制御装置２００は、撮像画像に基づいてフォーカス解析を行う（ステップＳ４３）。この点は、図８に示す画像投影処理とは異なっている。ステップＳ３３のフォーカス解析は、例えば、図３に示す画像投影処理のステップＳ１３と同様である。
その後、制御装置２００は、撮像装置１２０の合焦レベルが閾値以上か否かを判定し（ステップＳ４４）、判定結果に応じてその後の処理を異ならせる。この処理は、図１１に示す画像投影処理のステップＳ３４と同様でる。閾値は、撮像装置１２０が全体として標本Ｓにフォーカスしていると判断できる程度の合焦レベルであればよい。
合焦レベルが閾値以上であると判定した場合には（ステップＳ４４ＹＥＳ）、制御装置２００は、撮像画像に基づいて画像解析を行い（ステップＳ４５）、さらに、撮像画像とステップＳ４５で生成した解析情報とに基づいてフォーカス解析を行う（ステップＳ４６）。その後、制御装置２００は、投影装置１３１を制御して、投影装置１３１にステップＳ４６で生成したフォーカス情報とステップＳ４５で生成した解析情報を含む画像を像面Ｐに投影させる（ステップＳ４７）。なお、ステップＳ４５からステップＳ４７の処理は、図８に示すステップＳ２３からステップＳ２５の処理と同様である。ステップＳ４７では、顕微鏡利用者は、例えば、図９に示す画像を観察することができる。
一方、合焦レベルが閾値以上でないと判定した場合には（ステップＳ４４ＮＯ）、制御装置２００は、画像解析を行わず、投影装置１３１を制御して、投影装置１３１にステップＳ４３で生成したフォーカス情報を含む画像を像面Ｐに投影させる（ステップＳ４８）。これにより、例えば、図１２に示すようなフォーカス情報４１だけを含む補助画像２６が、投影装置１３１によって像面Ｐに投影される。
本実施形態によれば、顕微鏡システム１は、第６の実施形態と同様に、撮像装置１２０の合焦レベルがある程度高い状態でのみ、画像解析結果を光学像１０に重ねて表示することで顕微用利用者の作業をサポートすることができる。このため、ボケが生じた撮像画像に基づいて信頼性の低い画像解析結果が顕微鏡利用者に提供されることを回避することができる。また、撮像装置１２０の合焦レベルが低い状態でも、フォーカス情報は光学像１０に重ねて表される。このため、顕微鏡利用者は、フォーカス情報を確認することで、撮像装置１２０のフォーカスずれを認識することが可能である、つまり、本実施形態では、顕微鏡システム１は、顕微鏡利用者にフォーカスずれを解消するように操作を促すことができるという点も、第６の実施形態と同様である。さらに、本実施形態では、顕微鏡システム１は、ある程度の合焦レベルに達している場合には、検出対象（この例では、細胞）毎のフォーカス情報を解析情報と共に顕微鏡利用者に提供することができる。これにより、顕微鏡利用者は、特に注目して観察したい対象に合わせてフォーカスをさらに調整することができる。
なお、本実施形態では、第４の実施形態と同様に、解析情報としてバウンディングボックスが表示される例を示したが、第５の実施形態と同様に、画像解析により検出対象である細胞を塗りつぶす処理が行われてもよい。
（第８の実施形態）
図１４は、本実施形態に係る画像投影処理のフローチャートの一例である。図１５は、本実施形態において接眼レンズ経由で観察される画像の一例である。以下、図１４及び図１５を参照しながら、本実施形態に係る画像投影処理について説明する。
顕微鏡システム１が図１４に示す画像投影処理を開始すると、まず、観察光学系１１０が標本Ｓの光学像を像面Ｐに形成し（ステップＳ５１）、撮像装置１２０が標本Ｓの撮像画像を取得する（ステップＳ５２）。さらに、制御装置２００は、撮像画像に基づいて画像解析を行い（ステップＳ５３）、撮像画像とステップＳ５３で生成した解析情報に基づいてフォーカス解析を行う（ステップＳ５４）。なお、ステップＳ５１からステップＳ５４の処理は、図８に示すステップＳ２１からステップＳ２４の処理と同様である。
その後、制御装置２００は、投影装置１３１を制御して、投影装置１３１に、合焦レベルが閾値以上の領域に関して、フォーカス情報と解析情報を含む画像を像面Ｐに投影させる（ステップＳ５５）。ここでは、制御装置２００は、ステップＳ５３の推論処理により検出された撮像画像中の細胞の領域毎に特定された合焦レベルに基づいて、像面に投影するフォーカス情報と解析情報の範囲を決定し、決定した範囲内のフォーカス情報と解析情報とを含む画像を、投影装置１３１に像面Ｐ上に投影させる。
図１５には、細胞の核をマーキングした解析情報３１と、細胞の位置を示し、且つ、各細胞へのフォーカス状態に応じて色分けされたバウンディングボックス４８とを含む補助画像２８が像面に重畳されて、光学像１０と同時に観察される様子が示されている。なお、図９との比較でよくわかるように、図１５では、解析情報３１とバウンディングボックス４８は、合焦レベルが高い細胞についてのみ表示されている。
本実施形態によれば、顕微鏡システム１は、撮像装置１２０の合焦レベルがある程度高い領域にのみ、画像解析結果を光学像１０に重ねて表示することで顕微用利用者の作業をサポートすることができる。このため、撮像画像中のボケが生じた領域に基づいて信頼性の低い画像解析結果が顕微鏡利用者に提供されることを回避することができる。また、合焦レベルが高い領域についてのみ画像解析結果が表示されることで、撮像画像内で合焦レベルにばらつきのある場合や、撮像画像全体として合焦レベルが十分に高くない場合であっても、部分的に画像解析結果を顕微鏡利用者に提供することができる。
上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。上述の実施形態を変形した変形形態および上述した実施形態に代替する代替形態が包含され得る。つまり、各実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形することが可能である。また、１つ以上の実施形態に開示されている複数の構成要素を適宜組み合わせることにより、新たな実施形態を実施することができる。また、各実施形態に示される構成要素からいくつかの構成要素を削除してもよく、または実施形態に示される構成要素にいくつかの構成要素を追加してもよい。さらに、各実施形態に示す処理手順は、矛盾しない限り順序を入れ替えて行われてもよい。即ち、本発明の顕微鏡システム、投影ユニット、画像投影方法は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
上述した実施形態では、重畳装置の一例として投影装置１３１を例示したが、顕微鏡システムは、重畳装置として対物レンズ１１１と接眼レンズ１１３の間の光路上に配置された透過型液晶素子を有してもよい。光学像が形成される像面に透過型液晶素子が配置されることで、透過型液晶素子で表示した画像を光学像に直接重畳してもよい。
また、上述した実施形態では、フォーカス状態によらずフォーカス情報を像面に重畳する例を示したが、フォーカス状態が非合焦状態にある場合にのみフォーカス情報を像面に重畳してもよく、フォーカス状態にある場合にはフォーカス情報を目立たないように、例えば、コントラストを小さくして像面に重畳してもよい。
また、上述した実施形態では、フォーカス状態によらずフォーカス情報を像面に重畳する例を示したが、フォーカス状態が非合焦状態にある場合にはフォーカス情報を大きく像面に重畳してもよく、フォーカス状態にある場合にはフォーカス情報を小さく像面に重畳してもよい。非合焦状態にある場合にフォーカス情報を大きく像面に重畳することで、顕微鏡利用者にフォーカス調整を強く促すことができる。
また、上述した実施形態では、フォーカス情報を１枚の撮像画像から生成する例を示した、フォーカス状態が特定できない場合や非合焦状態にある場合には焦準ハンドル１０３の操作を促すメッセージを像面に投影してもよい。焦準ハンドル１０３の操作により撮像装置１２０が異なるＺ位置で複数の撮像画像を取得することで、より正確にフォーカス状態を特定したフォーカス情報を生成してもよい。
また、フォーカス状態は少なくとも視野の９か所（上段の左、中央、右、中段の左、中央、右、下段の左、中央、右）で特定し、９か所のフォーカス状態から標本Ｓの傾斜を検出してもよい。標本Ｓの傾斜を検出すると、像面にその旨を表示することで顕微利用者に標本Ｓを水平に配置するように促してもよい。
図１６は、別の実施形態に係る顕微鏡システム２の構成を例示した図である。上述した実施形態では、顕微鏡システム１に含まれる制御装置２００がフォーカス解析と画像解析を行ってフォーカス情報と解析情報を生成する例を示したが、顕微鏡システムに含まれる制御装置は、投影装置１３１に、フォーカス情報と解析情報を光学像が形成される像面に投影させればよく、フォーカス情報と解析情報は、制御装置が生成する代わりに他の装置から取得してもよい。
図１６に示すように、顕微鏡システム２は、外部システム３００と通信する制御装置２００ａを含んでもよい。制御装置２００ａは、撮像画像に基づいてフォーカス情報と解析情報の少なくとも一方を生成してもよく、どちらも生成しなくてもよい。制御装置２００ａは、撮像画像を外部システム３００へ送信することで、外部システム３００にフォーカス解析と画像解析の少なくとも一方を依頼して、処理結果を外部システム３００から取得してもよい。
顕微鏡システム２によっても、上述した顕微鏡システム１と同様に、ＡＲ顕微鏡（顕微鏡１００）における撮像装置１２０のフォーカスずれに対処することができる。
図１７は、更に別の実施形態に係る顕微鏡システム３の構成を例示した図である。上述した実施形態では、顕微鏡１００とは異なる制御装置２００が補助画像を投影する処理を制御する例を示したが、補助画像を投影する処理は、顕微鏡に取り付けられた、顕微鏡システム用の投影ユニットにより行われてもよい。
図１７に示すように、顕微鏡システム３は、撮像装置１４１と投影装置１４３の両方を含む投影ユニット１４０を備えてもよい。投影ユニット１４０は、観察光路からの光を撮像装置１４１へ導くビームスプリッタ１４２と、投影装置１４３からの光を観察光路に合成するビームスプリッタ１４４を備えている。また、投影ユニット１４０は、顕微鏡システム１における制御装置２００と同様の機能する制御部１４５を備えている。即ち、制御部１４５は、制御装置の一例であり、撮像装置１４１で取得した撮像画像に基づいて投影装置１４３にフォーカス情報と解析情報を像面Ｐに投影させる。
投影ユニット１４０によっても、上述した顕微鏡システム１と同様に、ＡＲ顕微鏡（顕微鏡１００ａ）における撮像装置１４１のフォーカスずれに対処することができる。
図１８は、変形例に係る接眼レンズ経由で観察される画像の一例である。上述した実施形態では、撮像画像に対してフォーカス解析を行うことでフォーカス情報を生成する例を示したが、フォーカス情報は、撮像装置１２０のフォーカス状態に関する情報であればよく、撮像画像の少なくとも一部であってもよい。フォーカス情報は、例えば、撮像画像そのものであっても、撮像画像のうち視野中心付近の一部であってもよい。制御装置は、図１８に示すように、投影装置１３１に、解析情報３０と撮像装置１２０で取得した撮像画像（の少なくとも一部）４９とを含む補助画像２９を、像面Ｐに投影させてもよい。この場合も、撮像画像によって撮像装置１２０のフォーカスずれを顕微鏡利用者が認識することができるため、顕微鏡利用者は、フォーカスずれに対処することができる。
図１９は、上述した制御装置を実現するためのコンピュータ１０００のハードウェア構成を例示した図である。図１９に示すハードウェア構成は、例えば、プロセッサ１００１、メモリ１００２、記憶装置１００３、読取装置１００４、通信インタフェース１００６、及び入出力インタフェース１００７を備える。なお、プロセッサ１００１、メモリ１００２、記憶装置１００３、読取装置１００４、通信インタフェース１００６、及び入出力インタフェース１００７は、例えば、バス１００８を介して互いに接続されている。
プロセッサ１００１は、任意の電気回路であり、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアプロセッサであってもよい。プロセッサ１００１は、記憶装置１００３に格納されているプログラムを読み出して実行することで、上述した画像投影処理を行ってもよい。
メモリ１００２は、例えば、半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んでいてよい。記憶装置１００３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。
読取装置１００４は、例えば、プロセッサ１００１の指示に従って記憶媒体１００５にアクセスする。記憶媒体１００５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体などにより実現される。なお、半導体デバイスは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリである。また、磁気的作用により情報が入出力される媒体は、例えば、磁気ディスクである。光学的作用により情報が入出力される媒体は、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、Ｂｌｕ－ｒａｙ Ｄｉｓｃ等（Ｂｌｕ－ｒａｙは登録商標）である。
通信インタフェース１００６は、例えば、プロセッサ１００１の指示に従って、他の装置と通信する。入出力インタフェース１００７は、例えば、入力装置および出力装置との間のインタフェースである。入力装置は、例えば、ユーザからの指示を受け付けるキーボード、マウス、タッチパネルなどのデバイスであってもよい。出力装置は、例えばディスプレイなどの表示装置、およびスピーカなどの音声装置である。
プロセッサ１００１が実行するプログラムは、例えば、下記の形態でコンピュータ１０００に提供される。
（１）記憶装置１００３に予めインストールされている。
（２）記憶媒体１００５により提供される。
（３）プログラムサーバなどのサーバから提供される。
なお、図１９を参照して述べた制御装置を実現するためのコンピュータ１０００のハードウェア構成は例示であり、実施形態はこれに限定されるものではない。例えば、上述の構成の一部が、削除されてもよく、また、新たな構成が追加されてもよい。また、別の実施形態では、例えば、上述の電気回路の一部または全部の機能がＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、およびＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などによるハードウェアとして実装されてもよい。
本明細書において、“Ａに基づいて”という表現は、“Ａのみに基づいて”を意味するものではなく、“少なくともＡに基づいて”を意味し、さらに、“少なくともＡに部分的に基づいて”をも意味している。即ち、“Ａに基づいて”はＡに加えてＢに基づいてもよく、Ａの一部に基づいてよい。
１、２、３ ：顕微鏡システム
１０ ：光学像
２１～２９ ：補助画像
３０、３１ ：解析情報
４１～４３ ：フォーカス情報
４４、４８ ：バウンディングボックス
４５ ：情報
１００、１００ａ ：顕微鏡
１１０ ：観察光学系
１１３ ：接眼レンズ
１２０、１４１ ：撮像装置
１３０、１４０ ：投影ユニット
１３１、１４３ ：投影装置
１３２、１４２、１４４ ：ビームスプリッタ
１４５ ：制御部
２００、２００ａ ：制御装置
３００ ：外部システム
１０００ ：コンピュータ
１００１ ：プロセッサ
１００２ ：メモリ
１００３ ：記憶装置
１００４ ：読取装置
１００５ ：記憶媒体
Ｐ ：像面
Ｓ ：標本

Claims (15)

  1. 接眼レンズの物体側に標本の光学像を形成する観察光学系と、
    前記光学像が形成される像面に情報を重畳する重畳装置と、
    前記観察光学系の光路から分岐した撮像光路上に設けられた撮像装置と、
    前記重畳装置に、前記撮像装置で取得した前記標本の撮像画像に基づく前記撮像装置のフォーカス状態に関するフォーカス情報と、前記撮像画像に対する画像解析であってフォーカス解析とは異なる画像解析の結果に関する解析情報とを、前記像面上に重畳させる制御装置と、を備える
    ことを特徴とする顕微鏡システム。
  2. 請求項１に記載の顕微鏡システムにおいて、
    前記制御装置は、前記重畳装置に、前記フォーカス情報と前記解析情報の両方を含む画像を、前記像面上に重畳させる
    ことを特徴とする顕微鏡システム。
  3. 請求項１に記載の顕微鏡システムにおいて、
    前記制御装置は、
    前記撮像装置の前記フォーカス状態が所定の条件を満たすときに、前記重畳装置に、前記解析情報を含む画像を、前記像面に重畳させ、
    前記撮像装置の前記フォーカス状態が前記所定の条件を満たさないときに、前記重畳装置に、前記解析情報を含まない画像を前記像面上に重畳させる
    ことを特徴とする顕微鏡システム。
  4. 請求項１に記載の顕微鏡システムにおいて、
    前記解析情報は、前記撮像画像中の領域であって前記撮像装置の前記フォーカス状態が所定の条件を満たす領域に関する前記画像解析の結果に関し、
    前記制御装置は、前記重畳装置に、前記解析情報を含む画像を、前記撮像画像中の前記領域に対応する前記像面上の領域に重畳させる
    ことを特徴とする顕微鏡システム。
  5. 請求項１に記載の顕微鏡システムにおいて、
    前記制御装置は、前記撮像画像に基づいて、前記フォーカス情報と前記解析情報の少なくとも一方を生成する
    ことを特徴とする顕微鏡システム。
  6. 請求項１に記載の顕微鏡システムにおいて、
    前記重畳装置は、投影装置であり、
    前記重畳装置からの光を前記観察光学系の光路に合流させる光路合成素子を、さらに含む
    ことを特徴とする顕微鏡システム。
  7. 請求項１乃至請求項６のいずれか１項に記載の顕微鏡システムにおいて、
    前記フォーカス情報は、前記フォーカス状態を示すインジケータを含む
    ことを特徴とする顕微鏡システム。
  8. 請求項１乃至請求項６のいずれか１項に記載の顕微鏡システムにおいて、
    前記フォーカス情報は、前記フォーカス状態を示す文字情報を含む
    ことを特徴とする顕微鏡システム。
  9. 請求項１乃至請求項６のいずれか１項に記載の顕微鏡システムにおいて、
    前記フォーカス情報は、前記撮像画像の少なくとも一部を含む
    ことを特徴とする顕微鏡システム。
  10. 請求項１乃至請求項６のいずれか１項に記載の顕微鏡システムにおいて、
    前記フォーカス解析とは異なる前記画像解析は、機械学習で学習済みのニューラルネットワークモデルを用いて画像中の物体と前記物体のカテゴリを検出する推論処理を含み、
    前記解析情報は、前記推論処理で検出された所定のカテゴリの物体の位置を特定する図形を含み、
    前記フォーカス情報は、前記推論処理で検出された前記所定のカテゴリの物体に対する前記フォーカス状態を特定する前記図形の色を含む
    ことを特徴とする顕微鏡システム。
  11. 請求項１０に記載の顕微鏡システムにおいて、
    前記推論処理は、物体検出を含む
    ことを特徴とする顕微鏡システム。
  12. 請求項１０に記載の顕微鏡システムにおいて、
    前記推論処理は、セグメンテーションを含む
    ことを特徴とする顕微鏡システム。
  13. 請求項１乃至請求項６のいずれか１項に記載の顕微鏡システムにおいて、
    前記フォーカス情報は、合焦レベルが他の領域よりも高い領域をマーキングするフォーカスピーキング情報を含む
    ことを特徴とする顕微鏡システム。
  14. 顕微鏡システム用の投影ユニットであって、
    前記顕微鏡システムに含まれる接眼レンズの物体側に前記顕微鏡システムに含まれる観察光学系が標本の光学像を形成する像面に情報を重畳する重畳装置と、
    前記観察光学系の光路から分岐した撮像光路上に設けられた撮像装置と、
    前記重畳装置に、前記撮像装置で取得した前記標本の撮像画像に基づく前記撮像装置のフォーカス状態に関するフォーカス情報と、前記撮像画像に対する画像解析であってフォーカス解析とは異なる画像解析の結果に関する解析情報とを、前記像面上に重畳させる制御装置と、を備える
    ことを特徴とする投影ユニット。
  15. 観察光学系を含む顕微鏡システムが行う画像投影方法であって、
    前記観察光学系に含まれる接眼レンズの物体側に標本の光学像を形成し、
    前記観察光学系の光路から分岐した撮像光路上に設けられた撮像装置で取得した前記標本の撮像画像に基づく前記撮像装置のフォーカス状態に関するフォーカス情報と、前記撮像画像に対する画像解析であってフォーカス解析とは異なる画像解析の結果に関する解析情報とを、前記光学像が形成される像面上に重畳する
    ことを特徴とする画像投影方法。
JP2022074488A 2022-04-28 2022-04-28 顕微鏡システム、投影ユニット、画像投影方法 Pending JP2023163525A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022074488A JP2023163525A (ja) 2022-04-28 2022-04-28 顕微鏡システム、投影ユニット、画像投影方法
US18/136,234 US20230350185A1 (en) 2022-04-28 2023-04-18 Microscope system, projection unit, and image projection method
EP23169987.7A EP4270083A1 (en) 2022-04-28 2023-04-26 Microscope system, projection unit, and image projection method
CN202310459470.3A CN116974054A (zh) 2022-04-28 2023-04-26 显微镜***、投影单元以及图像投影方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022074488A JP2023163525A (ja) 2022-04-28 2022-04-28 顕微鏡システム、投影ユニット、画像投影方法

Publications (1)

Publication Number Publication Date
JP2023163525A true JP2023163525A (ja) 2023-11-10

Family

ID=86226419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022074488A Pending JP2023163525A (ja) 2022-04-28 2022-04-28 顕微鏡システム、投影ユニット、画像投影方法

Country Status (4)

Country Link
US (1) US20230350185A1 (ja)
EP (1) EP4270083A1 (ja)
JP (1) JP2023163525A (ja)
CN (1) CN116974054A (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010055062A1 (en) * 2000-04-20 2001-12-27 Keiji Shioda Operation microscope
JP2004054045A (ja) * 2002-07-22 2004-02-19 Olympus Corp 顕微鏡撮像装置
JP6097280B2 (ja) * 2011-05-06 2017-03-15 レッド．コム，インコーポレイテッド 焦点合わせ支援システムおよび方法
EP3988986A4 (en) * 2018-09-28 2023-09-06 Evident Corporation MICROSCOPE SYSTEM

Also Published As

Publication number Publication date
US20230350185A1 (en) 2023-11-02
CN116974054A (zh) 2023-10-31
EP4270083A1 (en) 2023-11-01

Similar Documents

Publication Publication Date Title
US20160014328A1 (en) Image processing device, endoscope apparatus, information storage device, and image processing method
JP5738606B2 (ja) 撮像装置
KR20090090333A (ko) 초점 조력 시스템 및 방법
US10613313B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
WO2020066042A1 (ja) 顕微鏡システム、投影ユニット、及び、画像投影方法
JP2015103217A (ja) 画像処理装置および画像処理方法
US10429632B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
US11233931B2 (en) Image processing device, imaging device, control method for image processing device, and recording medium
JP6563517B2 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
US9628715B2 (en) Photographing equipment, photographing assisting method, display apparatus and display method
JP2023163525A (ja) 顕微鏡システム、投影ユニット、画像投影方法
JP2018007082A (ja) 画像再生装置およびその制御方法およびプログラム
KR100684299B1 (ko) 안과용 촬영장치
JP5119111B2 (ja) 顕微鏡装置
KR102608709B1 (ko) 하전 입자선 장치
WO2022153692A1 (ja) 制御装置及び制御方法
JP2015210396A (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
JP6069984B2 (ja) 撮像装置、及び、プログラム
WO2019044416A1 (ja) 撮影処理装置、撮影処理装置の制御方法および撮影処理プログラム
JP2018101091A (ja) 顕微鏡装置、プログラム、観察方法
JP2023163524A (ja) 顕微鏡システム、投影ユニット、画像投影方法
JP2022131937A (ja) アノテーションを支援するシステム、方法、及び、プログラム
JP2017097705A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP2023151275A (ja) 顕微鏡システム、顕微鏡を制御可能な電子機器、制御方法及びプログラム
JP2019164250A (ja) 顕微鏡システム、注意喚起方法、及び、プログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20231110