JP2023163525A - 顕微鏡システム、投影ユニット、画像投影方法 - Google Patents
顕微鏡システム、投影ユニット、画像投影方法 Download PDFInfo
- Publication number
- JP2023163525A JP2023163525A JP2022074488A JP2022074488A JP2023163525A JP 2023163525 A JP2023163525 A JP 2023163525A JP 2022074488 A JP2022074488 A JP 2022074488A JP 2022074488 A JP2022074488 A JP 2022074488A JP 2023163525 A JP2023163525 A JP 2023163525A
- Authority
- JP
- Japan
- Prior art keywords
- image
- focus
- information
- analysis
- microscope system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 48
- 230000003287 optical effect Effects 0.000 claims abstract description 112
- 238000004458 analytical method Methods 0.000 claims abstract description 108
- 238000003384 imaging method Methods 0.000 claims abstract description 101
- 238000010191 image analysis Methods 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 abstract 1
- 210000004027 cell Anatomy 0.000 description 19
- 210000003855 cell nucleus Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/364—Projection microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/368—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Microscoopes, Condenser (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
Description
本明細書の開示は、顕微鏡システム、投影ユニット、画像投影方法に関する。
近年、顕微鏡下で行う作業をAI(Artificial Intelligence)でサポートすることが期待されている。このようなAIサポートを提供可能な顕微鏡として、AR(Augmented Reality)顕微鏡が知られている。
AR顕微鏡は、接眼レンズを覗いて観察する標本の光学像上に補助的な情報を重ねて表示する顕微鏡であり、例えば、特許文献1に記載されている。AR顕微鏡が表示する補助的な情報は、典型的には、その標本を撮像した撮像画像を解析することによって生成される。特に、撮像画像の解析にディープラーニングなどのAI技術を用いることで、顕微鏡利用者に、AIによる高度なサポートを提供することができる。
ところで、目視観察では、目の調整能力の分だけカメラ撮影よりも焦点深度が深くなる。このため、AR顕微鏡の利用者が目視観察で試料にフォーカスを合わせても、カメラではフォーカスが合っておらず、撮像画像がぼけてしまうといった事態が生じ得る。
このような課題は、目視用の観察光路と撮像光路を有する従来の顕微鏡でも生じるが、従来の顕微鏡では、撮像光路使用時にはモニタに表示される撮像画像でフォーカスが合っているかどうか確認可能である。これに対して、AR顕微鏡は、利用者の視線が接眼レンズとモニタを行き来する機会を減らすことで効率的な作業を可能とするといったメリットを享受するものである。従って、従来の顕微鏡のように、モニタで撮像画像を都度確認するといった対応は望ましくない。
以上のような実情を踏まえ、本発明の一側面に係る目的は、AR顕微鏡における撮像装置のフォーカスずれに対処する技術を提供することである。
本発明の一態様に係る顕微鏡システムは、接眼レンズの物体側に標本の光学像を形成する観察光学系と、前記光学像が形成される像面に情報を重畳する重畳装置と、前記観察光学系の光路から分岐した撮像光路上に設けられた撮像装置と、前記重畳装置に、前記撮像装置で取得した前記標本の撮像画像に基づく前記撮像装置のフォーカス状態に関するフォーカス情報と、前記撮像画像に対する画像解析であって前記フォーカス解析とは異なる画像解析の結果に関する解析情報とを、前記像面上に重畳させる制御装置と、を備える。
本発明の一態様に係る投影ユニットは、顕微鏡システム用の投影ユニットであって、前記顕微鏡システムに含まれる接眼レンズの物体側に前記顕微鏡システムに含まれる観察光学系が標本の光学像を形成する像面に情報を重畳する重畳装置と、前記観察光学系の光路から分岐した撮像光路上に設けられた撮像装置と、前記重畳装置に、前記撮像装置で取得した前記標本の撮像画像に基づく前記撮像装置のフォーカス状態に関するフォーカス情報と、前記撮像画像に対する画像解析であって前記フォーカス解析とは異なる画像解析の結果に関する解析情報とを、前記像面上に重畳させる制御装置と、を備える。
本発明の一態様に係る画像投影方法は、観察光学系を含む顕微鏡システムが行う画像投影方法であって、前記観察光学系に含まれる接眼レンズの物体側に標本の光学像を形成し、前記観察光学系の光路から分岐した撮像光路上に設けられた撮像装置で取得した前記標本の撮像画像に基づく前記撮像装置のフォーカス状態に関するフォーカス情報と、前記撮像画像に対する画像解析であって前記フォーカス解析とは異なる画像解析の結果に関する解析情報とを、前記像面上に重畳する。
上記の態様によれば、AR顕微鏡における撮像装置のフォーカスずれに対処することができる。
図1は、一実施形態に係る顕微鏡システム1の構成を例示した図である。顕微鏡システム1は、顕微鏡システム1は、例えば、病理医が病理診断で用いる顕微鏡システムである。ただし、顕微鏡システム1の用途はこれに限られない。顕微鏡システム1は、生物系の顕微鏡システムに限らず、工業用の顕微鏡システムであってもよい。
顕微鏡システム1は、少なくとも、接眼レンズ113を含む観察光学系110と、撮像装置120と、投影装置131と、制御装置200を備えている。より詳細には、顕微鏡システム1は、図1に示すように、顕微鏡100と、顕微鏡100を制御する制御装置200を備える。
顕微鏡100は、光源101と、ステージ102と、焦準ハンドル103と、観察光学系110と、撮像装置120と、投影ユニット130を備えている。なお、図1では、顕微鏡100は、正立顕微鏡であるが、倒立顕微鏡であってもよい。
観察光学系110は、接眼レンズ113の物体側に、ステージ102上に配置された標本Sの光学像を形成する。より詳細には、観察光学系110は、対物レンズ111と結像レンズ112を含み、対物レンズ111と結像レンズ112は、光源101からの光で照明された標本Sの光学像を、接眼レンズ113の物体側に位置する像面Pに形成する。なお、ステージ102から接眼レンズ113に至る観察光学系110の光路を、以降では、観察光路と記す。
撮像装置120は、例えば、撮像素子を備えたデジタルカメラであり、標本Sを撮像して、標本Sの撮像画像を取得する。撮像装置120は、観察光路から分岐した撮像光路上に設けられている。撮像装置120が備える撮像素子は、CCDやCMOSを用いたイメージセンサである。
投影ユニット130は、顕微鏡100に着脱可能な中間鏡筒タイプのユニットであり、投影装置131と、ビームスプリッタ132を含んでいる。投影装置131は、光学像が形成される像面Pに情報を重畳する重畳装置の一例であり、例えば、DMD(登録商標)を用いたDLP(登録商標)プロジェクタである。ただし、投影装置131は、液晶パネルを用いた液晶プロジェクタであってもよい。ビームスプリッタ132は、投影装置131からの光を観察光学系110の光路に合流させる光路合成素子である。
制御装置200は、顕微鏡100を制御する装置である。制御装置200の構成の詳細については後述する。なお、図1では、制御装置200は、単一の装置として示されているが、制御装置200は、2以上の装置の集合であってもよい。制御装置200は、例えば、顕微鏡制御専用のコントロールボックスと、汎用のコンピュータとで構成されてもよい。
図2は、一実施形態に係る画像投影処理のフローチャートの一例である。以下、図2を参照しながら、顕微鏡システム1の画像投影方法について説明する。上述した顕微鏡システム1は、図2に示す画像投影処理を実行することで、顕微鏡利用者が接眼レンズ113を覗いて標本Sを観察する際に、顕微鏡利用者に、コンピュータが行う画像解析を用いた高度なサポートを提供することができる。
まず、顕微鏡システム1は、標本Sの光学像を形成するとともに標本Sの撮像画像を取得する(ステップS1)。観察光路では、対物レンズ111が取り込んだ標本Sからの光を結像レンズ112が像面Pに集光することで、観察光学系110が接眼レンズ113の物体側に標本Sの光学像を形成する。一方で、観察光路から分岐した撮像光路では、撮像装置120が観察光路から入射した光で標本Sを撮像し、標本Sの撮像画像を取得する。なお、撮像装置120で取得した撮像画像は、制御装置200へ出力される。
次に、顕微鏡システム1は、撮像画像に対してフォーカス解析と画像解析を実行する(ステップS2)。ここでは、制御装置200が所定のプログラムを実行することで、フォーカス解析と画像解析を行う。フォーカス解析とは、撮像装置120のフォーカス状態を特定するために行われる画像解析のことである。また、フォーカス解析と共に行われる画像解析とは、フォーカス解析とは異なる画像解析のことであり、その内容については特に限定しない。この画像解析は、顕微鏡利用者の作業をサポートする情報を得るために行われればよい。
ステップS2では、制御装置200は、撮像画像に対してフォーカス解析を実行することで、撮像装置120が標本Sへ合焦しているか否か、どの程度合焦しているか(合焦レベルがいくつか)などを、撮像装置120のフォーカス状態として特定する。なお、フォーカス解析の具体的なアルゴリズムは、既知の任意のアルゴリズムを採用すればよく、特に限定しない。例えば、標本Sの種類が既知であり合焦時のおよそのコントラスト値も既知である場合には、画像のコントラスト値を算出することでフォーカス状態を特定してもよい。また、撮像装置120に位相差検出画素が組み込まれている場合には、位相差検出画素で検出した像面位相差に基づいてフォーカス状態を特定してもよい。
その後、制御装置200は、特定した撮像装置120のフォーカス状態に関する情報(以降、フォーカス情報と記す)を生成する。フォーカス情報は、ステップS3において像面に投影される情報である。このため、フォーカス情報は、顕微鏡利用者が撮像装置120のフォーカス状態を視覚的に認識できるものであればよく、フォーカス状態をどのように可視化したものであってもよい。フォーカス情報の具体例については、後述する実施形態において詳述する。
また、ステップS2では、制御装置200は、撮像画像に対して画像解析を実行することで、画像解析の結果に関する情報(以降、解析情報と記す。)も生成する。画像解析には、特に限定しないが、機械学習によって得られた学習済みモデルが用いられてもよい。画像解析は、例えば、深層学習によって得られたニューラルネットワークモデルを用いて行われる画像分類、物体検出、セグメンテーション、又はこれらの組み合わせであってもよい。
なお、ステップS2では、制御装置200は、フォーカス解析と画像解析を時間的に並列に行ってもよい。また、制御装置200は、フォーカス解析と画像解析の一方を先に他方を後に行ってもよく、即ち、フォーカス解析と画像解析をシーケンシャルに行ってもよい。この場合、先行の処理の結果が一定の条件を満たすときにのみ後続の処理が行われてもよい。例えば、制御装置200は、まずフォーカス解析を行い、その結果得られた撮像装置120のフォーカス状態が所定の条件を満たすときに、さらに画像解析を行ってもよい。また、先行の処理の結果を用いて後続の処理が行われてもよい。例えば、制御装置200は、まず画像解析を行い、その結果得られた解析情報を用いて、さらにフォーカス解析を行ってもよい。
最後に、顕微鏡システム1は、フォーカス情報と解析情報を像面Pへ重畳する(ステップS3)。ここでは、制御装置200が投影装置131を制御して、投影装置131に、ステップS2で取得したフォーカス情報と解析情報を像面P上に重畳させる。
ステップS3では、制御装置200は、フォーカス情報と解析情報を同時に像面Pに重畳するように、投影装置131を制御してもよい。即ち、制御装置200は、投影装置131がフォーカス情報と解析情報の両方を含む画像を像面P上に重畳してもよい。
ステップS3では、制御装置200は、フォーカス情報と解析情報の少なくとも一方を含む画像を像面P上に重畳するように、投影装置131を制御してもよい。この場合、制御装置200は、撮像装置120のフォーカス状態に応じて像面P上に重畳する画像に含まれる情報を変更するように、投影装置131を制御してもよい。例えば、制御装置200は、撮像装置120のフォーカス状態が所定の条件を満たすときに、投影装置131に、解析情報を含む画像又は解析情報とフォーカス情報を含む画像を像面P上に重畳させてもよい。一方で、制御装置200は、撮像装置120のフォーカス状態が所定の条件を満たさないときには、投影装置131に、解析情報を含まない画像、つまり、フォーカス情報のみを含む画像を像面P上に重畳させてもよい。
ステップS3では、制御装置200は、フォーカス情報と解析情報のすべてを、つまり、撮像画像の全領域に関するフォーカス情報と解析情報を像面P上に重畳するように、投影装置131を制御してもよい。また、制御装置200は、フォーカス情報と解析情報の一部を、つまり、撮像画像の一部の領域についてのフォーカス情報と解析情報を像面P上に重畳するように、投影装置131を制御してもよい。例えば、制御装置200は、撮像装置120のフォーカス状態が所定の条件を満たす撮像画像中の領域を特定し、その領域についての解析情報を含む画像を、その領域に対応する像面P上の領域に重畳させてもよい。
以上のように、顕微鏡システム1が図2に示す画像投影処理を実行することで、標本Sの光学像が形成される像面に、顕微鏡利用者の作業をサポートするための解析情報に加えて、フォーカス情報が重畳される。顕微鏡利用者は、接眼レンズ113を覗いて標本Sの光学像を観察する際に、フォーカス情報を確認することで、カメラ撮影における焦点深度が目視観察における焦点深度よりも浅いことに起因するフォーカスずれが撮像装置120に生じているかどうかを容易に把握することができる。
顕微鏡利用者は、撮像装置120のフォーカスずれを把握することで、像面に重畳されている解析情報の信頼性を顕微鏡利用者自身で判断することができる。このため、フォーカスずれが大きく、撮像画像がボケていることが推測される場合は、顕微用利用者は解析情報を過度に信頼せずに、慎重に作業を行うことができる。このように、顕微鏡システム1によれば、顕微利用者に慎重な作業や判断を促すことで、フォーカスずれに対処することができる。
また、顕微鏡利用者は、フォーカスずれを把握することで、光学像がボケない範囲で焦準ハンドル103を操作してステージ102又は対物レンズ111を上下させて、撮像装置120のフォーカスを標本Sに合わせることができる。このように、顕微鏡システム1によれば、接眼レンズ113から目を離すことなく顕微鏡利用者に撮像装置120に生じたフォーカスずれを解消させることで、フォーカスずれに対処することができる。
特に、撮像装置120に生じるフォーカスずれを解消することで、画像解析に適した撮像画像が制御装置200へ提供されるため、顕微鏡システム1は、ボケた撮像画像によって画像解析が適切に行われない状態や信頼性の低い解析情報が像面に投影されてしまう状態を解消することができる。従って、AR顕微鏡(顕微鏡システム1)が有する本来の機能を十分発揮して、解析情報による高度なサポートを顕微鏡利用者に提供することができる。
以下、顕微鏡システム1が行う図2に示す画像投影処理の具体例について、各実施形態で説明する。
(第1の実施形態)
図3は、本実施形態に係る画像投影処理のフローチャートの一例である。図4は、接眼レンズ113経由で観察される光学像の一例である。図5は、本実施形態において接眼レンズ113経由で観察される画像の一例である。
(第1の実施形態)
図3は、本実施形態に係る画像投影処理のフローチャートの一例である。図4は、接眼レンズ113経由で観察される光学像の一例である。図5は、本実施形態において接眼レンズ113経由で観察される画像の一例である。
顕微鏡システム1が図3に示す画像投影処理を開始すると、まず、観察光学系110が標本Sの光学像を像面Pに形成する(ステップS11)。ステップS11では、顕微鏡利用者は、図4に示すように、接眼レンズ113を覗くことで光学像10のみを観察することができる。
さらに、撮像装置120が標本Sの撮像画像を取得する(ステップS12)。その後、制御装置200がステップS12で取得した撮像画像に基づいてフォーカス解析と画像解析を行い、フォーカス情報と解析情報を生成する(ステップS13、ステップS14)。なお、ステップS13とステップS14の処理順は、この例に限らない。制御装置200は、時間的に並列にこれらの処理を行ってもよく、また、ステップS14の処理をステップS13の処理よりも先に行ってもよい。
ステップS13では、制御装置200は、撮像画像に対してフォーカス解析を行うことで、例えば、撮像画像のコントラスト値を算出する。撮像画像のコントラスト値は、特に限定しないが、撮像画像の全体に対して算出してもよく、撮像画像中の一部の関心領域(例えば、視野中心付近のみ)に対して算出してもよい。また、撮像画像のコントラスト値は、撮像画像が区分された複数の領域の各々に対して算出した領域毎のコントラスト値を平均することで算出してもよい。さらに、制御装置200は、算出したコントラスト値を、基準値を用いて正規化してもよい。
なお、基準値は、撮像装置120が標本Sにフォーカスしている、つまり、合焦レベルが十分に高く撮像装置120のフォーカス状態が合焦状態にあると判断できる程度のコントラスト値であればよい。また、基準値は、標本Sの種類毎に予め適切な値に設定することが望ましい。
制御装置200は、その後、コントラスト値に基づいて、フォーカス情報を生成する。本実施形態では、制御装置200は、コントラスト値がフォーカス状態を示すインジケータとして可視化されるように、フォーカス情報を生成する。インジケータは、特に限定しないが、コントラスト値を、例えば、バーの長さで表すものであってもよい。なお、フォーカス情報はインジケータを含んでいればよく、インジケータの他に追加の情報を含んでもよい。
制御装置200は、さらに、撮像画像に基づいて画像解析を行い、解析情報を生成する(ステップS14)。ここでは、制御装置200は、画像解析として、機械学習で学習済みのニューラルネットワークモデルを用いて画像中の物体とその物体のカテゴリを検出する推論処理を行い、検出した所定のカテゴリの物体の位置がマーキングされるように、解析情報を生成する。この推論処理は、例えば、物体検出やセグメンテーションである。なお、以降では、制御装置200が、予め機械学習によって画像中の細胞と細胞の核を検出するように学習した学習済みモデルを用いて、核にマーキングする解析情報を生成する例を用いて、説明する。
フォーカス情報と解析情報が生成されると、制御装置200は、投影装置131を制御して、投影装置131にフォーカス情報と解析情報を含む画像を像面Pに投影させる(ステップS15)。ここでは、制御装置200は、ステップS13で生成したフォーカス情報とステップS14で生成した解析情報を含む画像データを投影装置131に出力することで、図5に示すように、投影装置131が補助画像21を像面Pに投影する。なお、補助画像とは、投影装置131が像面Pに投影する画像のことである。
図5には、細胞の核をマーキングした解析情報30と、フォーカス状態を示すインジケータであるフォーカス情報41とを含む補助画像21が像面に重畳されて、光学像10と同時に観察される様子を示している。
以上の様に、本実施形態によれば、顕微鏡システム1は、画像解析結果を光学像10に重ねて表示することで顕微用利用者の作業をサポートしながら、撮像装置120のフォーカス状態を顕微鏡利用者に知らせることができる。特に、フォーカス情報41のようなインジケータとしてフォーカス状態を可視化することで、顕微鏡利用者は、より直感的に撮像装置120のフォーカス状態を把握することができる。
(第2の実施形態)
図6は、本実施形態において接眼レンズ113経由で観察される画像の一例である。以下、図6を参照しながら、本実施形態に係る画像投影処理について説明する。
図6は、本実施形態において接眼レンズ113経由で観察される画像の一例である。以下、図6を参照しながら、本実施形態に係る画像投影処理について説明する。
本実施形態に係る画像投影処理では、ステップS13で生成されるフォーカス情報が第1の実施形態に係る画像投影処理とは異なっている。その他の点は、第1の実施形態に係る画像投影処理と同様である。
具体的には、制御装置200は、ステップS13では、算出されたコントラスト値が文字情報として可視化されるように、フォーカス情報を生成する。コントラスト値から文字情報への変換は、予め決められたルールによって行われればよい。例えば、コントラスト値が閾値以上であれば、撮像装置120が標本Sにフォーカスしていることを示す文字情報を生成すればよく、閾値未満であれば、撮像装置120が標本Sにフォーカスしていないことを示す文字情報を生成すればよい。また、文字情報は、フォーカス状態が合焦状態になるか非合焦状態になるかを示すものに限られず、どの程度フォーカスが合っているか、つまり、合焦レベルを示すものであってもよい。また、文字情報は、これらの組み合わせであってもよい。なお、フォーカス情報は文字情報を含んでいればよく、文字情報の他に追加の情報、例えば、第1の実施形態で示したインジケータなどを含んでもよい。
図6には、細胞の核をマーキングした解析情報30と、フォーカス状態を示す文字情報であるフォーカス情報42とを含む補助画像22が像面に重畳されて、光学像10と同時に観察される様子が示されている。この例では、フォーカス情報42は、撮像装置120が標本Sにフォーカスしていることを示している。
本実施形態によっても、顕微鏡システム1は、画像解析結果を光学像10に重ねて表示することで顕微用利用者の作業をサポートしながら、撮像装置120のフォーカス状態を顕微鏡利用者に知らせることができる。
(第3の実施形態)
図7は、本実施形態において接眼レンズ113経由で観察される画像の一例である。以下、図7を参照しながら、本実施形態に係る画像投影処理について説明する。
図7は、本実施形態において接眼レンズ113経由で観察される画像の一例である。以下、図7を参照しながら、本実施形態に係る画像投影処理について説明する。
本実施形態に係る画像投影処理では、ステップS13で生成されるフォーカス情報が第1の実施形態に係る画像投影処理とは異なっている。その他の点は、第1の実施形態に係る画像投影処理と同様である。
具体的には、制御装置200は、ステップS13では、合焦レベルが他の領域よりも高い領域をマーキングするフォーカスピーキング情報として可視化されるように、フォーカス情報を生成する。フォーカスピーキング情報は、例えば、撮像画像中の小領域毎(例えば数画素毎)にコントラスト値を算出して、そのコントラスト値を他の領域のコントラスト値と比較することで生成されてもよい。なお、フォーカス情報はフォーカスピーキング情報を含んでいればよく、フォーカスピーキング情報の他に追加の情報、例えば、第1の実施形態で示したインジケータや第2の実施形態で示す文字情報などを含んでもよい。
図7には、細胞の核をマーキングした解析情報30と、フォーカス状態を示すフォーカスピーキング情報であるフォーカス情報43とを含む補助画像23が像面に重畳されて、光学像10と同時に観察される様子が示されている。この例では、フォーカス情報43は、視野の中心付近では撮像装置120が標本Sにフォーカスしているのに対して、視野周辺部分では撮像装置120が標本Sに十分にフォーカスしていないことを示している。
本実施形態によっても、顕微鏡システム1は、画像解析結果を光学像10に重ねて表示することで顕微用利用者の作業をサポートしながら、撮像装置120のフォーカス状態を顕微鏡利用者に知らせることができる。特に、フォーカス情報43のようなフォーカスピーキング情報としてフォーカス状態を可視化することで、顕微鏡利用者は、視野内の場所によって合焦レベルが異なる場合であっても、フォーカスが合っている領域と合っていない領域を見分けることができる。
(第4の実施形態)
図8は、本実施形態に係る画像投影処理のフローチャートの一例である。図9は、本実施形態において接眼レンズ経由で観察される画像の一例である。以下、図8及び図9を参照しながら、本実施形態に係る画像投影処理について説明する。
図8は、本実施形態に係る画像投影処理のフローチャートの一例である。図9は、本実施形態において接眼レンズ経由で観察される画像の一例である。以下、図8及び図9を参照しながら、本実施形態に係る画像投影処理について説明する。
顕微鏡システム1が図8に示す画像投影処理を開始すると、まず、観察光学系110が標本Sの光学像を像面Pに形成し(ステップS21)、撮像装置120が標本Sの撮像画像を取得する(ステップS22)。なお、ステップS21とステップS22の処理は、図3に示すステップS11とステップS12の処理と同様である。
次に、制御装置200は、撮像画像に基づいて画像解析を行い、解析情報を生成する(ステップS23)。ステップS23では、制御装置200は、例えば、撮像画像に対して撮像画像中の細胞と細胞核を検出する推論処理を行う。そして、制御装置200は、検出した細胞核をマーキングする情報と、検出した細胞の位置を示す図形、具体的には、バウンディングボックスと、を解析情報として生成する。より詳細には、制御装置200は、細胞核をマーキングする情報をセグメンテーションで生成し、バウンディングボックスを物体検出で生成してもよい。
その後、制御装置200は、撮像画像とステップS23で生成した解析情報とに基づいてフォーカス解析を行い、フォーカス情報を生成する(ステップS24)。ステップS24では、制御装置200は、例えば、ステップS23の推論処理により検出された撮像画像中の細胞の領域毎に撮像画像からコントラスト値を算出する。そして、制御装置200は、バウンディングボックスの色を算出したコントラスト値に応じた色に決定する。即ち、バウンディングボックスの色を含む情報をフォーカス情報として生成する。
フォーカス情報と解析情報が生成されると、制御装置200は、投影装置131を制御して、投影装置131にフォーカス情報と解析情報を含む画像を像面Pに投影させる(ステップS25)。ここでは、制御装置200は、ステップS23で生成した解析情報とステップS24で生成したフォーカス情報を含む画像データを投影装置131に出力することで、図9に示すように、投影装置131が補助画像24を像面Pに投影する。
図9には、細胞の核をマーキングした解析情報30と、細胞の位置を示し、且つ、各細胞へのフォーカス状態に応じて色分けされたバウンディングボックス44とを含む補助画像24が像面に重畳されて、光学像10と同時に観察される様子が示されている。なお、バウンディングボックス44が示す位置の情報は解析情報30と同様に、解析情報の一例である。また、バウンディングボックス44が示す色の情報はフォーカス情報の一例である。図9では、説明の都合上、色の違いを線種の違いで表している。この例では、バウンディングボックス44が細胞毎のフォーカス状態を示している。
本実施形態によっても、顕微鏡システム1は、画像解析結果を光学像10に重ねて表示することで顕微用利用者の作業をサポートしながら、撮像装置120のフォーカス状態を顕微鏡利用者に知らせることができる。特に、画像解析結果であるバウンディングボックスをフォーカス状態に応じて色分けすることで、解析情報と同じ空間にフォーカス情報を重畳することができる。従って、像面P上の領域を補助画像が過度に占有して、光学像10が観察しづらくなるといった事態を避けることができる。
(第5の実施形態)
図10は、本実施形態において接眼レンズ経由で観察される画像の一例である。以下、図10を参照しながら、本実施形態に係る画像投影処理について説明する。
図10は、本実施形態において接眼レンズ経由で観察される画像の一例である。以下、図10を参照しながら、本実施形態に係る画像投影処理について説明する。
本実施形態に係る画像投影処理では、ステップS23で生成される解析情報とステップS24で生成されるフォーカス情報が第4の実施形態に係る画像投影処理とは異なっている。その他の点は、第4の実施形態に係る画像投影処理と同様である。
具体的には、制御装置200は、ステップS23では、例えば、撮像画像に対して撮像画像中の細胞と細胞核を検出する推論処理を行う。この点は第4の実施形態と同様である。ただし、本実施形態では、制御装置200は、検出した細胞核をマーキングする情報(解析情報30)と、検出した細胞をマーキングする情報(情報45)を、セグメンテーションで生成する。
さらに、制御装置200は、ステップS24では、例えば、ステップS23の推論処理により検出された撮像画像中の細胞の領域毎に撮像画像からコントラスト値を算出する。この点は第4の実施形態と同様である。ただし、本実施形態では、制御装置200は、検出した細胞をマーキングする情報(情報45)の色を算出したコントラスト値に応じた色に決定する。即ち、一般にカテゴリに応じて行われるセグメンテーションの色分けをフォーカス状態に応じて行う。また、制御装置200は、さらに、色分けとフォーカス状態の関係を示す凡例45aを生成してもよい。
図10には、細胞の核をマーキングした解析情報30と、細胞をマーキングし、且つ、各細胞へのフォーカス状態に応じて色分けされた情報45と、凡例45aを含む補助画像25が像面に重畳されて、光学像10と同時に観察される様子が示されている。なお、情報45が示す位置の情報は解析情報30と同様に、解析情報の一例である。また、情報45が示す色の情報はフォーカス情報の一例である。
本実施形態によっても、顕微鏡システム1は、画像解析結果を光学像10に重ねて表示することで顕微用利用者の作業をサポートしながら、撮像装置120のフォーカス状態を顕微鏡利用者に知らせることができる。また、画像解析結果をフォーカス状態に応じて色分けすることで、解析情報と同じ空間にフォーカス情報を重畳することができる点は、第4の実施形態と同様である。
(第6の実施形態)
図11は、本実施形態に係る画像投影処理のフローチャートの一例である。図12は、合焦レベルが十分でない場合に接眼レンズ経由で観察される画像の一例である。以下、図11及び図12を参照しながら、本実施形態に係る画像投影処理について説明する。
図11は、本実施形態に係る画像投影処理のフローチャートの一例である。図12は、合焦レベルが十分でない場合に接眼レンズ経由で観察される画像の一例である。以下、図11及び図12を参照しながら、本実施形態に係る画像投影処理について説明する。
顕微鏡システム1が図11に示す画像投影処理を開始すると、まず、観察光学系110が標本Sの光学像を像面Pに形成し(ステップS31)、撮像装置120が標本Sの撮像画像を取得し(ステップS32)、制御装置200が撮像画像に基づいてフォーカス解析を行う(ステップS33)。なお、ステップS31からステップS33の処理は、図3に示すステップS11からステップS13の処理と同様である。
その後、制御装置200は、撮像装置120の合焦レベルが閾値以上か否かを判定し(ステップS34)、判定結果に応じてその後の処理を異ならせる。なお、閾値は、撮像装置120が標本Sにフォーカスしていると判断できる程度の合焦レベルであればよい。
合焦レベルが閾値以上であると判定した場合には(ステップS34YES)、制御装置200は、撮像画像に基づいて画像解析を行う(ステップS35)。その後、制御装置200は、投影装置131を制御して、投影装置131にステップS33で生成したフォーカス情報とステップS35で生成した解析情報を含む画像を像面Pに投影させる(ステップS36)。なお、ステップS35とステップS36の処理は、図3に示すステップS14とステップS15の処理と同様である。ステップS36では、顕微鏡利用者は、例えば、図5に示す画像を観察することができる。
一方、合焦レベルが閾値以上でないと判定した場合には(ステップS34NO)、制御装置200は、画像解析を行わず、投影装置131を制御して、投影装置131にステップS33で生成したフォーカス情報を含む画像を像面Pに投影させる(ステップS37)。これにより、例えば、図12に示すようなフォーカス情報41だけを含む補助画像26が、投影装置131によって像面Pに投影される。
本実施形態によれば、顕微鏡システム1は、撮像装置120の合焦レベルがある程度高い状態でのみ、画像解析結果を光学像10に重ねて表示することで顕微用利用者の作業をサポートすることができる。このため、ボケが生じた撮像画像に基づいて信頼性の低い画像解析結果が顕微鏡利用者に提供されることを回避することができる。また、顕微鏡システム1では、撮像装置120の合焦レベルが低い状態でも、フォーカス情報は光学像10に重ねて表示される。このため、顕微鏡利用者は、フォーカス情報を確認することで、撮像装置120のフォーカスずれを認識することが可能であり、顕微鏡システム1は、顕微鏡利用者にフォーカスずれを解消するように操作を促すことができる。
なお、本実施形態では、第1の実施形態と同様に、フォーカス情報としてフォーカス状態を示すインジケータが表示される例を示したが、第2の実施形態と同様に、フォーカス情報としてフォーカス状態を示す文字情報が表示されてもよく、第3の実施形態と同様に、フォーカス情報としてフォーカス状態を示すフォーカスピーキング情報が表示されてもよい。
(第7の実施形態)
図13は、本実施形態に係る画像投影処理のフローチャートの一例である。以下、図13を参照しながら、本実施形態に係る画像投影処理について説明する。
図13は、本実施形態に係る画像投影処理のフローチャートの一例である。以下、図13を参照しながら、本実施形態に係る画像投影処理について説明する。
顕微鏡システム1が図13に示す画像投影処理を開始すると、まず、観察光学系110が標本Sの光学像を像面Pに形成し(ステップS41)、撮像装置120が標本Sの撮像画像を取得する(ステップS42)。なお、ステップS41とステップS42の処理は、図8に示すステップS21とステップS22の処理と同様である。
次に、制御装置200は、撮像画像に基づいてフォーカス解析を行う(ステップS43)。この点は、図8に示す画像投影処理とは異なっている。ステップS33のフォーカス解析は、例えば、図3に示す画像投影処理のステップS13と同様である。
その後、制御装置200は、撮像装置120の合焦レベルが閾値以上か否かを判定し(ステップS44)、判定結果に応じてその後の処理を異ならせる。この処理は、図11に示す画像投影処理のステップS34と同様でる。閾値は、撮像装置120が全体として標本Sにフォーカスしていると判断できる程度の合焦レベルであればよい。
合焦レベルが閾値以上であると判定した場合には(ステップS44YES)、制御装置200は、撮像画像に基づいて画像解析を行い(ステップS45)、さらに、撮像画像とステップS45で生成した解析情報とに基づいてフォーカス解析を行う(ステップS46)。その後、制御装置200は、投影装置131を制御して、投影装置131にステップS46で生成したフォーカス情報とステップS45で生成した解析情報を含む画像を像面Pに投影させる(ステップS47)。なお、ステップS45からステップS47の処理は、図8に示すステップS23からステップS25の処理と同様である。ステップS47では、顕微鏡利用者は、例えば、図9に示す画像を観察することができる。
一方、合焦レベルが閾値以上でないと判定した場合には(ステップS44NO)、制御装置200は、画像解析を行わず、投影装置131を制御して、投影装置131にステップS43で生成したフォーカス情報を含む画像を像面Pに投影させる(ステップS48)。これにより、例えば、図12に示すようなフォーカス情報41だけを含む補助画像26が、投影装置131によって像面Pに投影される。
本実施形態によれば、顕微鏡システム1は、第6の実施形態と同様に、撮像装置120の合焦レベルがある程度高い状態でのみ、画像解析結果を光学像10に重ねて表示することで顕微用利用者の作業をサポートすることができる。このため、ボケが生じた撮像画像に基づいて信頼性の低い画像解析結果が顕微鏡利用者に提供されることを回避することができる。また、撮像装置120の合焦レベルが低い状態でも、フォーカス情報は光学像10に重ねて表される。このため、顕微鏡利用者は、フォーカス情報を確認することで、撮像装置120のフォーカスずれを認識することが可能である、つまり、本実施形態では、顕微鏡システム1は、顕微鏡利用者にフォーカスずれを解消するように操作を促すことができるという点も、第6の実施形態と同様である。さらに、本実施形態では、顕微鏡システム1は、ある程度の合焦レベルに達している場合には、検出対象(この例では、細胞)毎のフォーカス情報を解析情報と共に顕微鏡利用者に提供することができる。これにより、顕微鏡利用者は、特に注目して観察したい対象に合わせてフォーカスをさらに調整することができる。
なお、本実施形態では、第4の実施形態と同様に、解析情報としてバウンディングボックスが表示される例を示したが、第5の実施形態と同様に、画像解析により検出対象である細胞を塗りつぶす処理が行われてもよい。
(第8の実施形態)
図14は、本実施形態に係る画像投影処理のフローチャートの一例である。図15は、本実施形態において接眼レンズ経由で観察される画像の一例である。以下、図14及び図15を参照しながら、本実施形態に係る画像投影処理について説明する。
図14は、本実施形態に係る画像投影処理のフローチャートの一例である。図15は、本実施形態において接眼レンズ経由で観察される画像の一例である。以下、図14及び図15を参照しながら、本実施形態に係る画像投影処理について説明する。
顕微鏡システム1が図14に示す画像投影処理を開始すると、まず、観察光学系110が標本Sの光学像を像面Pに形成し(ステップS51)、撮像装置120が標本Sの撮像画像を取得する(ステップS52)。さらに、制御装置200は、撮像画像に基づいて画像解析を行い(ステップS53)、撮像画像とステップS53で生成した解析情報に基づいてフォーカス解析を行う(ステップS54)。なお、ステップS51からステップS54の処理は、図8に示すステップS21からステップS24の処理と同様である。
その後、制御装置200は、投影装置131を制御して、投影装置131に、合焦レベルが閾値以上の領域に関して、フォーカス情報と解析情報を含む画像を像面Pに投影させる(ステップS55)。ここでは、制御装置200は、ステップS53の推論処理により検出された撮像画像中の細胞の領域毎に特定された合焦レベルに基づいて、像面に投影するフォーカス情報と解析情報の範囲を決定し、決定した範囲内のフォーカス情報と解析情報とを含む画像を、投影装置131に像面P上に投影させる。
図15には、細胞の核をマーキングした解析情報31と、細胞の位置を示し、且つ、各細胞へのフォーカス状態に応じて色分けされたバウンディングボックス48とを含む補助画像28が像面に重畳されて、光学像10と同時に観察される様子が示されている。なお、図9との比較でよくわかるように、図15では、解析情報31とバウンディングボックス48は、合焦レベルが高い細胞についてのみ表示されている。
本実施形態によれば、顕微鏡システム1は、撮像装置120の合焦レベルがある程度高い領域にのみ、画像解析結果を光学像10に重ねて表示することで顕微用利用者の作業をサポートすることができる。このため、撮像画像中のボケが生じた領域に基づいて信頼性の低い画像解析結果が顕微鏡利用者に提供されることを回避することができる。また、合焦レベルが高い領域についてのみ画像解析結果が表示されることで、撮像画像内で合焦レベルにばらつきのある場合や、撮像画像全体として合焦レベルが十分に高くない場合であっても、部分的に画像解析結果を顕微鏡利用者に提供することができる。
上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。上述の実施形態を変形した変形形態および上述した実施形態に代替する代替形態が包含され得る。つまり、各実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形することが可能である。また、1つ以上の実施形態に開示されている複数の構成要素を適宜組み合わせることにより、新たな実施形態を実施することができる。また、各実施形態に示される構成要素からいくつかの構成要素を削除してもよく、または実施形態に示される構成要素にいくつかの構成要素を追加してもよい。さらに、各実施形態に示す処理手順は、矛盾しない限り順序を入れ替えて行われてもよい。即ち、本発明の顕微鏡システム、投影ユニット、画像投影方法は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
上述した実施形態では、重畳装置の一例として投影装置131を例示したが、顕微鏡システムは、重畳装置として対物レンズ111と接眼レンズ113の間の光路上に配置された透過型液晶素子を有してもよい。光学像が形成される像面に透過型液晶素子が配置されることで、透過型液晶素子で表示した画像を光学像に直接重畳してもよい。
また、上述した実施形態では、フォーカス状態によらずフォーカス情報を像面に重畳する例を示したが、フォーカス状態が非合焦状態にある場合にのみフォーカス情報を像面に重畳してもよく、フォーカス状態にある場合にはフォーカス情報を目立たないように、例えば、コントラストを小さくして像面に重畳してもよい。
また、上述した実施形態では、フォーカス状態によらずフォーカス情報を像面に重畳する例を示したが、フォーカス状態が非合焦状態にある場合にはフォーカス情報を大きく像面に重畳してもよく、フォーカス状態にある場合にはフォーカス情報を小さく像面に重畳してもよい。非合焦状態にある場合にフォーカス情報を大きく像面に重畳することで、顕微鏡利用者にフォーカス調整を強く促すことができる。
また、上述した実施形態では、フォーカス情報を1枚の撮像画像から生成する例を示した、フォーカス状態が特定できない場合や非合焦状態にある場合には焦準ハンドル103の操作を促すメッセージを像面に投影してもよい。焦準ハンドル103の操作により撮像装置120が異なるZ位置で複数の撮像画像を取得することで、より正確にフォーカス状態を特定したフォーカス情報を生成してもよい。
また、フォーカス状態は少なくとも視野の9か所(上段の左、中央、右、中段の左、中央、右、下段の左、中央、右)で特定し、9か所のフォーカス状態から標本Sの傾斜を検出してもよい。標本Sの傾斜を検出すると、像面にその旨を表示することで顕微利用者に標本Sを水平に配置するように促してもよい。
図16は、別の実施形態に係る顕微鏡システム2の構成を例示した図である。上述した実施形態では、顕微鏡システム1に含まれる制御装置200がフォーカス解析と画像解析を行ってフォーカス情報と解析情報を生成する例を示したが、顕微鏡システムに含まれる制御装置は、投影装置131に、フォーカス情報と解析情報を光学像が形成される像面に投影させればよく、フォーカス情報と解析情報は、制御装置が生成する代わりに他の装置から取得してもよい。
図16に示すように、顕微鏡システム2は、外部システム300と通信する制御装置200aを含んでもよい。制御装置200aは、撮像画像に基づいてフォーカス情報と解析情報の少なくとも一方を生成してもよく、どちらも生成しなくてもよい。制御装置200aは、撮像画像を外部システム300へ送信することで、外部システム300にフォーカス解析と画像解析の少なくとも一方を依頼して、処理結果を外部システム300から取得してもよい。
顕微鏡システム2によっても、上述した顕微鏡システム1と同様に、AR顕微鏡(顕微鏡100)における撮像装置120のフォーカスずれに対処することができる。
図17は、更に別の実施形態に係る顕微鏡システム3の構成を例示した図である。上述した実施形態では、顕微鏡100とは異なる制御装置200が補助画像を投影する処理を制御する例を示したが、補助画像を投影する処理は、顕微鏡に取り付けられた、顕微鏡システム用の投影ユニットにより行われてもよい。
図17に示すように、顕微鏡システム3は、撮像装置141と投影装置143の両方を含む投影ユニット140を備えてもよい。投影ユニット140は、観察光路からの光を撮像装置141へ導くビームスプリッタ142と、投影装置143からの光を観察光路に合成するビームスプリッタ144を備えている。また、投影ユニット140は、顕微鏡システム1における制御装置200と同様の機能する制御部145を備えている。即ち、制御部145は、制御装置の一例であり、撮像装置141で取得した撮像画像に基づいて投影装置143にフォーカス情報と解析情報を像面Pに投影させる。
投影ユニット140によっても、上述した顕微鏡システム1と同様に、AR顕微鏡(顕微鏡100a)における撮像装置141のフォーカスずれに対処することができる。
図18は、変形例に係る接眼レンズ経由で観察される画像の一例である。上述した実施形態では、撮像画像に対してフォーカス解析を行うことでフォーカス情報を生成する例を示したが、フォーカス情報は、撮像装置120のフォーカス状態に関する情報であればよく、撮像画像の少なくとも一部であってもよい。フォーカス情報は、例えば、撮像画像そのものであっても、撮像画像のうち視野中心付近の一部であってもよい。制御装置は、図18に示すように、投影装置131に、解析情報30と撮像装置120で取得した撮像画像(の少なくとも一部)49とを含む補助画像29を、像面Pに投影させてもよい。この場合も、撮像画像によって撮像装置120のフォーカスずれを顕微鏡利用者が認識することができるため、顕微鏡利用者は、フォーカスずれに対処することができる。
図19は、上述した制御装置を実現するためのコンピュータ1000のハードウェア構成を例示した図である。図19に示すハードウェア構成は、例えば、プロセッサ1001、メモリ1002、記憶装置1003、読取装置1004、通信インタフェース1006、及び入出力インタフェース1007を備える。なお、プロセッサ1001、メモリ1002、記憶装置1003、読取装置1004、通信インタフェース1006、及び入出力インタフェース1007は、例えば、バス1008を介して互いに接続されている。
プロセッサ1001は、任意の電気回路であり、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアプロセッサであってもよい。プロセッサ1001は、記憶装置1003に格納されているプログラムを読み出して実行することで、上述した画像投影処理を行ってもよい。
メモリ1002は、例えば、半導体メモリであり、RAM領域およびROM領域を含んでいてよい。記憶装置1003は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。
読取装置1004は、例えば、プロセッサ1001の指示に従って記憶媒体1005にアクセスする。記憶媒体1005は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体などにより実現される。なお、半導体デバイスは、例えば、USB(Universal Serial Bus)メモリである。また、磁気的作用により情報が入出力される媒体は、例えば、磁気ディスクである。光学的作用により情報が入出力される媒体は、例えば、CD(Compact Disc)-ROM、DVD(Digital Versatile Disk)、Blu-ray Disc等(Blu-rayは登録商標)である。
通信インタフェース1006は、例えば、プロセッサ1001の指示に従って、他の装置と通信する。入出力インタフェース1007は、例えば、入力装置および出力装置との間のインタフェースである。入力装置は、例えば、ユーザからの指示を受け付けるキーボード、マウス、タッチパネルなどのデバイスであってもよい。出力装置は、例えばディスプレイなどの表示装置、およびスピーカなどの音声装置である。
プロセッサ1001が実行するプログラムは、例えば、下記の形態でコンピュータ1000に提供される。
(1)記憶装置1003に予めインストールされている。
(2)記憶媒体1005により提供される。
(3)プログラムサーバなどのサーバから提供される。
(1)記憶装置1003に予めインストールされている。
(2)記憶媒体1005により提供される。
(3)プログラムサーバなどのサーバから提供される。
なお、図19を参照して述べた制御装置を実現するためのコンピュータ1000のハードウェア構成は例示であり、実施形態はこれに限定されるものではない。例えば、上述の構成の一部が、削除されてもよく、また、新たな構成が追加されてもよい。また、別の実施形態では、例えば、上述の電気回路の一部または全部の機能がFPGA(Field Programmable Gate Array)、SoC(System-on-a-Chip)、ASIC(Application Specific Integrated Circuit)、およびPLD(Programmable Logic Device)などによるハードウェアとして実装されてもよい。
本明細書において、“Aに基づいて”という表現は、“Aのみに基づいて”を意味するものではなく、“少なくともAに基づいて”を意味し、さらに、“少なくともAに部分的に基づいて”をも意味している。即ち、“Aに基づいて”はAに加えてBに基づいてもよく、Aの一部に基づいてよい。
1、2、3 :顕微鏡システム
10 :光学像
21~29 :補助画像
30、31 :解析情報
41~43 :フォーカス情報
44、48 :バウンディングボックス
45 :情報
100、100a :顕微鏡
110 :観察光学系
113 :接眼レンズ
120、141 :撮像装置
130、140 :投影ユニット
131、143 :投影装置
132、142、144 :ビームスプリッタ
145 :制御部
200、200a :制御装置
300 :外部システム
1000 :コンピュータ
1001 :プロセッサ
1002 :メモリ
1003 :記憶装置
1004 :読取装置
1005 :記憶媒体
P :像面
S :標本
10 :光学像
21~29 :補助画像
30、31 :解析情報
41~43 :フォーカス情報
44、48 :バウンディングボックス
45 :情報
100、100a :顕微鏡
110 :観察光学系
113 :接眼レンズ
120、141 :撮像装置
130、140 :投影ユニット
131、143 :投影装置
132、142、144 :ビームスプリッタ
145 :制御部
200、200a :制御装置
300 :外部システム
1000 :コンピュータ
1001 :プロセッサ
1002 :メモリ
1003 :記憶装置
1004 :読取装置
1005 :記憶媒体
P :像面
S :標本
Claims (15)
- 接眼レンズの物体側に標本の光学像を形成する観察光学系と、
前記光学像が形成される像面に情報を重畳する重畳装置と、
前記観察光学系の光路から分岐した撮像光路上に設けられた撮像装置と、
前記重畳装置に、前記撮像装置で取得した前記標本の撮像画像に基づく前記撮像装置のフォーカス状態に関するフォーカス情報と、前記撮像画像に対する画像解析であってフォーカス解析とは異なる画像解析の結果に関する解析情報とを、前記像面上に重畳させる制御装置と、を備える
ことを特徴とする顕微鏡システム。 - 請求項1に記載の顕微鏡システムにおいて、
前記制御装置は、前記重畳装置に、前記フォーカス情報と前記解析情報の両方を含む画像を、前記像面上に重畳させる
ことを特徴とする顕微鏡システム。 - 請求項1に記載の顕微鏡システムにおいて、
前記制御装置は、
前記撮像装置の前記フォーカス状態が所定の条件を満たすときに、前記重畳装置に、前記解析情報を含む画像を、前記像面に重畳させ、
前記撮像装置の前記フォーカス状態が前記所定の条件を満たさないときに、前記重畳装置に、前記解析情報を含まない画像を前記像面上に重畳させる
ことを特徴とする顕微鏡システム。 - 請求項1に記載の顕微鏡システムにおいて、
前記解析情報は、前記撮像画像中の領域であって前記撮像装置の前記フォーカス状態が所定の条件を満たす領域に関する前記画像解析の結果に関し、
前記制御装置は、前記重畳装置に、前記解析情報を含む画像を、前記撮像画像中の前記領域に対応する前記像面上の領域に重畳させる
ことを特徴とする顕微鏡システム。 - 請求項1に記載の顕微鏡システムにおいて、
前記制御装置は、前記撮像画像に基づいて、前記フォーカス情報と前記解析情報の少なくとも一方を生成する
ことを特徴とする顕微鏡システム。 - 請求項1に記載の顕微鏡システムにおいて、
前記重畳装置は、投影装置であり、
前記重畳装置からの光を前記観察光学系の光路に合流させる光路合成素子を、さらに含む
ことを特徴とする顕微鏡システム。 - 請求項1乃至請求項6のいずれか1項に記載の顕微鏡システムにおいて、
前記フォーカス情報は、前記フォーカス状態を示すインジケータを含む
ことを特徴とする顕微鏡システム。 - 請求項1乃至請求項6のいずれか1項に記載の顕微鏡システムにおいて、
前記フォーカス情報は、前記フォーカス状態を示す文字情報を含む
ことを特徴とする顕微鏡システム。 - 請求項1乃至請求項6のいずれか1項に記載の顕微鏡システムにおいて、
前記フォーカス情報は、前記撮像画像の少なくとも一部を含む
ことを特徴とする顕微鏡システム。 - 請求項1乃至請求項6のいずれか1項に記載の顕微鏡システムにおいて、
前記フォーカス解析とは異なる前記画像解析は、機械学習で学習済みのニューラルネットワークモデルを用いて画像中の物体と前記物体のカテゴリを検出する推論処理を含み、
前記解析情報は、前記推論処理で検出された所定のカテゴリの物体の位置を特定する図形を含み、
前記フォーカス情報は、前記推論処理で検出された前記所定のカテゴリの物体に対する前記フォーカス状態を特定する前記図形の色を含む
ことを特徴とする顕微鏡システム。 - 請求項10に記載の顕微鏡システムにおいて、
前記推論処理は、物体検出を含む
ことを特徴とする顕微鏡システム。 - 請求項10に記載の顕微鏡システムにおいて、
前記推論処理は、セグメンテーションを含む
ことを特徴とする顕微鏡システム。 - 請求項1乃至請求項6のいずれか1項に記載の顕微鏡システムにおいて、
前記フォーカス情報は、合焦レベルが他の領域よりも高い領域をマーキングするフォーカスピーキング情報を含む
ことを特徴とする顕微鏡システム。 - 顕微鏡システム用の投影ユニットであって、
前記顕微鏡システムに含まれる接眼レンズの物体側に前記顕微鏡システムに含まれる観察光学系が標本の光学像を形成する像面に情報を重畳する重畳装置と、
前記観察光学系の光路から分岐した撮像光路上に設けられた撮像装置と、
前記重畳装置に、前記撮像装置で取得した前記標本の撮像画像に基づく前記撮像装置のフォーカス状態に関するフォーカス情報と、前記撮像画像に対する画像解析であってフォーカス解析とは異なる画像解析の結果に関する解析情報とを、前記像面上に重畳させる制御装置と、を備える
ことを特徴とする投影ユニット。 - 観察光学系を含む顕微鏡システムが行う画像投影方法であって、
前記観察光学系に含まれる接眼レンズの物体側に標本の光学像を形成し、
前記観察光学系の光路から分岐した撮像光路上に設けられた撮像装置で取得した前記標本の撮像画像に基づく前記撮像装置のフォーカス状態に関するフォーカス情報と、前記撮像画像に対する画像解析であってフォーカス解析とは異なる画像解析の結果に関する解析情報とを、前記光学像が形成される像面上に重畳する
ことを特徴とする画像投影方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022074488A JP2023163525A (ja) | 2022-04-28 | 2022-04-28 | 顕微鏡システム、投影ユニット、画像投影方法 |
US18/136,234 US20230350185A1 (en) | 2022-04-28 | 2023-04-18 | Microscope system, projection unit, and image projection method |
EP23169987.7A EP4270083A1 (en) | 2022-04-28 | 2023-04-26 | Microscope system, projection unit, and image projection method |
CN202310459470.3A CN116974054A (zh) | 2022-04-28 | 2023-04-26 | 显微镜***、投影单元以及图像投影方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022074488A JP2023163525A (ja) | 2022-04-28 | 2022-04-28 | 顕微鏡システム、投影ユニット、画像投影方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023163525A true JP2023163525A (ja) | 2023-11-10 |
Family
ID=86226419
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022074488A Pending JP2023163525A (ja) | 2022-04-28 | 2022-04-28 | 顕微鏡システム、投影ユニット、画像投影方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230350185A1 (ja) |
EP (1) | EP4270083A1 (ja) |
JP (1) | JP2023163525A (ja) |
CN (1) | CN116974054A (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010055062A1 (en) * | 2000-04-20 | 2001-12-27 | Keiji Shioda | Operation microscope |
JP2004054045A (ja) * | 2002-07-22 | 2004-02-19 | Olympus Corp | 顕微鏡撮像装置 |
JP6097280B2 (ja) * | 2011-05-06 | 2017-03-15 | レッド.コム,インコーポレイテッド | 焦点合わせ支援システムおよび方法 |
EP3988986A4 (en) * | 2018-09-28 | 2023-09-06 | Evident Corporation | MICROSCOPE SYSTEM |
-
2022
- 2022-04-28 JP JP2022074488A patent/JP2023163525A/ja active Pending
-
2023
- 2023-04-18 US US18/136,234 patent/US20230350185A1/en active Pending
- 2023-04-26 EP EP23169987.7A patent/EP4270083A1/en active Pending
- 2023-04-26 CN CN202310459470.3A patent/CN116974054A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230350185A1 (en) | 2023-11-02 |
CN116974054A (zh) | 2023-10-31 |
EP4270083A1 (en) | 2023-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20160014328A1 (en) | Image processing device, endoscope apparatus, information storage device, and image processing method | |
JP5738606B2 (ja) | 撮像装置 | |
KR20090090333A (ko) | 초점 조력 시스템 및 방법 | |
US10613313B2 (en) | Microscopy system, microscopy method, and computer-readable recording medium | |
WO2020066042A1 (ja) | 顕微鏡システム、投影ユニット、及び、画像投影方法 | |
JP2015103217A (ja) | 画像処理装置および画像処理方法 | |
US10429632B2 (en) | Microscopy system, microscopy method, and computer-readable recording medium | |
US11233931B2 (en) | Image processing device, imaging device, control method for image processing device, and recording medium | |
JP6563517B2 (ja) | 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム | |
US9628715B2 (en) | Photographing equipment, photographing assisting method, display apparatus and display method | |
JP2023163525A (ja) | 顕微鏡システム、投影ユニット、画像投影方法 | |
JP2018007082A (ja) | 画像再生装置およびその制御方法およびプログラム | |
KR100684299B1 (ko) | 안과용 촬영장치 | |
JP5119111B2 (ja) | 顕微鏡装置 | |
KR102608709B1 (ko) | 하전 입자선 장치 | |
WO2022153692A1 (ja) | 制御装置及び制御方法 | |
JP2015210396A (ja) | アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム | |
JP6069984B2 (ja) | 撮像装置、及び、プログラム | |
WO2019044416A1 (ja) | 撮影処理装置、撮影処理装置の制御方法および撮影処理プログラム | |
JP2018101091A (ja) | 顕微鏡装置、プログラム、観察方法 | |
JP2023163524A (ja) | 顕微鏡システム、投影ユニット、画像投影方法 | |
JP2022131937A (ja) | アノテーションを支援するシステム、方法、及び、プログラム | |
JP2017097705A (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム | |
JP2023151275A (ja) | 顕微鏡システム、顕微鏡を制御可能な電子機器、制御方法及びプログラム | |
JP2019164250A (ja) | 顕微鏡システム、注意喚起方法、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20231110 |