CN112714886B - 显微镜***、投影单元以及图像投影方法 - Google Patents

显微镜***、投影单元以及图像投影方法 Download PDF

Info

Publication number
CN112714886B
CN112714886B CN201880097755.4A CN201880097755A CN112714886B CN 112714886 B CN112714886 B CN 112714886B CN 201880097755 A CN201880097755 A CN 201880097755A CN 112714886 B CN112714886 B CN 112714886B
Authority
CN
China
Prior art keywords
image
projection
projection image
image data
microscope system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880097755.4A
Other languages
English (en)
Other versions
CN112714886A (zh
Inventor
壁谷章文
城田哲也
中田竜男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yijingtong Co ltd
Original Assignee
Yijingtong Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yijingtong Co ltd filed Critical Yijingtong Co ltd
Publication of CN112714886A publication Critical patent/CN112714886A/zh
Application granted granted Critical
Publication of CN112714886B publication Critical patent/CN112714886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/368—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

显微镜***(1)具备：目镜(104)；物镜(102)，其将来自试样的光引导到目镜(104)；以及成像透镜(103)，其配置在目镜(104)与物镜(102)之间的光路上，基于来自试样的光来形成试样的光学图像。显微镜***(1)还具备向形成有光学图像的像面以能够相互区分的方式投射第一投影图像和第二投影图像的投影装置(133)。第一投影图像是基于计算机对试样的数字图像数据的分析结果的图像，第二投影图像是基于利用者的输入操作的图像。

Description

显微镜***、投影单元以及图像投影方法
技术领域
本说明书的公开涉及一种显微镜***、投影单元以及图像投影方法。
背景技术
作为减轻病理医生在病理诊断中的负担的技术之一，WSI(Whole Slide Imaging：全载玻片成像)技术受到关注。WSI技术是一种用于制作WSI(Whole Slide Image：全载玻片图像)的技术，该WSI是载玻片上的整个检体的数字图像。通过在监视器上显示作为数字图像的WSI并进行诊断，病理医生能够享受到各种好处。具体地说，能够列举出在诊断中不需要进行麻烦的显微镜操作、能够容易地变更显示倍率、能够由多名病理医生同时参与诊断等好处。这种WSI技术例如在专利文献1中有所记载。
现有技术文献
专利文献
专利文献1：日本特表2001-519944号公报
发明内容
发明要解决的问题
另一方面，要求应用WSI技术的***(以后记载为WSI***。)具有高性能。具体地说，例如，在病理诊断中，颜色、浓淡的信息极为重要，因此要求WSI***具有高的颜色再现性、大的动态范围。因此，构成WSI***的各设备必须是具有高性能的昂贵的设备，其结果，能够引入WSI***的用户是有限的。
根据这种实际情况，寻求如下一种新技术：对病理医生基于通过光学显微镜得到的光学图像(模拟图像)进行的病理诊断进行辅助，由此减轻病理医生的负担。
本发明的一个方面所涉及的目的在于提供一种对病理医生基于光学图像进行的病理诊断进行辅助的诊断辅助技术。
用于解决问题的方案
本发明的一个方式所涉及的显微镜***具备：目镜；物镜，其将来自试样的光引导到所述目镜；成像透镜，其配置在所述目镜与所述物镜之间的光路上，基于来自所述试样的光来形成所述试样的光学图像；以及投影装置，其向形成有所述光学图像的像面以能够相互区分的方式投射第一投影图像和第二投影图像，其中，所述第一投影图像是基于计算机对所述试样的数字图像数据的分析结果的图像，所述第二投影图像是基于利用者的输入操作的至少包含所述利用者的输入信息的图像。
本发明的一方式所涉及的投影单元是具备物镜、成像透镜以及目镜的显微镜用的投影单元，所述投影单元具备：摄像装置，其基于来自试样的光来获取所述试样的数字图像数据；以及投影装置，其向通过所述成像透镜形成有所述试样的光学图像的像面以能够相互区分的方式投射第一投影图像和第二投影图像，其中，所述第一投影图像是基于所述数字图像数据的分析结果的图像，所述第二投影图像是基于利用者的输入操作的至少包含所述利用者的输入信息的图像。
本发明的一方式所涉及的图像投影方法是由显微镜***进行的图像投影方法，所述显微镜***进行以下动作：获取试样的数字图像数据；获取利用者的输入操作的信息；以及向基于来自所述试样的光而形成有所述试样的光学图像的像面以能够相互区分的方式投射第一投影图像和第二投影图像，在此，所述第一投影图像是基于计算机对所述数字图像数据的分析结果的图像，所述第二投影图像是基于所述输入操作的至少包含所述利用者的输入信息的图像。
发明的效果
根据上述的方式，能够对病理医生基于光学图像进行的病理诊断进行辅助。
附图说明
图1是示出显微镜***1的结构的图。
图2是示出计算机20的结构的图。
图3是显微镜***1所进行的图像投影处理的流程图。
图4是例示了细胞的分布的图。
图5是示出使用显微镜***1进行的观察的一例的图。
图6是示出使用显微镜***1进行的观察的另一例的图。
图7是示出使用显微镜***1进行的观察的又一例的图。
图8是示出神经网络的结构的图。
图9是示出显微镜***2的结构的图。
图10是示出包括显微镜***3和外部浏览***300的诊断辅助***的结构的图。
图11是示出使用显微镜***3进行的观察的一例的图。
图12是示出显微镜500的结构的图。
图13是示出显微镜600的结构的图。
具体实施方式
[第一实施方式]
图1是示出本实施方式所涉及的显微镜***1的结构的图。图2是示出计算机20的结构的图。显微镜***1是病理医生在病理诊断中使用的显微镜***，至少具备物镜102、成像透镜103、目镜104以及投影装置133。
显微镜***1使用投影装置133向通过物镜102和成像透镜103形成有试样的光学图像的像面投射两个种类的投影图像。更具体地说，两个种类的投影图像是基于计算机的分析结果的第一投影图像以及基于包括病理医生在内的显微镜***1的利用者的输入操作的投影图像。由此，病理医生会看到这些投影图像叠加到光学图像而成的图像。因此，显微镜***1能够将辅助病理诊断的各种信息提供给正在窥视目镜104来观察试样的病理医生。
下面，参照图1和图2来详细说明显微镜***1的结构的具体例。如图1所示，显微镜***1具备显微镜100、显微镜控制器10、计算机20、显示装置30、输入装置40以及识别装置50。
显微镜100例如是正立显微镜，具备显微镜主体110、镜筒120以及中间镜筒130。此外，显微镜100也可以是倒置显微镜。
显微镜主体110具备：载置台101，其载置试样；物镜(物镜102、物镜102a)，其将来自试样的光引导到目镜104；落射照明光学***；以及透射照明光学***。载置台101既可以是手动载置台，也可以是电动载置台。期望的是，在换镜旋座上安装有倍率不同的多个物镜。例如，物镜102是4倍的物镜，物镜102a是20倍的物镜。此外，显微镜主体110只要具备落射照明光学***和透射照明光学***中的至少一方即可。
显微镜主体110还具备用于切换显微技术的转塔111。在转塔111例如配置有在荧光观察法中使用的荧光立方体、在明视场观察法中使用的半透半反镜等。除此以外，显微镜主体110也可以具备相对于光路而言插拔自如的在特定的显微技术中使用的光学元件。具体地说，显微镜主体110例如也可以具备在微分干涉观察法中使用的DIC棱镜、偏振器、检偏器等。
镜筒120是安装有目镜104的单眼镜筒或双眼镜筒。在镜筒120内设置成像透镜103。成像透镜103配置在物镜102与目镜104之间的光路上。成像透镜103在目镜104与成像透镜103之间的像面基于来自试样的光形成试样的光学图像。另外，成像透镜103还在像面基于来自投影装置133的光形成后述的投影图像。由此，在像面，投影图像被叠加到光学图像上。
中间镜筒130设置于显微镜主体110与镜筒120之间。中间镜筒130具备摄像元件131、光偏转元件132、投影装置133以及光偏转元件134。
摄像元件131是检测来自试样的光的光检测器的一例。摄像元件131是二维图像传感器，例如是CCD图像传感器、CMOS图像传感器等。摄像元件131检测来自试样的光，基于其检测结果来生成试样的数字图像数据。
光偏转元件132是将来自试样的光朝向摄像元件131偏转的第一光偏转元件的一例。光偏转元件132例如是半透半反镜等分束器。作为光偏转元件132，也可以使用能够改变透射率和反射率的可变分束器。光偏转元件132配置在目镜104与物镜102之间的光路上。由此，能够利用摄像元件131得到从与目视观察方向相同的方向观察到的试样的数字图像。
投影装置133是按照来自计算机20的命令将后述的第一投影图像和第二投影图像以能够相互区分的方式投射到像面的投影装置。投影装置133例如是使用液晶设备的投影仪、使用数字反射镜设备的投影仪、使用LCOS的投影仪等。
光偏转元件134是将从投影装置133射出的光朝向像面偏转的第二光偏转元件的一例。光偏转元件134例如是半透半反镜等分束器。作为光偏转元件134，也可以使用能够改变透射率和反射率的可变分束器。作为光偏转元件134，也可以使用二向色镜等。光偏转元件134配置在像面与光偏转元件132之间的光路上。由此，能够避免来自投影装置133的光入射到摄像元件131。
显微镜控制器10对显微镜100、特别是显微镜主体110进行控制。显微镜控制器10与计算机20及显微镜100连接，根据来自计算机20的命令来控制显微镜100。
显示装置30例如是液晶显示器、有机EL(OLED)显示器、CRT(Cathode Ray Tube：阴极射线管)显示器等。输入装置40向计算机20输出与利用者的输入操作相应的操作信号。输入装置40例如是键盘，但是也可以包括鼠标、操纵杆、触摸面板等。
识别装置50是获取附加于试样的识别信息的装置。识别信息至少包含用于识别试样的信息。识别信息也可以包含关于试样的分析方法的信息等。识别装置50例如是条形码读取器、RFID读取器、QR码(注册商标)读取器等。
计算机20对显微镜***1整体进行控制。计算机20与显微镜100、显微镜控制器10、显示装置30、输入装置40以及识别装置50连接。如图1所示，计算机20主要具备摄像机控制部21、图像分析部22、移动量计算部22a、投影图像生成部23、信息获取部24、投影控制部25、图像记录部26、图像合成部27、显示控制部28，来作为与投影装置133的控制关联的结构要素。
摄像机控制部21通过对摄像元件131进行控制来获取试样的数字图像数据。摄像机控制部21获取到的数字图像数据被输出到图像分析部22、移动量计算部22a、图像记录部26以及图像合成部27。
图像分析部22对摄像机控制部21获取到的数字图像数据进行分析，将分析结果输出到投影图像生成部23。图像分析部22所进行的分析处理的内容没有特别限定。图像分析部22例如可以将数字图像数据所表现的数字图像中呈现的一个以上的构造物分类到一个以上的类别，输出包含用于确定被分类到该一个以上的类别中的至少一个类别的构造物的位置的信息的分析结果。更具体地说，图像分析部22可以对数字图像中呈现的细胞进行分类，输出包含用于确定特定细胞的轮廓的信息以及用于确定该特定细胞的核的轮廓的信息的分析结果。
移动量计算部22a对摄像机控制部21获取到的数字图像数据进行分析，计算载置台101的移动量。具体地说，通过将在不同的时刻获取到的数字图像数据进行比较来计算载置台101的移动量。移动量计算部22a计算出的移动量被输出到投影图像生成部23。
投影图像生成部23生成第一投影图像数据和第二投影图像数据。第一投影图像数据所表现的第一投影图像是基于计算机20对试样的数字图像数据的分析结果的图像。第二投影图像数据所表现的第二投影图像是基于利用者的输入操作的图像。在投影图像生成部23中生成的第一投影图像和第二投影图像被输出到投影控制部25、图像记录部26以及图像合成部27。
期望的是，投影图像生成部23以使第一投影图像的显示形式与第二投影图像的显示形式不同的方式生成第一投影图像数据和第二投影图像数据。此外，显示形式例如包括图像的颜色或构成图像的线的格式。线的格式包括线的颜色、种类、粗细等。
投影图像生成部23基于从图像分析部22输出的分析结果来生成第一投影图像数据。例如，如果是分析结果包含用于确定被分类到至少一个类别的构造物的位置的信息的情况，则投影图像生成部23所生成的第一投影图像数据表现包含用于确定该被分类到至少一个类别的构造物的位置的图形的第一投影图像。另外，如果是分析结果包含用于确定特定细胞的轮廓的信息以及用于确定该特定细胞的核的轮廓的信息的情况，则第一投影图像数据表现包含与特定细胞的轮廓重叠的闭合曲线以及与该特定细胞的核的轮廓重叠的闭合曲线的第一投影图像。此外，用于确定特定细胞的轮廓的闭合曲线与用于确定核的轮廓的闭合曲线也可以具有不同的颜色。
投影图像生成部23至少基于通过后述的信息获取部24获取到的操作信息来生成第二投影图像数据。例如，如果操作信息是通过利用者的操作而得到用于指定应该关注的区域的信息，则投影图像生成部23所生成的第二投影图像数据表现包含表示利用者所指定的应该关注的区域(以后记载为ROI。)的图形的第二投影图像。表示ROI的图形例如是与ROI的轮廓重叠的闭合曲线。另外，如果操作信息是通过利用者输入注释的操作而得到的信息，则投影图像生成部23所生成的第二投影图像数据表现包含利用者所输入的注释的第二投影图像。
投影图像生成部23也可以基于输入操作以及通过移动量计算部22a获取到的载置台101的移动量来生成第二投影图像数据。这在通过信息获取部24获取了操作信息后载置台101发生了移动的情况下特别有效。由此，无需由利用者重新指定ROI，投影图像生成部23能够根据载置台101的移动量来变更第二投影图像中包含的表示ROI的图形在像面上的位置。
投影图像生成部23也可以基于输入操作以及形成于像面的光学图像的倍率来生成第二投影图像数据。这在通过信息获取部24获取了操作信息后光学图像的倍率发生了变更的情况下特别有效。由此，无需由利用者重新指定ROI，投影图像生成部23能够根据光学图像的倍率来变更第二投影图像中包含的图形在像面上的大小。
信息获取部24从计算机20外部的装置获取信息。具体地说，信息获取部24基于来自输入装置40的操作信号来获取利用者的操作信息。另外，信息获取部24从识别装置50获取识别信息。此外，利用者的操作信息是利用者为了在像面显示信息而对输入装置40进行操作从而生成的信息。
投影控制部25通过对投影装置133进行控制来控制第一投影图像和第二投影图像向像面的投射。投影控制部25也可以控制投影装置133来使第一投影图像的投影期间与第二投影图像的投影期间不同。具体地说，投影控制部25例如也可以以如下方式调整投影期间：定期地投射第一投影图像，始终投射第二投影图像。另外，投影控制部25也可以根据显微镜***1的设定来控制投影装置133。具体地说，投影控制部25可以根据显微镜***1的设定来决定是否向像面投射第一投影图像和第二投影图像中的各投影图像，也可以在显微镜***1为规定的设定时以使投影装置133向像面投射第一投影图像和第二投影图像的方式控制投影装置133。也就是说，显微镜***1能够根据设定来变更是否向像面投射第一投影图像和第二投影图像中的各投影图像。
图像记录部26记录数字图像数据、第一投影图像数据以及第二投影图像数据。具体地说，图像记录部26将第一投影图像数据和第二投影图像数据中的各投影图像数据与数字图像数据相关联地记录到不同于数字图像数据的区域。由此，能够将彼此关联的数字图像数据、第一投影图像数据以及第二投影图像数据根据需要来个别地读出。并且，图像记录部26也可以经由识别装置50和信息获取部24获取附加于试样的识别信息，将获取到的识别信息与数字图像数据相关联地进行记录。另外，图像记录部26也可以在检测到利用者的记录指示的输入时记录数字图像数据、第一投影图像数据以及第二投影图像数据。
图像合成部27基于数字图像数据、第一投影图像数据以及第二投影图像数据来生成将数字图像与第一投影图像及第二投影图像进行合成所得到的合成图像的图像数据，将该合成图像的图像数据输出到显示控制部28。
显示控制部28基于从图像合成部27输出的合成图像数据来将合成图像显示于显示装置30。此外，显示控制部28也可以基于数字图像数据来单独地将数字图像显示于显示装置30。
此外，计算机20既可以是通用装置也可以是专用装置。计算机20的结构没有特别限定，例如可以具有如图2所示的物理结构。具体地说，计算机20可以具备处理器20a、存储器20b、辅助存储装置20c、输入输出接口20d、介质驱动装置20e、通信控制装置20f，并可以将它们通过总线20g进行连接。
处理器20a例如是包括CPU(Central Processing Unit：中央处理单元)的任意的处理电路。处理器20a也可以执行存储器20b、辅助存储装置20c、存储介质20h中保存的程序来进行被编程的处理，由此实现与上述的投影装置133的控制关联的结构要素(摄像机控制部21、图像分析部22、投影图像生成部23等)。另外，也可以使用ASIC、FPGA等专用处理器来构成处理器20a。
存储器20b是处理器20a的工作存储器。存储器20b例如是RAM(Random AccessMemory：随机存取存储器)等任意的半导体存储器。辅助存储装置20c是EPROM(ErasableProgrammable ROM：可擦除可编程ROM)、硬盘驱动器(Hard Disc Drive)等非易失性的存储器。输入输出接口20d与外部装置(显微镜100、显微镜控制器10、显示装置30、输入装置40、识别装置50)交换信息。
介质驱动装置20e能够将存储器20b和辅助存储装置20c中保存的数据输出到存储介质20h，另外，能够从存储介质20h读出程序和数据等。存储介质20h是能够搬运的任意的记录介质。存储介质20h例如包括SD卡、USB(Universal Serial Bus：通用串行总线)快闪存储器、CD(Compact Disc：压缩盘)、DVD(Digital Versatile Disc：数字多功能盘)等。
通信控制装置20f进行信息相对于网络的输入输出。作为通信控制装置20f，例如能够采用NIC(Network Interface Card：网络接口卡)、无线LAN(Local Area Network：局域网)卡等。总线20g将处理器20a、存储器20b、辅助存储装置20c等以能够相互授受数据的方式进行连接。
如以上那样构成的显微镜***1进行图3所示的图像投影处理。图3是显微镜***1所进行的图像投影处理的流程图。下面，参照图3来说明显微镜***1的图像投影方法。
首先，显微镜***1将试样的光学图像投射到像面(步骤S1)。在此，成像透镜103将物镜102所获取到的来自试样的光会聚到像面，形成试样的光学像。
并且，显微镜***1获取试样的数字图像数据(步骤S2)。在此，光偏转元件132将物镜102所获取到的来自试样的光的一部分朝向摄像元件131偏转。摄像元件131基于被光偏转元件132偏转后的光来拍摄试样，由此生成数字图像数据。
之后，显微镜***1基于数字图像数据的分析结果来生成第一投影图像数据(步骤S3)。在此，经由摄像机控制部21获取到数字图像数据的图像分析部22进行分析处理，投影图像生成部23基于该分析结果来生成第一投影图像数据。
当生成了第一投影图像数据时，显微镜***1将第一投影图像投射到像面(步骤S4)。在此，投影控制部25基于第一投影图像数据来控制投影装置133，由此投影装置133将第一投影图像投射到像面。由此，第一投影图像被叠加到试样的光学图像上。
并且，显微镜***1基于利用者的输入操作来生成第二投影图像数据(步骤S5)。在此，投影图像生成部23基于经由输入装置40和信息获取部24获取到的操作信息来生成第二投影图像数据。
最后，显微镜***1将第二投影图像以能够与第一投影图像区分的方式投射到像面(步骤S6)。在此，投影控制部25基于第二投影图像数据来控制投影装置133，由此投影装置133将第二投影图像以能够与第一投影图像区分的方式投射到像面。更具体地说，例如，在第一投影图像的显示形式与第二投影图像的显示形式不同的情况下，投影装置133以能够通过显示形式的不同来进行区分的方式投射第一投影图像和第二投影图像。另一方面，例如，在第一投影图像的显示形式与第二投影图像的显示形式相同的情况下，通过使第一投影图像的投影期间与第二投影图像的投影期间不同，来以能够区分的方式投射第一投影图像和第二投影图像。
在显微镜***1中，通过计算机得到的图像分析结果以及利用者通过输入操作而附加的信息被显示在光学图像上。由此，病理医生在基于试样的光学图像的病理诊断中不使眼睛离开目镜就能够得到用于辅助诊断的各种信息。因此，根据显微镜***1，能够减轻病理医生的作业负担。特别是，通过显示计算机的图像分析结果，病理医生能够得到在病理诊断中成为判断的基础的各种信息。另外，通过显示基于利用者的输入操作的图像，病理医生例如能够实时地得到经验丰富的其它病理医生的建议。这样，根据显微镜***1，能够对基于光学图像的病理诊断进行辅助。
并且，在显微镜***1中，通过在光学图像上显示附加信息，来辅助病理诊断。因此，与基于数字图像来进行病理诊断的WSI***不同，不需要高价的设备。因而，根据显微镜***1，能够在避免大幅的设备成本的上升的同时实现病理医生的负担减轻。另外，为了在WSI***中进行病理诊断，需要事先制作WSI(Whole Slide Image)，但是在显微镜***1中，不需要事先准备，能够立即开始诊断作业。
图4是例示了载玻片SG上的细胞的分布的图。图5至图7是示出了使用显微镜***1进行的观察的例子的图。下面，参照图4至图7来具体说明使用执行图3所示的图像投影处理的显微镜***1来进行的观察的情形。
首先，参照图5来说明在图4所示的载玻片SG上将显微镜***1的视场固定为视场F1来进行观察的情况。
当开始使用显微镜***1进行观察并窥视目镜104时，病理医生能够观察呈现了细胞C1的图像V1。图像V1是形成于像面的与视场F1对应的光学图像。此时，在显示装置30中可以正在基于通过摄像元件131生成的数字图像数据显示与图像V1对应的图像M1。
此外，以后，将病理医生使用目镜104观察的图像记载为目视图像，将显示装置30所显示的图像记载为监视器图像。
之后，当通过计算机20对数字图像数据进行分析从而确定了细胞C1的轮廓和细胞C1的核的轮廓时，作为第一投影图像的投影图像P1被投射到像面。此外，投影图像P1中包含的标记CC示出细胞的轮廓，标记NC示出细胞的核的轮廓。由此，病理医生观察投影图像P1被叠加到图像V1而成的图像V2。此时，在显示装置30中正在显示将图像M1与投影图像P1进行合成而得到的图像M2。
最后，当显微镜***1的利用者使用输入装置40指定了ROI时，作为第二投影图像的投影图像P2被投射到像面。此外，利用者是例如正在观察监视器图像的经验丰富的辅助者，投影图像P2中包含的标记UR示出ROI。由此，病理医生能够观察投影图像P2被叠加到图像V2而成的图像V3。此时，在显示装置30中正在显示将图像M2与投影图像P2进行合成而得到的图像M3。
在图5所示的例子中，通过第一投影图像强调了细胞C1的轮廓和核的轮廓。因此，病理医生能够在不漏看细胞C1的存在而是可靠地进行了识别的基础上作出诊断。另外，通过第二投影图像示出了经验丰富的辅助者所指定的关注区域。因此，病理医生能够尤其慎重地观察应该关注的区域后作出诊断。
接着，参照图6来说明在图4所示的载玻片SG上将显微镜***1的视场从视场F1移动到视场F2来进行观察的情况。
当从病理医生正在观察图5所示的图像V3的状态起将显微镜***1的视场从视场F1移动到视场F2时，病理医生能够观察呈现出细胞C1和细胞C2的图像V4。图像V4是形成于像面的与视场F2对应的光学图像。此时，在显示装置30中可以正在基于通过摄像元件131生成的数字图像数据显示与图像V4对应的图像M4。
之后，当通过计算机20对数字图像数据进行分析从而确定了细胞C1和细胞C2各自的轮廓以及细胞C1的核和细胞C2的核各自的轮廓时，作为第一投影图像的投影图像P3被投射到像面。并且，当基于数字图像中的细胞C1的位置的变化计算出了载置台101的移动量时，使投影图像P2的标记UR移动与移动量相应的距离后得到的投影图像P4被投射到像面。由此，病理医生观察投影图像P3和投影图像P4被叠加到图像V4而成的图像V5。此时，在显示装置30中显示了将图像M4与投影图像P3及投影图像P4进行合成而得到的图像M5。
在图6所示的例子中，第二投影图像中包含的标记UR与载置台101的移动量相应地移动。因此，标记UR追随由利用者指定的ROI，因此在载置台101移动后利用者无需再次重新指定ROI。因而，无论载置台101是否移动，病理医生都能够正确地识别应该关注的区域。
并且，参照图7来说明在图4所示的载玻片SG上将显微镜***1的视场从视场F1移动到视场F2来进行观察的情况。此外，图7在以下方面与图6不同：病理医生在病理诊断的中途输入观察意见。
当显微镜***1的利用者在像面形成有呈现了细胞C1的图像V2的状态下使用输入装置40指定了ROI且输入了观察的意见时，作为第二投影图像的投影图像P5被投射到像面。此外，利用者例如是正在窥视目镜104的病理医生本人。投影图像P5中包含的标记UR示出ROI，投影图像P5中包含的注释N是病理医生针对ROI的意见。由此，病理医生能够观察投影图像P5被叠加到图像V2而成的图像V6。此时，在显示装置30中正在显示将图像M2与投影图像P5进行合成而得到的图像M6。
当从病理医生正在观察图像V6的状态起将显微镜***1的视场从视场F1移动到视场F2时，病理医生观察呈现出细胞C1和细胞C2的图像V7。图像V7是投影图像P3和投影图像P6被叠加到与视场F2对应的光学图像即图像V4而成的图像。投影图像P6是使投影图像P5的标记UR移动与移动量相应的距离且在与投影图像P5相同的位置包含注释N的图像。此时，在显示装置30中正在显示图像M7。
在图7所示的例子中，将第二投影图像中包含的标记分为与载置台101一起移动的标记和不移动的标记来进行管理。因此，由标记UR追随利用者指定的ROI，另一方面，表示意见的注释N被维持在规定位置。由此，能够避免应该始终显示的意见由于载置台101的移动而变得不显示之类的情况。
在图5至图7的例子中，示出了将第一投影图像和第二投影图像用不同的线类型(实线和虚线)来进行显示的例子，但是只要能够区分第一投影图像与第二投影图像即可，例如也可以是通过使颜色互不相同来使得能够区分。
另外，显微镜***1的图像分析部22既可以通过基于规定的算法的图像识别处理来分析数字图像数据，也可以使用已训练的神经网络来分析数字图像数据。
关于已训练的神经网络的参数，可以在与显微镜***1不同的装置中对神经网络进行训练由此生成所述参数，计算机20可以将所生成的参数下载来应用于图像分析部22。
此外，图8是示出神经网络NN的结构的图。神经网络NN具有输入层、多个中间层以及输出层。将通过将输入数据D1输入到输入层而从输出层输出的输出数据D2与正确数据D3进行比较。然后，通过误差反向传播法进行学习，由此对神经网络NN的参数进行更新。此外，输入数据D1与正确数据D3的集合是有监督学习的训练数据。
[第二实施方式]
图9是示出本实施方式所涉及的显微镜***2的结构的图。显微镜***2在以下方面与显微镜***1不同：具备显微镜200来代替显微镜100。显微镜200在显微镜主体110与镜筒120之间具备投影单元140。
投影单元140是具备物镜102、成像透镜103以及目镜104的显微镜用的投影单元，包括中间镜筒130。即，投影单元140具备：作为摄像装置的一例的摄像元件131，其基于来自试样的光来获取试样的数字图像数据；以及投影装置133，其向形成光学图像的像面投射第一投影图像和第二投影图像。
投影单元140还具备摄像机控制部141、图像分析部142、移动量计算部142a、投影图像生成部143、信息获取部144以及投影控制部145。
摄像机控制部141、图像分析部142、移动量计算部142a、投影图像生成部143、投影控制部145分别与摄像机控制部21、图像分析部22、移动量计算部22a、投影图像生成部23、投影控制部25相同。因此，省略详细的说明。
信息获取部144基于经由计算机20获取到的来自输入装置40的操作信号来获取利用者的操作信息。另外，信息获取部144经由计算机20从识别装置50获取识别信息。
在本实施方式中，只需将投影单元140安装于现有的显微镜，就能够得到与显微镜***1同样的效果。因而，根据投影单元140和显微镜***2，能够容易地扩展现有的显微镜***，来对病理医生基于光学图像进行的病理诊断进行辅助。
[第三实施方式]
图10是示出本实施方式所涉及的包括显微镜***3和外部浏览***300的诊断辅助***的结构的图。显微镜***3在以下方面不同：具备计算机60来代替计算机20。
显微镜***3经由因特网400来与1个以上的外部浏览***300连接。外部浏览***300是具备至少具备通信控制部311的计算机310、输入装置320以及显示装置330的***。
此外，因特网400是通信网络的一例。显微镜***3与外部浏览***300例如可以经由VPN(Virtual Private Network：虚拟专用网络)、专用线等进行连接。
计算机60在包括通信控制部29这一点上与计算机20不同。通信控制部29与外部浏览***300交换数据。
通信控制部29例如将图像数据发送到外部浏览***300。通信控制部29所发送的图像数据例如也可以是在图像合成部27中生成的合成图像数据。也可以将数字图像数据、第一投影图像数据以及第二投影图像数据个别地进行发送。另外，也可以仅发送数字图像数据。在外部浏览***300中，接收到图像数据的计算机310基于图像数据在显示装置330中显示图像。计算机310例如可以基于数字图像数据、第一投影图像数据以及第二投影图像数据来生成合成图像数据，并可以基于合成图像数据来将合成图像显示于显示装置330。
通信控制部29例如接收外部浏览***300的利用者输入的操作信息。投影图像生成部23也可以基于通信控制部29接收到的操作信息来生成第二投影图像数据。显微镜***3也可以使用投影装置133将基于外部浏览***300的利用者的输入操作的第二投影图像投射到像面。
显微镜***3能够与经由网络连接的外部浏览***300进行对话。因此，能够从位于远处的病理医生接受建议。因而，根据显微镜***3，能够进一步减轻病理医生的病理诊断的负担。
图11是示出使用显微镜***3进行的观察的一例的图。参照图11来具体说明使用显微镜***3进行的观察的情形。
当开始使用显微镜***3进行观察并窥视目镜104时，病理医生能够观察呈现了细胞C1和细胞C2的图像V8。图像V8是形成于像面的与视场F2对应的光学图像。此时，在显示装置30和显示装置330中可以正在基于通过摄像元件131生成的数字图像数据显示与图像V8对应的图像M8。
之后，当通过计算机60对数字图像数据进行分析从而确定了细胞的轮廓和细胞的核的轮廓时，作为第一投影图像的投影图像P7被投射到像面。此外，投影图像P7中包含的标记CC示出细胞的轮廓，标记NC示出细胞的核的轮廓。由此，病理医生观察投影图像P7被叠加到图像V8而成的图像V9。此时，在显示装置30和显示装置330中正在显示将图像M8与投影图像P7进行合成而得到的图像M9。
并且，当显微镜***3的利用者使用输入装置40指定了ROI时，作为第二投影图像的投影图像P8被投射到像面。此外，利用者是正在窥视目镜104的病理医生本人，投影图像P8中包含的标记UR示出病理医生本人所关注的ROI。由此，病理医生能够观察投影图像P8被叠加到图像V9而成的图像V10。此时，在显示装置30和显示装置330中正在显示将图像M9与投影图像P8进行合成而得到的图像M10。
之后，通过显示装置330所显示的图像M10意识到病理医生正在关注细胞C1的外部浏览***300的利用者为了使病理医生关注细胞C2而对输入装置320进行操作。由此，从外部浏览***300向显微镜***3发送操作信息。接收到操作信息的显微镜***3将基于外部浏览***300的利用者的输入操作的另一第二投影图像即投影图像P9投射到像面。投影图像P9中包含用于促使关注细胞C2的标记UR2。其结果，病理医生能够观察投影图像P9被叠加到图像V10而成的图像V11。此时，在显示装置30和显示装置330中正在显示将图像M10与投影图像P9进行合成而得到的图像M11。
在图11所示的例子中，基于显微镜***1的利用者和外部浏览***300的利用者的输入操作的投影图像被投射到像面。因此，能够一边与位于不同的位置的利用者之间进行交流一边进行病理诊断。
上述的实施方式示出了用于使发明易于理解的具体例，本发明的实施方式不限定于它们。显微镜***、投影单元以及图像投影方法能够在不脱离权利要求书的记载的范围内进行各种变形、变更。
显微镜***1中包括的显微镜例如也可以是图12所示的显微镜500。在上述的实施方式中，例示了在中间镜筒130具备摄像元件131的结构，但是也可以是，获取在图像分析中使用的数字图像数据的摄像元件151如图12所示那样设置于数字摄像机150，该数字摄像机150安装于作为三眼镜筒的镜筒120a。但是，在该情况下，从中间镜筒130a中包括的投影装置133射出的光会入射到摄像元件151。因此，也可以是，以使投影装置133的发光期间与摄像元件151的曝光期间不重叠的方式控制数字摄像机150。由此，能够防止数字图像中出现投影图像。
另外，显微镜***1中包括的显微镜例如也可以是图13所示的显微镜600。显微镜600具备中间镜筒130b来代替中间镜筒130，该中间镜筒130b包括使用透射型的液晶设备的投影装置135。在上述的实施方式中，例示了通过利用配置在物镜102与目镜104之间的光路上的光偏转元件134偏转从投影装置133射出的光来将投影图像投射到像面的结构，但是也可以是，如图13所示，将投影装置135配置在物镜102与目镜104之间的光路上。
另外，在上述的实施方式中，示出了作为光检测器包括摄像元件的例子，但是光检测器不限于摄像元件。例如，也可以对扫描型显微镜提供上述的技术，在该情况下，光检测器也可以是光电倍增管(PMT)等。
另外，在上述的实施方式中，示出了基于图像来计算载置台101的移动量的例子，但是载置台101的移动量也可以通过其它方法来计算。例如，在载置台101是电动载置台的情况下，也可以基于用于指示电动载置台的移动的指示信息来计算载置台101的移动量，也可以基于来自安装于电动载置台的电机的编码器的输出信息来计算载置台101的移动量。另外，在载置台101是手动载置台的情况下也同样地，也可以基于安装于载置台101的加速度传感器的输出信息来估计载置台101的移动量。
另外，在上述的实施方式中，作为输入装置40，例示了键盘、鼠标、操纵杆、触摸面板等，但是输入装置40也可以是接受声音输入的装置、例如麦克风等。在该情况下，计算机20也可以具备识别从输入装置40输入的声音指示的功能，例如也可以是，计算机20中包括的信息获取部24通过声音识别技术将声音数据变换为操作信息后，输出到投影图像生成部23。
附图标记说明
1、2、3：显微镜***；10：显微镜控制器；20、60、310：计算机；20a：处理器；20b：存储器；20c：辅助存储装置；20d：输入输出接口；20e：介质驱动装置；20f：通信控制装置；20g：总线；20h：存储介质；21、141：摄像机控制部；22、142：图像分析部；22a、142a：移动量计算部；23、143：投影图像生成部；24、144：信息获取部；25、145：投影控制部；26：图像记录部；27：图像合成部；28：显示控制部；29、311：通信控制部；30、330：显示装置；40、320：输入装置；50：识别装置；100、200、500、600：显微镜；101：载置台；102、102a：物镜；103：成像透镜；104：目镜；110：显微镜主体；111：转塔；120、120a：镜筒；130、130a、130b：中间镜筒；131、151：摄像元件；132、134：光偏转元件；133：投影装置；140：投影单元；150：数字摄像机；300：外部浏览***；400：因特网；CC、NC、UR、UR2：标记；C1、C2：细胞；D1：输入数据；D2：输出数据；D3：正确数据；F1、F2：视场；N：注释；NN：神经网络；P1～P9：投影图像；SG：载玻片；V1～V11、M1～M11：图像。

Claims (17)

1.一种显微镜***，其特征在于，具备：
目镜；
物镜，其将来自试样的光引导到所述目镜；
成像透镜，其配置在所述目镜与所述物镜之间的光路上，基于来自所述试样的光来形成所述试样的光学图像；
光检测器，其检测来自所述试样的光；
图像分析部，其使用已训练的神经网络对基于所述光检测器的检测结果生成的数字图像数据进行分析，输出分析结果；
投影装置，其向形成有所述光学图像的像面以能够相互区分的方式投射第一投影图像和第二投影图像，其中，所述第一投影图像是基于根据所述图像分析部的所述分析结果的图像，所述第二投影图像是基于向形成有所述光学图像的所述像面投射所述第一投影图像期间的利用者的输入操作的至少包含所述利用者的输入信息的图像，所述输入信息与所述试样相关；以及
图像记录部，其将所述数字图像数据、表现所述第二投影图像的第二投影图像数据相关联地记录，
其中，所述图像分析部进行以下动作：
将所述数字图像数据所表现的数字图像中呈现的一个以上的构造物分类到一个以上的类别；以及
输出包含用于确定被分类到所述一个以上的类别中的至少一个类别的构造物的位置的信息的所述分析结果，
所述第一投影图像包含表示被分类到所述至少一个类别的构造物的位置的图形。
2.根据权利要求1所述的显微镜***，其特征在于，
所述第二投影图像的显示形式与所述第一投影图像的显示形式不同。
3.根据权利要求2所述的显微镜***，其特征在于，
所述显示形式包括图像的颜色或构成图像的线的格式。
4.根据权利要求1～3中的任一项所述的显微镜***，其特征在于，
所述第二投影图像的投影期间与所述第一投影图像的投影期间不同。
5.根据权利要求1～3中的任一项所述的显微镜***，其特征在于，
还具备投影控制部，
所述投影控制部进行以下动作：
根据所述显微镜***的设定，来决定是否向所述像面投射所述第一投影图像和所述第二投影图像中的各投影图像；以及
在所述显微镜***为规定的设定时，以使所述投影装置向所述像面投射所述第一投影图像和所述第二投影图像的方式控制所述投影装置。
6.根据权利要求1～3中的任一项所述的显微镜***，其特征在于，还具备：
第一光偏转元件，其配置在所述目镜与所述物镜之间的光路上，将来自所述试样的光朝向所述光检测器偏转。
7.根据权利要求6所述的显微镜***，其特征在于，
还具备第二光偏转元件，该第二光偏转元件配置在所述像面与所述第一光偏转元件之间的光路上，将从所述投影装置射出的光朝向所述像面偏转。
8.根据权利要求1～3中的任一项所述的显微镜***，其特征在于，
所述第二投影图像包含表示所述利用者所指定的应该关注的区域的图形。
9.根据权利要求8所述的显微镜***，其特征在于，还具备：
载置台，其载置所述试样；
移动量计算部，其计算所述载置台的移动量；以及
投影图像生成部，其基于所述输入操作和所述移动量，来生成表现所述第二投影图像的第二投影图像数据，所述投影图像生成部根据所述移动量来变更所述第二投影图像中包含的所述图形在所述像面上的位置。
10.根据权利要求8所述的显微镜***，其特征在于，
还具备投影图像生成部，该投影图像生成部基于所述输入操作和所述光学图像的倍率，来生成表现所述第二投影图像的第二投影图像数据，所述投影图像生成部根据所述光学图像的倍率来变更所述第二投影图像中包含的所述图形在所述像面上的大小。
11.根据权利要求1～3中的任一项所述的显微镜***，其特征在于，
所述图像记录部还记录表现所述第一投影图像的第一投影图像数据，
所述图像记录部将所述第一投影图像数据和所述第二投影图像数据中的各投影图像数据与所述数字图像数据相关联地记录到不同于所述数字图像数据的区域。
12.根据权利要求11所述的显微镜***，其特征在于，
还具备获取附加于所述试样的识别信息的识别装置，
所述图像记录部将所述识别装置获取到的所述识别信息与所述数字图像数据相关联地进行记录。
13.根据权利要求1～3中的任一项所述的显微镜***，其特征在于，还具备：
图像合成部，其基于所述数字图像数据、表现所述第一投影图像的第一投影图像数据、以及表现所述第二投影图像的第二投影图像数据，来生成合成图像数据，该合成图像数据是将所述数字图像数据所表现的数字图像与所述第一投影图像及所述第二投影图像进行合成所得到的合成图像的图像数据；以及
显示控制部，其将所述数字图像或所述合成图像显示于显示装置。
14.根据权利要求13所述的显微镜***，其特征在于，
还具备通信控制部，该通信控制部向经由网络来与所述显微镜***连接的外部浏览***发送图像数据，
所述外部浏览***具备所述显示装置。
15.根据权利要求1～3中的任一项所述的显微镜***，其特征在于，
还具备通信控制部，该通信控制部接收经由网络来与所述显微镜***连接的外部浏览***的利用者所输入的操作信息，
所述第二投影图像是基于所述外部浏览***的利用者的输入操作的图像。
16.一种显微镜用的投影单元，显微镜具备物镜、成像透镜以及目镜，所述投影单元的特征在于，具备：
摄像装置，其基于来自试样的光来获取所述试样的数字图像数据；
图像分析部，其使用已训练的神经网络对所述数字图像数据进行分析，输出分析结果；
投影装置，其向通过所述成像透镜形成有所述试样的光学图像的像面以能够相互区分的方式投射第一投影图像和第二投影图像，其中，所述第一投影图像是基于根据所述图像分析部的所述分析结果的图像，所述第二投影图像是基于向形成有所述光学图像的所述像面投射所述第一投影图像期间的利用者的输入操作的至少包含所述利用者的输入信息的图像，所述输入信息与所述试样相关；以及
图像记录部，其将所述数字图像数据、表现所述第二投影图像的第二投影图像数据相关联地记录，
其中，所述图像分析部进行以下动作：
将所述数字图像数据所表现的数字图像中呈现的一个以上的构造物分类到一个以上的类别；以及
输出包含用于确定被分类到所述一个以上的类别中的至少一个类别的构造物的位置的信息的所述分析结果，
所述第一投影图像包含表示被分类到所述至少一个类别的构造物的位置的图形。
17.一种图像投影方法，由显微镜***进行，所述图像投影方法的特征在于，
所述显微镜***进行以下动作：
检测来自试样的光；
基于检测到的来自所述试样的光来获取所述试样的数字图像数据；
使用已训练的神经网络来分析所获取到的所述数字图像数据，将所述数字图像数据所表现的数字图像中呈现的一个以上的构造物分类到一个以上的类别，输出包含用于确定被分类到所述一个以上的类别中的至少一个类别的构造物的位置的信息的分析结果；
获取利用者的输入操作的信息；以及
向基于来自所述试样的光而形成有所述试样的光学图像的像面以能够相互区分的方式投射第一投影图像和第二投影图像，在此，所述第一投影图像是基于根据所述分析结果的图像，所述第二投影图像是基于向形成有所述光学图像的所述像面投射所述第一投影图像期间的所述输入操作的至少包含所述利用者的输入信息的图像，所述输入信息与所述试样相关；
其中，将所述数字图像数据、表现所述第二投影图像的第二投影图像数据相关联地记录，
所述第一投影图像包含表示被分类到所述至少一个类别的构造物的位置的图形。
CN201880097755.4A 2018-09-28 2018-12-25 显微镜***、投影单元以及图像投影方法 Active CN112714886B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-183760 2018-09-28
JP2018183760 2018-09-28
PCT/JP2018/047492 WO2020066040A1 (ja) 2018-09-28 2018-12-25 顕微鏡システム、投影ユニット、及び、画像投影方法

Publications (2)

Publication Number Publication Date
CN112714886A CN112714886A (zh) 2021-04-27
CN112714886B true CN112714886B (zh) 2023-03-21

Family

ID=69951278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880097755.4A Active CN112714886B (zh) 2018-09-28 2018-12-25 显微镜***、投影单元以及图像投影方法

Country Status (5)

Country Link
US (1) US11662565B2 (zh)
EP (1) EP3988987A4 (zh)
JP (1) JP7150866B2 (zh)
CN (1) CN112714886B (zh)
WO (1) WO2020066040A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7150867B2 (ja) * 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム
CN112714887B (zh) 2018-09-28 2024-02-23 仪景通株式会社 显微镜***、投影单元以及图像投影方法
JP7150868B2 (ja) 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム、投影ユニット、及び、画像投影方法
EP3904937A4 (en) 2018-12-28 2022-09-21 Olympus Corporation MICROSCOPE SYSTEM
CN112526739A (zh) * 2020-12-21 2021-03-19 上海美沃精密仪器股份有限公司 一种带有导航信息显示模块的手术显微镜
JPWO2023127001A1 (zh) * 2021-12-27 2023-07-06

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4672559A (en) 1984-12-26 1987-06-09 E. I. Du Pont De Nemours And Company Method for operating a microscopical mapping system
JPH0580255A (ja) 1991-09-19 1993-04-02 Nippon Telegr & Teleph Corp <Ntt> 光学顕微鏡システム装置
JPH07253548A (ja) 1994-03-15 1995-10-03 Nikon Corp 標本像の自動追尾装置及び追尾方法
JPH0829694A (ja) * 1994-07-20 1996-02-02 Nikon Corp 画像処理装置付き顕微鏡
US6483948B1 (en) * 1994-12-23 2002-11-19 Leica Ag Microscope, in particular a stereomicroscope, and a method of superimposing two images
US6304372B1 (en) * 1995-05-17 2001-10-16 Leica Microsystems Ag Microscope including a fade-in element and related method of using a microscope
US6272235B1 (en) 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
JPH11242189A (ja) 1997-12-25 1999-09-07 Olympus Optical Co Ltd 像形成法、像形成装置
JP4426662B2 (ja) * 1999-01-22 2010-03-03 オリンパス株式会社 実体顕微鏡
JP2000292422A (ja) 1999-04-02 2000-10-20 Olympus Optical Co Ltd 走査型サイトメータ
US20010055062A1 (en) * 2000-04-20 2001-12-27 Keiji Shioda Operation microscope
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
JP4047569B2 (ja) 2001-10-10 2008-02-13 オリンパス株式会社 光走査プローブシステム
DE102004004115B4 (de) * 2004-01-28 2016-08-18 Leica Microsystems Cms Gmbh Mikroskopsystem und Verfahren zur Shading-Korrektur der im Mikroskopsystem vorhandenen Optiken
JP2005351916A (ja) 2004-06-08 2005-12-22 Olympus Corp 双眼顕微鏡装置
JP2006071430A (ja) * 2004-09-01 2006-03-16 Hitachi Medical Corp 診断支援システム
JP2006297060A (ja) * 2005-03-24 2006-11-02 Kanazawa Univ 手術用顕微鏡及びそれを備えた診療システム
JP2006292999A (ja) 2005-04-11 2006-10-26 Direct Communications:Kk スライド画像データ作成装置およびスライド画像データ
US8164622B2 (en) * 2005-07-01 2012-04-24 Aperio Technologies, Inc. System and method for single optical axis multi-detector microscope slide scanner
JP2008090072A (ja) 2006-10-03 2008-04-17 Keyence Corp 拡大画像観察システム、共焦点顕微鏡、画像データ転送方法、３次元合焦点画像生成方法、データ転送プログラム、３次元合焦点画像生成プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器
US9602777B2 (en) 2008-04-25 2017-03-21 Roche Diagnostics Hematology, Inc. Systems and methods for analyzing body fluids
DE102009058792B3 (de) * 2009-12-18 2011-09-01 Carl Zeiss Surgical Gmbh Optische Beobachtungseinrichtung zur Beobachtung eines Auges
JP5734588B2 (ja) 2010-07-15 2015-06-17 オリンパス株式会社 細胞観察装置および観察方法
WO2012117647A1 (ja) 2011-02-28 2012-09-07 三洋電機株式会社 観察プログラムおよび観察装置
US9254103B2 (en) * 2011-08-15 2016-02-09 The Trustees Of Dartmouth College Operative microscope having diffuse optical imaging system with tomographic image reconstruction and superposition in field of view
JP5822345B2 (ja) 2011-09-01 2015-11-24 島田　修 ホールスライドイメージ作成装置
JP5893314B2 (ja) 2011-09-27 2016-03-23 オリンパス株式会社 表示装置および顕微鏡システム
CN104024913A (zh) 2011-12-22 2014-09-03 松下健康医疗器械株式会社 观察***、观察***的控制方法以及程序
WO2013146841A1 (ja) 2012-03-30 2013-10-03 コニカミノルタ株式会社 医用画像処理装置及びプログラム
JP6211063B2 (ja) * 2012-05-02 2017-10-11 ライカ バイオシステムズ イメージング インコーポレイテッド ライン走査イメージングにおけるリアルタイムフォーカシング
WO2014043253A1 (en) 2012-09-11 2014-03-20 Neogenomics Laboratories Automated fish reader using learning machines
JP5953195B2 (ja) 2012-09-21 2016-07-20 株式会社キーエンス 撮影解析装置、その制御方法及び撮影解析装置用のプログラム
US8995740B2 (en) * 2013-04-17 2015-03-31 General Electric Company System and method for multiplexed biomarker quantitation using single cell segmentation on sequentially stained tissue
JP6147080B2 (ja) 2013-05-14 2017-06-14 オリンパス株式会社 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム
ES2935506T3 (es) 2013-05-15 2023-03-07 The Administrators Of The Tulane Educational Fund Microscopia de una muestra de tejido mediante iluminación estructurada
US10182757B2 (en) 2013-07-22 2019-01-22 The Rockefeller University System and method for optical detection of skin disease
DE102013216476A1 (de) * 2013-08-20 2015-02-26 Carl Zeiss Meditec Ag Operationsmikroskop mit optischen Schnittstellen
US9684960B2 (en) 2014-01-25 2017-06-20 Pangea Diagnostics Limited Automated histological diagnosis of bacterial infection using image analysis
DE102014201571B4 (de) 2014-01-29 2022-08-04 Carl Zeiss Meditec Ag Modul für die Dateneinspiegelung in einer Visualisierungsvorrichtung, Visualisierungsvorrichtung und Verfahren zum Anpassen der Vorrichtung
DE102014205038B4 (de) * 2014-02-19 2015-09-03 Carl Zeiss Meditec Ag Visualisierungsvorrichtungen mit Kalibration einer Anzeige und Kalibrierverfahren für eine Anzeige in einer Visualisierungsvorrichtung
DE102014108811B3 (de) * 2014-06-24 2015-11-26 Carl Zeiss Meditec Ag Stereomikroskop mit einem Hauptbeobachterstrahlengang und einem Mitbeobachterstrahlengang
JP6397717B2 (ja) * 2014-10-08 2018-09-26 オリンパス株式会社 顕微鏡結像レンズ、顕微鏡装置、及び、撮像光学系
JP6367685B2 (ja) * 2014-10-24 2018-08-01 オリンパス株式会社 顕微鏡用対物レンズ
JP6654634B2 (ja) 2014-12-03 2020-02-26 ベンタナ メディカル システムズ， インコーポレイテッド 不均一なバイオマーカー分布を定量的に分析するための方法、システム及び装置
DE102015100765A1 (de) * 2015-01-20 2016-07-21 Carl Zeiss Meditec Ag Operationsmikroskop und Verfahren zum Hervorheben von Augenlinsenstücken
JP6544789B2 (ja) 2015-01-20 2019-07-17 オリンパス株式会社 パターン投影装置、パターン投影方法、及び、位相変調量設定方法
WO2016130424A1 (en) * 2015-02-09 2016-08-18 The Arizona Board Of Regents Of Regents On Behalf Of The University Of Arizona Augmented stereoscopic microscopy
DE102015103426B4 (de) * 2015-03-09 2020-07-02 Carl Zeiss Meditec Ag Mikroskopsystem und Verfahren zum automatisierten Ausrichten eines Mikroskops
US10634894B2 (en) * 2015-09-24 2020-04-28 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging
JP6805506B2 (ja) 2016-03-07 2020-12-23 株式会社サタケ 粒状物外観品位判別装置
US9971966B2 (en) 2016-02-26 2018-05-15 Google Llc Processing cell images using neural networks
US10025902B2 (en) * 2016-08-12 2018-07-17 Verily Life Sciences Llc Enhanced pathology diagnosis
EP3504573A4 (en) 2016-08-28 2020-07-29 Augmentiqs Medical Ltd. HISTOLOGICAL EXAMINATION SYSTEM OF TISSUE SAMPLES
JP6580012B2 (ja) 2016-09-28 2019-09-25 富士フイルム株式会社 撮影画像評価装置および方法並びにプログラム
JP2018066908A (ja) 2016-10-20 2018-04-26 株式会社キーエンス 拡大観察装置
JP2018128532A (ja) 2017-02-07 2018-08-16 オリンパス株式会社 顕微鏡
DE102017105941B3 (de) * 2017-03-20 2018-05-17 Carl Zeiss Meditec Ag Operationsmikroskop mit einem Bildsensor und einem Display und Verfahren zum Betrieb eines Operationsmikroskops
DE102017108371B4 (de) * 2017-04-20 2020-08-27 Carl Zeiss Meditec Ag Medizinisch-optisches Darstellungssystem und Verfahren zum Betreiben desselben
DE102017121085B3 (de) * 2017-09-12 2019-01-31 Carl Zeiss Meditec Ag Augenchirurgie-Visualisierungssystem
JP6462823B2 (ja) 2017-10-24 2019-01-30 株式会社キーエンス 画像検査装置
CN112714887B (zh) * 2018-09-28 2024-02-23 仪景通株式会社 显微镜***、投影单元以及图像投影方法
JP7150868B2 (ja) * 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム、投影ユニット、及び、画像投影方法
JP7150867B2 (ja) * 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム
EP3904937A4 (en) * 2018-12-28 2022-09-21 Olympus Corporation MICROSCOPE SYSTEM

Also Published As

Publication number Publication date
US20210191101A1 (en) 2021-06-24
CN112714886A (zh) 2021-04-27
JP7150866B2 (ja) 2022-10-11
US11662565B2 (en) 2023-05-30
EP3988987A1 (en) 2022-04-27
JPWO2020066040A1 (ja) 2021-08-30
EP3988987A4 (en) 2023-09-20
WO2020066040A1 (ja) 2020-04-02

Similar Documents

Publication Publication Date Title
CN112714886B (zh) 显微镜***、投影单元以及图像投影方法
CN112714887B (zh) 显微镜***、投影单元以及图像投影方法
US20210224541A1 (en) Augmented Reality Microscope for Pathology
CN112714888B (zh) 显微镜***、投影单元以及图像投影方法
EP3776458B1 (en) Augmented reality microscope for pathology with overlay of quantitative biomarker data
US7932504B2 (en) Microscope system and VS image production and program thereof
US20200371333A1 (en) Microscopy method, microscope and computer program with verification algorithm for image processing results
US20090213214A1 (en) Microscope System, Image Generating Method, and Program for Practising the Same
CN112703440B (zh) 显微镜***
JP2019532352A (ja) 組織標本の組織学的検査のためのシステム
JP2007102190A (ja) 観察装置および観察方法
CN115485602A (zh) 显微镜***、投影单元以及***筛选辅助方法
CN114815210A (zh) 用于检查显微镜相机的旋转的方法和显微镜***
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
WO2020075226A1 (ja) 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
WO2021166089A1 (ja) 評価支援装置、評価支援システム、評価支援方法およびプログラム
US20230049349A1 (en) Surface analysis method and surface analysis device
CN116736512A (zh) 显微镜***、叠加单元以及动作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221010

Address after: Nagano

Applicant after: Yijingtong Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: OLYMPUS Corp.

GR01 Patent grant
GR01 Patent grant