JPWO2020066043A1 - 顕微鏡システム、投影ユニット、及び、画像投影方法 - Google Patents
顕微鏡システム、投影ユニット、及び、画像投影方法 Download PDFInfo
- Publication number
- JPWO2020066043A1 JPWO2020066043A1 JP2020547904A JP2020547904A JPWO2020066043A1 JP WO2020066043 A1 JPWO2020066043 A1 JP WO2020066043A1 JP 2020547904 A JP2020547904 A JP 2020547904A JP 2020547904 A JP2020547904 A JP 2020547904A JP WO2020066043 A1 JPWO2020066043 A1 JP WO2020066043A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- microscope system
- projection
- projected
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 149
- 238000004458 analytical method Methods 0.000 claims abstract description 157
- 230000008569 process Effects 0.000 claims abstract description 114
- 230000003287 optical effect Effects 0.000 claims abstract description 102
- 238000010191 image analysis Methods 0.000 claims abstract description 48
- 238000003384 imaging method Methods 0.000 claims abstract description 32
- 238000010827 pathological analysis Methods 0.000 claims description 24
- 238000002405 diagnostic procedure Methods 0.000 claims description 8
- 239000003086 colorant Substances 0.000 claims 1
- 210000004027 cell Anatomy 0.000 description 27
- 238000003745 diagnosis Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 15
- 238000013528 artificial neural network Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000010186 staining Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 239000002131 composite material Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 239000000203 mixture Substances 0.000 description 8
- 101001012157 Homo sapiens Receptor tyrosine-protein kinase erbB-2 Proteins 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 5
- 102100030086 Receptor tyrosine-protein kinase erbB-2 Human genes 0.000 description 5
- 210000000170 cell membrane Anatomy 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000007447 staining method Methods 0.000 description 5
- 239000000090 biomarker Substances 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 4
- 238000011532 immunohistochemical staining Methods 0.000 description 4
- 239000012528 membrane Substances 0.000 description 4
- 230000019100 sperm motility Effects 0.000 description 4
- 206010006187 Breast cancer Diseases 0.000 description 3
- 208000026310 Breast neoplasm Diseases 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 206010008263 Cervical dysplasia Diseases 0.000 description 2
- 206010008342 Cervix carcinoma Diseases 0.000 description 2
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 201000010881 cervical cancer Diseases 0.000 description 2
- 230000002018 overexpression Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000013077 scoring method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000009027 insemination Effects 0.000 description 1
- 238000010212 intracellular staining Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012284 sample analysis method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/317—Convergence or focusing systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Optics & Photonics (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Microscoopes, Condenser (AREA)
Abstract
Description
図1は、本実施形態に係る顕微鏡システム1の構成を示した図である。図2は、コンピュータ20の構成を示した図である。顕微鏡システム1は、病理医が病理診断で用いる顕微鏡システムであり、少なくとも、対物レンズ102と、結像レンズ103と、接眼レンズ104と、画像解析部22と、投影画像生成部23と、投影装置133と、を備えている。
図12は、本実施形態に係る顕微鏡システム2の構成を示した図である。顕微鏡システム2は、顕微鏡100の代わりに顕微鏡200を備える点が、顕微鏡システム1とは異なっている。顕微鏡200は、顕微鏡本体110と鏡筒120の間に投影ユニット140を備えている。
図13は、本実施形態に係る顕微鏡システム3に含まれるコンピュータ60の構成を示した図である。なお、顕微鏡システム3は、コンピュータ20の代わりにコンピュータ60を含む点を除き、顕微鏡システム1と同様である。
[第4実施形態]
10 顕微鏡コントローラ
20、60、70、310 コンピュータ
20a プロセッサ
20b メモリ
20c 補助記憶装置
20d 入出力インタフェース
20e 媒体駆動装置
20f 通信制御装置
20g バス
20h 記憶媒体
21、61、141 カメラ制御部
22、142 画像解析部
23、63、143 投影画像生成部
24、64、144 情報取得部
25、65、145 影制御部
26、66 画像記録部
27、67 画像合成部
28、68 表示制御部
29、311 通信制御部
30、330 表示装置
31 選択画面
32、33、34、35 メニュー
36 ボタン
40、320 入力装置
50 識別装置
100、200、500、600 顕微鏡
101 ステージ
102、102a 対物レンズ
103 結像レンズ
104 接眼レンズ
110 顕微鏡本体
111 ターレット
120、120a 鏡筒
130、130a、130b 中間鏡筒
131、151 撮像素子
132、134 光偏向素子
133、135 投影装置
140 投影ユニット
150 デジタルカメラ
300 外部閲覧システム
400 インターネット
A1、A2 補助画像
C1 対比画像
D1 入力データ
D2 出力データ
D3 正解データ
G1、G2、G3 案内画像
M1、M2、M3、M4 光学画像
MT 軌跡表示
NN ニューラルネットワーク
P1、P2 位置画像
R1、R2 領域
ROI 注目領域表示
T1、T2 統計画像
V1〜V13 画像
Claims (28)
- 接眼レンズと、
試料からの光を前記接眼レンズへ導く対物レンズと、
前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、
前記試料のデジタル画像データに対して複数の解析処理から選択された少なくとも1つの解析処理を行い、前記少なくとも1つの解析処理に応じた解析結果を出力する画像解析部と、
前記解析結果と前記少なくとも1つの解析処理とに基づいて投影画像データを生成する投影画像生成部であって、前記投影画像データが表現する投影画像は、前記解析結果を前記少なくとも1つの解析処理に応じた表示形式で表す画像である、前記投影画像生成部と、
前記光学画像が形成されている像面に前記投影画像を投影する投影装置と、を備える
ことを特徴とする顕微鏡システム。 - 請求項1に記載の顕微鏡システムにおいて、
前記表示形式は、画像の色を含み、
前記投影画像生成部は、前記少なくとも1つの解析処理に応じて、前記投影画像の色を決定する
ことを特徴とする顕微鏡システム。 - 請求項2に記載の顕微鏡システムにおいて、
前記表示形式は、さらに、画像を構成する図形の書式を含み、
前記投影画像生成部は、前記少なくとも1つの解析処理に応じて、前記投影画像を構成する図形の書式を決定する
ことを特徴とする顕微鏡システム。 - 請求項2又は請求項3に記載の顕微鏡システムにおいて、
前記表示形式は、さらに、画像の位置を含み、
前記投影画像生成部は、前記少なくとも1つの解析処理に応じて、前記像面における前記投影画像と前記光学画像の位置関係を決定する
ことを特徴とする顕微鏡システム。 - 請求項4に記載の顕微鏡システムにおいて、
前記投影画像生成部は、前記少なくとも1つの解析処理に応じて、前記投影画像の少なくとも一部を前記光学画像の領域外に投影するか否かを決定する
ことを特徴とする顕微鏡システム。 - 請求項1乃至請求項5のいずれか1項に記載の顕微鏡システムにおいて、
前記顕微鏡システムは、前記少なくとも1つの解析処理に応じて、前記光学画像と前記投影画像の少なくとも一方の明るさを調整する
ことを特徴とする顕微鏡システム。 - 請求項1乃至請求項6のいずれか1項に記載の顕微鏡システムにおいて、
前記画像解析部は、
前記デジタル画像データが表現するデジタル画像に写る一つ以上の構造物を一つ以上のクラスに分類し、
前記一つ以上のクラスのうちの少なくとも一つのクラスに分類された構造物の位置を特定する位置情報を生成し、
前記位置情報を含む前記解析結果を出力し、
前記投影画像は、前記少なくとも一つのクラスに分類された構造物の位置を表す図形を含む
ことを特徴とする顕微鏡システム。 - 請求項7に記載の顕微鏡システムにおいて、
前記画像解析部は、
前記少なくとも一つのクラスに分類された構造物の統計情報を生成し、
前記位置情報と前記統計情報とを含む前記解析結果を出力し、
前記投影画像は、前記少なくとも一つのクラスに分類された構造物の位置を表す図形と、前記統計情報を含む
ことを特徴とする顕微鏡システム。 - 請求項7または請求項8に記載の顕微鏡システムにおいて、
前記少なくとも一つのクラスに分類された構造物は、病理医による病理診断における判定の根拠となる対象物である
ことを特徴とする顕微鏡システム。 - 請求項1乃至請求項9のいずれか1項に記載の顕微鏡システムにおいて、さらに、
投影制御部を備え、
前記投影制御部は、
前記顕微鏡システムの設定に応じて、前記像面へ前記投影画像を投影するか否かを決定し、
前記顕微鏡システムが所定の設定のときに、前記投影装置が前記像面へ前記投影画像を投影するように、前記投影装置を制御する
ことを特徴とする顕微鏡システム。 - 請求項1乃至請求項10のいずれか1項に記載の顕微鏡システムにおいて、
前記画像解析部は、利用者による入力操作に基づいて前記少なくとも1つの解析処理を選択する
ことを特徴とする顕微鏡システム。 - 請求項1乃至請求項10のいずれか1項に記載の顕微鏡システムにおいて、さらに、
前記試料に付加された識別情報を取得する識別装置を備え、
前記画像解析部は、前記識別装置が取得した前記識別情報に基づいて前記少なくとも1つの解析処理を選択する
ことを特徴とする顕微鏡システム。 - 請求項1乃至請求項12のいずれか1項に記載の顕微鏡システムにおいて、さらに、
利用者の入力操作に応じた操作信号を出力する入力装置を備え、
前記画像解析部は、前記入力装置から出力された操作信号に従って、前記少なくとも1つの解析処理に用いる閾値の一部を変更する
ことを特徴とする顕微鏡システム。 - 接眼レンズと、
試料からの光を前記接眼レンズへ導く対物レンズと、
前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、
複数の診断プロトコルから選択された診断プロトコルに基づいて投影画像データを生成する投影画像生成部であって、前記投影画像データが表現する投影画像は、選択された前記診断プロトコルに応じた画像である、前記投影画像生成部と、
前記光学画像が形成されている像面に前記投影画像を投影する投影装置と、を備える
ことを特徴とする顕微鏡システム。 - 請求項14に記載の顕微鏡システムにおいて、
前記投影画像は、前記選択された診断プロトコルの診断手順の案内を含む
ことを特徴とする顕微鏡システム。 - 請求項15に記載の顕微鏡システムにおいて、
前記投影画像生成部は、前記選択された診断プロトコルに応じて、前記案内の色を決定する
ことを特徴とする顕微鏡システム。 - 請求項14乃至請求項16のいずれか1項に記載の顕微鏡システムにおいて、
前記投影画像は、前記選択された診断プロトコルにおける判定基準を示す参考画像を含む
ことを特徴とする顕微鏡システム。 - 請求項14乃至請求項17のいずれか1項に記載の顕微鏡システムにおいて、
前記投影画像生成部は、前記選択された診断プロトコルに応じて、前記像面における前記投影画像と前記光学画像の位置関係を決定する
ことを特徴とする顕微鏡システム。 - 請求項18に記載の顕微鏡システムにおいて、
前記投影画像生成部は、前記選択された診断プロトコルに応じて、前記投影画像の少なくとも一部を前記光学画像の領域外に投影するか否かを決定する
ことを特徴とする顕微鏡システム。 - 請求項14乃至請求項19のいずれか1項に記載の顕微鏡システムにおいて、
前記投影画像生成部は、
前記顕微鏡システムの設定が前記選択された診断プロトコルの要求を満さないときに、前記投影画像が警告表示を含むように、前記投影画像データを生成する
ことを特徴とする顕微鏡システム。 - 請求項14乃至請求項20のいずれか1項に記載の顕微鏡システムにおいて、さらに、
投影制御部を備え、
前記投影制御部は、
前記顕微鏡システムの設定に応じて、前記像面へ前記投影画像を投影するか否かを決定し、
前記顕微鏡システムが所定の設定のときに、前記投影装置が前記像面へ前記投影画像を投影するように、前記投影装置を制御する
ことを特徴とする顕微鏡システム。 - 請求項14乃至請求項21のいずれか1項に記載の顕微鏡システムにおいて、
前記投影画像生成部は、利用者による入力操作に基づいて前記診断プロトコルを選択する
ことを特徴とする顕微鏡システム。 - 請求項14乃至請求項21のいずれか1項に記載の顕微鏡システムにおいて、さらに、
前記試料に付加された識別情報を取得する識別装置を備え、
前記投影画像生成部は、前記識別装置が取得した前記識別情報に基づいて前記診断プロトコルを選択する
ことを特徴とする顕微鏡システム。 - 接眼レンズと、
試料からの光を前記接眼レンズへ導く対物レンズと、
前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、
前記試料のデジタル画像データに対して複数の解析処理から選択された少なくとも1つの解析処理を行い、前記少なくとも1つの解析処理に応じた解析結果を出力する画像解析部と、
前記解析結果と前記少なくとも1つの解析処理とに基づいて第1投影画像データを生成し、複数の診断プロトコルから選択された診断プロトコルに基づいて第2投影画像データを生成する投影画像生成部であって、前記第1投影画像データが表現する第1投影画像は、前記解析結果を前記少なくとも1つの解析処理に応じた表示形式で表す画像であり、前記第2投影画像データが表現する第2投影画像は、選択された前記診断プロトコルに応じた画像である、前記投影画像生成部と、
前記光学画像が形成されている像面に前記第1投影画像と前記第2投影画像を投影する投影装置と、を備える
ことを特徴とする顕微鏡システム。 - 対物レンズと結像レンズと接眼レンズを備える顕微鏡用の投影ユニットであって、
試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、
前記試料のデジタル画像データに対して複数の解析処理から選択された少なくとも1つの解析処理を行い、前記少なくとも1つの解析処理に応じた解析結果を出力する画像解析部と、
前記解析結果と前記少なくとも1つの解析処理とに基づいて投影画像データを生成する投影画像生成部であって、前記投影画像データが表現する投影画像は、前記解析結果を前記少なくとも1つの解析処理に応じた表示形式で表す画像である、前記投影画像生成部と、
前記結像レンズにより前記試料の光学画像が形成されている像面に前記投影画像を投影する投影装置と、を備える
ことを特徴とする投影ユニット。 - 対物レンズと結像レンズと接眼レンズを備える顕微鏡用の投影ユニットであって、
試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、
複数の診断プロトコルから選択された診断プロトコルに基づいて投影画像データを生成する投影画像生成部であって、前記投影画像データが表現する投影画像は、選択された前記診断プロトコルに応じた画像である、前記投影画像生成部と、
前記結像レンズにより前記試料の光学画像が形成されている像面に前記投影画像を投影する投影装置と、を備える
ことを特徴とする投影ユニット。 - 顕微鏡システムが行う画像投影方法であって、
前記顕微鏡システムは、
試料のデジタル画像データに対して複数の解析処理から選択された少なくとも1つの解析処理を行い、前記少なくとも1つの解析処理に応じた解析結果を出力し、
前記解析結果と前記少なくとも1つの解析処理とに基づいて投影画像データを生成し、
前記試料の光学画像が形成されている像面に前記投影画像データが表現する投影画像を投影し、ここで、前記投影画像は、前記解析結果を前記少なくとも1つの解析処理に応じた表示形式で表す画像である
ことを特徴とする画像投影方法。 - 顕微鏡システムが行う画像投影方法であって、
前記顕微鏡システムは、
複数の診断プロトコルから選択された診断プロトコルに基づいて投影画像データを生成し、
試料の光学画像が形成されている像面に前記投影画像データが表現する投影画像を投影し、ここで、前記投影画像は、選択された前記診断プロトコルに応じた画像である
ことを特徴とする画像投影方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023214425A JP2024019639A (ja) | 2018-09-28 | 2023-12-20 | 顕微鏡システム、プログラム、及び、投影画像生成方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018183763 | 2018-09-28 | ||
JP2018183763 | 2018-09-28 | ||
PCT/JP2018/047499 WO2020066043A1 (ja) | 2018-09-28 | 2018-12-25 | 顕微鏡システム、投影ユニット、及び、画像投影方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023214425A Division JP2024019639A (ja) | 2018-09-28 | 2023-12-20 | 顕微鏡システム、プログラム、及び、投影画像生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2020066043A1 true JPWO2020066043A1 (ja) | 2021-08-30 |
Family
ID=69951267
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020547904A Pending JPWO2020066043A1 (ja) | 2018-09-28 | 2018-12-25 | 顕微鏡システム、投影ユニット、及び、画像投影方法 |
JP2023214425A Pending JP2024019639A (ja) | 2018-09-28 | 2023-12-20 | 顕微鏡システム、プログラム、及び、投影画像生成方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023214425A Pending JP2024019639A (ja) | 2018-09-28 | 2023-12-20 | 顕微鏡システム、プログラム、及び、投影画像生成方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11594051B2 (ja) |
EP (2) | EP4345776A3 (ja) |
JP (2) | JPWO2020066043A1 (ja) |
CN (1) | CN112714887B (ja) |
WO (1) | WO2020066043A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7150867B2 (ja) * | 2018-09-28 | 2022-10-11 | 株式会社エビデント | 顕微鏡システム |
CN112714887B (zh) | 2018-09-28 | 2024-02-23 | 仪景通株式会社 | 显微镜***、投影单元以及图像投影方法 |
JP7150868B2 (ja) | 2018-09-28 | 2022-10-11 | 株式会社エビデント | 顕微鏡システム、投影ユニット、及び、画像投影方法 |
EP3988987A4 (en) * | 2018-09-28 | 2023-09-20 | Evident Corporation | MICROSCOPE SYSTEM, PROJECTION UNIT AND IMAGE PROJECTION METHOD |
JP7489920B2 (ja) | 2018-10-31 | 2024-05-24 | 合同会社H.U.グループ中央研究所 | プログラム、学習モデル、情報処理装置、情報処理方法、情報表示方法および学習モデルの製造方法 |
EP3904937A4 (en) | 2018-12-28 | 2022-09-21 | Olympus Corporation | MICROSCOPE SYSTEM |
JP7004116B2 (ja) * | 2019-07-19 | 2022-01-21 | 三菱電機株式会社 | 表示処理装置、表示処理方法及びプログラム |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0829694A (ja) * | 1994-07-20 | 1996-02-02 | Nikon Corp | 画像処理装置付き顕微鏡 |
JPH10333047A (ja) * | 1997-04-03 | 1998-12-18 | Olympus Optical Co Ltd | 手術用顕微鏡 |
JP2000292422A (ja) * | 1999-04-02 | 2000-10-20 | Olympus Optical Co Ltd | 走査型サイトメータ |
JP2003116874A (ja) * | 2001-10-10 | 2003-04-22 | Olympus Optical Co Ltd | 手術用顕微鏡装置 |
JP2012019748A (ja) * | 2010-07-15 | 2012-02-02 | Olympus Corp | 細胞観察装置および観察方法 |
WO2012117647A1 (ja) * | 2011-02-28 | 2012-09-07 | 三洋電機株式会社 | 観察プログラムおよび観察装置 |
JP2013072997A (ja) * | 2011-09-27 | 2013-04-22 | Olympus Corp | 表示装置および顕微鏡システム |
WO2013094434A1 (ja) * | 2011-12-22 | 2013-06-27 | 三洋電機株式会社 | 観察システム、観察システムの制御方法及びプログラム |
JP2014063041A (ja) * | 2012-09-21 | 2014-04-10 | Keyence Corp | 撮影解析装置、その制御方法及び撮影解析装置用のプログラム |
WO2015170480A1 (ja) * | 2014-05-08 | 2015-11-12 | 中外製薬株式会社 | Gpc3標的治療剤療法が有効である患者に投与されるgpc3標的治療剤 |
JP2016517115A (ja) * | 2013-04-17 | 2016-06-09 | ゼネラル・エレクトリック・カンパニイ | 連続的に染色した組織における、1つの細胞の分割を使用する多重化バイオマーカー定量用のシステム及び方法 |
JP2016526185A (ja) * | 2013-05-15 | 2016-09-01 | ジ アドミニストレーターズ オブ ザ テュレーン エデュケーショナル ファンド | 構造化照明を用いた組織試料の顕微鏡観察 |
WO2017002934A1 (ja) * | 2015-07-01 | 2017-01-05 | 中外製薬株式会社 | Gpc3標的治療剤が有効である患者に投与されるgpc3標的治療剤 |
JP2017161262A (ja) * | 2016-03-07 | 2017-09-14 | 株式会社サタケ | 粒状物外観品位判別装置 |
JP2018010021A (ja) * | 2017-10-24 | 2018-01-18 | 株式会社キーエンス | 画像検査装置 |
JP2018054425A (ja) * | 2016-09-28 | 2018-04-05 | 富士フイルム株式会社 | 撮影画像評価装置および方法並びにプログラム |
JP2018066908A (ja) * | 2016-10-20 | 2018-04-26 | 株式会社キーエンス | 拡大観察装置 |
JP2018128532A (ja) * | 2017-02-07 | 2018-08-16 | オリンパス株式会社 | 顕微鏡 |
Family Cites Families (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4672559A (en) | 1984-12-26 | 1987-06-09 | E. I. Du Pont De Nemours And Company | Method for operating a microscopical mapping system |
JPH0580255A (ja) | 1991-09-19 | 1993-04-02 | Nippon Telegr & Teleph Corp <Ntt> | 光学顕微鏡システム装置 |
JPH07253548A (ja) | 1994-03-15 | 1995-10-03 | Nikon Corp | 標本像の自動追尾装置及び追尾方法 |
US6483948B1 (en) * | 1994-12-23 | 2002-11-19 | Leica Ag | Microscope, in particular a stereomicroscope, and a method of superimposing two images |
US6304372B1 (en) | 1995-05-17 | 2001-10-16 | Leica Microsystems Ag | Microscope including a fade-in element and related method of using a microscope |
US6272235B1 (en) | 1997-03-03 | 2001-08-07 | Bacus Research Laboratories, Inc. | Method and apparatus for creating a virtual microscope slide |
JPH11242189A (ja) | 1997-12-25 | 1999-09-07 | Olympus Optical Co Ltd | 像形成法、像形成装置 |
US20010055062A1 (en) | 2000-04-20 | 2001-12-27 | Keiji Shioda | Operation microscope |
US6711283B1 (en) | 2000-05-03 | 2004-03-23 | Aperio Technologies, Inc. | Fully automatic rapid microscope slide scanner |
DE102004004115B4 (de) | 2004-01-28 | 2016-08-18 | Leica Microsystems Cms Gmbh | Mikroskopsystem und Verfahren zur Shading-Korrektur der im Mikroskopsystem vorhandenen Optiken |
JP2005351916A (ja) | 2004-06-08 | 2005-12-22 | Olympus Corp | 双眼顕微鏡装置 |
JP2006071430A (ja) | 2004-09-01 | 2006-03-16 | Hitachi Medical Corp | 診断支援システム |
JP2006297060A (ja) | 2005-03-24 | 2006-11-02 | Kanazawa Univ | 手術用顕微鏡及びそれを備えた診療システム |
JP2006292999A (ja) | 2005-04-11 | 2006-10-26 | Direct Communications:Kk | スライド画像データ作成装置およびスライド画像データ |
US8164622B2 (en) | 2005-07-01 | 2012-04-24 | Aperio Technologies, Inc. | System and method for single optical axis multi-detector microscope slide scanner |
CN101351736A (zh) * | 2005-12-27 | 2009-01-21 | 奥林巴斯株式会社 | 发光测量装置及发光测量方法 |
JP2008090072A (ja) | 2006-10-03 | 2008-04-17 | Keyence Corp | 拡大画像観察システム、共焦点顕微鏡、画像データ転送方法、3次元合焦点画像生成方法、データ転送プログラム、3次元合焦点画像生成プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器 |
US9602777B2 (en) * | 2008-04-25 | 2017-03-21 | Roche Diagnostics Hematology, Inc. | Systems and methods for analyzing body fluids |
DE102009058792B3 (de) | 2009-12-18 | 2011-09-01 | Carl Zeiss Surgical Gmbh | Optische Beobachtungseinrichtung zur Beobachtung eines Auges |
US9254103B2 (en) | 2011-08-15 | 2016-02-09 | The Trustees Of Dartmouth College | Operative microscope having diffuse optical imaging system with tomographic image reconstruction and superposition in field of view |
JP5822345B2 (ja) | 2011-09-01 | 2015-11-24 | 島田 修 | ホールスライドイメージ作成装置 |
WO2013146841A1 (ja) * | 2012-03-30 | 2013-10-03 | コニカミノルタ株式会社 | 医用画像処理装置及びプログラム |
JP6211063B2 (ja) | 2012-05-02 | 2017-10-11 | ライカ バイオシステムズ イメージング インコーポレイテッド | ライン走査イメージングにおけるリアルタイムフォーカシング |
WO2014043253A1 (en) * | 2012-09-11 | 2014-03-20 | Neogenomics Laboratories | Automated fish reader using learning machines |
JP6147080B2 (ja) | 2013-05-14 | 2017-06-14 | オリンパス株式会社 | 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム |
US10182757B2 (en) * | 2013-07-22 | 2019-01-22 | The Rockefeller University | System and method for optical detection of skin disease |
DE102013216476A1 (de) | 2013-08-20 | 2015-02-26 | Carl Zeiss Meditec Ag | Operationsmikroskop mit optischen Schnittstellen |
CN103852878B (zh) * | 2014-01-08 | 2016-05-25 | 麦克奥迪实业集团有限公司 | 一种具有实时聚焦的显微切片快速数字扫描装置及其方法 |
DE102014201571B4 (de) | 2014-01-29 | 2022-08-04 | Carl Zeiss Meditec Ag | Modul für die Dateneinspiegelung in einer Visualisierungsvorrichtung, Visualisierungsvorrichtung und Verfahren zum Anpassen der Vorrichtung |
DE102014205038B4 (de) | 2014-02-19 | 2015-09-03 | Carl Zeiss Meditec Ag | Visualisierungsvorrichtungen mit Kalibration einer Anzeige und Kalibrierverfahren für eine Anzeige in einer Visualisierungsvorrichtung |
DE102014108811B3 (de) | 2014-06-24 | 2015-11-26 | Carl Zeiss Meditec Ag | Stereomikroskop mit einem Hauptbeobachterstrahlengang und einem Mitbeobachterstrahlengang |
JP6397717B2 (ja) | 2014-10-08 | 2018-09-26 | オリンパス株式会社 | 顕微鏡結像レンズ、顕微鏡装置、及び、撮像光学系 |
JP6367685B2 (ja) | 2014-10-24 | 2018-08-01 | オリンパス株式会社 | 顕微鏡用対物レンズ |
JP6654634B2 (ja) * | 2014-12-03 | 2020-02-26 | ベンタナ メディカル システムズ, インコーポレイテッド | 不均一なバイオマーカー分布を定量的に分析するための方法、システム及び装置 |
JP6544789B2 (ja) | 2015-01-20 | 2019-07-17 | オリンパス株式会社 | パターン投影装置、パターン投影方法、及び、位相変調量設定方法 |
DE102015100765A1 (de) | 2015-01-20 | 2016-07-21 | Carl Zeiss Meditec Ag | Operationsmikroskop und Verfahren zum Hervorheben von Augenlinsenstücken |
WO2016130424A1 (en) | 2015-02-09 | 2016-08-18 | The Arizona Board Of Regents Of Regents On Behalf Of The University Of Arizona | Augmented stereoscopic microscopy |
DE102015103426B4 (de) | 2015-03-09 | 2020-07-02 | Carl Zeiss Meditec Ag | Mikroskopsystem und Verfahren zum automatisierten Ausrichten eines Mikroskops |
US10634894B2 (en) | 2015-09-24 | 2020-04-28 | Leica Biosystems Imaging, Inc. | Real-time focusing in line scan imaging |
US9971966B2 (en) | 2016-02-26 | 2018-05-15 | Google Llc | Processing cell images using neural networks |
EP3504573A4 (en) * | 2016-08-28 | 2020-07-29 | Augmentiqs Medical Ltd. | HISTOLOGICAL EXAMINATION SYSTEM OF TISSUE SAMPLES |
DE102017105941B3 (de) | 2017-03-20 | 2018-05-17 | Carl Zeiss Meditec Ag | Operationsmikroskop mit einem Bildsensor und einem Display und Verfahren zum Betrieb eines Operationsmikroskops |
DE102017108371B4 (de) | 2017-04-20 | 2020-08-27 | Carl Zeiss Meditec Ag | Medizinisch-optisches Darstellungssystem und Verfahren zum Betreiben desselben |
DE102017121085B3 (de) | 2017-09-12 | 2019-01-31 | Carl Zeiss Meditec Ag | Augenchirurgie-Visualisierungssystem |
CN107907987A (zh) * | 2017-12-26 | 2018-04-13 | 深圳科创广泰技术有限公司 | 基于混合现实的3d显微镜 |
EP3988987A4 (en) | 2018-09-28 | 2023-09-20 | Evident Corporation | MICROSCOPE SYSTEM, PROJECTION UNIT AND IMAGE PROJECTION METHOD |
JP7150867B2 (ja) | 2018-09-28 | 2022-10-11 | 株式会社エビデント | 顕微鏡システム |
JP7150868B2 (ja) | 2018-09-28 | 2022-10-11 | 株式会社エビデント | 顕微鏡システム、投影ユニット、及び、画像投影方法 |
CN112714887B (zh) | 2018-09-28 | 2024-02-23 | 仪景通株式会社 | 显微镜***、投影单元以及图像投影方法 |
EP3904937A4 (en) | 2018-12-28 | 2022-09-21 | Olympus Corporation | MICROSCOPE SYSTEM |
-
2018
- 2018-12-25 CN CN201880097759.2A patent/CN112714887B/zh active Active
- 2018-12-25 JP JP2020547904A patent/JPWO2020066043A1/ja active Pending
- 2018-12-25 WO PCT/JP2018/047499 patent/WO2020066043A1/ja unknown
- 2018-12-25 EP EP24157882.2A patent/EP4345776A3/en active Pending
- 2018-12-25 EP EP18935049.9A patent/EP3995879A4/en active Pending
-
2021
- 2021-03-09 US US17/196,921 patent/US11594051B2/en active Active
-
2023
- 2023-12-20 JP JP2023214425A patent/JP2024019639A/ja active Pending
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0829694A (ja) * | 1994-07-20 | 1996-02-02 | Nikon Corp | 画像処理装置付き顕微鏡 |
JPH10333047A (ja) * | 1997-04-03 | 1998-12-18 | Olympus Optical Co Ltd | 手術用顕微鏡 |
JP2000292422A (ja) * | 1999-04-02 | 2000-10-20 | Olympus Optical Co Ltd | 走査型サイトメータ |
JP2003116874A (ja) * | 2001-10-10 | 2003-04-22 | Olympus Optical Co Ltd | 手術用顕微鏡装置 |
JP2012019748A (ja) * | 2010-07-15 | 2012-02-02 | Olympus Corp | 細胞観察装置および観察方法 |
WO2012117647A1 (ja) * | 2011-02-28 | 2012-09-07 | 三洋電機株式会社 | 観察プログラムおよび観察装置 |
JP2013072997A (ja) * | 2011-09-27 | 2013-04-22 | Olympus Corp | 表示装置および顕微鏡システム |
WO2013094434A1 (ja) * | 2011-12-22 | 2013-06-27 | 三洋電機株式会社 | 観察システム、観察システムの制御方法及びプログラム |
JP2014063041A (ja) * | 2012-09-21 | 2014-04-10 | Keyence Corp | 撮影解析装置、その制御方法及び撮影解析装置用のプログラム |
JP2016517115A (ja) * | 2013-04-17 | 2016-06-09 | ゼネラル・エレクトリック・カンパニイ | 連続的に染色した組織における、1つの細胞の分割を使用する多重化バイオマーカー定量用のシステム及び方法 |
JP2016526185A (ja) * | 2013-05-15 | 2016-09-01 | ジ アドミニストレーターズ オブ ザ テュレーン エデュケーショナル ファンド | 構造化照明を用いた組織試料の顕微鏡観察 |
WO2015170480A1 (ja) * | 2014-05-08 | 2015-11-12 | 中外製薬株式会社 | Gpc3標的治療剤療法が有効である患者に投与されるgpc3標的治療剤 |
WO2017002934A1 (ja) * | 2015-07-01 | 2017-01-05 | 中外製薬株式会社 | Gpc3標的治療剤が有効である患者に投与されるgpc3標的治療剤 |
JP2017161262A (ja) * | 2016-03-07 | 2017-09-14 | 株式会社サタケ | 粒状物外観品位判別装置 |
JP2018054425A (ja) * | 2016-09-28 | 2018-04-05 | 富士フイルム株式会社 | 撮影画像評価装置および方法並びにプログラム |
JP2018066908A (ja) * | 2016-10-20 | 2018-04-26 | 株式会社キーエンス | 拡大観察装置 |
JP2018128532A (ja) * | 2017-02-07 | 2018-08-16 | オリンパス株式会社 | 顕微鏡 |
JP2018010021A (ja) * | 2017-10-24 | 2018-01-18 | 株式会社キーエンス | 画像検査装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2024019639A (ja) | 2024-02-09 |
US11594051B2 (en) | 2023-02-28 |
EP3995879A1 (en) | 2022-05-11 |
CN112714887A (zh) | 2021-04-27 |
CN112714887B (zh) | 2024-02-23 |
EP4345776A3 (en) | 2024-06-19 |
WO2020066043A1 (ja) | 2020-04-02 |
US20210192181A1 (en) | 2021-06-24 |
EP4345776A2 (en) | 2024-04-03 |
EP3995879A4 (en) | 2023-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPWO2020066043A1 (ja) | 顕微鏡システム、投影ユニット、及び、画像投影方法 | |
US9110305B2 (en) | Microscope cell staining observation system, method, and computer program product | |
US11662565B2 (en) | Microscope system, projection unit, and image projection method | |
JP2019532352A (ja) | 組織標本の組織学的検査のためのシステム | |
JP6310671B2 (ja) | レーザー顕微解剖領域の画定方法及び関連するレーザー顕微解剖システム | |
JP5185151B2 (ja) | 顕微鏡観察システム | |
US11869166B2 (en) | Microscope system, projection unit, and image projection method | |
US20210215923A1 (en) | Microscope system | |
US8791427B2 (en) | Biological-specimen observation apparatus | |
JP2013044967A (ja) | 顕微鏡システム、標本画像生成方法及びプログラム | |
US20100329522A1 (en) | Medical diagnosis support device, virtual microscope system, and specimen support member | |
JP2009175661A (ja) | 生体観察装置 | |
US20200074628A1 (en) | Image processing apparatus, imaging system, image processing method and computer readable recoding medium | |
JP7090171B2 (ja) | 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム | |
WO2021166089A1 (ja) | 評価支援装置、評価支援システム、評価支援方法およびプログラム | |
JPWO2020039520A1 (ja) | 画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム | |
JP2013113818A (ja) | 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム | |
Liao | Imaging Innovations for Whole-Slide and Hyperspectral Microscopy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A527 Effective date: 20210305 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210305 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220405 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220602 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20220622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220722 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220801 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230531 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231003 |