JP2020535478A - 2回通過式マクロ画像 - Google Patents

2回通過式マクロ画像 Download PDF

Info

Publication number
JP2020535478A
JP2020535478A JP2020517540A JP2020517540A JP2020535478A JP 2020535478 A JP2020535478 A JP 2020535478A JP 2020517540 A JP2020517540 A JP 2020517540A JP 2020517540 A JP2020517540 A JP 2020517540A JP 2020535478 A JP2020535478 A JP 2020535478A
Authority
JP
Japan
Prior art keywords
macro image
image
lens
slide
macro
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020517540A
Other languages
English (en)
Other versions
JP7009619B2 (ja
Inventor
チェン レン−チュン
チェン レン−チュン
ゾウ ユンルー
ゾウ ユンルー
オルソン アレン
オルソン アレン
ナジマバディ ペイマン
ナジマバディ ペイマン
クランダル グレッグ
クランダル グレッグ
ニューバーグ ニコラス
ニューバーグ ニコラス
スティアレット アーロン
スティアレット アーロン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Biosystems Imaging Inc
Original Assignee
Leica Biosystems Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Biosystems Imaging Inc filed Critical Leica Biosystems Imaging Inc
Publication of JP2020535478A publication Critical patent/JP2020535478A/ja
Application granted granted Critical
Publication of JP7009619B2 publication Critical patent/JP7009619B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0072Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/701Line sensors

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

2回通過式マクロ画像取り込みが開示される。一実施形態では、スキャン装置は、ステージと、高解像度カメラと、スライドの幅と略等しい幅の視野を高解像度カメラに提供するレンズと、を備える。装置はまた、透過モード照明の第1の照明システムと、反射モード照明の第2の照明システムと、を備える。プロセッサ(複数可)は、第1の照明システムにより視野が照明されている間は、ステージを第1の方向に移動させ、1回通過している間に、標本の第1のマクロ画像を取り込み、第2の照明システムにより視野が照明されている間は、ステージを第2の方向に移動させ、1回通過している間に、標本の第2のマクロ画像を取り込む。プロセッサ(複数可)は、第2のマクロ画像内のアーチファクトを特定し、これらのアーチファクトに基づいて、第1のマクロ画像を補正して、修正済み第1のマクロ画像を生成する。

Description

関連出願の相互参照
本出願は、2017年9月29日に出願された米国仮特許出願第62/566,165号の優先権を主張し、参照により、その全体が記載されるように、本明細書に組み込まれるものとする。
本開示は、一般にデジタルパソロジーに関し、より具体的には、デジタルスライドスキャン装置を使用してスライドガラス上の組織領域を特定することに関する。
デジタルパソロジーは、物理的スライドから生成された情報の管理を可能にするコンピュータ技術により実現される画像ベースの情報環境である。デジタルパソロジーは、物理的スライドガラス上で標本をスキャンして、コンピュータモニタ上で保存、表示、管理、および分析できるデジタルスライド画像を作成することを実践する仮想顕微鏡検査により、部分的に実現される。デジタルパソロジーの分野は、スライドガラス全体の撮像機能により爆発的に発展し、現在では、がんなどの重大な病気の診断、予後、および予測を、さらに良く、さらに迅速に、さらに安価に達成するための最も有望な診断医学手段のうちの1つとみなされている。
従来のデジタルスライドスキャン装置は通常、スライド上の標本の高解像度画像をスキャンするのに使用される高解像度カメラセンサを含む。従来のデジタルスライドスキャン装置はまた、通常、スライド上の標本の低解像度マクロ画像をスキャンするのに使用される低解像度カメラセンサを含む。通常、マクロ画像は、標本が占めるスライドガラスの領域を特定するために使用され、スライド全体のサムネイル画像を生成するためにも使用され得る。従来のデジタルスライドスキャン装置の欠点は、低解像度カメラセンサを含めると、装置に費用がさらにかかることである。提案されている1つの解決策は、高解像度カメラセンサを使用して、高解像度マクロ画像を取り込むことである。
しかし、高解像度カメラで高解像度マクロ画像を取得することの不利な点として、高解像度マクロ画像は、多くの場合、スライドまたはスライドカバーガラス上に、埃および/または指紋などの物理的アイテムの不要な画像アーチファクトを含むことが挙げられる。これらのアーチファクトは、スライドの準備または取り扱い中にもたらされ得る。
マクロ画像内のこれらの不要な画像アーチファクトは、例えば標本の位置、スキャンするスライドガラスの領域、および標本上の初期焦点位置を特定するために、標本のマクロ画像に実行される画像処理に、大きな影響を与え得る。さらに、初期焦点位置(例えば焦点面を構築するための初期焦点位置)が図らずも、不要な画像アーチファクトの場所に設定された場合、結果得られるデジタルスライド画像の品質は悪影響を受け得る。よって、前述のような従来のシステムに見受けられるこれらの重大な問題を克服するシステムおよび方法が、求められている。
デジタルスライドスキャン装置における従来のマクロ画像取り込みに関連する問題を解決するために、第1および第2の照明システムを利用してスライドの2つの画像を取り込む解決策が、本明細書では説明される。一実施形態では、透過照明システム(スライドの下から)を使用して第1の画像が取り込まれ、照明補正およびおそらく他の画像強調を行うように処理される。反射照明システム(スライドの上から)を使用して第2の画像が取り込まれ、不要な画像アーチファクトを特定するように処理される。次いで、第2の画像から特定された画像アーチファクトが、第1の画像から除去され得、補正された第1の画像は、マクロ画像として記憶され得る。
マクロ画像取得プロセスの一実施形態では、ステージは、スライドガラスをマクロ画像位置までずっと移動させ、その後スキャン位置へ戻るために、線形往復経路を移動する。往復の「往」部分では、透過モード照明およびマクロ画像光路に対応するレンズを使用して、マクロ画像が取り込まれる。往復の「復」部分では、反射モード照明およびマクロ画像光路に対応するレンズを使用して、第2のマクロ画像が取り込まれる。従って、スキャン装置には、第2の傾斜照明源が含まれ、マクロ画像光路と共に使用するために配置される。第2の照明源は、スライドガラスの上部から照明を提供し、傾斜散乱光を使用して、光路内のカメラセンサへ光を反射することなく、スライドガラスおよび/またはカバーガラス上のアーチファクトのみを目立たせる。スキャン装置のプロセッサは、マクロ画像光路の下の往復の「往」部分および「復」部分の間に取り込まれた2つのスライド全体画像を処理し、画像処理は、第2の画像で特定されたアーチファクトを第1の画像から除去する。修正された第1の画像は、その後、組織発見および初期焦点位置選択に使用するクリーンなマクロ画像として用いられる。
本明細書で説明される実施形態は、従来の解決策と比較して大きな利点を提供する。1つの利点には、高解像度カメラにより、精密なマクロスライド画像が生成されることが挙げられる。しかし、透過モード照明を使用してスキャンされたマクロ画像には、標本だけでなく、スライドガラスおよび/またはカバーガラス上の不要な画像アーチファクトも、両方含まれる。有利なことに、上部照明マクロ画像は、スライドガラスまたはカバーガラス上によく存在する指紋、埃、髪、シール材、Valap(ワセリン、ラノリン、パラフィン)、および/または白塗料ラベルなど(本明細書では「残屑」と総称される)のアイテムからの不要な画像アーチファクトを、明瞭に示す。従って、2つのマクロ画像(下部照明により取り込まれた1つの画像および上部照明により取り込まれた1つの画像)を画像処理することにより、下部照明により取り込まれたマクロ画像から不要な画像アーチファクトを除去して、不要な画像アーチファクトのない高解像度マクロ画像を生成することが可能となる。本実施形態により、高解像度スキャン用の特別領域を含む必要がなくなる。本実施形態はまた、上部照明により取り込まれたマクロ画像に対しては、重い画像ノイズ除去を実行するが、下部照明により取り込まれたマクロ画像に対しては、ごくわずかな画像処理を実行して、スライドガラス上の標本領域を誤って特定するリスクを低減する。
一実施形態では、デジタルスライドスキャン装置が開示され、デジタルスライドスキャン装置は、視野を有する高解像度カメラと、マクロ画像光路内の第1のレンズであって、第1のレンズは、高解像度カメラの視野に、スライドガラスの略全幅の画像を提供するように構成される、第1のレンズと、第1のレンズと光学的に結合され、かつ透過モード照明用に構成された第1の照明システムと、第1のレンズと光学的に結合され、かつ反射モード照明用に構成された第2の照明システムであって、さらに、第2の照明システムの略すべての光が高解像度カメラの視野内に反射されないようなパターンで、照明光を傾斜させるように構成された第2の照明システムと、スライドガラスを支持するステージを第1の方向へ移動させ、スライドガラスが第1のレンズの下を1回通過する間に、高解像度カメラ、第1のレンズ、および第1の照明システムを使用して、スライドガラス上の標本の第1のマクロ画像を取り込むように構成されたプロセッサと、を備え、プロセッサはさらに、第1の方向とは反対の第2の方向にステージを移動させ、スライドガラスが第1のレンズの下を1回通過する間に、高解像度カメラ、第1のレンズ、および第2の照明システムを使用して、スライドガラス上の標本の第2のマクロ画像を取り込むように構成され、プロセッサはさらに、第2のマクロ画像内の不要な画像アーチファクトを特定し、特定された不要な画像アーチファクトに応じて第1のマクロ画像を補正して、修正済み第1のマクロ画像を生成するように構成される。プロセッサはさらに、組織発見および初期焦点位置選択に、修正済み第1のマクロ画像を使用するように構成され得る。第1の照明システムはさらに、拡散器を備え得る。
一実施形態では、方法が開示され、方法は、透過モード照明用に構成された第1の照明システムを起動させることであって、第1の照明システムは、レンズと、視野を有する高解像度カメラと光学的に結合され、レンズおよび高解像度カメラは光路を定義する、起動させることと、スライドガラスを支持するステージを光路に対して第1の方向に移動させ、当該移動中に、高解像度カメラ、レンズ、および第1の照明システムを使用して、スライドガラス上の標本の第1のマクロ画像を取り込むことと、第1の照明システムを停止させることと、第1の照明システムを停止させた後に、反射モード照明用に構成された第2の照明システムを起動させることであって、第2の照明システムは、レンズと高解像度カメラと光学的に結合される、起動させることと、スライドガラスを支持するステージを第1の方向とは反対の第2の方向に移動させ、当該移動中に、高解像度カメラ、レンズ、および第2の照明システムを使用して、スライドガラス上の標本の第2のマクロ画像を取り込むことと、第2のマクロ画像内で1つ以上の不要な画像アーチファクトを特定することと、特定された不要な画像アーチファクトに応じて第1のマクロ画像を補正して、修正済み第1のマクロ画像を生成することと、を含む。
一実施形態では、方法が開示され、方法は、反射モード照明用に構成された反射モード照明システムを起動させることであって、反射モード照明システムは、レンズと、視野を有する高解像度カメラと光学的に結合され、レンズおよび高解像度カメラは光路を定義する、起動させることと、スライドガラスを支持するステージを光路に対して第1の方向に移動させ、当該移動中に、高解像度カメラ、レンズ、および反射モード照明システムを使用して、スライドガラス上の標本の反射モードマクロ画像を取り込むことと、反射モード照明システムを停止させることと、反射モード照明システムを停止させた後に、透過モード照明用に構成された透過モード照明システムを起動させることであって、透過モード照明システムは、レンズと高解像度カメラと光学的に結合される、起動させることと、スライドガラスを支持するステージを第1の方向とは反対の第2の方向に移動させ、当該移動中に、高解像度カメラ、レンズ、および透過モード照明システムを使用して、スライドガラス上の標本の透過モードマクロ画像を取り込むことと、反射モードマクロ画像内で1つ以上の不要な画像アーチファクトを特定することと、特定された不要な画像アーチファクトに応じて透過モードマクロ画像を補正して、修正済み透過モードマクロ画像を生成することと、を含む。
一実施形態では、方法が開示され、方法は、反射モード照明用に構成された反射モード照明システムを起動させることであって、反射モード照明システムは、レンズと、視野を有する高解像度カメラと光学的に結合され、レンズおよび高解像度カメラは光路を定義する、起動させることと、スライドガラスを支持するステージを光路に対して第1の方向に移動させ、当該移動中に、高解像度カメラ、レンズ、および反射モード照明システムを使用して、スライドガラス上の標本の反射モードマクロ画像を取り込むことと、透過モード照明用に構成された透過モード照明システムを起動させることであって、透過モード照明システムは、レンズと高解像度カメラと光学的に結合される、起動させることと、スライドガラスを支持するステージを第1の方向とは反対の第2の方向に移動させ、当該移動中に、高解像度カメラ、レンズ、および透過モード照明システムを使用して、スライドガラス上の標本の透過モードマクロ画像を取り込むことと、反射モードマクロ画像内で1つ以上の不要な画像アーチファクトを特定することと、特定された不要な画像アーチファクトに応じて透過モードマクロ画像を補正して、修正済み透過モードマクロ画像を生成することと、を含む。
一実施形態では、方法が開示され、方法は、高解像度カメラ、レンズ、および第1の照明システムを使用して、スライドガラス上の標本の第1のマクロ画像を取り込むことと、高解像度カメラ、レンズ、および第2の照明システムを使用して、スライドガラス上の標本の第2のマクロ画像を取り込むことと、第2のマクロ画像を分析して、不要な画像アーチファクトを特定することと、特定された不要な画像アーチファクトに応じて第1のマクロ画像を補正して、修正済み第1のマクロ画像を生成することと、を含む。第1の照明システムは、透過モード照明用に構成され得る。第2の照明システムは、反射モード照明用に構成され得る。
本発明の他の特徴および利点は、下記の発明を実施するための形態および添付図面を再考した後、当業者にはさらに容易に明らかになるであろう。
本発明の構造および動作は、下記の発明を実施するための形態および添付図面を再考することにより理解され、添付図面では、同様の参照番号は同様の部分を指す。
図1Aは、一実施形態による、スライドガラスの組織領域を特定するための例示的なデジタルスライドスキャンシステムを示すブロック図である。図1Bは、一実施形態による、例示的な光路およびラインスキャンカメラを示すブロック図である。 図2Aは、一実施形態による、第1の照明システムを起動させて、スライドガラスの組織領域を特定するための例示的なデジタルスライドスキャンシステムを示すブロック図である。図2Bは、一実施形態による、第2の照明システムを起動させて、スライドガラスの組織領域を特定するための例示的なデジタルスライドスキャンシステムを示すブロック図である。 一実施形態による、デジタルスライドスキャン装置でスライドガラスのマクロ画像をスキャンするための例示的なプロセスを示すフロー図である。 図4Aは、一実施形態による、試料を上に保持するスライドガラスのスキャン領域を特定するための例示的なプロセスを示すフロー図である。図4Bは、一実施形態による、試料を上に保持するスライドガラスのスキャン領域を特定するために使用される例示的な画像集合を示すブロック図である。 図5Aは、本明細書で説明される様々な実施形態に関連して使用され得る例示的なプロセッサ対応デバイスを示すブロック図である。図5Bは、一実施形態による、単一線形アレイを有する例示的なラインスキャンカメラを示すブロック図である。図5Cは、一実施形態による、3列の線形アレイを有する例示的なラインスキャンカメラを示すブロック図である。図5Dは、一実施形態による、複数の線形アレイを有する例示的なラインスキャンカメラを示すブロック図である。
本明細書で開示される特定の実施形態は、不要な画像アーチファクトを含まないスライドガラスの高解像度マクロ画像を取り込むためのシステムおよび方法を提供する。例えば、本明細書で開示される一方法により、下部照明システムを使用して第1の高解像度マクロ画像を取り込み、上部照明システムを使用して第2の高解像度マクロ画像を取り込むことが可能となる。2つの高解像度マクロ画像は、第2の高解像度マクロ画像内の不要な画像アーチファクトを特定し、特定された不要な画像アーチファクトを、第1の高解像度マクロ画像から除去して、不要な画像アーチファクトのない高解像度マクロ画像を生成するように、処理される。様々な代替的実施形態および代替的用途において本発明を実施する方法が、本説明を読んだ後に当業者には明らかになるであろう。しかしながら、本発明の様々な実施形態が本明細書で説明されるが、これらの実施形態は、限定ではなく単なる例として提示されることが理解されよう。よって、様々な代替的実施形態の本詳細説明は、添付の特許請求の範囲に明示されるような本発明の範囲または広さを限定するものとして解釈されるべきではない。
図1Aは、一実施形態による、スライドガラス90上の標本95の組織領域を特定するための例示的なデジタルスライドスキャン装置10を示すブロック図である。示される実施形態では、スキャン装置10は、第1のレンズ40と組み合わせて第1の光路30を定義する高解像度カメラ20を含む。第1の光路30は、スライド90上の試料95の高解像度マクロ画像を取り込むように構成される。第1の光路30は、試料95上に対する高解像度カメラ20の視野25を完全に包含する。高解像度カメラ20および第1のレンズ40と、第1の光路30との組み合わせにより、視野25はスライド90の略全幅をカバーし、よってスライド90が第1の光路30の下を1回通過すると、スライド90全体を撮像することが可能となる。マクロ画像は通常、低倍率で取り込まれ、スライド90全体がマクロ画像に含まれる。高解像度カメラ20はまた、第2のレンズ60と組み合わせて第2の光路50を定義する。第2の光路50は、高倍率で高解像度画像を取り込むためのものである。
一実施形態では、高解像度カメラは、ラインスキャンカメラ、またはエリアスキャンカメラ、または時間遅延積分(TDI)カメラもしくはカラーカメラなどの様々な高解像度カメラのうちのいずれかであり得る。論述を容易にするために、高解像度カメラは、本明細書ではラインスキャンカメラ20と称することとする。
デジタルスライドスキャン装置10はまた、1つ以上の拡散器75を任意で含み得る第1の照明システム70を含む。第1の照明システム70は、スライド90の下に配置され、透過モード照明用に、第1の照明システム70からの光が試料95を通過して第1の光路30内に入るように構成される。第1の照明システム70からの光はまた、試料95を通過する前に、1つ以上の拡散器75を通過し得る。有利なことに、1つ以上の拡散器75は、第1の光路30内に均一な照明を提供するように機能する。
デジタルスライドスキャン装置10はまた、第2の照明システム80を含む。第2の照明システム80は、スライド90の上に配置され、反射モード照明用に、第2の照明システム80からの略すべての光がスライド90および試料95に反射して、第1の光路30から離れるように構成される。有利なことに、残屑からの所望の反射光は、第1の光路30内に入る。しかし、一部の望ましくない反射光も、第1の光路30内に入り得る。従って、デジタルスライドスキャン装置10は、第2の照明システム80からの望ましくない反射光が、高解像度カメラ20のいずれの個々の画素センサにも届かないように構成される。
一実施形態では、マクロ画像取得プロセス中に、ステージ(図示せず)は、線形往復経路(例えばスライド90の長手方向軸に平行なX軸に沿って)移動する。往復経路は、スライドガラス90を、第1の光路30により定義されたマクロ撮像位置の下で、開始位置(例えばスライド90または試料95の一端を表す第1の視野25がマクロ撮像位置の下にある位置)から、終了位置(例えばスライド90または試料95の反対端を表す第2の視野25がマクロ撮像位置の下にある位置)へ第1の方向に進むように、移動させる。その後、往復経路は、スライドガラス90を、マクロ撮像位置の下で、終了位置から開始位置へ戻る第1の方向とは反対の第2の方向に進むように、移動させる。往復の「往」部分では、第1の透過モード照明システム70および第1のレンズ40を使用して、第1の光路30に沿って、第1のマクロ画像が取り込まれる。往復の「復」部分では、第2の反射モード照明システム80および第1のレンズ40を使用して、第1の光路30に沿って、第2のマクロ画像が取り込まれる。あるいは、第2のマクロ画像が、往復の「往」部分で1番目に取り込まれてもよく、第1のマクロ画像が、往復の「復」部分で2番目に取り込まれてもよい。別の代替的実施形態では、第1および第2のマクロ画像は、ステージが静止している間に(すなわち第1のレンズ40に対するステージの移動がない)、例えばエリアスキャンカメラにより取り込まれ得る。いずれにせよ、簡潔にするために、第1のマクロ画像は通常、1番目に取り込まれるものとして本明細書では説明され、第2のマクロ画像は通常、2番目に取り込まれるものとして本明細書では説明されるが、第1のマクロ画像が2番目に取り込まれ、第2のマクロ画像が1番目に取り込まれるように、画像取り込みの順番を逆にしてもよいことを、理解されたい。
有利なことに、第2の照明システム80は、スライドガラス90の上部から傾斜照明を提供し、傾斜散乱光を使用して、スライドガラス90および/またはカバーガラスの上の不要な残屑のみを目立たせる。第2の照明システム80の配置およびその散乱光の方向は、望ましくない反射光が第1の光路30内に進むことを最小限に抑えるように、慎重に構成される。さらに、第1の光路30内の高解像度カメラ20の配置は、光路30内の望ましくない反射光が、高解像度カメラ20のセンサに到達することを最小限に抑えるまたは除去するように、慎重に構成される。
有利なことに、デジタルスライドスキャン装置10は、標本95が占めるスライドガラス90の領域を特定するために使用され得る極めて高い画像品質を提供するように構成される。第2の照明システム80からの光は、第1の照明システム70および/または拡散器75の構成要素に反射し得るため、拡散器75、第1の照明システム70、スライドガラス90、または試料95から反射される第2の照明システム80からのいずれの光も、高解像度カメラ20の個々のセンサが受光することがないように、第1の照明システム70、拡散器75、第2の照明システム80、および高解像度カメラ20は、慎重に位置が調整される。これにより、高解像度カメラ20の個々のセンサは、第2の照明システム80が使用される時、スライドガラスおよび/またはカバーガラスの上の残屑のみを強調する画像を取り込むことになる。
デジタルスライドスキャン装置10のプロセッサ555は、第1の光路30の下の往復の「往」部分および「復」部分の間に取り込まれた2つの高解像度画像を処理する。第2の照明システム80を使用して取り込まれたマクロ画像において、残屑に対応する不要な画像アーチファクトが特定され、特定された不要な画像アーチファクトは、第1の照明システム70を使用して取り込まれたマクロ画像において補正される。これにより、不要な画像アーチファクトを含まず、組織発見および初期焦点位置選択に後で使用され得るクリーンな高解像度マクロ画像が得られる。
図1Bは、一実施形態による、例示的な第1の光路30および高解像度カメラ20を示すブロック図である。前述のように、高解像度カメラ20の個々のセンサが第1の光路30内に配置されるように、かつ個々のセンサが第2の照明システム80からの望ましくない反射光85を受光しないように、デジタルスライドスキャン装置10の構成要素は、慎重に位置が調整される。
図2Aは、一実施形態による、第1の照明システム70を起動させて、スライドガラス90の組織領域95を特定するための例示的なデジタルスライドスキャンシステム10を示すブロック図である。示される実施形態では、第1の照明システム70が起動され、第1の照明システム70により生成される光は、スライド90および第1の光路30を均一に照明するように構成された1つ以上の拡散器75を通過する。ラインスキャンカメラ20は、その視野25が、第1の照明システム70により均一に照明されるスライド90の一部の上に位置するように、論理的に位置が調整される。
図2Bは、一実施形態による、第2の照明システム80を起動させて、スライドガラス90の組織領域95を特定するための例示的なデジタルスライドスキャンシステム10を示すブロック図である。示される実施形態では、第2の照明システム80が起動され、第2の照明システム80により生成される光は、スライド90、試料95、およびカバーガラス97を照明する。第2の照明システム80からの光が、スライド90、試料95、カバーガラス97、拡散器75、第1の照明システム70、およびその照明範囲内の任意の他の物体に反射するように、かつ反射光が第1の光路30内に入らないように、第2の照明システム80は配置される。しかし、一部の望ましくない反射光85が、第1の光路30内に入り得る。第1の光路30内を通過する望ましくない反射光85が、ラインスキャンカメラ20の個々のセンサのうちのいずれによっても受光されないように、ラインスキャンカメラ20は位置が調整される。
図3は、一実施形態による、デジタルスライドスキャン装置でスライドガラスのマクロ画像をスキャンするための例示的なプロセスを示すフロー図である。示される実施形態では、プロセスは、図1A〜図2B、および図5A〜図5Dに関して説明されるようなシステムにより、実行され得る。最初に、ステップ100で、システムは、下からスライドを照明するために、第1の照明システム70を起動させる。これは、透過モード照明である。
次に、ステップ110で、標本を有するスライドガラス90を支持するステージが、マクロ撮像位置を通過するように移動される。マクロ撮像位置は、マクロ撮像レンズ40と高解像度カメラ20との組み合わせにより作られる第1の光路30内に位置する高解像度カメラ20の視野25により定義される。ステージがスライド90を、マクロ撮像位置を通して移動させると、ステップ120に示されるように、1回通過する間に、スライド90全体の第1のマクロ画像が取り込まれる。有利なことに、高解像度カメラ20の視野25は、スライド90の略全幅を取り込むのに十分な幅を有する。
代替的実施形態では、スライド90全体の第1のマクロ画像は、ステージが対物レンズに対して静止している間に、例えばエリアスキャンカメラにより取り込まれ得る。例えば、第1のマクロ画像は、一連のモザイクタイルとして取り込まれてもよく、各タイルは、ステージが静止している間に取り込まれる。あるいは、第1のマクロ画像は、ステージが静止している間に取り込まれる単一画像として取り込まれてもよい。エリアスキャンカメラはまた、例えばストロボ照明を使用して、ステージが動いている間に、第1のマクロ画像を(単一画像または一連のモザイクタイルとして)取り込み得る。
次に、ステップ130で、第1の照明システム70が停止され、次に、ステップ140で、第2の照明システム80が起動される。第2の照明システム80は、上からの角度で、スライド90を照明する。これは、反射モード照明である。次に、ステップ150で、ステージは再度、スライドガラス90を、マクロ撮像位置を通して移動させ、ステップ160で、1回通過する間に、スライド90全体の第2のマクロ画像が取り込まれる。先と同様に、代替的実施形態では、スライド90全体の第2のマクロ画像は、ステージが静止している間に、例えばエリアスキャンカメラにより取り込まれ得る。
次に、ステップ170で、反射モード照明を使用して取り込まれたスライド90全体の第2のマクロ画像が分析され、ステップ180で、第2のマクロ画像内で、残屑に対応する不要な画像アーチファクトが特定される。次に、ステップ190で、第2のマクロ画像内で特定された同じ不要な画像アーチファクトが、第1のマクロ画像内で特定される。次に、ステップ200で、第1のマクロ画像内に存在する不要な画像アーチファクトを除去するあるいは配慮するように、第1のマクロ画像が補正される。最後に、ステップ210で、補正済み第1のマクロ画像は、スライドガラス90のクリーンなマクロ画像として記憶される。有利なことに、補正済み第1のマクロ画像は、その後、試料95が占めるスライドガラス90の領域を特定するために使用され得る。
図3は、第2のマクロ画像の前に第1のマクロ画像を取得することを示すが、第1のマクロ画像の前に第2のマクロ画像が取得されてもよいことを理解されたい。例えば、ステップ100〜120をステップ140〜160と交換して、ステップ130が第1の照明システム70の代わりに第2の照明システム80を停止することを含んでもよい。さらに、ステップ170および180は、ステップ160で第2のマクロ画像が取得された後であれば、いつ実行されてもよく、従って、必ずしもステップ120で第1のマクロ画像が取得された後に実行される必要はないことを、理解されたい。
図4Aは、一実施形態による、試料を上に保持するスライドガラスのスキャン領域を特定するための例示的なプロセスを示すフロー図である。図4Bは、一実施形態による、試料を上に保持するスライドガラスのスキャン領域を特定するために使用される例示的な画像集合を示すブロック図である。図4Aおよび図4Bが、下記にまとめて説明される。示される実施形態では、図4Aのプロセスは、図1A〜図2B、および図5A〜図5Dに関して説明されるようなシステムにより、実行され得る。
画像の前処理
最初に、第1のマクロ画像300(図4Aの「下部照明画像」、図4Bの例示画像400に対応)が取得され(例えば図3のステップ100〜120を介して取得され)、第2のマクロ画像310(図4Aの「上部照明画像」)が取得される(例えば図3のステップ140〜160を介して取得される)。第1のマクロ画像300は、照明補正、背景オフセット、および/または背景ノイズ除去で前処理され、前処理済み第1のマクロ画像320(図4Aの例示画像420に対応)が生成され得る。有利なことに、照明補正処理は、照明の不均一性を補正し、背景オフセット処理は、背景レベルをゼロに削減する。背景ノイズは、背景オフセット処理が完了した後に、負の画素の標準偏差を計算することにより、推定される。第1のマクロ画像300が前処理されると、スライドを有さない空のステージの所定画像が、第1の照明システム70を使用して取り込まれたマクロ画像の照明プロファイルとして、使用され得る。
同様に、第2のマクロ画像310が、背景オフセットで前処理され、前処理済み第2のマクロ画像330が生成される。次いで、前処理済み第2のマクロ画像330は、画像内のノイズを特定するためにさらに処理される。前処理済み第2のマクロ画像330内のノイズは、残屑に起因する不要な画像アーチファクトに対応する。一実施形態では、前処理済み第2のマクロ画像330はノイズ除去されて、不要な画像アーチファクトが強調され、キャニー辺縁検出を使用して、不要な画像アーチファクトの物体辺縁が特定され、ノイズに通常起因する小さなピークが抑制され、破損した辺縁および/または線がつなげられる。従って、前処理済み第2のマクロ画像330から、不要な画像アーチファクトのアーチファクトマスク340が生成される。アーチファクトマスク340は、アーチファクトには1の値を、その他には0の値を割り当てることにより、作成され得る。例示的なアーチファクトマスク340の画像が、図4Bの画像440に示される。一実施形態では、画像440は、辺縁画像および前処理済みマクロ画像330により、再構築される。一実施形態では、アーチファクトマスク340は、第1のマクロ画像と第2のマクロ画像との間の画素ずれを配慮するために実行される。
下部照明画像からのアーチファクト除去
前処理済み第1のマクロ画像320およびアーチファクトマスク340が一旦生成されると、これらの2つの画像は、不要な画像アーチファクトを含まない補正済み第1のマクロ画像350を生成するように処理される。一実施形態では、この画像処理は、前処理済み第1のマクロ画像320から不要な画像アーチファクトを除去し、これにより、補正済み第1のマクロ画像350(図4Bの例示画像450に対応)を生成するために、前処理済み第1のマクロ画像320に(1−アーチファクトマスク340)を乗算することにより達成され得る。
組織再構築
一実施形態では、プロセスはまた、存在する不要な画像アーチファクトの量に応じて、前処理済み第1のマクロ画像320を断片に分離し得る。従って、不要な画像アーチファクトにより特定された画素の周囲の強度レベルを評価することにより、組織再構築手順も実行され得る。これらの画素は次に、周囲の強度レベルにより組み戻され、再構築された補正済み第1のマクロ画像360(図4Bの例示画像460に対応)が生成される。
カバーガラスおよび小物体除去
次に、一実施形態では、カバーガラス検出にライン検出器が使用され、小物体検出にモルフォロジー演算が使用される。次に、特定されたカバーガラスおよび小物体は除去されて、最終第1マクロ画像マスク370が生成され、最終第1マクロ画像マスク370では、組織は1の値により識別され、非組織は0の値により識別される。有利なことに、最終第1マクロ画像マスク370を使用して、スキャン領域380を特定することができる。
例示的実施形態では、中間画像処理は、不要な画像アーチファクトを有する不鮮明なマクロスライド画像を生成し得る。図4Bでは、画像400は第1のマクロ画像300を示し、画像420は、第1のマクロ画像300を背景オフセットおよび背景ノイズ除去で前処理した後の二値画像マスクを示す。同様に、図4Bでは、画像440は、第2のマクロ画像310が背景オフセットおよび画像データのノイズ除去で前処理された後の、処理済み不要画像アーチファクトマスク340の一例を示す。有利なことに、アーチファクトマスク画像440は、不要な画像アーチファクトおよび不要なスライドラベルを強調する。次に、2つのマスク420および440を使用して、第1のマクロ画像300(図4Bの画像400としても示される)から不要な画像アーチファクトの検出および除去が行われる。2つのマスク420および440を使用して、画像450で示される組織再構築、並びにカバーガラスおよび小物体の検出および除去も行われ、最終組織マスクである画像460が生成され得る。示される例では、特定されたスキャン領域380が、画像460における長方形内の領域として示される。
例示的なスキャンシステム
図5Aは、本明細書で説明される様々な実施形態に関連して使用され得る例示的なプロセッサ対応デバイス550を示すブロック図である。デバイス550の代替的な形態が使用されてもよいことが、当業者には理解されよう。例示される実施形態では、デバイス550は、デジタル撮像デバイス(本明細書ではスキャナシステム、スキャンシステム、デジタルスキャン装置、デジタルスライドスキャン装置などとも称される)として提示され、これは、1つ以上のプロセッサ555と、1つ以上のメモリ565と、1つ以上の動きコントローラ570と、1つ以上のインターフェースシステム575と、1つ以上の試料590を有する1つ以上のスライドガラス585をそれぞれが支持する1つ以上の可動ステージ580と、試料を照明する1つ以上の照明システム595と、光学軸に沿って進む光路605をそれぞれが定義する1つ以上の対物レンズ600と、1つ以上の対物レンズポジショナ630と、1つ以上の任意の落射照明システム635(蛍光スキャナシステムに含まれる)と、1つ以上の集束光学系610と、それぞれが試料590および/またはスライドガラス585上で別個の視野625を定義する1つ以上のラインスキャンカメラ615(例えばラインスキャンカメラ20を含む)および/または1つ以上のエリアスキャンカメラ620と、を備える。スキャナシステム550の様々な構成要素は、1つ以上の通信バス560を介して通信可能に接続される。スキャナシステム550の様々な構成要素のそれぞれは、1つ以上存在し得るが、以下の説明を簡潔にするために、これらの構成要素は、適切な情報を伝えるために複数形で説明される必要がある場合を除き、単数形で説明される。
1つ以上のプロセッサ555は、例えば、命令を並列に処理することが可能な中央処理装置(CPU)および別個のグラフィック処理装置(GPU)を含み得、または1つ以上のプロセッサ555は、命令を並列に処理することが可能なマルチコアプロセッサを含み得る。特定の構成部品を制御する、または画像処理などの特定の機能を実行するために、追加の別個のプロセッサが設けられてもよい。例えば、追加のプロセッサには、データ入力を管理する補助プロセッサ、浮動小数点数値演算を実行する補助プロセッサ、信号処理アルゴリズムの高速実行に好適なアーキテクチャを有する専用プロセッサ(例えばデジタル信号プロセッサ)、メインプロセッサに従属するスレーブプロセッサ(例えばバックエンドプロセッサ)、ラインスキャンカメラ615、ステージ580、対物レンズ600、および/またはディスプレイ(図示せず)を制御する追加のプロセッサが含まれ得る。このような追加のプロセッサは、別個の離散プロセッサであってもよく、またはプロセッサ555と統合されてもよい。
メモリ565は、プロセッサ555により実行され得るプログラムのためのデータおよび命令の記憶を提供する。メモリ565には、データおよび命令を記憶する1つ以上の揮発性および/または不揮発性コンピュータ可読記憶媒体が含まれ得、これには、例えば、ランダムアクセスメモリ、読み出し専用メモリ、ハードディスクドライブ、および/または着脱可能記憶ドライブなどが挙げられる。プロセッサ555は、メモリ565に記憶されている命令を実行し、通信バス560を介してスキャナシステム550の様々な構成要素と通信して、スキャナシステム550の全体的な機能を実行するように構成される。
1つ以上の通信バス560は、アナログ電気信号を伝達するように構成された通信バス560、およびデジタルデータを伝達するように構成された通信バス560を含み得る。従って、1つ以上の通信バス560を介したプロセッサ555、動きコントローラ570、および/またはインターフェースシステム575からの通信は、電気信号およびデジタルデータの両方を含み得る。プロセッサ555、動きコントローラ570、および/またはインターフェースシステム575はまた、無線通信リンクを介して、スキャンシステム550の様々な構成要素のうちの1つ以上と通信するように構成され得る。
動き制御システム570は、ステージ580のX、Y、および/またはZ移動(例えばX−Y平面内)、および/または対物レンズ600のX、Y、および/またはZ移動(例えば対物レンズポジショナ630を介してX−Y平面に直交するZ軸に沿って)を、正確に制御および調整するように構成される。動き制御システム570はまた、スキャナシステム550内の任意の他の可動部分の動きを制御するように構成される。例えば、蛍光スキャナの実施形態では、動き制御システム570は、落射照明システム635内の光学フィルタなどの動きを調整するように構成される。
インターフェースシステム575は、スキャナシステム550が他のシステムおよび人間のオペレータとインターフェースで接続することを可能にする。例えば、インターフェースシステム575は、オペレータに情報を直接提供する、および/またはオペレータからの直接入力を可能にするユーザインターフェースを含み得る。インターフェースシステム575はまた、スキャンシステム550と、直接接続された1つ以上の外部デバイス(例えばプリンタ、着脱可能記憶媒体)またはネットワーク(図示せず)を介してスキャナシステム550に接続された画像サーバシステム、オペレータステーション、ユーザステーション、および管理サーバシステムなどの外部デバイスとの間で、通信およびデータ転送を促進するように構成される。
照明システム595は、試料590の一部を照明するように構成される。照明システム595は、例えば、第1の照明システム70および第2の照明システム80を含む1つ以上の光源と、照明光学系とを含み得る。光源(複数可)は、光出力を最大化する凹面反射鏡と、熱を抑制するKG−1フィルタとを有する可変強度ハロゲン光源を含み得る。光源(複数可)は、任意の種類のアークランプ、レーザ、または他の光源を含み得る。一実施形態では、ラインスキャンカメラ615および/またはエリアスキャンカメラ620が、試料590を透過する光エネルギーを感知するように、照明システム595は、透過モードで試料590を照明する。代替的または付加的に、照明システム595はまた、ラインスキャンカメラ615および/またはエリアスキャンカメラ620が、試料590から反射される光エネルギーを感知するように、反射モードで試料590を照明するように構成されてもよい。照明システム595は、光学顕微鏡検査の任意の既知のモードで顕微鏡試料590を調べるのに好適となるように構成され得る。
一実施形態では、スキャナシステム550は、蛍光スキャンのためにスキャナシステム550を最適化する落射照明システム635を任意で含む。蛍光スキャンは、蛍光分子を含む試料590のスキャンであり、蛍光分子は、特定の波長の光を吸収すること(励起)ができる光子感知分子ある。これらの光子感知分子はまた、より高い波長の光を発する(放出)。このフォトルミネセンス現象の効率は非常に低いため、放射される光の量は非常に少ないことが多い。通常、この少量の放射光は、試料590をスキャンしてデジタル化する従来技術(例えば透過モード顕微鏡検査)を妨げる。有利なことに、スキャナシステム550の任意の蛍光スキャナシステムの実施形態では、複数の線形センサアレイを含むラインスキャンカメラ615(例えばTDIラインスキャンカメラ)を使用して、ラインスキャンカメラ615の複数の線形センサアレイのそれぞれに対し試料590の同じ領域を露出することにより、ラインスキャンカメラの光感度が高められる。これは、微弱な蛍光試料を低放射光でスキャンする場合に、特に有用である。
従って、蛍光スキャナシステムの実施形態では、ラインスキャンカメラ615は、モノクロTDIラインスキャンカメラであることが好ましい。有利なことに、モノクロ画像は、試料に存在する様々なチャネルからの実信号のより正確な表現を提供するため、蛍光顕微鏡検査に理想的である。当業者には理解されるように、蛍光試料590は、「チャネル」とも称される異なる波長の光を発する複数の蛍光色素で、標識化することができる。
さらに、様々な蛍光試料の最低信号レベルおよび最高信号レベルは、ラインスキャンカメラ615が感知する波長の広範囲を示すため、ラインスキャンカメラ615が検知することができる最低信号レベルおよび最高信号レベルは、同様に広いことが望ましい。従って、蛍光スキャナの実施形態では、蛍光スキャンシステム550で使用されるラインスキャンカメラ615は、モノクロの10ビット64線形アレイTDIラインスキャンカメラである。スキャンシステム550の蛍光スキャナの実施形態と共に使用するために、ラインスキャンカメラ615の様々なビット深度を採用できることに、留意されたい。
可動ステージ580は、プロセッサ555または動きコントローラ570の制御下での正確なX−Y移動のために構成される。可動ステージはまた、プロセッサ555または動きコントローラ570の制御下でのZ移動のために構成され得る。可動ステージは、ラインスキャンカメラ615および/またはエリアスキャンカメラによる画像データ取り込みの間に、試料を所望の場所に配置するように構成される。可動ステージはまた、試料590をスキャン方向に略一定速度に加速させ、次いで、ラインスキャンカメラ615による画像データ取り込みの間は、略一定速度を維持するように構成される。一実施形態では、スキャナシステム550は、可動ステージ580上の試料590の位置を支援するために、高精度で緊密に調整されたX−Y格子を採用し得る。一実施形態では、可動ステージ580は、X軸およびY軸の両方で採用される高精度エンコーダを有するリニアモータベースX−Yステージである。例えば、非常に正確なナノメートルエンコーダは、スキャン方向の軸上で、およびスキャン方向に垂直な方向の軸上で、およびスキャン方向と同じ平面上で、使用することができる。ステージはまた、試料590が上に配置されたスライドガラス585を支持するように構成される。
試料590(例えば試料95に対応)は、光学顕微鏡検査により調べられるものであればいずれのものでもあり得る。例えば、顕微鏡スライドガラス585(例えばスライド90に対応)は、組織および細胞、染色体、DNA、タンパク質、血液、骨髄、尿、細菌、水滴、生検材料、または、死亡もしくは生存している、着色ありもしくは着色なし、標識ありもしくは標識なしの、任意の他の種類の生体材料もしくは物質を含む標本の観察基板として、頻繁に使用される。試料590はまた、任意の種類のスライドまたは他の基板上に堆積されたcDNA、またはRNA、またはタンパク質など、任意の種類のDNAまたはDNA関連材料のアレイであり得、これには、マイクロアレイとして一般的に知られるありとあらゆる試料が含まれる。試料590は、マイクロタイタープレート(例えば96ウェルプレート)であってもよい。試料590の他の例には、集積回路基板、電気泳動レコード、ペトリ皿、フィルム、半導体材料、法医学材料、または機械加工部品が含まれる。
対物レンズ600は、対物レンズポジショナ630上に取り付けられ、一実施形態では、対物レンズポジショナ630は、対物レンズ600により定義された光学軸に沿って対物レンズ600を移動させる非常に正確なリニアモータを採用する。例えば、対物レンズポジショナ630のリニアモータは、50ナノメートルのエンコーダを含み得る。全体的なスキャンシステム550の動作のためのコンピュータ実行可能プログラムステップを含む情報および命令を記憶するためにメモリ565を採用するプロセッサ555の制御の下、X、Y、Z軸におけるステージ580と対物レンズ600との相対位置は、動きコントローラ570を使用して、閉ループ方式で調整および制御される。
一実施形態では、対物レンズ600は、望ましい最高空間分解能に対応する開口数を有するプランアポクロマート(「APO」)無限遠補正型対物レンズであり、対物レンズ600は、透過モード照明顕微鏡検査、反射モード照明顕微鏡検査、および/または落射照明モード蛍光顕微鏡検査に好適である(例えばOlympus40X、0.75NA、または20X、0.75NA)。有利なことに、対物レンズ600は、色収差および球面収差を補正することができる。対物レンズ600は無限遠補正されるため、集束光学系610は、光路605内の対物レンズ600の上に配置され得、対物レンズ600を通過する光ビームは、コリメートされた光ビームとなる。集束光学系610は、対物レンズ600により取り込まれた光信号を、ラインスキャンカメラ615および/またはエリアスキャンカメラ620の光応答素子に集束させ、並びに、フィルタ、および/または倍率変更レンズなどの光学部品を含み得る。対物レンズ600は、集束光学系610と組み合わせることで、スキャンシステム550の全倍率を提供する。一実施形態では、集束光学系610は、チューブレンズと、任意の2X倍率変更器とを含み得る。有利なことに、2X倍率変更器により、本来20Xの対物レンズ600は、40Xの倍率で試料590をスキャンすることが可能となる。
ラインスキャンカメラ615は、画像素子(「画素」)から成る少なくとも1列の線形アレイを含む。ラインスキャンカメラは、モノクロでも、カラーでもよい。カラーラインスキャンカメラは通常、少なくとも3列の線形アレイを有し、一方モノクロラインスキャンカメラは、単一の線形アレイまたは複数の線形アレイを有し得る。いずれの種類の単数または複数の線形アレイも、カメラの一部としてパッケージ化されているか、撮像電子モジュールにカスタム統合されているかに関わらず、使用することができる。例えば、3列線形アレイ(「赤−緑−青」すなわち「RGB」)カラーラインスキャンカメラ、または96列線形アレイモノクロTDIも、使用され得る。TDIラインスキャンカメラは通常、以前に撮像された標本の領域から強度データを合計することにより、出力信号の信号対雑音比(「SNR」)を大幅に向上させ、積分段数の平方根に比例するSNRの増加をもたらす。TDIラインスキャンカメラは、複数の線形アレイを備える。例えば、24列、32列、48列、64列、96列、またはさらに多い列数の線形アレイを有するTDIラインスキャンカメラが利用可能である。スキャナシステム550はまた、512個の画素を有するフォーマット、1024個の画素を有するフォーマット、および4096個もの画素を有するその他のフォーマットを含む、様々なフォーマットで製造された線形アレイに対応する。同様に、様々な画素サイズを有する線形アレイも、スキャナシステム550で使用することができる。任意の種類のラインスキャンカメラ615を選択する際の顕著な要件は、試料590のデジタル画像取り込みの間に、ステージ580がラインスキャンカメラ615に関して動くことができるように、ステージ580の動きをラインスキャンカメラ615のライン速度と同期することができることである。
ラインスキャンカメラ615により生成された画像データは、メモリ565の一部に記憶され、試料590の少なくとも一部の連続デジタル画像を生成するように、プロセッサ555により処理される。連続デジタル画像は、プロセッサ555によりさらに処理され得、修正された連続デジタル画像も、メモリ565に記憶され得る。
2つ以上のラインスキャンカメラ615を有する一実施形態では、ラインスキャンカメラ615のうちの少なくとも1つは、撮像センサとして機能するように構成された他のラインスキャンカメラ615のうちの少なくとも1つと組み合わせて作動する集束センサとして、機能するように構成され得る。集束センサは、撮像センサと同じ光軸上に論理的に配置され得、または集束センサは、スキャナシステム550のスキャン方向に対して撮像センサの前もしくは後に論理的に配置され得る。集束センサとして機能する少なくとも1つのラインスキャンカメラ615を有するこのような実施形態では、集束センサにより生成された画像データは、メモリ565の一部に記憶され、1つ以上のプロセッサ555により処理されて、集束情報が生成され、これにより、スキャナシステム550が試料590と対物レンズ600との相対距離を調整して、スキャン中に試料上の焦点を維持することが可能となる。さらに、一実施形態では、集束センサとして機能する少なくとも1つのラインスキャンカメラ615は、集束センサの複数の個々の画素のそれぞれが、光路605に沿って異なる論理的高さに配置されるように、配向され得る。
動作中、スキャナシステム550の様々な構成部品、およびメモリ565に記憶されたプログラムモジュールにより、スライドガラス585上に配置された試料590の自動スキャンおよびデジタル化が可能となる。スライドガラス585は、試料590をスキャンするために、スキャナシステム550の可動ステージ580上にしっかりと配置される。プロセッサ555の制御の下、可動ステージ580は、ラインスキャンカメラ615による感知のために、試料590を略一定速度に加速させ、ステージの速度は、ラインスキャンカメラ615のライン速度に同期される。画像データのストライプをスキャンした後、可動ステージ580は、試料590を減速させ、実質的に完全停止させる。次いで、可動ステージ580は、画像データの後続のストライプ(例えば隣接するストライプ)をスキャンするために、スキャン方向に直交して移動して、試料590を配置する。試料590の一部全体、または試料590全体がスキャンされるまで、追加のストライプが続いてスキャンされる。
例えば、試料590のデジタルスキャンを行っている間、画像ストライプを形成するように共に結合される複数の連続視野として、試料590の連続デジタル画像が取得される。複数の隣接する画像ストライプが同様に共に結合されて、試料590の一部または全体の連続デジタル画像が形成される。試料590をスキャンすることは、垂直画像ストライプまたは水平画像ストライプを取得することを含み得る。試料590のスキャンは、上から下、下から上、またはその両方(双方向)のいずれかであり得、試料上の任意の点で開始され得る。あるいは、試料590のスキャンは、左から右、右から左、またはその両方(双方向)のいずれかであり得、試料上の任意の点で開始され得る。さらに、画像ストライプは、隣接してまたは連続して取得される必要はない。さらに、結果として得られる試料590の画像は、試料590全体または試料590の一部のみの画像であり得る。
一実施形態では、コンピュータ実行可能命令(例えばプログラムモジュールおよびソフトウェア)は、メモリ565に記憶され、実行されると、スキャンシステム550が本明細書で説明される様々な機能を実行することを可能にする。この説明では、用語「コンピュータ可読記憶媒体」は、プロセッサ555による実行のためのコンピュータ実行可能命令を、記憶してスキャンシステム550に提供するのに使用される任意の媒体を指すために使用される。これらの媒体の例には、メモリ565、および例えばネットワーク(図示せず)を介して直接的または間接的にスキャンシステム550と通信可能に接続された任意の着脱可能または外部記憶媒体(図示せず)が含まれる。
図5Bは、電荷結合素子(「CCD」)アレイとして実装され得る単一の線形アレイ640を有するラインスキャンカメラを示す。単一の線形アレイ640は、複数の個々の画素645を含む。示される実施形態では、単一の線形アレイ640は、4096個の画素を有する。代替的実施形態では、線形アレイ640は、より多くのまたはより少ない画素を有してもよい。例えば、線形アレイの一般的フォーマットには、512個、1024個、および4096個の画素が含まれる。画素645は、線形に配置され、線形アレイ640の視野625(例えば視野25に対応)を定義する。視野625のサイズは、スキャナシステム550の倍率に従って変化する。
図5Cは、それぞれがCCDアレイとして実装され得る3列の線形アレイを有するラインスキャンカメラを示す。3列線形アレイを組み合わせて、カラーアレイ650が形成される。一実施形態では、カラーアレイ650内の各個別線形アレイは、異なる色彩強度、例えば赤、緑、または青を検出する。カラーアレイ650内の各個別線形アレイからのカラー画像データを組み合わせて、カラー画像データの単一視野625が形成される。
図5Dは、それぞれがCCDアレイとして実装され得る複数の線形アレイを有するラインスキャンカメラを示す。複数の線形アレイを組み合わせて、TDIアレイ655が形成される。有利なことに、TDIラインスキャンカメラは、以前に撮像された標本の領域から強度データを合計することにより、その出力信号のSNRを大幅に向上させ、線形アレイの数(積分段数とも称される)の平方根に比例するSNRの増加をもたらす。TDIラインスキャンカメラは、より多くの様々な数の線形アレイを備え得る。例えば、TDIラインスキャンカメラの一般的なフォーマットには、24列、32列、48列、64列、96列、120列、またはさらに多い列数の線形アレイが含まれる。
開示される実施形態の上記の説明は、いずれの当業者も発明を作成または使用することを可能にするために提供される。これらの実施形態に対する様々な変更は、当業者には容易に明らかであり、本明細書で説明される一般的な原理は、本発明の趣旨または範囲から逸脱することなく、他の実施形態に適用することができる。よって、本明細書で提示される説明および図面は、本発明の現在好ましい実施形態を表し、従って本発明により広く考慮される主題を表すことを、理解されたい。本発明の範囲は、当業者に明らかとなり得る他の実施形態を完全に包含し、本発明の範囲は従って限定されないことが、さらに理解されよう。

Claims (15)

  1. デジタルスライドスキャン装置であって、前記デジタルスライドスキャン装置は、
    スライドガラスを支持するように構成されたステージと、
    高解像度カメラと、
    前記高解像度カメラへのマクロ画像光路を定義する第1のレンズと、
    前記第1のレンズと光学的に結合される第1の照明システムと、
    前記第1のレンズと光学的に結合される第2の照明システムと、
    少なくとも1つのプロセッサと、
    を備え、
    前記第1のレンズは、前記高解像度カメラに視野を提供するように構成され、前記視野は、前記スライドガラスの全幅と略等しい幅を有し、
    前記第1の照明システムは、前記ステージ上の前記スライドガラスの下から前記視野を透過モードで照明するように構成され、
    前記第2の照明システムは、前記ステージ上の前記スライドガラスの上から前記視野を反射モードで照明するように構成され、前記第2の照明システムは、その照明光の略すべてが、前記高解像度カメラへの前記光路に沿って反射されないようなパターンで、照明光を傾斜させるように構成され、
    前記少なくとも1つのプロセッサは、前記ステージが前記スライドガラスを支持している間に、
    前記第1の照明システムにより前記視野が照明されている間は、前記スライドガラスが前記第1のレンズの下にあるうちに、前記高解像度カメラを使用して、前記スライドガラス上の標本の第1のマクロ画像を取り込み、
    前記第2の照明システムにより前記視野が照明されている間は、前記スライドガラスが前記第1のレンズの下にあるうちに、前記高解像度カメラを使用して、前記スライドガラス上の前記標本の第2のマクロ画像を取り込み、
    前記第2のマクロ画像内の画像アーチファクトを特定し、
    前記第2のマクロ画像内の前記特定された画像アーチファクトに基づいて、前記第1のマクロ画像を補正して、修正済み第1のマクロ画像を生成する、
    ように構成される、
    デジタルスライドスキャン装置。
  2. 前記少なくとも1つのプロセッサは、さらに、前記修正済み第1のマクロ画像を使用して、前記標本内の組織を発見し、前記標本をスキャンするための初期焦点位置を選択するように構成される、
    請求項1に記載のデジタルスライドスキャン装置。
  3. 前記第1の照明システムは、さらに、拡散器を備える、
    請求項1または2に記載のデジタルスライドスキャン装置。
  4. 前記第1のマクロ画像は、前記第2のマクロ画像の前に取り込まれる、
    請求項1から3のいずれかに記載のデジタルスライドスキャン装置。
  5. 前記第1のマクロ画像は、前記第2のマクロ画像の後に取り込まれる、
    請求項1から3のいずれかに記載のデジタルスライドスキャン装置。
  6. 前記デジタルスライドスキャン装置は、高倍率で高解像度画像を取り込むための第2のレンズをさらに備え、前記第2のレンズは、前記マクロ画像光路とは異なる前記高解像度カメラへの別の光路を定義し、前記第2のレンズは、前記スライドガラスの全幅より短い幅を有する、前記第1のレンズより小さい視野を提供するように構成される、
    請求項1から5のいずれかに記載のデジタルスライドスキャン装置。
  7. 前記第2のマクロ画像内の画像アーチファクトを特定することは、前記第2のマクロ画像からアーチファクトマスクを生成することを含む、
    請求項1から6のいずれかに記載のデジタルスライドスキャン装置。
  8. 前記第1のマクロ画像を補正することは、前記第1のマクロ画像に前記アーチファクトマスクを適用することを含む、
    請求項7に記載のデジタルスライドスキャン装置。
  9. 前記第1のマクロ画像を補正することは、前記第1のマクロ画像に前記アーチファクトマスクを適用する前に、前記第1のマクロ画像に対し照明補正、背景オフセット、または、背景ノイズ除去のうちの1つ以上を適用するように、前記第1のマクロ画像に前処理を行う、
    請求項8に記載のデジタルスライドスキャン装置。
  10. 前記第2のマクロ画像内の画像アーチファクトを特定することは、前記アーチファクトマスクを生成する前に、前記第2のマクロ画像に背景オフセットを適用するように、前記第2のマクロ画像に前処理を行う、
    請求項7から9のいずれかに記載のデジタルスライドスキャン装置。
  11. 前記少なくとも1つのプロセッサは、さらに、前記修正済み第1のマクロ画像に基づいて、スキャンする前記標本の領域を特定するように構成される、
    請求項1から10のいずれかに記載のデジタルスライドスキャン装置。
  12. 前記第1のマクロ画像を補正することは、アーチファクトを表す画素を囲む画素の強度レベルに従って、前記第1のマクロ画像内のアーチファクトを表す画素の強度レベルを変更することを含む、
    請求項1から11のいずれかに記載のデジタルスライドスキャン装置。
  13. 前記第1のマクロ画像を取り込むことは、前記ステージを第1の方向に移動させ、前記スライドガラスが前記第1のレンズの下を1回通過する間に、前記高解像度カメラを使用して、前記スライドガラス上の前記標本の前記第1のマクロ画像を取り込むことを含み、
    前記第2のマクロ画像を取り込むことは、前記ステージを第2の方向に移動させ、前記スライドガラスが前記第1のレンズの下を1回通過する間に、前記高解像度カメラを使用して、前記スライドガラス上の前記標本の前記第2のマクロ画像を取り込むことを含む、
    請求項1から12のいずれかに記載のデジタルスライドスキャン装置。
  14. 前記第2の方向は、前記第1の方向と反対である、
    請求項13に記載のデジタルスライドスキャン装置。
  15. デジタルスライドスキャン装置でマクロ画像を生成する方法であって、
    前記デジタルスライドスキャン装置は、スライドガラスを支持するように構成されたステージと、高解像度カメラと、前記高解像度カメラへのマクロ画像光路を定義する第1のレンズであって、前記高解像度カメラに、前記スライドガラスの全幅と略等しい幅を有する視野を提供するように構成される第1のレンズと、前記第1のレンズと光学的に結合され、前記ステージ上の前記スライドガラスの下から前記視野を透過モードで照明するように構成された第1の照明システムと、前記第1のレンズと光学的に結合され、前記ステージ上の前記スライドガラスの上から前記視野を反射モードで照明するように構成された第2の照明システムと、少なくとも1つのプロセッサと、を備え、
    前記方法は、前記デジタルスライドスキャン装置の前記少なくとも1つのプロセッサにより、
    前記第1の照明システムにより前記視野が照明されている間は、前記スライドガラスが前記第1のレンズの下にあるうちに、前記高解像度カメラを使用して、前記スライドガラス上の標本の第1のマクロ画像を取り込むことと、
    前記第2の照明システムにより前記視野が照明されている間は、前記スライドガラスが前記第1のレンズの下にあるうちに、前記高解像度カメラを使用して、前記スライドガラス上の前記標本の第2のマクロ画像を取り込むことと、
    前記第2のマクロ画像内の画像アーチファクトを特定することと、
    前記第2のマクロ画像内の前記特定された画像アーチファクトに基づいて、前記第1のマクロ画像を補正して、修正済み第1のマクロ画像を生成することと、
    を含む方法。
JP2020517540A 2017-09-29 2018-09-28 2回通過式マクロ画像 Active JP7009619B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762566165P 2017-09-29 2017-09-29
US62/566,165 2017-09-29
PCT/US2018/053632 WO2019068039A1 (en) 2017-09-29 2018-09-28 MACRO-IMAGE WITH TWO PASSAGES

Publications (2)

Publication Number Publication Date
JP2020535478A true JP2020535478A (ja) 2020-12-03
JP7009619B2 JP7009619B2 (ja) 2022-01-25

Family

ID=65896042

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020517540A Active JP7009619B2 (ja) 2017-09-29 2018-09-28 2回通過式マクロ画像

Country Status (5)

Country Link
US (2) US10585273B2 (ja)
EP (1) EP3625601A4 (ja)
JP (1) JP7009619B2 (ja)
CN (1) CN111164484B (ja)
WO (1) WO2019068039A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10502941B2 (en) * 2017-09-29 2019-12-10 Leica Biosystmes Imaging, Inc. Two-dimensional and three-dimensional fixed Z scanning
US10585273B2 (en) * 2017-09-29 2020-03-10 Leica Biosystems Imaging, Inc. Two pass macro image
EP3714307A4 (en) * 2017-11-20 2021-04-28 Scopio Labs Ltd. ACCELERATING DIGITAL MICROSCOPY SCANS WITH EMPTY / DIRTY AREA DETECTION
US11704003B2 (en) 2019-08-06 2023-07-18 Leica Biosystems Imaging, Inc. Graphical user interface for slide-scanner control
CN111935404B (zh) * 2020-08-14 2021-10-15 腾讯科技(深圳)有限公司 微距成像***、方法和装置
US20230260125A1 (en) * 2022-02-16 2023-08-17 Proscia Inc. Digital pathology artificial intelligence quality check

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1073767A (ja) * 1996-08-30 1998-03-17 Olympus Optical Co Ltd 顕微鏡
JP2000101786A (ja) * 1998-09-22 2000-04-07 Canon Inc 画像読取装置、画像読取方法及び記憶媒体
WO2006028439A1 (en) * 2004-09-01 2006-03-16 Aperio Technologies, Inc. System and method for data management in a linear-array-based microscope slide scanner
JP2007310231A (ja) * 2006-05-19 2007-11-29 Hamamatsu Photonics Kk 画像取得装置、画像取得方法、及び画像取得プログラム
JP2012014078A (ja) * 2010-07-02 2012-01-19 Sony Corp 顕微鏡及び領域判定方法
JP2012245085A (ja) * 2011-05-26 2012-12-13 Fujitsu Ltd 画像処理プログラム、方法及び装置
JP2014142657A (ja) * 2008-10-24 2014-08-07 Aperio Technologies Inc スライド全体蛍光スキャナ
JP2014211615A (ja) * 2013-04-01 2014-11-13 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000501184A (ja) 1995-11-30 2000-02-02 クロマビジョン メディカル システムズ,インコーポレイテッド 生体標本の自動画像分析の方法および装置
WO2000062247A1 (en) * 1999-04-13 2000-10-19 Chromavision Medical Systems, Inc. Histological reconstruction and automated image analysis
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US7570359B2 (en) 2004-02-09 2009-08-04 John S. Fox Illuminating and panoramically viewing a macroscopically-sized specimen along a single viewing axis at a single time
DE102004026093B4 (de) 2004-05-25 2006-04-13 Leica Microsystems Cms Gmbh System und Verfahren zur Bildaufnahme und Bilddarstellung von Präparaten
JP4545492B2 (ja) * 2004-06-14 2010-09-15 オリンパス株式会社 光走査型顕微鏡装置
CA2583350A1 (en) * 2004-10-06 2006-04-13 Bc Cancer Agency Computed-tomography microscope and computed-tomography image reconstruction methods
US8164622B2 (en) 2005-07-01 2012-04-24 Aperio Technologies, Inc. System and method for single optical axis multi-detector microscope slide scanner
US7761241B2 (en) 2006-01-20 2010-07-20 Agilent Technologies, Inc. Rapid scanning technique
JP4917331B2 (ja) 2006-03-01 2012-04-18 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び画像取得プログラム
US9767342B2 (en) * 2009-05-22 2017-09-19 Affymetrix, Inc. Methods and devices for reading microarrays
US8865630B2 (en) * 2010-02-26 2014-10-21 Massachusetts Institute Of Technology High-throughput platform for in-vivo sub-cellular screens on vertebrate larvae
US8542274B2 (en) 2010-10-18 2013-09-24 Olympus America Inc. Wide field microscopic imaging system and method
US8175452B1 (en) * 2010-10-26 2012-05-08 Complete Genomics, Inc. Method and system for imaging high density biochemical arrays with sub-pixel alignment
CA2844989C (en) * 2011-09-09 2016-10-11 Ventana Medical Systems, Inc. Focus and imaging system and techniques using error signal
WO2014112084A1 (ja) 2013-01-17 2014-07-24 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
US9841590B2 (en) * 2012-05-02 2017-12-12 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging
EP2871512B1 (en) * 2012-07-04 2019-06-05 Sony Corporation Information processing device, information processing method, program, and microscope system
DE102013005187A1 (de) * 2013-03-20 2014-09-25 Carl Zeiss Microscopy Gmbh Verfahren zur Ermittlung von Rauheit- und/oder Topographiedaten von Oberflächen in der Materialmikroskopie
DE102014103758A1 (de) * 2014-03-19 2015-09-24 Leica Microsysteme (Schweiz) AG Operationsmikroskop-Stativ
DE102014114469A1 (de) * 2014-10-06 2016-04-07 Leica Microsystems (Schweiz) Ag Mikroskop
WO2017070146A1 (en) * 2015-10-19 2017-04-27 William Marsh Rice University High resolution microendoscope employing differential structured illumination and method of using same
CN110140129B (zh) * 2016-12-30 2023-10-17 徕卡生物***成像股份有限公司 使用双光学路径和单成像传感器的低分辨率载片成像和载片标签成像以及高分辨率载片成像
US10585273B2 (en) * 2017-09-29 2020-03-10 Leica Biosystems Imaging, Inc. Two pass macro image
US10957041B2 (en) * 2018-05-14 2021-03-23 Tempus Labs, Inc. Determining biomarkers from histopathology slide images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1073767A (ja) * 1996-08-30 1998-03-17 Olympus Optical Co Ltd 顕微鏡
JP2000101786A (ja) * 1998-09-22 2000-04-07 Canon Inc 画像読取装置、画像読取方法及び記憶媒体
WO2006028439A1 (en) * 2004-09-01 2006-03-16 Aperio Technologies, Inc. System and method for data management in a linear-array-based microscope slide scanner
JP2007310231A (ja) * 2006-05-19 2007-11-29 Hamamatsu Photonics Kk 画像取得装置、画像取得方法、及び画像取得プログラム
JP2014142657A (ja) * 2008-10-24 2014-08-07 Aperio Technologies Inc スライド全体蛍光スキャナ
JP2012014078A (ja) * 2010-07-02 2012-01-19 Sony Corp 顕微鏡及び領域判定方法
JP2012245085A (ja) * 2011-05-26 2012-12-13 Fujitsu Ltd 画像処理プログラム、方法及び装置
JP2014211615A (ja) * 2013-04-01 2014-11-13 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
EP3625601A4 (en) 2021-03-03
EP3625601A1 (en) 2020-03-25
US10585273B2 (en) 2020-03-10
JP7009619B2 (ja) 2022-01-25
US20200209600A1 (en) 2020-07-02
CN111164484A (zh) 2020-05-15
US20190101736A1 (en) 2019-04-04
CN111164484B (zh) 2022-07-29
US10955650B2 (en) 2021-03-23
WO2019068039A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
JP7009619B2 (ja) 2回通過式マクロ画像
KR102523559B1 (ko) 디지털 스캐닝 장치
US11434082B2 (en) Stuck slide determination system
KR102419163B1 (ko) 실시간 오토포커스 포커싱 알고리즘
US10809514B2 (en) Low resolution slide imaging and slide label imaging and high resolution slide imaging using dual optical paths and a single imaging sensor
JP7288115B2 (ja) スライド在庫調べおよび再挿入システム
JP6940696B2 (ja) 二次元および三次元の固定式z走査
JP7004813B2 (ja) スライドの搬入および搬出のための固定基準エッジシステム
JP7004808B2 (ja) スライドガラスの走査および処理のための対向縁部システム
JP2020525848A (ja) 異なるサイズのスライド用の調整可能なスライドステージ
JP6952891B2 (ja) 2×3および1×3スライド用のカルーセル
JP7119085B2 (ja) 衝撃再走査システム
EP3625611B1 (en) Dual processor image processing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200326

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210308

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220112

R150 Certificate of patent or registration of utility model

Ref document number: 7009619

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150