JP5562919B2 - 超解像観察装置 - Google Patents
超解像観察装置 Download PDFInfo
- Publication number
- JP5562919B2 JP5562919B2 JP2011216945A JP2011216945A JP5562919B2 JP 5562919 B2 JP5562919 B2 JP 5562919B2 JP 2011216945 A JP2011216945 A JP 2011216945A JP 2011216945 A JP2011216945 A JP 2011216945A JP 5562919 B2 JP5562919 B2 JP 5562919B2
- Authority
- JP
- Japan
- Prior art keywords
- super
- resolution
- spatial frequency
- noise
- observation apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 71
- 230000005284 excitation Effects 0.000 claims description 64
- 238000012545 processing Methods 0.000 claims description 41
- 238000005286 illumination Methods 0.000 claims description 21
- 230000003287 optical effect Effects 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 13
- 230000001678 irradiating effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 2
- 230000009471 action Effects 0.000 description 23
- 238000012937 correction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 101000798109 Homo sapiens Melanotransferrin Proteins 0.000 description 7
- 101000967073 Homo sapiens Metal regulatory transcription factor 1 Proteins 0.000 description 7
- 101001030197 Homo sapiens Myelin transcription factor 1 Proteins 0.000 description 7
- 102100040514 Metal regulatory transcription factor 1 Human genes 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000003321 amplification Effects 0.000 description 6
- 238000003199 nucleic acid amplification method Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 101000967087 Homo sapiens Metal-response element-binding transcription factor 2 Proteins 0.000 description 3
- 102100040632 Metal-response element-binding transcription factor 2 Human genes 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 3
- 229910052753 mercury Inorganic materials 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 240000006829 Ficus sundaica Species 0.000 description 1
- 206010034960 Photophobia Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0036—Scanning details, e.g. scanning stages
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Description
本発明の第17の態様は、第1の様態に記載の超解像観察装置において、スキャンマスクは、励起光変調手段と共通である超解像観察装置を提供する。
2・・・励起光照射手段
3・・・励起光変調手段
4・・・拡大像形成手段
5・・・撮像手段
6・・・超解像処理手段
7・・・標本S上における観察光強度空間周波数特性
7’・・・像位置Iにおける観察光強度空間周波数特性
7’’・・・超解像処理された超解像画像の空間周波数特性
8、8’・・・標識濃度空間周波数特性
9、9’・・・シフト成分
10・・・伝達関数(MTF)
11・・・ノイズ成分の空間周波数特性
12、12’・・・各空間周波数成分の結像パターン
13、13’、13’’・・・ノイズ成分の結像パターン
14・・・超解像画像のMTF1
14’・・・超解像画像のMTF2
15・・・デジタル画像データに含まれるノイズ強度1
15’・・・デジタル画像データに含まれるノイズ強度2
16・・・空間周波数フィルタ1
16’・・・空間周波数フィルタ2
17・・・実施例1の観察装置
18・・・レーザ光
19・・・レーザ光源
20、20’・・・照明レンズ
21、21’・・・対物レンズ
22、22’・・・ダイクロイックミラー
23・・・回折格子
24・・・駆動装置
25・・・ストッパ
26、26’・・・結像レンズ
27・・・阻止フィルタ
28・・・CCDカメラ
29、29’・・・計算機
30・・・0次回折光
31・・・±1次回折光
32・・・レーザ光スペックル由来のノイズ
33・・・空間周波数フィルタ作用前の超解像画像
34、34’、34’’・・・ノイズフィルタの設定ウィンドウ
35、35’・・・ラジオボタン
36、36’・・・オート設定ボタン
37・・・スライダ
38・・・実施例2の超解像観察装置
39・・・水銀ランプ
40・・・中間像位置
41・・・中間結像光学系
42・・・スキャンマスク
43・・・変調パターン
44・・・モータ
45・・・撮像面
46・・・撮像レンズ
47・・・CCD
48・・・開口部分
49・・・遮蔽部分
50・・・照明光路
51・・・観察光路
52,52’,52’’・・・蛍光強度空間周波数特性
53・・・広視野画像
54・・・空間周波数特性の補正前の超解像画像
55・・・空間周波数フィルタ1
55’・・・空間周波数フィルタ2
56,56’・・・空間周波数特性の補正後の超解像画像
57・・・デジタル画像データに含まれるノイズ
58・・・空間周波数フィルタ1作用後の超解像画像に含まれるノイズ成分
58’・・・空間周波数フィルタ2作用後の超解像画像に含まれるノイズ成分
59・・・空間周波数フィルタ作用後の超解像画像
60・・・励起フィルタ
Claims (17)
- 標本を励起するための励起光を前記標本に照射する励起光照射手段と、
前記励起光の前記標本上における空間強度分布を変調させる励起光変調手段と、
前記標本に前記励起光が照射されて生じた観察光から前記標本の拡大像を像位置に形成する拡大像形成手段と、
前記拡大像の空間強度分布をデジタル画像データに変換する撮像手段と、
一枚または複数枚の前記デジタル画像データから前記拡大像形成手段のカットオフ周波数を上回る超解像周波数成分の可視化された超解像画像を生成する超解像処理手段と、
を備え、
前記拡大像形成手段は、前記励起光が照射されて生じた観察光による前記標本の中間像を形成する中間結像光学系と、前記中間像の空間強度分布を変調するスキャンマスクと、を備え、
前記超解像処理手段は、前記デジタル画像データに含まれる前記拡大像形成手段のカットオフ周波数を上回る超解像周波数成分のコントラストを強調すると共に、前記デジタル画像データに含まれるノイズの強度レベルに応じて処理内容を変化させることができる空間周波数強度変調手段を有する
ことを特徴とする超解像観察装置。 - 前記空間周波数強度変調手段は、カットオフ周波数が互いに異なる複数のローパスフィルタを含む
ことを特徴とする請求項1記載の超解像観察装置。 - 前記ローパスフィルタは、画像データのフーリエ変換にフィルタ処理を行う
ことを特徴とする請求項2記載の超解像観察装置。 - 前記ローパスフィルタは、画像データにコンボリューションフィルタ処理を行う
ことを特徴とする請求項2記載の超解像観察装置。 - 前記空間周波数強度変調手段は、前記超解像観察装置の観察パラメータに応じて処理内容を変える
ことを特徴とする請求項1から4のいずれか1項に記載の超解像観察装置。 - 前記観察パラメータは、前記励起光照射手段の照明パラメータである
ことを特徴とする請求項5記載の超解像観察装置。 - 前記観察パラメータは、前記励起光変調手段の変調パラメータである
ことを特徴とする請求項5記載の超解像観察装置。 - 前記観察パラメータは、前記拡大像形成手段の結像パラメータである
ことを特徴とする請求項5記載の超解像観察装置。 - 前記観察パラメータは、前記撮像手段の撮像パラメータである
ことを特徴とする請求項5記載の超解像観察装置。 - 前記励起光はレーザ光であり、前記ノイズはレーザスペックルノイズである
ことを特徴とする請求項1から9のいずれか1項に記載の超解像観察装置。 - 前記ノイズは前記撮像手段により発生するショットノイズである
ことを特徴とする請求項1から10のいずれか1項に記載の超解像観察装置。 - 前記空間周波数強度変調手段は、前記デジタル画像データの輝度値に応じて処理内容を変える
ことを特徴とする請求項1から11のいずれか1項に記載の超解像観察装置。 - 前記空間周波数強度変調手段は、前記撮像手段の露出時間に応じて処理内容を変える
ことを特徴とする請求項1から12のいずれか1項に記載の超解像観察装置。 - 前記空間周波数強度変調手段は、前記超解像画像のMTFに応じて処理内容を変える
ことを特徴とする請求項1から13のいずれか1項に記載の超解像観察装置。 - 前記超解像処理手段は前記励起光変調手段の状態の異なる複数の前記デジタル画像データを用いて前記超解像画像を生成する
ことを特徴とする請求項1から14のいずれか1項に記載の超解像観察装置。 - 前記超解像処理手段は前記励起光変調手段により前記標本上における強度分布を変化させながら撮像した前記デジタル画像データを用いて前記超解像画像を生成する
ことを特徴とする請求項1から15のいずれか1項に記載の超解像観察装置。 - 前記スキャンマスクは、前記励起光変調手段と共通である
ことを特徴とする請求項1に記載の超解像観察装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011216945A JP5562919B2 (ja) | 2011-09-30 | 2011-09-30 | 超解像観察装置 |
US13/625,170 US9110283B2 (en) | 2011-09-30 | 2012-09-24 | Super-resolution observation apparatus that changes process contents according to intensity level of noise in digital image data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011216945A JP5562919B2 (ja) | 2011-09-30 | 2011-09-30 | 超解像観察装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013076867A JP2013076867A (ja) | 2013-04-25 |
JP5562919B2 true JP5562919B2 (ja) | 2014-07-30 |
Family
ID=47992221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011216945A Active JP5562919B2 (ja) | 2011-09-30 | 2011-09-30 | 超解像観察装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9110283B2 (ja) |
JP (1) | JP5562919B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016151665A1 (ja) * | 2015-03-20 | 2016-09-29 | 株式会社ニコン | 構造化照明顕微鏡、観察方法、及び画像処理プログラム |
WO2016151666A1 (ja) * | 2015-03-20 | 2016-09-29 | 株式会社ニコン | 構造化照明顕微鏡、観察方法、及び画像処理プログラム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4653909A (en) * | 1985-11-01 | 1987-03-31 | The United States Of America As Represented By The Secretary Of The Air Force | Sinusoidal determination of limiting optical resolution |
JPH07234382A (ja) | 1994-02-24 | 1995-09-05 | Matsushita Electric Ind Co Ltd | 超解像走査光学装置 |
JP3415294B2 (ja) * | 1994-10-18 | 2003-06-09 | オリンパス光学工業株式会社 | 微分干渉顕微鏡 |
JP4412704B2 (ja) * | 2003-06-09 | 2010-02-10 | キヤノン株式会社 | 画像処理方法および装置並びにx線撮影装置 |
EP1644722A1 (en) * | 2003-06-26 | 2006-04-12 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | Optimized determination of voltage changes using a voltage-sensitive dye |
US20060204861A1 (en) * | 2005-03-14 | 2006-09-14 | Eyal Ben-Eliezer | Optical mask for all-optical extended depth-of-field for imaging systems under incoherent illumination |
US8362431B2 (en) * | 2005-03-15 | 2013-01-29 | Mount Holyoke College | Methods of thermoreflectance thermography |
EP1865355B1 (en) | 2005-03-30 | 2013-03-06 | Nikon Corporation | Image forming method and microscope device |
WO2007043314A1 (ja) * | 2005-10-13 | 2007-04-19 | Nikon Corporation | 顕微鏡装置 |
JP2006221190A (ja) * | 2006-05-01 | 2006-08-24 | National Institute Of Advanced Industrial & Technology | 共焦点走査型顕微鏡システム |
JP4928894B2 (ja) * | 2006-10-03 | 2012-05-09 | 株式会社キーエンス | 拡大観察装置、拡大観察装置の操作方法、拡大観察装置操作プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器 |
US7646549B2 (en) * | 2006-12-18 | 2010-01-12 | Xceed Imaging Ltd | Imaging system and method for providing extended depth of focus, range extraction and super resolved imaging |
GB0625775D0 (en) * | 2006-12-22 | 2007-02-07 | Isis Innovation | Focusing apparatus and method |
WO2009031418A1 (ja) | 2007-09-05 | 2009-03-12 | Nikon Corporation | 顕微鏡装置 |
JP2009300589A (ja) * | 2008-06-11 | 2009-12-24 | Nikon Corp | 顕微鏡装置 |
EP3667391A1 (de) * | 2009-10-28 | 2020-06-17 | Carl Zeiss Microscopy GmbH | Mikroskopisches verfahren und mikroskop mit gesteigerter auflösung |
US8330825B2 (en) * | 2010-02-22 | 2012-12-11 | Eastman Kodak Company | Zoom lens system characterization for image sharpening |
US8711211B2 (en) * | 2010-06-14 | 2014-04-29 | Howard Hughes Medical Institute | Bessel beam plane illumination microscope |
US8823822B1 (en) * | 2011-02-11 | 2014-09-02 | Southern Methodist University | Determining phase transfer function |
EP2779625B1 (en) * | 2011-11-08 | 2016-03-02 | Fujifilm Corporation | Image pick-up device and control method therefor |
-
2011
- 2011-09-30 JP JP2011216945A patent/JP5562919B2/ja active Active
-
2012
- 2012-09-24 US US13/625,170 patent/US9110283B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013076867A (ja) | 2013-04-25 |
US9110283B2 (en) | 2015-08-18 |
US20130083186A1 (en) | 2013-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5412394B2 (ja) | 標本観察装置 | |
EP2136233B1 (en) | Microscope device | |
JP4831072B2 (ja) | 顕微鏡装置 | |
JP5784393B2 (ja) | 標本観察装置 | |
US6839166B2 (en) | Versatile microscope system with modulating optical system | |
JP6360825B2 (ja) | 結像光学系、照明装置および観察装置 | |
JP2946466B2 (ja) | 顕微方法及び装置 | |
US20100224796A1 (en) | Imaging System Using Dynamic Speckle Illumination | |
US20200249168A1 (en) | SCAPE Microscopy with Phase Modulating Element and Image Reconstruction | |
JP2007199572A (ja) | 顕微鏡装置 | |
JP6645506B2 (ja) | 構造化照明顕微鏡、観察方法、及び顕微鏡制御プログラム | |
JPWO2016199179A1 (ja) | 構造化照明顕微鏡システム、方法及びプログラム | |
JP2006221190A (ja) | 共焦点走査型顕微鏡システム | |
JP2018517180A (ja) | ビーム整形及び光シート顕微鏡検査のためのアセンブリ及び方法 | |
JP3837495B2 (ja) | 光イメージングシステム | |
WO2016052743A1 (ja) | 光軸方向走査型顕微鏡装置 | |
Righolt et al. | Image filtering in structured illumination microscopy using the Lukosz bound | |
WO2015098242A1 (ja) | 標本観察装置および標本観察方法 | |
JP5562919B2 (ja) | 超解像観察装置 | |
JP2017053918A (ja) | シート照明顕微鏡システム、画像処理装置、シート照明顕微鏡法、及び、プログラム | |
JP2015118333A (ja) | 画像生成システム | |
JP7426393B2 (ja) | スペクトル分離 | |
WO2017217325A1 (ja) | データ復元装置、顕微鏡システム、およびデータ復元方法 | |
WO2014132485A1 (ja) | 標本観察方法及び標本観察装置 | |
JP6074784B2 (ja) | ホログラムデータ作成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130924 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20130924 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130924 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20131017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131022 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140318 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140603 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140611 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5562919 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |