JP6609639B2 - マルチチャネル広視野イメージングシステムおよびその中で用いられる光学システム - Google Patents

マルチチャネル広視野イメージングシステムおよびその中で用いられる光学システム Download PDF

Info

Publication number
JP6609639B2
JP6609639B2 JP2017551311A JP2017551311A JP6609639B2 JP 6609639 B2 JP6609639 B2 JP 6609639B2 JP 2017551311 A JP2017551311 A JP 2017551311A JP 2017551311 A JP2017551311 A JP 2017551311A JP 6609639 B2 JP6609639 B2 JP 6609639B2
Authority
JP
Japan
Prior art keywords
channel
lens
wavelength range
light
aperture stop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017551311A
Other languages
English (en)
Other versions
JP2018518858A (ja
Inventor
フレドリック アレン ムーア,
Original Assignee
ノバダック テクノロジーズ ユーエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノバダック テクノロジーズ ユーエルシー filed Critical ノバダック テクノロジーズ ユーエルシー
Publication of JP2018518858A publication Critical patent/JP2018518858A/ja
Application granted granted Critical
Publication of JP6609639B2 publication Critical patent/JP6609639B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1006Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/1013Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/04Reversed telephoto objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/22Telecentric objectives or lens systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/14Beam splitting or combining systems operating by reflection only
    • G02B27/141Beam splitting or combining systems operating by reflection only using dichroic mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Lenses (AREA)
  • Cameras In General (AREA)
  • Optical Filters (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Description

本発明は広くは光学システムの分野に関し、特に複数のイメージセンサを有するイメージングシステムで用いられる光学システムに関する。そこでは、ある波長範囲で検出されたイメージ信号強度は他の波長範囲におけるものよりも数桁小さい。
カメラなどのイメージングシステムはオブジェクトシーンからの発光を捉え、捉えられた光を用いてオブジェクトシーンの空間的および色彩的表現を像面に構築する。イメージは検出器または光感知媒体によって記録されてもよい。そのようなイメージングシステムは、その動作空間および動作空間内でのその性能によって特徴付けられてもよい。
イメージングシステムの動作空間は、例えば、視野角、作動距離およびスペクトル帯域幅を含んでもよい。イメージングシステムの性能は、例えば、空間解像度、像面に亘る相対輝度、および低輝度条件に対するシステム感度を含んでもよい。
カメラなどのイメージングデバイスによりオブジェクトの像が形成される場合、イメージングデバイスの光情報に対する影響は種々のパラメータにて記述可能である。例えば、点光源の像は、イメージングデバイスの点広がり関数(PSF)にしたがって変化するであろう。PSFは、イメージシーンを構成するときに、オブジェクトシーンにおける細かい詳細をイメージングデバイスがどのように変えるかを特徴付ける。像は、デバイスによってもたらされる収差であってそうでなければオブジェクトの一部ではない収差を示す。特に、像フィールドの解像度およびコントラストはイメージデバイスの変調伝達関数(MTF)によって決定されるであろう。PSFおよびMTFの両方は波長依存性、システム開口幾何依存性、および収差依存性を示すであろう。すなわち、MTFは波長が異なれば異なるで有ろうし、開口幾何が異なれば異なるであろうし、最終波面が回折制限的であるか収差制限的であるかの度合いに依存するであろう。
PSFやMTFや現実のイメージングシステムの他のそのようなパラメータは回折効果および収差効果を説明し、かつ含む。例えば、イメージングシステムに収差が導入されると、MTFおよびPSFの両方が変化し、画質が低下する。視野全体に亘り収差制限的であるシステムは、開口が低減された場合に改善された性能を示すであろう。しかしながら、そのようなシステムでは、ある波長が軸外性能低下の主たる原因となることが生じうる。
あるイメージングシステムは軸上よりも軸外でより大きな収差を示す。そのようなシステムは軸外収差を制御するために口径食を用いるであろう。そうしなければ、軸外収差は画質に悪影響を与えうる。口径食は、周辺光線が像平面に到達するのを選択的に止めることを含む。例えば、軸外フィールド位置に関連付けられたある光線が像平面に到達するのを防ぐことにより、コマが低減されうる。これらの光線は、システム開口ストップの前か後で、領域において遮られうる。制限(口径食)開口を挿入することによって、またはシステム開口ストップに設けられていないレンズのサイズを小さくすることによって、光線を遮ることが可能である。しかしながら、複数の波長を結像するシステムであって異なる波長が異なる強度を有するシステムでは、そのような口径食は低強度波長で減光しすぎる可能性があり、その結果その低強度波長の像が認識できなくなる可能性がある。
ひとつ以上の実施の形態は、マルチチャネル広視野イメージングシステムで用いられる光学システムを指向する。その光学システムは以下を含む。 対物レンズと、光を第一波長範囲と第二波長範囲とに分けるダイクロイック要素であって、前記ダイクロイック要素は前記対物レンズからの十分に平行な主光線を受けるように配置される、ダイクロイック要素と、前記ダイクロイック要素からの前記第一波長範囲の光を受ける第一チャネルレンズシステムと、前記ダイクロイック要素からの前記第二波長範囲の光を受ける第二チャネルレンズシステム。
前記対物レンズは、前記ダイクロイック要素の仕様内の円錐半角(cone half angle)内にある周縁光線を出力してもよい。
前記第一波長範囲の強度と前記第二波長範囲の強度とは少なくとも一桁異なってもよい。
前記第二波長範囲の強度は前記第一波長範囲の強度よりも低くてもよく、前記第二チャネルレンズシステムの開口ストップは前記第一チャネルレンズシステムの開口ストップよりも大きくてもよい。
前記ダイクロイック要素は前記光学システム内の制限開口の前にあってもよい。
前記第一および第二チャネルレンズシステムは、別個の独立した制限開口を有してもよい。
前記第一および第二チャネルレンズシステムは、前記共通対物レンズとの組み合わせで、レトロフォーカス型を有してもよい。
前記第一および第二チャネルレンズシステムのレンズ要素は同一のレンズ処方を有してもよい。
前記光学システムは像空間テレセントリックであってもよい。
前記光学システムは、前記第一または第二チャネルレンズシステムのうちのひとつに別のダイクロイックビームスプリッタをさらに含んでもよい。該ダイクロイックビームスプリッタは光を第三チャネルレンズシステムに出力する。
前記第一チャネルレンズシステムのレンズと、前記第二チャネルレンズシステムのレンズと、前記第三チャネルレンズシステムのレンズと、は同一のレンズ処方を有してもよい。
前記第二チャネルレンズシステムおよび前記第三チャネルレンズシステムのそれぞれは、前記第一チャネルレンズシステムの開口ストップよりも大きな開口ストップを有してもよく、前記第二および第三チャネルレンズシステムの開口ストップは同じサイズを有してもよい。
前記第一チャネルレンズシステムの開口ストップは前記第二チャネルレンズシステムの開口ストップとは異なる形状であってもよい。
前記第一チャネルレンズシステムの開口ストップは前記第二チャネルレンズシステムの開口ストップとは異なるサイズであってもよい。
前記第一チャネルレンズシステムの前記開口ストップは単純幾何形状、例えば円形、正方形、または多角形、を有してもよく、前記第二チャネルレンズシステムの前記開口ストップはフーリエ開口であってもよい。
ひとつ以上の実施の形態は、以下を含むイメージングシステムを指向する。上述の光学システムと、対応するチャネル内の対応するセンサであって、各チャネルレンズシステムにおいて対応する波長範囲を検出するセンサ。
ひとつ以上の実施の形態は、以下を含むキットを指向する。対物レンズと、光を第一波長範囲と第二波長範囲とに分けるダイクロイック要素と、前記第一波長範囲の光を受ける第一チャネルレンズシステムと、前記第二波長の光を受ける第二チャネルレンズシステム。前記第一および第二チャネルレンズシステムは同一のレンズ処方を有する。
前記第一チャネルレンズシステムの開口ストップは前記第二チャネルレンズシステムの開口ストップとは異なる形状であってもよい。
前記第一チャネルレンズシステムの開口ストップは前記第二チャネルレンズシステムの開口ストップとは異なるサイズであってもよい。
前記第一チャネルレンズシステムの前記開口ストップは単純幾何形状、例えば円形、正方形、または多角形、を有してもよく、前記第二チャネルレンズシステムの前記開口ストップはフーリエ開口であってもよい。
ひとつ以上の実施の形態は、マルチチャネル広視野光を結像させる方法を指向する。この方法は以下を含む。結像対象の全ての光を共通対物レンズに入射させるように提供することと、ダイクロイック要素によって前記共通対物レンズからの光を第一波長範囲と第二波長範囲とに分けることであって、前記ダイクロイック要素はそれが十分に平行な主光線を受けるように前記共通対物レンズに対して位置している、分けることと、前記ダイクロイック要素からの前記第一波長範囲の光を第一チャネルに提供することと、前記ダイクロイック要素からの前記第二波長範囲の光を第二チャネルに提供すること。本発明の態様のいずれかが組み合わされてもよいことは理解されるであろう。言及される全ての特徴およびオプションが組み合わされてもよいことも明らかであろう。
例示的な実施の形態を添付の図面を参照して詳細に説明することにより、特徴が当業者に明らかになるであろう。
実施の形態に係るマルチチャネル広視野解析システムの模式図を示す。
図2Aおよび2Bは、共通対物レンズとチャネルの第一要素との間の光線経路を示す。 図2Aおよび2Bは、共通対物レンズとチャネルの第一要素との間の光線経路を示す。
実施の形態に係るマルチチャネル広視野イメージングシステムを示す。
図3のイメージングシステムのレンズソリューションを示す。
図5Aから5Cは、図3のイメージングシステムにおける異なる波長範囲での性能を示す。 図5Aから5Cは、図3のイメージングシステムにおける異なる波長範囲での性能を示す。 図5Aから5Cは、図3のイメージングシステムにおける異なる波長範囲での性能を示す。
実施の形態に係るマルチチャネル広視野イメージングシステムを示す。
実施の形態に係るマルチチャネル広視野イメージングシステムを示す。
以下に添付の図面を参照して例示的な実施の形態をより十分に説明するが、例示的な実施の形態は異なる態様で実現されうるものであり、本明細書で説明されるものに限定されるとみなされるべきではない。むしろ、これらの実施の形態は、本開示が完全であり、当業者に例示的な実装を十分に伝えるように提供される。
定義
「クロストーク」は正しくないセンサに向けられそれによって検出される光を指す。
その光は正しい幾何経路を通ったが、正しいクロマティック経路を通らなかった。
「完全にフィルタされた光」は、下流のセンサのための波長のみを含む光を指す。「部分的にフィルタされた光」は、下流のセンサのための波長を主に含むが、下流のセンサのためではない検出可能ではあるが受け入れ可能なレベルの光を伴う光を指す。コストや位置合わせ要件や完全にフィルタされた光を達成することに伴う他の問題のため、特定のシナリオに依存して、部分的にフィルタされた光が用いられてもよい。フィルタによって反射された光は完全にフィルタされた光である一方、透過光はそうではなくてもよく、または逆であってもよい。また、あるジャンクションで完全にフィルタされたとみなされた光は後のジャンクションで再び分けられてもよく、その後、その出力はその後続の対応する経路において完全にフィルタされたものであってもなくてもよい。
「寄生光」は、それがどのように生成されたかやそれがどの経路を辿ったかによらず、そこにあるべきではない光が検出器に入射するときのその光を指す。
「主光線」は、オブジェクト上の点から発せられる光線を指し、その光線は開口ストップにおいてシステムの光軸と交差する。各オブジェクト点はひとつの主光線を発し、各主光線は広範囲の波長を有する。
「周縁光線」は、オブジェクト上の点から発せられる光線を指し、その光線は光学システムの開口を、その開口のぎりぎり限界において通過する。各オブジェクト点は周縁光線を発し、周縁光線は、それがシステムストップを通過するとき、周縁部をこすり、周縁部の形状およびサイズはストップの形状およびサイズと同等である。システムの下流のストップは、オブジェクト平面で発せられる周縁光線の集合に対応する受容角度を低減させる。
「レンズ」は光学力を伴う任意の要素である。
概要
人間の目のために設計された光学システムは可視スペクトルに対して最適化されてもよく、該スペクトルの中間部分または緑部分に特定の重みが与えられる。しかしながら、イメージングシステムでは電子イメージセンサが像平面に配置され、該イメージングシステムは、可視領域や紫外領域や近赤外領域を含みうるより広いスペクトル領域に亘って動作しうる。イメージングシステムの設計は、その動作帯域が増大するにつれてより複雑になる。
特に、異なる光源からの波長範囲、例えば照明源から直接的に得られるものやオブジェクトから反射されるかまたはオブジェクトを透過したものや直接観測によるものなど、に亘って動作するイメージングシステムは、波長範囲が異なると大きく変わるイメージ信号強度を扱ってもよい。例えば、特定の波長範囲にあって比較的大きな強度を有するイメージ信号はイメージを改善するためのあるビーム補正による恩恵を得ることができるが、比較的低い強度を有する波長範囲のイメージ信号はそのような補正が課す光損失を許容することができないかもしれない。
実施の形態に係るイメージングシステムは以下を提供してもよい。(a)異なるスペクトル領域にあり、かつ、数桁異なる強度を有する信号の同時イメージングを促進する波長依存チャネルと、(b)視野に亘り変わらない検出されたときのままの解像度およびコントラストと、(c)センサのいくつかまたは全てに亘り除去されたクロマティッククロストーク。
実施の形態によると、以下の制限はそのようなイメージングシステムで用いられる光学設計を知らせる。
1)システムは、アルゴリズムへの入力として提供される複数のイメージを形成する。これらのイメージは、実時間で同時に読み出されるものであり、準同一視野のものであり、および準同一歪みおよび倍率を有するものである。すなわち、二つ以上のイメージを重ね合わせることができる。
2)システムは異なる波長範囲の複数のチャネルに亘って動作する。いくつかのチャネルは信号束が他のチャネルよりも数桁異なるようなスループットを示す。これは、低束センサでの寄生光と低光束の高いスループットとの十分な区別を必要とする。
3)システム内のビームスプリッタはオブジェクトフィールド位置に伴う反射依存性または透過依存性を最小化または除去すべきである。そのような依存性は例えば像面における色調の変化を引き起こし得る。
4)システムは、個々のセンサが最良のフォーカスのために配置されたとき、チャネル依存倍率誤差を最小化または除去すべきである。
5)システムは、フィールド応答ロールオフを最小化または除去すべきである。すなわち、システムは、オブジェクトおよび該オブジェクトに入射する照明との距離が変わらないと仮定した場合、オブジェクトフィーチャが視野を横切るとき、オブジェクトフィーチャの検出時の色および強度の変化を低減するか防止する。
6)後処理を通じて、ひとつの検出器からの出力が他の検出器からの出力に対する補正動作の基礎として用いられる(例えば、レーザ反射率のイメージを用いて、オブジェクトからハードウエアまでの距離の変化により生じうる他の波長での応答変化について調整する)場合、サンプル後のMTFはフィールドに亘って不変であるだけでなく、二つ以上の検出器に亘っても不変であり得る。
上述に照らし、実施の形態によると、以下の設計態様のうちのひとつ以上がイメージングシステムに組み入れられてもよい。
1)チャネルはオブジェクトフィールドにおいて共通光軸を共有し、チャネル間でほぼ同一のレンズ設計処方を有してもよい。
2)センサから上流のビームから高束波長範囲が分けられてもよい。
3)低束チャネルから高束を分離するビームスプリッタは、対物レンズの後で制限開口の前に配置されてもよい。
4)ビームスプリッタはパワーや偏光ではなく波長範囲によってビームを分けてもよい。
5)ビームスプリッタは全てのフィールド位置の主光線がほぼ平行となる位置に配置されてもよい。
6)ビームスプリッタの挿入領域は、ビームスプリッタの入射角と入射円錐角(または半角)との合成仕様にとって好ましいアスペクト比のものであってもよい。
7)制限開口(またはf−ストップ)は、光学系の共有部分ではなくチャネル専用光学系に設けられてもよい。例えば、低光チャネルは速いf値を有し、明光チャネルは遅いf値を有してもよい。
8)イメージ空間はテレセントリックまたは準テレセントリックに作られてもよい。
9)軸外光線の口径食はなくてもよい。
10)あるチャネルのf−ストップは、他のチャネルの検出時MTFと同様な検出時MTFを達成するために選択されてもよい。
全体的なシステム
図1は、実施の形態に係る解析システム10のマルチチャネルイメージングシステム1000の模式図を示す。解析システム10は照明源および関連光学系20をも含んでもよい。それはターゲットに照明を提供し、ターゲットはマルチチャネルイメージングシステム1000によって結像される。総じて、照明源は、ターゲットの可視化用の波長範囲(可視波長に限定されない)と、ターゲットについての追加的な情報用の波長範囲と、を含んでもよい。この全体的なシステムの具体例の詳細は、具体的な光学要素と共に、図3、6および7を参照して詳述されるであろう。
マルチチャネルイメージングシステム1000は、共通対物レンズ1010と、ビームスプリッタ領域1020と、を備える。ビームスプリッタ領域1020は、少なくともひとつのダイクロイックビームスプリッタを含んでもよい。領域1020のビームスプリッタは、共通対物レンズ1010からのビームを複数の、ここでは三つの、チャネルに分割し、ひとつより多い要素を含んでもよい。これらの三つのチャネルは、マルチチャネルイメージャ1000で用いられてもよい異なるタイプの典型的なチャネルを示す。
第一チャネル1100は第一波長帯の光を受け、光学要素1110と、第一チャネル開口1120と、イメージセンサ1190と、を含み、光学要素1110および第一チャネル開口1120は合わせて第一チャネル光学システムである。光学設計に依存して、開口1120は光学要素1110の前、中または後にあってもよい。
第二チャネル1200は第二波長帯の光を受け、光学要素1210と、第二チャネル開口1220と、を含む。第二波長帯の光は次いでビームスプリッタ1230によって分けられ、複数のサブチャネル、ここでは二つのサブチャネル、が生成され、各サブチャネルは第二波長帯のサブバンドを受ける。第一サブチャネル1240はビームスプリッタ1230からの部分的にフィルタされた光を受け、追加的な光学要素1242とセンサ1244とを含む。第二サブチャネル1250はビームスプリッタ1230からの部分的にフィルタされた光を受け、追加的な光学要素1252とセンサ1254とを含む。第二チャネル1200のうちセンサ1244、1254を除く全ての要素は、合わせて、第二チャネル光学システムを形成する。光学設計に依存して、第二チャネル開口1220は光学要素1110の前、中または後にあってもよい。
第三チャネル1300は第三波長帯の光を受け、光学要素1310と、第三チャネル開口1320と、を含む。第三波長帯の光は次いでビームスプリッタ1330によって分けられ、複数のサブチャネル、ここでは二つのサブチャネル、が生成され、各サブチャネルは第三波長帯のサブバンドを受ける。第一サブチャネル1340は任意の望まれない波長を除去するための拒否フィルタ1346を含んでもよく、そのような望まれない波長はビームスプリッタ1330によって第一サブチャネル1340へと送られる。第一サブチャネル1340は次いで完全にフィルタされた光を追加的な光学要素1342とセンサ1344とに送る。第二サブチャネル1350はビームスプリッタ1330からの部分的にフィルタされた光を受け、追加的な光学要素1352とセンサ1354とを含む。第三チャネル1300のうちセンサ1344、1354を除く全ての要素は、合わせて、第三チャネル光学システムを形成する。光学設計に依存して、第三チャネル開口1320は光学要素1310の前、中または後にあってもよい。
図1に示されるように、ビームスプリッタ1020は波長依存ビーム分割について最適な領域に設けられる。ビームスプリッタ1020がダイクロイック要素を含む場合、最適な領域は、1)共通対物レンズ1010によって送られるフィールド依存光線束がほぼ平行な円錐を有する場合、かつ、2)最大の円錐角を有する周縁光線がビームスプリッタ1020の受容角度内にある場合、に実現されてもよい。
図2Aおよび2Bは、ダイクロイックビームスプリッタ1020が波長帯分割のために挿入される領域内で生じる光線に対する制限を示す。図2Aは、ここではトリプレットとして描かれている共通対物レンズ1010の後の主光線の位置および方向を示す。図2Aおよび2Bの残りのレンズ(「チャネル光学系」)およびセンサは、対応するチャネル内にある。光線1は軸上フィールド位置の主光線を示し、光線2および3は最も軸外のフィールド位置の主光線を示し、残りの主光線は光線2と3との間にある。全てのフィールド位置の主光線をダイクロイックが挿入される領域内でほぼ平行にすることによって、ダイクロイックはオブジェクトフィールド位置に伴う反射依存性または透過依存性(例えば像面における色調の変化を引き起こし得るもの)を低減または除去する。ダイクロイックビームスプリッタ1020の前後のレンズ要素間の距離を増やすことで、平行性の増加を達成することができる。言い換えると、共通対物レンズ1010とビームスプリッタ1020との間の空間が増えるにつれて、主光線はより平行となる。これにより、ここでは負のトリプレットとなっている共通対物レンズ1010におけるパワーを増やし、ここではダブレットとなっているチャネル光学系内の第一レンズ要素をより大きくする、すなわちその直径を大きくする、ことができる。
図2Aに示されるように、共通対物レンズ1010からの主光線1、2、3は、光線束がダイクロイックビームスプリッタ1020仕様に対して十分に似ているものとなるのに十分な程度に平行とされてもよい。ダイクロイックビームスプリッタ1020は、種々の波長範囲に亘る種々の反射特性および透過特性により指定されてもよい。しかしながら、他のパラメータ集合は、入射ビーム角および円錐半角(cone half angle)に関する。
図2Bを参照すると、同等の周縁光線についての比較がなされている。上側のフィールド位置の上側周縁光線には1aが付されている。下側のフィールド位置の上側周縁光線には2aが付されている。光軸に対するそれらの角度にはそれぞれ1b、2bが付されている。これらの二つの角度のうちの大きい方は、ダイクロイックビームスプリッタ1020の入射ビーム仕様の規定された円錐半角と等しいか、それよりも小さい。
以下の表1の処方は、上述の制限を満たす設計形態の例示的解を提供する。他の解が提供されてもよい。これは、概要の項で既にまとめたように、複数の解が設計形態の同じ要件を満たすからである。
Figure 0006609639
ここで、形態を説明するために、表1の具体的な処方(prescription)を参照する。この形態の他の変形例も存在する。動作空間および/または性能要件が変わると、レンズデザインおよびフィルタ選択は単純化されるかまたはより複雑になりうる。
例1
図3は、実施の形態に係る広視野イメージングシステム2000を示す。広視野イメージングシステム2000は、共通対物レンズ2010と、ビームスプリッタ2020と、第一チャネル2100と、第二チャネル2200と、第三チャネル2300と、を含む。この実施の形態では、表1の処方が用いられてもよい。
オブジェクトフィールドからの光は共通対物レンズ2010に入る。それはここではトリプレットレンズとして描かれている。ビームスプリッタ2020、例えばダイクロイック要素、はその光を二つの波長帯に分ける。この特定の例では、ビームスプリッタ2020は第一波長範囲を第一チャネル2100へ反射し、第二波長範囲を第二および第三チャネルへ透過させる。この特定の実施の形態では、第一波長範囲は第二波長範囲よりも高強度である。
第一チャネル2100は、光をレンズに向け直すためのミラー2110と、開口ストップ2130と、検出器2190と、を含んでもよい。
第二および第三チャネル2200、2300は、別のビームスプリッタ2204、例えばダイクロイック要素、によって、第二波長範囲内のより長い波長範囲とより短い波長範囲とにそれぞれ分けられる。ビームスプリッタ2020によっていくらかの第一波長範囲の光が第二および第三チャネルへと透過された場合のために、ビームスプリッタ2204の前に拒否フィルタ2202を配置してもよい。
第二および第三チャネル2200、2300のそれぞれは、光を検出器2290、2390へと向け直すためのミラー2210、2310と、光学要素2220、2320と、開口ストップ2230、2330と、を含んでもよい。第二および第三チャネルのそれぞれは、拒否フィルタ2240、2340を含んでもよい。
イメージングシステム2000により結像されるターゲットがレーザ光で照らされ該レーザ光に応じて蛍光を発する場合、例えばイメージングシステムがオープンフィールド手術または診察で用いられる場合、第一波長範囲は可視光およびレーザ光を含み、第二波長範囲は蛍光を含んでもよい。第一波長範囲は第二波長範囲よりも短い波長および明るい光を有する。例えば、第二波長範囲は近赤外(NIR)光を含んでもよく、それは第一波長範囲の光よりも1桁以上、例えば4桁または5桁弱い。第二波長範囲は第二チャネル2200用のより短いNIRと、第三チャネル2300用のより長いNIRと、に分けられてもよい。
概要で上述した通り、光学要素はチャネル内で同一のレンズ処方を有してもよい。本明細書で使用されるとき、同一のレンズ処方は、レンズ材料およびレンズ幾何形状が関連する波長範囲またはチャネルによらずに同じであることを意味する。しかしながら、空気−ガラスコーティングは同一であってもよいし、波長範囲依存であってもよい。
図4に示される通り、共通対物レンズ2010からの光はビームスプリッタ2020によって分けられ、レンズ2030、2040および2050に入射し、対応する開口ストップ2130、2230、2330を通過し、その後、対応するイメージセンサ2190、2290、2390に入射する。ここで示され表1で上述される特定のデザインでは、レンズ2030および2040は、ダブレット2040の前に開口ストップがあるダブレットである。第二および第三チャネルの弱い信号は比較的大きな開口ストップ、例えばf/2ストップを有する一方、より強い信号はより小さな開口ストップ、例えばf/5.6ストップ、を有してもよい。最終レンズ2050は負のメニスカスレンズであってもよい。言い換えると、より低い強度の光についての開口ストップの開口面積は、より高い強度の光についての開口ストップの開口面積よりも大きくてもよい。
チャネルレンズ2030、2040および2050は全体として正のパワーを有してもよい。この場合、共通対物レンズ2010と組み合わせて、各光学システムはレトロフォーカス型を有するであろう。すなわち、前方グループは負のパワーを有し、後方グループは正のパワーを有し、後方焦点距離は有効焦点距離を超える。さらに、チャネルレンズ2030、2040および2050は、共通対物レンズ2010と組み合わせて、像空間テレセントリックであってもよい。この場合、対応するセンサ2190、2290、2390で生成されるイメージは、センサにおける最良の合焦の軸色や軸位置によらずに同じサイズを有してもよい。センサに近づく光線円錐は同じ入射角および同じ限界視角を有する。すなわち、像空間はテレセントリックまたは準テレセントリックであり、システムを通過するビームは口径食されず、像面のどこにおいてもイメージは一様に照らされる。
図5Aから5Cは、図3のイメージングシステム2000における、NIR、レーザ反射率および可視光のMTFおよび焦点通過MTF対空間周波数を示す。そこに見られるように、表1のパラメータによって規定されるデザインは、f/2またはそれ以上でチャネルを動作させることを可能とし、その場合の全視野は40度であり、スペクトル範囲は460nmから900nmである。他の波長、他の視野、他のf値などを含むように処方を変更および最適化することができ、そのような処方は概要で上述した条件を満たす。
例2
図6は、実施の形態に係る広視野イメージングシステム3000を示す。広視野イメージングシステム3000は、共通対物レンズ3010と、ビームスプリッタ3020と、第一チャネル3100と、第二チャネル3200と、を含む。この実施の形態では、表1の処方が用いられてもよい。第一チャネルは、ミラー3130と、光学要素3120と、第一開口ストップ3110と、センサ3190と、を含む。第二チャネルは、拒否フィルタ3030と、ミラー3230と、光学要素3220と、第二開口ストップ3210と、センサ3290と、を含む。
イメージングシステム3000によって結像されるターゲットがレーザ光によって照らされる場合、後方散乱光はランダム干渉パターン、すなわちスペックルパターン、を形成するであろう。ターゲットの移動がある場合、スペックルパターンは変わる。ここで、第一波長範囲は可視光を含んでもよく、第二波長範囲はレーザ光を含んでもよい。ここで、ビームスプリッタ3020は、共通対物レンズ3010からの光を、第一チャネル3100用の可視波長範囲と、第二チャネル3200用のレーザ波長範囲と、に分離する。第一チャネルの開口ストップ3110は単純幾何形状、すなわち円形、正方形、または多角形、を有してもよく、これはたいていの場合そうであり、一方で第二チャネルの開口ストップ3210はスペックルイメージングで用いられる開口、例えばフーリエ開口、を有してもよい。
例3
図7は、実施の形態に係る広視野イメージングシステム4000を示す。広視野イメージングシステム4000は、共通対物レンズ4010と、ビームスプリッタ4020、4025、4030、4040、4050と、第一チャネル4100と、第二チャネル4200と、第三チャネル4300と、第四チャネル4400と、第五チャネル4500と、第六チャネル4600と、を含む。この実施の形態では、表2の処方が用いられてもよい。
表2:
Figure 0006609639
イメージングシステム4000は蛍光、レーザスペックル、レーザ反射、および白色光を結像してもよい。第一ビームスプリッタ4020は高束光を透過させ、低束光を反射してもよい。
高束光は第二ビームスプリッタ4025に入射する。第二ビームスプリッタ4025はダイクロイック要素を含んでも含まなくてもよく、可視波長を第一チャネル4100へ反射する。第一チャネル4100は、レンズ4110と、開口ストップ4120と、センサ4190と、を含む。第二ビームスプリッタ4025はレーザ反射およびレーザスペックル光を第三ビームスプリッタ4030へ透過させる。第三ビームスプリッタ4030はレーザ反射光を第二チャネル4200へ反射させ、レーザスペックル光を第三チャネル4300へ透過させる。第二チャネル4200は、レンズ4210と、開口ストップ4220と、センサ4290と、を含む。第三チャネルは、レンズ4310と、開口ストップ4320と、センサ4390と、を含む。第二および第三チャネル4200、4300の第一レンズは第三ビームスプリッタ4030の前にあってもよく、この場合、第一レンズは共有される、すなわち、第一レンズは両方のチャネル4200、4300に共通のレンズであってもよい。
低束光は第四ビームスプリッタ4040に入射し、第四ビームスプリッタ4040は可視蛍光を第四チャネル4400へ反射させ、NIR蛍光を透過させる。第四チャネルは、レンズ4410と、開口ストップ4420と、センサ4490と、を含む。第五ビームスプリッタ4050は、より短い波長NIR蛍光を反射させ、より長い波長NIR光を透過させる。第五チャネル4500は、レンズ4510と、開口ストップ4520と、センサ4590と、を含む。第六チャネルは、レンズ4610と、開口ストップ4620と、センサ4690と、を含む。第五および第六チャネル4500、4600の第一レンズは第五ビームスプリッタ4050の前にあってもよく、この場合、第一レンズは共有される、すなわち、第一レンズは両方のチャネル4500、4600に共通のレンズであってもよい。
まとめ及び検討として、ひとつ以上の実施の形態は、数桁異なる強度を有するスペクトル領域の同時イメージングを促進する波長依存チャネルと、視野に亘り実質的に一定の検出時の解像度およびコントラスト(重ね合わせが有益であるように)と、および/またはセンサのいくつかまたは全てに亘るクロマティッククロストークを低減するか除去することを提供してもよい。
詳述された種々の実施の形態と関連して本開示が説明されたが、示された詳細に限定されることを意図したものではない。本開示の範囲から外れることなく様々な変更や構造変形がなされうるからである。本開示の範囲から逸脱すること無く、説明された実施の形態の形態やコンポーネント配置やステップや詳細や動作順序の種々の変更を行うことができ、また本開示の他の実施の形態をなすこともでき、それらのものは本開示に触れた当業者には明らかであろう。したがって、添付の請求項は本開示の範囲に入るので、添付の請求項がそのような変形例および実施の形態をカバーすることが想定されている。簡潔明瞭な記載をするために、本明細書では特徴は同じまたは異なる実施の形態の一部として説明された。しかしながら、本開示の範囲は、説明された特徴の全てまたはいくつかの組み合わせを有する実施の形態を含むことが理解されよう。「例えば」および「など」という用語およびそれらの文法的等価物について、そうでないと明記されない限り、「および非限定的に」というフレーズが次に続くものとして理解される。本明細書で用いられるように、「a」、「an」及び「the」という単数形はコンテキストがそうでないと明示的に述べない限り複数の指示物を含む。

Claims (21)

  1. マルチチャネル広視野イメージングシステムで用いられる光学システムであって、
    負の対物レンズと、
    光を第一波長範囲と第二波長範囲とに分けるダイクロイック要素であって、前記ダイクロイック要素は前記対物レンズからのほぼ平行な主光線を受けるように配置される、ダイクロイック要素と、
    前記ダイクロイック要素からの前記第一波長範囲の光を受ける第一チャネルレンズシステムと、
    前記ダイクロイック要素からの前記第二波長範囲の光を受ける第二チャネルレンズシステムと、を備える光学システム。
  2. 前記対物レンズは、前記ダイクロイック要素の円錐半角(cone half angle)要件内にある周縁光線を出力する請求項1に記載の光学システム。
  3. 前記第一波長範囲の強度と前記第二波長範囲の強度とは少なくとも一桁異なる請求項1に記載の光学システム。
  4. 前記第二波長範囲の強度は前記第一波長範囲の強度よりも低く、前記第二チャネルレンズシステムの開口ストップは前記第一チャネルレンズシステムの開口ストップよりも大きい請求項3に記載の光学システム。
  5. 前記ダイクロイック要素は前記光学システム内の制限開口の前にある請求項1に記載の光学システム。
  6. 前記第一および第二チャネルレンズシステムは、別個の独立した制限開口を有する請求項5に記載の光学システム。
  7. 前記第一および第二チャネルレンズシステムは、前記対物レンズとの組み合わせで、レトロフォーカス型を有する請求項1に記載の光学システム。
  8. 前記第一および第二チャネルレンズシステムのレンズ要素は同一のレンズ処方を有する請求項1に記載の光学システム。
  9. 前記光学システムは像空間テレセントリックまたは準テレセントリックである請求項1に記載の光学システム。
  10. 前記第一または第二チャネルレンズシステムのうちのひとつに別のダイクロイックビームスプリッタをさらに備え、該ダイクロイックビームスプリッタは光を第三チャネルレンズシステムに出力する請求項1に記載の光学システム。
  11. 前記第一チャネルレンズシステムのレンズと、前記第二チャネルレンズシステムのレンズと、前記第三チャネルレンズシステムのレンズと、は同一のレンズ処方を有する請求項10に記載の光学システム。
  12. 前記第二チャネルレンズシステムおよび前記第三チャネルレンズシステムのそれぞれは、前記第一チャネルレンズシステムの開口ストップよりも大きな開口ストップを有し、前記第二および第三チャネルレンズシステムの開口ストップは同じサイズを有する請求項11に記載の光学システム。
  13. 前記第一チャネルレンズシステムの開口ストップは前記第二チャネルレンズシステムの開口ストップとは異なる請求項1に記載の光学システム。
  14. 前記第一チャネルレンズシステムの前記開口ストップは前記第二チャネルレンズシステムの前記開口ストップよりも小さい請求項13に記載の光学システム。
  15. 前記第一チャネルレンズシステムの前記開口ストップは単純幾何形状を有する開口であり、前記第二チャネルレンズシステムの前記開口ストップはフーリエ開口である請求項13に記載の光学システム。
  16. 請求項1に記載の光学システムと、
    対応するチャネル内の対応するイメージセンサであって、各チャネルレンズシステムにおいて対応する波長範囲を検出するイメージセンサと、を備えるイメージングシステム。
  17. 対物レンズと、
    光を第一波長範囲と第二波長範囲とに分けるダイクロイック要素と、
    前記第一波長範囲の光を受ける第一チャネルレンズシステムと、
    前記第二波長範囲の光を受ける第二チャネルレンズシステムと、を備え、
    前記第一および第二チャネルレンズシステムは同一のレンズ処方を有し、
    前記第一および第二チャネルレンズシステムは、前記対物レンズとの組み合わせで、レトロフォーカス型を有するキット。
  18. 前記第一チャネルレンズシステムの開口ストップは前記第二チャネルレンズシステムの開口ストップとは異なる請求項17に記載のキット。
  19. 前記第一チャネルレンズシステムの前記開口ストップは前記第二チャネルレンズシステムの前記開口ストップよりも小さい請求項18に記載のキット。
  20. 前記第一チャネルレンズシステムの前記開口ストップは単純幾何形状を有する開口であり、前記第二チャネルレンズシステムの前記開口ストップはフーリエ開口である請求項18に記載のキット。
  21. マルチチャネル広視野光を結像させる方法であって、
    結像対象の全ての光を負の共通対物レンズに入射させるように提供することと、
    ダイクロイック要素によって前記共通対物レンズからの光を第一波長範囲と第二波長範囲とに分けることであって、前記ダイクロイック要素はそれが十分に平行な主光線を受けるように前記共通対物レンズに対して位置している、分けることと、
    前記ダイクロイック要素からの前記第一波長範囲の光を第一チャネルに提供することと、
    前記ダイクロイック要素からの前記第二波長範囲の光を第二チャネルに提供することと、を含む方法。
JP2017551311A 2015-03-30 2016-03-29 マルチチャネル広視野イメージングシステムおよびその中で用いられる光学システム Active JP6609639B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562140045P 2015-03-30 2015-03-30
US62/140,045 2015-03-30
PCT/CA2016/050365 WO2016154750A1 (en) 2015-03-30 2016-03-29 Multi-channel wide field imaging system and optical system for use therein

Publications (2)

Publication Number Publication Date
JP2018518858A JP2018518858A (ja) 2018-07-12
JP6609639B2 true JP6609639B2 (ja) 2019-11-20

Family

ID=57003678

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017551311A Active JP6609639B2 (ja) 2015-03-30 2016-03-29 マルチチャネル広視野イメージングシステムおよびその中で用いられる光学システム

Country Status (6)

Country Link
US (1) US9989773B2 (ja)
EP (2) EP3278070A4 (ja)
JP (1) JP6609639B2 (ja)
CN (1) CN107615023B (ja)
CA (1) CA2981353C (ja)
WO (1) WO2016154750A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2941274C (en) 2014-03-04 2020-02-25 Novadaq Technologies Inc. Spatial and spectral filtering apertures and optical imaging systems including the same
CN106605164B (zh) 2014-03-04 2020-04-24 诺瓦达克技术公司 用于宽带成像的中继透镜***
US10772506B2 (en) * 2014-07-07 2020-09-15 Align Technology, Inc. Apparatus for dental confocal imaging
CA2987982A1 (en) 2015-08-31 2017-03-09 Novadaq Technologies Inc. Polarization dependent filter, system using the same, and associated kits and methods
US11163169B2 (en) * 2016-06-07 2021-11-02 Karl Storz Se & Co. Kg Endoscope and imaging arrangement providing improved depth of field and resolution
CN107607204A (zh) * 2017-09-05 2018-01-19 昆山博威泰克电子科技有限公司 色彩分析设备及方法
US11143847B1 (en) * 2017-09-28 2021-10-12 Apple Inc. Optical system
RU2700033C2 (ru) * 2018-01-22 2019-09-12 Публичное акционерное общество "Ростовский оптико-механический завод" Двухспектральная оптическая система
US11550164B2 (en) * 2019-02-11 2023-01-10 Honeywell International Inc. Holographic mode filter for super-resolution imaging
US11002894B1 (en) * 2019-09-12 2021-05-11 United States Of America As Represented By The Administrator Of Nasa Laser communication network implemented with multi-chroic filters
WO2022238800A1 (en) * 2021-05-14 2022-11-17 Hoya Corporation Multi-sensor system having an optical beam splitter

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5276321A (en) 1991-04-15 1994-01-04 Geophysical & Environmental Research Corp. Airborne multiband imaging spectrometer
JP3517903B2 (ja) 1993-06-21 2004-04-12 株式会社ニコン 干渉計
JPH08186830A (ja) * 1994-12-28 1996-07-16 Topcon Corp カラー撮影用光学系
JPH09318876A (ja) 1996-03-22 1997-12-12 Nikon Corp 投射レンズ系及びそれを備えた投射装置
US7057647B1 (en) * 2000-06-14 2006-06-06 E-Watch, Inc. Dual-mode camera system for day/night or variable zoom operation
US6975400B2 (en) * 1999-01-25 2005-12-13 Amnis Corporation Imaging and analyzing parameters of small moving objects such as cells
JP2003018445A (ja) * 2001-07-05 2003-01-17 Fuji Photo Film Co Ltd 画像撮像装置
AU2003218116A1 (en) * 2002-03-12 2003-09-29 Beth Israel Deaconess Medical Center Medical imaging systems
US8620410B2 (en) * 2002-03-12 2013-12-31 Beth Israel Deaconess Medical Center Multi-channel medical imaging system
US6734966B2 (en) * 2002-04-02 2004-05-11 Northrop Grumman Corporation Space borne high resolution hyperspectral imaging instrument optimized for the study of atmospheric constituents
US7697975B2 (en) * 2003-06-03 2010-04-13 British Colombia Cancer Agency Methods and apparatus for fluorescence imaging using multiple excitation-emission pairs and simultaneous multi-channel image detection
EP1766442A1 (en) * 2004-04-05 2007-03-28 Micronic Laser Systems Ab Aperture stop assembly for high power laser beams
JP4530149B2 (ja) * 2004-12-03 2010-08-25 株式会社ジェイエイアイコーポレーション ハイダイナミックレンジカメラシステム
JP2006267391A (ja) * 2005-03-23 2006-10-05 Mitsubishi Electric Corp 撮像装置
WO2006115863A2 (en) 2005-04-12 2006-11-02 Caliper Life Sciences, Inc. Compact optical detection system for microfluidic devices
US7345825B2 (en) * 2005-06-30 2008-03-18 Kla-Tencor Technologies Corporation Beam delivery system for laser dark-field illumination in a catadioptric optical system
US7787112B2 (en) * 2007-10-22 2010-08-31 Visiongate, Inc. Depth of field extension for optical tomography
GB0802290D0 (en) * 2008-02-08 2008-03-12 Univ Kent Canterbury Camera adapter based optical imaging apparatus
JP2010160312A (ja) * 2009-01-08 2010-07-22 Fujinon Corp 可視光・赤外光撮影用レンズアダプタ
WO2011079126A2 (en) 2009-12-23 2011-06-30 Laser Biopsy, Inc. Method and apparatus for microscopic imaging system with wide field of view and high collection efficiency
US20110261175A1 (en) 2010-04-22 2011-10-27 General Electric Company Multiple channel imaging system and method for fluorescence guided surgery
JP2013247440A (ja) * 2012-05-24 2013-12-09 Canon Inc 撮像装置
US9547178B2 (en) * 2012-08-15 2017-01-17 Semrock. Inc. Dichroic image splitter
US9549127B2 (en) * 2013-10-18 2017-01-17 Light Labs Inc. Image capture control methods and apparatus
CN203799103U (zh) * 2014-03-18 2014-08-27 北京空间机电研究所 一种全谱段多通道成像***
CN106461462B (zh) * 2014-03-21 2019-03-26 海佩尔梅德影像有限公司 紧凑型光传感器

Also Published As

Publication number Publication date
CN107615023A (zh) 2018-01-19
CA2981353C (en) 2020-02-25
EP3278070A4 (en) 2018-09-19
EP3278070A1 (en) 2018-02-07
CA2981353A1 (en) 2016-10-06
WO2016154750A1 (en) 2016-10-06
JP2018518858A (ja) 2018-07-12
US9989773B2 (en) 2018-06-05
CN107615023B (zh) 2020-06-05
US20160291332A1 (en) 2016-10-06
EP4056967A1 (en) 2022-09-14

Similar Documents

Publication Publication Date Title
JP6609639B2 (ja) マルチチャネル広視野イメージングシステムおよびその中で用いられる光学システム
JP6751453B2 (ja) 空間およびスペクトルフィルタリング開口およびそれを含む光学イメージングシステム
US10883944B2 (en) Inspection system and method of inspection
CN101431087B (zh) 低高度成像***及相关方法
JP6510044B2 (ja) 顕微鏡用の検出装置
US10656411B2 (en) Optical system for field mapping and/or pupil mapping
WO2011052172A1 (ja) 撮像装置およびそれを用いた測距装置
WO2022107725A1 (ja) 画像観察装置及びその照明光学系
JP6237161B2 (ja) 撮像装置
JP2019124823A5 (ja) 撮像光学系および撮像装置
US10146038B2 (en) Disk scanning apparatus and microscope apparatus
WO2016132563A1 (ja) 標本観察装置及び標本観察方法
US20240248318A1 (en) Multi-sensor system having an optical beam splitter
US20210392248A1 (en) Optical assembly, optical instrument and method
US20180307022A1 (en) Optical observation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181109

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191028

R150 Certificate of patent or registration of utility model

Ref document number: 6609639

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250