JP6321224B2 - 手術システム及び強調画像表示生成方法 - Google Patents
手術システム及び強調画像表示生成方法 Download PDFInfo
- Publication number
- JP6321224B2 JP6321224B2 JP2017000698A JP2017000698A JP6321224B2 JP 6321224 B2 JP6321224 B2 JP 6321224B2 JP 2017000698 A JP2017000698 A JP 2017000698A JP 2017000698 A JP2017000698 A JP 2017000698A JP 6321224 B2 JP6321224 B2 JP 6321224B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- visible color
- color component
- acquired
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 110
- 238000005286 illumination Methods 0.000 claims description 254
- 230000005284 excitation Effects 0.000 claims description 66
- 238000002073 fluorescence micrograph Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000001356 surgical procedure Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 239000004615 ingredient Substances 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 76
- 238000003702 image correction Methods 0.000 description 33
- 238000012545 processing Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 239000007850 fluorescent dye Substances 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 239000013307 optical fiber Substances 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 210000002435 tendon Anatomy 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000001444 catalytic combustion detection Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000001429 visible spectrum Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 229910052724 xenon Inorganic materials 0.000 description 2
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 238000012632 fluorescent imaging Methods 0.000 description 1
- 102000034287 fluorescent proteins Human genes 0.000 description 1
- 108091006047 fluorescent proteins Proteins 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
- 210000005166 vasculature Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Microscoopes, Condenser (AREA)
Description
本出願は、2010年7月2日に出願された米国仮出願第61/361,260号(発明の名称「METHOD AND SYSTEM FOR FLUORESCENT IMAGING WITH BACKGROUND SURGICAL IMAGE COMPOSED OF SELECTIVE ILLUMINATION SPECTRA」、発明者Ian McDowall及びChristopher J. Hasser)による優先権と利益を主張するものである。
[背景技術]
ダ・ヴィンチ(登録商標)外科手術システムは、カリフォルニア州サニーベール市のインテュイティブ・サージカル社により商品化され、身体への外傷が少なく、回復が早く、入院期間が短くなるなどの多くの利益を患者に提供する最低侵襲遠隔手術システムである。ダ・ヴィンチ(登録商標)外科手術システムの1つの主要コンポーネントは、2チャンネル(すなわち、左右)ビデオキャプチャと、開始画像の表示を提供し、外科医に立体視を提供できることである。
最低侵襲遠隔外科手術システムのカメラは、第1の取得成分画像と、前記第1の取得成分画像とは異なる第2の取得成分画像とを実質的に同時にキャプチャする。コントローラはカメラに接続され、取得した成分画像を受け取る。ここで、実質的に同時とは、カメラの要素がカメラに発行されたキャプチャトリガー信号に応答する時間的違いを考慮して、可能な限り同時であることを意味する。
可視カラー成分ソース211におけるLEDの使用は、単なる例示であり、本発明を限定するものではない。可視カラー成分ソース211は、例えば、LEDではなく複数のレーザ源で実施することもできる。あるいは、可視カラー成分ソース211は、放物面背面反射鏡を有し、バンドパスフィルタコーティングしたキセノンランプを用いて、可視画像用の広帯域白色照明光を発生してもよい。キセノンランプの使用は単なる例示であって、本発明を限定するものではない。例えば、高圧水銀放電ランプ、その他の放電ランプ、その他の広帯域光源をもちいてもよい。拡大ビューイングモードでのかかるソースからの1つ以上のカラー照明成分を無くすため、バンドパスフィルタやプリズムなどを組合せ光源210に組み込んでもよい。
**複合体の近似的励起及び蛍光放射最大値
当業者には言うまでもなく、蛍光色素分子はエージェントに結合して、それが看者の特定の組織に結合する。具体的な蛍光色素分子が選択されると、組合せ光源210は、その蛍光色素分子の励起最大化波長の光を供給する蛍光励起ソース212を含む。このように、関心蛍光色素分子と用いられる蛍光色素分子の数が与えられると、適当な光源を組合せ光源210に含めることができる。
次の付記を記す。
(付記1) 最低侵襲外科手術システムであって、
(i)第1の取得成分画像と、前記第1の取得成分画像とは異なる第2の取得成分画像とをキャプチャするカメラと、
(ii)前記カメラに接続されたコントローラであって、
前記コントローラは前記第1の取得成分画像を含む限定帯域幅画像の第1の可視カラー成分を生成し、
前記コントローラは、前記第1の取得成分画像を含む前記限定帯域幅画像の第2の可視カラー成分を生成し、前記第2の取得成分画像を前記限定帯域幅画像の前記第2の可視カラー成分に加えて、前記限定帯域幅画像の前記第2の可視カラー成分が前記第1の取得成分画像と前記第2の取得成分画像との両方を含むようにし、
前記コントローラは前記第1の取得成分画像を含む前記限定帯域幅画像の第3の可視カラー成分を生成し、
さらに、前記限定帯域幅画像は白色光の一可視カラー成分から求まる取得可視カラー成分画像を含まない、前記コントローラと、
(iii)前記コントローラに接続され、前記限定帯域幅画像の前記第1、第2及び第3の成分を受け取るディスプレイであって、前記ディスプレイは前記限定帯域幅画像を含む画像を表示し、前記第2の取得成分画像を含む前記画像の一部は前記第2の取得成分画像を含まない前記画像の部分に対してハイライトされる、前記ディスプレイとを有する、システム。
(付記2) 少なくとも2つの照明成分を同時に供給し、前記照明成分の1つが蛍光励起照明成分であるとき、他の照明成分は白色光の可視カラー成分の一部を含む照明装置を更に有する、付記1に記載のシステム。
(付記3) 前記他の照明成分は第1の可視カラー照明成分を含み、
前記第1の取得成分画像は取得第1可視カラー成分画像であり、前記第2の取得成分画像は前記蛍光励起照明成分により励起された蛍光画像である、
付記2に記載のシステム。
(付記4) 前記他の照明成分は、前記第1の可視カラー照明成分と第2の可視カラー照明成分とを含む、付記2に記載のシステム。
(付記5) 前記カメラは第3の取得成分画像をキャプチャし、前記第1の取得成分画像は取得された第1の可視カラー成分画像であり、前記第2の取得成分画像は取得された蛍光画像であり、前記第3の取得成分画像は取得された第2の可視カラー成分画像である、
付記4に記載のシステム。
(付記6) 前記コントローラは、前記取得された第1と第2の可視カラー成分画像から前記限定帯域幅画像の第1、第2及び第3のカラー成分を生成する、
付記5に記載のシステム。
(付記7) 前記第1可視カラー成分は青色カラー成分であり、前記第2可視カラー成分は緑色カラー成分である、付記6に記載のシステム。
(付記8) 前記限定帯域幅画像の第2のカラー成分は緑色カラー成分である、
付記6に記載のシステム。
(付記9) 前記他の照明成分は第1の可視照明成分と第2の蛍光励起照明成分である、
付記2に記載のシステム。
(付記10) 前記カメラは第3の取得成分画像をキャプチャし、前記第1の取得成分画像は取得された第1の可視カラー成分画像であり、前記第2の取得成分画像は取得された第1の蛍光画像であり、前記第3の取得成分画像は取得された第2の蛍光画像である、
付記9に記載のシステム。
(付記11) 前記コントローラは、前記第3の取得画像を、前記限定帯域幅画像の前記第3の可視カラー成分に加える、
付記10に記載のシステム。
(付記12) 前記照明装置は、
第1の可視カラー照明成分ソースと、
第2の可視カラー照明成分は前記第1の可視カラー照明成分とは異なる第2の可視カラー照明成分ソースと、
第3の可視カラー照明成分は前記第2の可視カラー照明成分とは異なり、前記第1の可視カラー照明成分とも異なる、第3の可視カラー照明成分ソースと、
蛍光励起照明ソースとを有し、
前記システムは、さらに、
前記第1、第2及び第3の可視カラー成分照明ソースに、及び前記蛍光励起照明ソースに接続されたパワーレベル及び電源コントローラと、
前記パワーレベル及び電源コントローラに結合した、第1の状態と第2の状態を有するモード変更部とを有し、
前記モード変換部が前記第1の状態のとき、前記パワーレベル及び電源コントローラは、(a)前記第1、第2及び第3の可視カラー照明成分ソースに電力を供給し、前記蛍光励起ソースには供給せず、(b)前記第1、第2及び第3の可視カラー照明成分ソースは第1の照明レベルを有し、
前記モード変換部が前記第2の状態のとき、前記パワーレベル及び電源コントローラは、(a)前記第1の可視カラー照明成分ソースに電力を供給し、前記第2の可視カラー照明成分ソースの少なくとも一部に電力を供給し、前記蛍光励起ソースに電力を供給し、前記第3の可視カラー照明成分ソースには電力を供給せず、(b)前記第1の可視カラー照明成分ソースと前記第2の可視カラー照明成分ソースの照明レベルを低減する、付記2に記載のシステム。
(付記13) 最低侵襲外科手術システムにおける拡大画像表示を生成する方法であって、
コントローラが、第1の取得成分画像を含む限定帯域幅画像の第1の可視カラー成分を生成するステップと、
前記コントローラが、前記第1の所得成分画像を含む前記限定帯域幅画像の第2の可視カラー成分を生成し、第2の取得成分画像を前記第2の可視カラー成分に加えるステップであって、前記第2の取得成分は第1の蛍光励起照明ソースからの照明により励起された蛍光を表すステップと、
前記コントローラが、前記第1の取得成分画像を含む前記限定帯域幅画像の第3の可視カラー成分を生成するステップであって、前記限定帯域幅画像は白色光の可視カラー照明成分の1つにより求まる取得される可視カラー成分画像を含まないステップと、
ディスプレイ画面に、前記限定帯域幅画像を含む画像を表示するステップであって、前記第2の取得成分画像を含む前記画像の一部は、前記第2の取得成分画像を含まない前記画像の部分に対してハイライトされるステップとを有する方法。
(付記14) 前記第1の取得成分画像は取得された第1の可視カラー成分画像である、
付記13に記載の方法。
(付記15) 前記第1の取得成分画像は取得された第1の可視カラー成分画像であり、
前記方法は、
前記コントローラが、第3の取得成分画像を受け取るステップであって、前記第3の取得成分画像は取得された第2の可視カラー成分画像であるステップをさらに有する、
付記13に記載の方法。
(付記16) 第1の可視カラー成分を生成するステップは、前記第3の取得成分画像を含めるステップをさらに有し、
第2の可視カラー成分を生成するステップは、前記第3の取得成分画像を含めるステップをさらに有し、
前記第3の可視カラー成分を生成するステップは、前記第3の所得成分画像を含めるステップをさらに有し、前記限定帯域幅画像は限定帯域幅モノクロ画像である、
付記15に記載の方法。
(付記17) 前記第1の取得成分画像は取得された第1の可視カラー成分画像であり、
前記方法は、
前記コントローラが、第3の取得成分画像を受け取るステップであって、前記第3の取得成分画像は取得された第2の蛍光画像であるステップをさらに有する、
付記13に記載の方法。
(付記18) 前記コントローラは、前記第3の取得画像を、前記限定帯域幅画像の前記第3のカラー成分に加える、
付記17に記載の方法。
(付記19) 手術部位を白色光の複数の可視カラー照明成分の一部で照明する、
付記13に記載の方法。
(付記20) プロセッサで拡大画像補正モジュールを実行するステップを有する方法であって、前記実行するステップは、
複数の可視カラー成分入力の第1の可視カラー成分入力で、取得した第1の可視カラー成分画像を受け取るステップと、
前記複数の可視カラー成分入力の第2の可視カラー成分入力で、取得した蛍光画像を受け取るステップと、
第1の可視カラー成分出力に、前記取得した第1の可視カラー成分画像を含む第1の信号を生成するステップと、
第2の可視カラー成分出力に、前記取得した第1の可視カラー成分画像と前記取得した蛍光画像との組合せを含む第2の信号を生成するステップと、
第3の可視カラー成分出力に、前記取得した第1の可視カラー成分画像を含む第3の信号を生成するステップであって、前記第1、第2及び第3の信号の組合せは、限定帯域幅画像と前記蛍光画像とを含む画像を含む、ステップとを有する方法。
(付記21) 前記複数の可視カラー成分入力の第3の可視カラー成分入力で、取得した第2の可視カラー成分画像を受け取るステップをさらに有し、
前記第1の信号は、前記取得した第1の可視カラー成分画像と前記取得した第2の可視カラー成分画像との組合せを含み、
前記第2の信号は、前記取得した蛍光画像と、それにプラスして、前記取得した第1の可視カラー成分画像と前記取得した第2の可視カラー成分画像との組合せとを含み、
前記第3の信号は、前記取得した第1の可視カラー成分画像と前記取得した第2の可視カラー成分画像との組合せを含む、
付記20に記載の方法。
(付記22) 前記複数の可視カラー成分入力の第3の可視カラー成分入力で、取得した第2の蛍光画像を受け取るステップをさらに有し、
前記第3の信号は、前記取得した第1の可視カラー成分画像と前記取得した第2の蛍光画像との組合せである、
付記19に記載の方法。
Claims (15)
- 手術システムであって、
カメラであって、前記カメラは、第1の可視カラー成分画像をキャプチャし、前記第1の可視カラー成分画像とは異なる蛍光画像をキャプチャするように構成され、前記第1の可視カラー成分画像及び前記蛍光画像は同時にキャプチャされ、前記のキャプチャされる第1の可視カラー成分画像は取得される第1の可視カラー成分画像であり、前記のキャプチャされる蛍光画像は取得される蛍光画像である、カメラと、
前記カメラに接続され、前記取得される第1の可視カラー成分画像を受け取り、前記取得される蛍光画像を受け取るコントローラであって、複数の可視カラー成分出力を含むコントローラと、を有し、
前記コントローラは、前記複数の可視カラー成分出力の1つに第1の信号を生成するように構成され、前記第1の信号は前記取得される第1の可視カラー成分画像と前記取得される蛍光画像との組み合わせを表し、
前記コントローラは、前記複数の可視カラー成分出力のうち、前記複数の可視カラー成分出力の前記1つ以外の各々に第2の信号を生成するように構成され、前記第2の信号の各々は前記取得される第1の可視カラー成分画像を表し、
前記手術システムは、さらに、
前記コントローラの前記複数の可視カラー成分出力に結合され、前記第1の信号と前記第2の信号とを受け取るディスプレイデバイスであって、前記取得される蛍光画像と合成されたモノクロ画像を表示するように構成され、前記取得される蛍光画像は前記モノクロ画像に対してハイライトされ、前記取得される蛍光画像と合成されたモノクロ画像は、前記受け取られた第1の信号と前記受け取られた第2の信号の組み合わせであるディスプレイデバイスを有する、
手術システム。 - 照明部であって、少なくとも2つの出力照明成分を同時に出力するように構成され、前記少なくとも2つの出力照明成分のうち一方の出力照明成分は蛍光励起照明成分であり、前記少なくとも2つの出力照明成分のうち他方の出力照明成分は第1の可視カラー照明成分と第2の可視カラー照明成分とであり、前記少なくとも2つの出力照明成分は前記カメラが画像を取得するサイトを照明するのに用いられる、照明部をさらに有する、
請求項1に記載のシステム。 - 前記カメラは取得される第2の可視カラー成分画像をキャプチャするようにさらに構成される、
請求項2に記載のシステム。 - 前記コントローラは、前記第2の信号の各々を、前記取得される第1の可視カラー成分画像と前記取得される第2の可視カラー成分画像との組み合わせとして生成するように構成され、
前記コントローラは、前記第1の信号を、前記取得される第1の可視カラー成分画像と、前記取得される第2の可視カラー成分画像と、前記取得される蛍光画像との組み合わせとして生成するように構成される、
請求項3に記載のシステム。 - 前記第1可視カラー成分は青色カラー成分であり、前記第2可視カラー成分は緑色カラー成分である、請求項4に記載のシステム。
- 前記第2の可視カラー成分は緑色カラー成分である、
請求項4に記載のシステム。 - 照明部であって、少なくとも2つの出力照明成分を同時に提供するように構成され、前記少なくとも2つの出力照明成分のうち一方の出力照明成分は蛍光励起照明成分であり、前記少なくとも2つの出力照明成分のうち他方の出力照明成分は第1の可視カラー照明成分と第2の蛍光励起照明成分とであり、前記少なくとも2つの出力照明成分は前記カメラが画像を取得するサイトを照明するのに用いられる、照明部をさらに有する、
請求項1に記載のシステム。 - 前記カメラは、取得される第2の蛍光画像をキャプチャするようにさらに構成されている、
請求項7に記載のシステム。 - 前記コントローラは、前記取得される第2の蛍光画像を前記第2の信号の一方のみと合成するように構成される、請求項8に記載のシステム。
- 前記照明部はさらに、
第3の可視カラー照明成分であって、前記第2の可視カラー照明成分とは異なり、前記第1の可視カラー照明成分とも異なる、第3の可視カラー照明成分を出力するように構成され、
前記照明部はさらに、
前記第1の可視カラー照明成分を出力するように構成される第1の可視カラー成分照明ソースと、
前記第2の可視カラー照明成分を出力するように構成される第2の可視カラー成分照明ソースと、
前記第3の可視カラー照明成分を出力するように構成される第3の可視カラー成分照明ソースと、
蛍光励起照明ソースとを有し、
前記システムはさらに、
前記第1、第2及び第3の可視カラー成分照明ソースに、及び前記蛍光励起照明ソースに接続されたパワーレベル及び電源コントローラと、
前記パワーレベル及び電源コントローラに結合した、第1の状態と第2の状態とを有するモード変換部とを有し、
前記モード変換部が前記第1の状態のとき、前記パワーレベル及び電源コントローラは、(a)前記第1、第2及び第3の可視カラー照明成分ソースに電力を供給し、前記蛍光励起照明ソースには供給しないように構成され、(b)前記第1、第2及び第3の可視カラー成分照明ソースは第1の照明レベルを有し、
前記モード変換部が前記第2の状態のとき、前記パワーレベル及び電源コントローラは、(a)前記第1の可視カラー成分照明ソースに電力を供給し、前記第2の可視カラー成分照明光源の少なくとも一部に電力を供給し、前記蛍光励起照明ソースに電力を供給し、前記第3の可視カラー照明成分ソースには電力を供給しないように構成され、(b)前記第1の可視カラー成分照明ソースと前記第2の可視カラー成分照明ソースの照明レベルを低減するように構成される、
請求項2に記載のシステム。 - 強調画像表示を生成するための手術システムの作動方法であって、
複数の可視カラー成分入力と複数の可視カラー成分出力とを有するデバイスが、前記複数の可視カラー成分入力の第1の入力において取得される第1の可視カラー成分画像を受け取り、前記複数の可視カラー成分入力の第2の入力において取得される蛍光画像を受け取るステップであって、前記取得される第1の可視カラー成分画像及び前記取得される蛍光画像は同時にキャプチャされる、ステップと、
前記デバイスが、前記デバイスの前記複数の可視カラー成分出力の1つに、第1の信号を生成するステップであって、前記第1の信号は前記取得される第1の可視カラー成分画像と前記取得される蛍光画像との組み合わせを表すステップと、
前記デバイスが、前記デバイスの前記複数の可視カラー成分出力のうち、前記複数の可視カラー成分出力の前記1つ以外の各々に第2の信号を生成するステップであって、前記第2の信号の各々は前記取得される第1の可視カラー成分画像を表すステップと、
ディスプレイデバイスが、前記第1の信号と、前記第2の信号の各々とを受け取るステップと、
前記ディスプレイデバイスが、前記取得される蛍光画像と合成されたモノクロ画像を表示するステップであって、前記取得される蛍光画像は前記モノクロ画像に対してハイライトされ、前記取得される蛍光画像と合成された前記モノクロ画像は前記受け取られた第1の信号と前記受け取られた第2の信号との組み合わせであるステップとを含む、
方法。 - 前記デバイスが、前記複数の可視カラー成分入力の第3の入力において、取得される第2の可視カラー成分画像を受け取るステップであって、前記取得される第2の可視カラー成分画像は、前記取得される第1の可視カラー成分画像及び前記取得される蛍光画像と同時にキャプチャされる、ステップをさらに含む、請求項11に記載の方法。
- 前記第2の信号の各々は、前記取得される第1の可視カラー成分画像と前記取得される第2の可視カラー成分画像との組み合わせであり、
前記第1の信号は、前記取得される第1の可視カラー成分画像と、前記取得される第2の可視カラー成分画像と、前記取得される蛍光画像との組み合わせである、
請求項12に記載の方法。 - 前記デバイスが、前記複数の可視カラー成分入力の第3の入力において、取得される第2の蛍光画像を受け取るステップをさらに含む、請求項11に記載の方法。
- 前記デバイスが、前記取得される第2の蛍光画像を、前記第1の可視カラー成分画像を表す前記第2の信号のうちの1つの第2の信号のみと合成するステップを含む、請求項14に記載の方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US36126010P | 2010-07-02 | 2010-07-02 | |
US61/361,260 | 2010-07-02 | ||
US12/855,864 | 2010-08-13 | ||
US12/855,864 US9211058B2 (en) | 2010-07-02 | 2010-08-13 | Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013518487A Division JP6073784B2 (ja) | 2010-07-02 | 2011-06-22 | 選択的照明スペクトルよりなる背景外科画像を有する蛍光画像化方法及びシステム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018072555A Division JP6605654B2 (ja) | 2010-07-02 | 2018-04-04 | 手術システム及び強調画像表示生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017104567A JP2017104567A (ja) | 2017-06-15 |
JP6321224B2 true JP6321224B2 (ja) | 2018-05-09 |
Family
ID=44514962
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013518487A Active JP6073784B2 (ja) | 2010-07-02 | 2011-06-22 | 選択的照明スペクトルよりなる背景外科画像を有する蛍光画像化方法及びシステム |
JP2017000698A Active JP6321224B2 (ja) | 2010-07-02 | 2017-01-05 | 手術システム及び強調画像表示生成方法 |
JP2018072555A Active JP6605654B2 (ja) | 2010-07-02 | 2018-04-04 | 手術システム及び強調画像表示生成方法 |
JP2019189434A Active JP7049302B2 (ja) | 2010-07-02 | 2019-10-16 | 手術システムの作動方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013518487A Active JP6073784B2 (ja) | 2010-07-02 | 2011-06-22 | 選択的照明スペクトルよりなる背景外科画像を有する蛍光画像化方法及びシステム |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018072555A Active JP6605654B2 (ja) | 2010-07-02 | 2018-04-04 | 手術システム及び強調画像表示生成方法 |
JP2019189434A Active JP7049302B2 (ja) | 2010-07-02 | 2019-10-16 | 手術システムの作動方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US9211058B2 (ja) |
EP (1) | EP2587988B1 (ja) |
JP (4) | JP6073784B2 (ja) |
KR (2) | KR101813909B1 (ja) |
CN (2) | CN105231976B (ja) |
WO (1) | WO2012003127A1 (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104939806B (zh) | 2008-05-20 | 2021-12-10 | 大学健康网络 | 用于基于荧光的成像和监测的装置和方法 |
US9211058B2 (en) * | 2010-07-02 | 2015-12-15 | Intuitive Surgical Operations, Inc. | Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra |
US10682198B2 (en) | 2010-07-02 | 2020-06-16 | Intuitive Surgical Operations, Inc. | Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra |
US9019345B2 (en) | 2010-07-02 | 2015-04-28 | Intuitive Surgical Operations, Inc. | Imaging mode blooming suppression |
EP4164338A1 (en) * | 2013-03-15 | 2023-04-12 | Stryker Corporation | Endoscopic light source and imaging system |
WO2015002311A1 (ja) * | 2013-07-05 | 2015-01-08 | オリンパスメディカルシステムズ株式会社 | 医療表示装置および内視鏡手術システム |
EP3119321A4 (en) * | 2014-03-17 | 2017-12-06 | Intuitive Surgical Operations, Inc. | Surgical system including a non-white light general illuminator |
CN106456276B (zh) * | 2014-03-17 | 2019-12-10 | 直观外科手术操作公司 | 用于组织接触检测和用于自动曝光和照明控制的***和方法 |
CN106102549B (zh) | 2014-03-17 | 2018-12-04 | 直观外科手术操作公司 | 用于控制成像器械定向的***和方法 |
EP3957232A1 (en) | 2014-07-24 | 2022-02-23 | University Health Network | Collection and analysis of data for diagnostic purposes |
CN106535805B (zh) | 2014-07-25 | 2019-06-18 | 柯惠Lp公司 | 用于机器人手术***的增强手术现实环境 |
WO2016014384A2 (en) | 2014-07-25 | 2016-01-28 | Covidien Lp | Augmented surgical reality environment |
WO2016061754A1 (zh) | 2014-10-22 | 2016-04-28 | 中国科学院自动化研究所 | 一种手持式分子影像导航*** |
CN104323858B (zh) * | 2014-10-22 | 2017-02-22 | 中国科学院自动化研究所 | 手持式分子影像导航*** |
CN108271345B (zh) * | 2015-11-05 | 2021-05-28 | 柯惠Lp公司 | 用于检测表面下的血液的***和方法 |
JP6461024B2 (ja) | 2016-02-05 | 2019-01-30 | 富士フイルム株式会社 | 画像位置合せ装置、方法およびプログラム |
EP3284396B1 (en) * | 2016-08-16 | 2020-02-12 | Leica Instruments (Singapore) Pte. Ltd. | Observation apparatus and method for visual enhancement of an observed object |
CN106377219A (zh) * | 2016-10-11 | 2017-02-08 | 重庆金山医疗器械有限公司 | 一种全彩黑白双镜头胶囊内窥镜及其工作*** |
US20200163538A1 (en) * | 2017-05-17 | 2020-05-28 | Sony Corporation | Image acquisition system, control apparatus, and image acquisition method |
KR102351542B1 (ko) * | 2017-06-23 | 2022-01-17 | 삼성전자주식회사 | 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치 |
JP2021006070A (ja) * | 2017-09-10 | 2021-01-21 | カイロス株式会社 | 内視鏡システム |
CN111818837B (zh) * | 2018-03-05 | 2023-12-08 | 奥林巴斯株式会社 | 内窥镜*** |
WO2019181212A1 (ja) * | 2018-03-23 | 2019-09-26 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用表示制御装置、および表示制御方法 |
DE102018110640B4 (de) | 2018-05-03 | 2020-01-23 | Carl Zeiss Meditec Ag | Verfahren und Mikroskop zum Abbilden eines Objekts |
US10524666B2 (en) | 2018-05-09 | 2020-01-07 | Inner Ray, Inc. | White excitation light generating device and white excitation light generating method |
US20200022657A1 (en) * | 2018-07-18 | 2020-01-23 | General Electric Company | Minimally invasive procedure analysis and review system and method |
JP7286948B2 (ja) * | 2018-11-07 | 2023-06-06 | ソニーグループ株式会社 | 医療用観察システム、信号処理装置及び医療用観察方法 |
BR112021013992A2 (pt) * | 2019-01-17 | 2021-09-21 | Moleculight Inc. | Sistema, método para operar e kit de imageamento manual, modular e portátil |
WO2020154351A1 (en) * | 2019-01-25 | 2020-07-30 | Intuitive Surgical Operations, Inc. | Augmented medical vision systems and methods |
US11442254B2 (en) | 2019-04-05 | 2022-09-13 | Inner Ray, Inc. | Augmented reality projection device |
US11284784B2 (en) | 2019-06-20 | 2022-03-29 | Cilag Gmbh International | Controlling integral energy of a laser pulse in a fluorescence imaging system |
JPWO2021186803A1 (ja) * | 2020-03-19 | 2021-09-23 | ||
WO2022056362A1 (en) * | 2020-09-11 | 2022-03-17 | Verily Life Sciences Llc | Image processing to compensate for scene lighting during surgical procedures |
JPWO2022195940A1 (ja) * | 2021-03-19 | 2022-09-22 |
Family Cites Families (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63242232A (ja) | 1987-03-31 | 1988-10-07 | 株式会社東芝 | 計測内視鏡装置 |
JP3020973B2 (ja) | 1989-12-29 | 2000-03-15 | キヤノン株式会社 | 画像処理方法 |
US5590660A (en) * | 1994-03-28 | 1997-01-07 | Xillix Technologies Corp. | Apparatus and method for imaging diseased tissue using integrated autofluorescence |
JP3962122B2 (ja) * | 1996-11-20 | 2007-08-22 | オリンパス株式会社 | 内視鏡装置 |
US6331181B1 (en) | 1998-12-08 | 2001-12-18 | Intuitive Surgical, Inc. | Surgical robotic tools, data architecture, and use |
DE19800312A1 (de) * | 1998-01-07 | 1999-07-08 | Wolf Gmbh Richard | Diagnosegerät zur bildgebenden Aufnahme fluoreszierender biologischer Gewebebereiche |
AU3349200A (en) * | 1999-01-26 | 2000-08-07 | Newton Laboratories, Inc. | Autofluorescence imaging system for endoscopy |
US6867851B2 (en) * | 1999-11-04 | 2005-03-15 | Regents Of The University Of Minnesota | Scanning of biological samples |
JP2001178672A (ja) | 1999-12-24 | 2001-07-03 | Fuji Photo Film Co Ltd | 蛍光画像表示装置 |
JP2002095663A (ja) * | 2000-09-26 | 2002-04-02 | Fuji Photo Film Co Ltd | センチネルリンパ節光断層画像取得方法および装置 |
JP2002102145A (ja) | 2000-09-28 | 2002-04-09 | Asahi Optical Co Ltd | 電子内視鏡システム |
JP4589514B2 (ja) * | 2000-10-11 | 2010-12-01 | Hoya株式会社 | 電子内視鏡システム |
US6826424B1 (en) * | 2000-12-19 | 2004-11-30 | Haishan Zeng | Methods and apparatus for fluorescence and reflectance imaging and spectroscopy and for contemporaneous measurements of electromagnetic radiation with multiple measuring devices |
JP4723109B2 (ja) * | 2001-04-03 | 2011-07-13 | 本田技研工業株式会社 | 太陽電池モジュールの製造方法および太陽電池モジュール製造用治具 |
US20060241496A1 (en) | 2002-01-15 | 2006-10-26 | Xillix Technologies Corp. | Filter for use with imaging endoscopes |
US6899675B2 (en) | 2002-01-15 | 2005-05-31 | Xillix Technologies Corp. | Fluorescence endoscopy video systems with no moving parts in the camera |
JP3869324B2 (ja) * | 2002-06-26 | 2007-01-17 | オリンパス株式会社 | 蛍光観察用画像処理装置 |
JP4217477B2 (ja) | 2002-12-27 | 2009-02-04 | Hoya株式会社 | 診断補助用装置 |
US7697975B2 (en) | 2003-06-03 | 2010-04-13 | British Colombia Cancer Agency | Methods and apparatus for fluorescence imaging using multiple excitation-emission pairs and simultaneous multi-channel image detection |
JP2005111080A (ja) * | 2003-10-09 | 2005-04-28 | Olympus Corp | 手術支援システム |
US20060013523A1 (en) | 2004-07-16 | 2006-01-19 | Luna Innovations Incorporated | Fiber optic position and shape sensing device and method relating thereto |
JP4610970B2 (ja) | 2004-09-07 | 2011-01-12 | オリンパス株式会社 | 着脱フィルタ装置および内視鏡装置 |
JP5197916B2 (ja) * | 2004-09-08 | 2013-05-15 | オリンパス株式会社 | 内視鏡装置 |
JP2006134056A (ja) | 2004-11-05 | 2006-05-25 | Hitachi Ltd | 情報表示装置 |
JP2006263044A (ja) | 2005-03-23 | 2006-10-05 | Fuji Photo Film Co Ltd | 蛍光検出システム |
JP5114024B2 (ja) | 2005-08-31 | 2013-01-09 | オリンパス株式会社 | 光イメージング装置 |
US9549663B2 (en) | 2006-06-13 | 2017-01-24 | Intuitive Surgical Operations, Inc. | Teleoperated surgical retractor system |
JP2008161550A (ja) | 2006-12-28 | 2008-07-17 | Olympus Corp | 内視鏡システム |
EP2254456A1 (en) | 2008-01-24 | 2010-12-01 | Lifeguard Surgical Systems | Common bile duct surgical imaging system |
US20090236541A1 (en) * | 2008-03-24 | 2009-09-24 | General Electric Company | System and Methods for Optical Imaging |
US8167793B2 (en) * | 2008-04-26 | 2012-05-01 | Intuitive Surgical Operations, Inc. | Augmented stereoscopic visualization for a surgical robot using time duplexing |
JP5081720B2 (ja) * | 2008-05-22 | 2012-11-28 | 富士フイルム株式会社 | 蛍光内視鏡装置および励起光ユニット |
JP5216429B2 (ja) | 2008-06-13 | 2013-06-19 | 富士フイルム株式会社 | 光源装置および内視鏡装置 |
JP2010082141A (ja) | 2008-09-30 | 2010-04-15 | Fujinon Corp | 電子内視鏡装置 |
JP2010082041A (ja) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | 電子内視鏡システム |
JP5246698B2 (ja) * | 2008-12-09 | 2013-07-24 | 富士フイルム株式会社 | 撮像装置 |
DE102008062650B9 (de) | 2008-12-17 | 2021-10-28 | Carl Zeiss Meditec Ag | Operationsmikroskop zur Beobachtung einer Infrarot-Fluoreszenz und Verfahren hierzu |
CN106137138A (zh) * | 2009-01-07 | 2016-11-23 | 基文影像公司 | 用于检测体内病变的装置和方法 |
WO2011135992A1 (ja) * | 2010-04-28 | 2011-11-03 | オリンパス株式会社 | 画像処理装置および蛍光観察装置 |
US9211058B2 (en) | 2010-07-02 | 2015-12-15 | Intuitive Surgical Operations, Inc. | Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra |
-
2010
- 2010-08-13 US US12/855,864 patent/US9211058B2/en active Active
-
2011
- 2011-06-22 JP JP2013518487A patent/JP6073784B2/ja active Active
- 2011-06-22 KR KR1020127023355A patent/KR101813909B1/ko active IP Right Grant
- 2011-06-22 CN CN201510505335.3A patent/CN105231976B/zh active Active
- 2011-06-22 WO PCT/US2011/041479 patent/WO2012003127A1/en active Application Filing
- 2011-06-22 KR KR1020177037088A patent/KR101913622B1/ko active IP Right Grant
- 2011-06-22 CN CN201180030716.0A patent/CN102958426B/zh active Active
- 2011-06-22 EP EP11729849.7A patent/EP2587988B1/en active Active
-
2015
- 2015-12-08 US US14/962,865 patent/US20160089013A1/en not_active Abandoned
-
2017
- 2017-01-05 JP JP2017000698A patent/JP6321224B2/ja active Active
-
2018
- 2018-04-04 JP JP2018072555A patent/JP6605654B2/ja active Active
-
2019
- 2019-10-16 JP JP2019189434A patent/JP7049302B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
KR20130097058A (ko) | 2013-09-02 |
JP6073784B2 (ja) | 2017-02-01 |
KR101813909B1 (ko) | 2018-01-30 |
JP7049302B2 (ja) | 2022-04-06 |
JP2018140186A (ja) | 2018-09-13 |
CN105231976B (zh) | 2017-04-26 |
JP6605654B2 (ja) | 2019-11-13 |
JP2017104567A (ja) | 2017-06-15 |
JP2020006244A (ja) | 2020-01-16 |
EP2587988B1 (en) | 2014-11-12 |
WO2012003127A1 (en) | 2012-01-05 |
EP2587988A1 (en) | 2013-05-08 |
US20160089013A1 (en) | 2016-03-31 |
CN102958426B (zh) | 2015-09-16 |
CN102958426A (zh) | 2013-03-06 |
US9211058B2 (en) | 2015-12-15 |
KR20180004287A (ko) | 2018-01-10 |
US20120004557A1 (en) | 2012-01-05 |
CN105231976A (zh) | 2016-01-13 |
KR101913622B1 (ko) | 2018-11-01 |
JP2013531538A (ja) | 2013-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6605654B2 (ja) | 手術システム及び強調画像表示生成方法 | |
US11381759B2 (en) | Multi-function imaging | |
US11717375B2 (en) | Methods and systems for alternate image display | |
KR101580117B1 (ko) | 수술 로봇용 확대 입체 가시영상 | |
KR20200019779A (ko) | 수술기기 내의 이미지 캡쳐 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171003 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180306 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6321224 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |