CN101437437B - 用于对物体内部三维成像的成像*** - Google Patents

用于对物体内部三维成像的成像*** Download PDF

Info

Publication number
CN101437437B
CN101437437B CN2007800164847A CN200780016484A CN101437437B CN 101437437 B CN101437437 B CN 101437437B CN 2007800164847 A CN2007800164847 A CN 2007800164847A CN 200780016484 A CN200780016484 A CN 200780016484A CN 101437437 B CN101437437 B CN 101437437B
Authority
CN
China
Prior art keywords
optical fiber
light intensity
intensity distributions
situation
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007800164847A
Other languages
English (en)
Other versions
CN101437437A (zh
Inventor
J·F·苏伊吉维尔
B·H·W·亨德里克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101437437A publication Critical patent/CN101437437A/zh
Application granted granted Critical
Publication of CN101437437B publication Critical patent/CN101437437B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/04—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres
    • G02B6/06—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00165—Optical arrangements with light-conductive means, e.g. fibre optics
    • A61B1/00167—Details of optical fibre bundles, e.g. shape or fibre distribution
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0005—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being of the fibre type
    • G02B6/0008—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being of the fibre type the light being emitted at the end of the fibre
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/04—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种用于对物体的内部进行三维成像的成像***和方法。所述成像***包括照明装置(10)、检测装置(11)和重构装置。所述照明装置适于用光照射所述物体的内部，其中所述照明装置(10)能够在物体的内部产生不同的空间光强度分布。所述检测装置(11)适于检测所述不同的空间光强度分布，以及所述重构装置适于从所检测到的不同的空间光强度分布重构三维图像。本发明进一步涉及包含转换机构的光纤***，所述转换机构用于将所述光纤***从光纤彼此分开的第一种情况转换到光纤彼此平行的第二种情况，反之亦然。

Description

用于对物体内部三维成像的成像***
技术领域
本发明涉及用于对物体内部进行三维成像的成像***。本发明进一步涉及在该成像***中使用的光纤***，并且涉及用于对物体内部进行三维成像的方法。
背景技术
具体而言，在微创外科领域，向外科医生提供待治疗的物体，例如膀胱的内部的高质量图像以确保手术器械在物体内精确地推进和使用是非常重要的。
已知在外科手术期间，物体内部的图像通过光纤从内窥镜的顶端传送到监视器上，外科医生可以在监视器上观察物体的内部。但是这种图像只是二维图像，其没有包含深度信息，而深度信息对于手术器械在物体内精确推进和使用而言非常重要。
US 6,066,090公开了一种支路内窥镜***，其中内窥镜的每个支路适于获取物体内部的图像并将其传送给监视器，外科医生可以在监视器上同时观看不同支路的图像。使用这种支路内窥镜***，也仅仅显示二维图像，而无法提供物体内部的深度信息。
US 5,577,991公开了一种具有两个照相机的内窥镜。基于来自两个图像的视差差数来创建图像的三维重构。这种内窥镜提供了深度信息，但是其庞大的体积限制了对物体内部进行成像的有效性。
发明内容
因此本发明的目的是提供一种成像***，其能够提供物体内部的深度信息并且小于已知的用于物体内部成像的成像***。
该目的通过一种用于对物体的内部进行三维成像的成像***来实现，所述成像***包括：
-照明装置，适于用光来照射所述物体的所述内部，其中所述照明装置能够在所述物体的所述内部产生不同的空间光强度分布，
-检测装置，适于检测所述不同的空间光强度分布，
-重构装置，适于通过阴影恢复形状算法来从所检测到的不同的空间光强度分布重构三维图像，
其中所述照明装置包括至少一个光纤和一个光源，其中所述检测装置包括至少一个光纤和一个检测器，并且其中所述光纤设置在内窥镜的外套内，以将光从所述光源传送到所述物体的内部并且将从所述内部反射的光传送到所述检测器。
根据本发明的成像***能够在所述物体的所述内部产生不同的空间光强度分布。产生不同的空间光强度分布能够由照明装置例如通过沿不同方向照射所述物体的所述内部来执行。并且，根据本发明的照明装置能够构造得小于对物体的内部进行成像并且提供深度信息的已知的成像***。
优选地，所述检测装置包括单个检测器和/或单个收集器。根据本发明，所述单个检测器可以是位于内窥镜顶端的照相机。此外，所述单个收集器可以是光纤束，该光纤束位于内窥镜中并与检测器连接，从而使得所述检测器装置的光纤束收集物体内部的光并将其传送给检测器。仅使用一个检测器和/或仅使用一个收集器，例如，仅使用内窥镜顶端的一个照相机或者仅使用一个光纤束将使得根据本发明的成像***实现小型化。因此，与已知的成像***相比，将方便***内窥镜并在物体的内部使用。
所述重构装置适于通过阴影恢复形状(shape-from-shading)算法来从所检测到的不同的空间光强度分布重构三维图像。通过阴影恢复形状算法能够从所检测到的光重构高质量的三维图像。
更优选地，所述照明装置适于从不同方向照射所述物体的内部以在所述物体的内部产生不同的空间光强度分布。更优选地，所述照明装置适于从不同方向照射所述物体的内部以在所述物体的内部产生不同的空间光强度分布，其中不同的空间光强度分布仅由一个检测器和/或一个收集器来收集。
这种配置的优点在于，所述物体的内部能够容易以不同的空间光强度分布照射。并且，使用这种配置，从物体的内部反射的光的不同的光强度分布能够被检测到包含不同的阴影图案，这些阴影图案可以用来通过阴影恢复形状算法有效地重构三维图像。
在一个实施例中，所述照明装置包括一个照明器，其可移动地从不同方向照射所述物体的内部以在所述物体的内部产生不同的空间光强度分布。具体而言，该一个照明器可相对检测装置而移动。照明器优选是光纤或光纤束的端部。因为在该实施例中仅使用了一个照明器，所以所述成像***被进一步小型化，从而方便***内窥镜中以及***物体的内部。
在另一实施例中，所述照明装置包括若干个照明器来从不同方向照射所述物体的内部，以在所述物体的内部产生不同的空间光强度分布。利用这种配置，可以容易地在物体的内部产生不同的空间光强度分布。
在一个实施例中，这些照明器是可移动的。这增加了能够照射物体内部的方向的数目。
在一个实施例中，如果照明装置包括若干个照明器，并且检测装置包括若干个收集器和/或检测器，则每个照明器和/或收集器和/或检测器可以单独寻址以能够在所述物体的内部产生不同的空间光强度分布并且能够检测从所述物体的内部反射的不同的空间光强度分布。
所述照明装置包括至少一个光纤和一个光源，其中所述检测装置包括至少一个光纤和一个检测器，并且其中所述光纤设置在内窥镜的外套内，以将光从所述光源传送到所述物体的内部并且将从内部反射的光传送到所述检测器。对光纤、光源和检测器的使用提供了一种容易组装的简单的成像***配置。
优选地，所述照明装置包括若干个光纤，其适于从不同方向照射所述物体的内部以在所述物体的内部产生不同的空间光强度分布。通过使用这种照明，能够容易地在物体的内部产生不同的空间光强度分布。
更优选地，所述检测装置仅包括一个光纤或一个光纤束，用于收集来自所述照明装置的若干个光纤的光，以检测从物体的内部反射的不同的空间光强度分布。通过使用这种配置，还能够容易地检测到从物体的内部反射的不同的空间光强度分布。并且，利用这种配置获取的所检测的不同的光强度分布能够用来通过阴影恢复形状算法来以低计算强度重构三维图像。
更优选地，所述照明装置包括一个照明器，所述照明器包括光源和光纤或光纤束，其中所述光纤或光纤束可移动来从不同方向照射所述物体的内部以在所述物体的内部产生不同的空间光强度分布。具体而言，所述照明器的光纤或光纤束可相对于所述检测装置的所述至少一个光纤而移动。更优选地，所述检测器装置仅包括用于收集从所述物体的内部反射的不同的空间光强度分布的一个光纤或一个光纤束，以及用于照射所述物体的内部的一个光纤或一个光纤束，其中用于照射所述物体的内部的一个光纤或一个光纤束可以相对于用于检测不同的空间光强度分布的一个光纤或一个光纤束而移动。由于仅使用一个照明器，所以成像***的结构变得更加简单。
优选地，所述照明装置和所述检测装置的光纤位于相同外套内。所述外套优选为内窥镜的外套。所述外套可为刚性或柔性的。这减少了必须使用的外套的数目，其中简化了将外套***物体，例如，***膀胱，并且降低了外套所占用的空间，从而方便了外套的移动和操作以及例如进一步方便了物体内的手术器械的移动和操作。
能够设置所述照明装置和检测装置的光纤以在物体的内部产生不同的空间光强度分布，并且检测从物体的内部反射的光。如以上已经说明的，利用这种设置获取的所检测的不同的空间光强度分布能够用来通过阴影恢复形状算法来以低计算强度重构三维图像。使用光纤来进行这种获取使得所述成像***能够具有紧凑并且节省空间的结构。
所述成像***可以包括光纤***，所述光纤***包括所述照明装置和/或所述检测装置的光纤束，并且i)在第一种情况下，设置所述光纤使得所述光纤中至少两个光纤在所述束的端部彼此分开，以及ii)在第二种情况下，设置所述光纤使得所述光纤在所述束的所述端部彼此平行，其中所述光纤***包括转换机构，其适于将所述光纤***从所述第一种情况和第二种情况中的一种转换到所述第一种情况和第二种情况中的另一种。如果所述光纤***处于所述光纤彼此平行的第二种情况下，则所述光纤***能够容易地***例如内窥镜中，从而方便所述成像***的组装，并且具有所述光纤***的成像***能够容易地***物体的内部。在所述光纤***已经***例如内窥镜中之后和/或所述成像***已经***物体的内部之后，所述光纤***能够转换到第一种情况，在第一种情况下，由于至少两个光纤在所述束的端部彼此分开，所以至少两个光纤从不同方向照射物体的内部，即，在物体的内部产生不同的空间光强度分布。检测到从物体的内部反射的不同的空间光强度分布。因此，能够从第一种情况转换到第二种情况并且反之亦然的这种可行性使得能够简化***物体的内部以及从物体的内部取出，并且方便所述成像***的组装。
优选地，所述转换机构适于在所述束的所述端部展开所述光纤以将所述光纤***从所述第二种情况转换到所述第一种情况。展开过程使得能够有效地将光纤***从第二种情况转换为第一种情况。
所述转换机构还可适于在所述束的所述端部收拢所述光纤以将所述光纤***从所述第一种情况转换到所述第二种情况。收拢过程使得能够有效地将光纤***从第一种情况转换为第二种情况。
更优选地，所述照明装置和所述检测装置的光纤设置为一束，其中所述检测装置的所述至少一个光纤位于所述束的中心，并且其中所述照明装置的所述光纤围绕所述检测装置的所述至少一个光纤。
通过使用这种配置，可获取不同的空间光强度分布，其中所述不同的空间光强度分布适于稳定重构算法并且提高重构的准确性。
所述照明装置和/或所述检测装置的每个光纤能够单独寻址以能够获得物体内部的不同的预定和/或预选的空间光强度分布。
优选地，所述照明装置和所述检测装置适于获取不同的空间光强度分布。具体而言，这意味着，照明方向和/或收集方向对于从不同方向依次获取的不同的空间光强度分布来说是不同的。由于通过使用这种配置，照明和收集方向对于每个不同的空间光强度分布来说是已知的，则能够容易地向可用于重构三维图像的每个空间光强度分布分配一个方向。
本发明的另一个目的是提供一种光纤***，其能够容易地***例如内窥镜中以组装根据本发明的成像***，并且配备有所述光纤***的成像***能够容易地***物体，例如膀胱的内部。
该目的由具体而言用于根据本发明的对物体内部进行三维成像的成像***的光纤***来实现，其中所述光纤***包括光纤束，并且i)在第一种情况下，设置所述光纤使得所述光纤中的至少两个光纤在所述束的端部彼此分开，以及ii)在第二种情况下，设置所述光纤使得所述光纤在所述束的所述端部彼此平行，其中所述光纤***包括转换机构，该转换机构适于将所述光纤***从所述第一种情况和第二种情况中的一种转换到所述第一种情况和第二种情况中的另一种。如以上已经说明的，这种光纤***能够容易地***到例如内窥镜中，从而方便用于三维成像的成像***的组装。并且，包含这种光纤***的内窥镜能够在第二种情况下容易地***物体的内部，其中，在完成***之后，所述光纤***能够转换到第一种情况，从而能够沿不同方向照射物体的内部和/或收集从物体的内部反射和/或散射的光。
优选地，所述转换机构适于在所述束的所述端部展开所述光纤以将所述光纤***从所述第二种情况转换到所述第一种情况。展开过程能够有效地将光纤***从第二种情况转换为第一种情况。
所述转换机构还可适于在所述束的所述端部收拢所述光纤以将所述光纤***从所述第一种情况转换到所述第二种情况。收拢过程能够有效地将光纤***从第一种情况转换为第二种情况。
本发明的又一个目的是提供一种成像方法，其能够提供物体内部的深度信息并且能够使用比已知的成像***更小的、用于对物体的内部进行三维成像的成像***来执行。
该目的是由一种用于对物体的内部进行三维成像的方法实现的，所述方法包括下列步骤：
-通过照明装置利用光照亮所述物体的内部，其中在所述物体的内部产生不同的空间光强度分布，
-通过检测装置检测所述不同的空间光强度分布，
-通过重构装置由阴影恢复形状算法来从所检测到的不同的空间光强度分布重构三维图像，其中所述照明装置包括至少一个光纤和一个光源，其中所述检测装置包括至少一个光纤和一个检测器，并且其中所述光纤设置在内窥镜的外套内，其中光通过所述至少一个光纤从所述光源传送到所述物体的内部并且其中从所述内部反射的光通过所述至少一个光纤传送到所述检测器。
也就是说，在物体的内部产生不同的空间光强度分布，例如，照明装置能够包括从不同方向照射物体的内部的至少两个照明光纤束。
如上所述，这种方法能够容易地利用照明装置来执行。此外，根据本发明的所述方法所需的成像***能够构造得小于对物体的内部进行成像并且提供深度信息的已知的成像***。
优选地，在物体的内部依次产生不同的空间光强度分布。具体而言，这意味着，照明方向和/或收集方向依次改变。由于照明和收集方向，即，获取方向，对于每个检测到的空间光强度分布来说是已知的，所以能够容易地向每个检测到的用于重构三维图像的空间光强度分布分配一个方向。
更优选地，所述光由单个检测器检测和/或由单个收集器收集。如以上已经说明的，由于仅需要单个检测器和/或收集器，所以能够降低成像***的尺寸，从而方便成像******外套以及***物体的内部。
通过阴影恢复形状算法来从所检测到的不同的空间光强度分布重构三维图像。通过使用阴影恢复形状算法，能够重构高质量的三维图像。
附图说明
下面将针对说明性实施例结合附图对本发明进行说明，其中：
图1示意性地示出了根据本发明的用于对物体的内部进行三维成像的成像***的实施例；
图2示出了在包含第一种情况下的根据本发明的光纤***的图1的实施例的内窥镜的顶端；
图3示出了第二种情况下的光纤***；
图4示出了用于对物体的内部进行三维成像的方法的流程图；以及
图5示意性地示出了根据本发明的成像***的另一实施例。
具体实施方式
图1示意性地示出了对物体的内部进行三维成像的成像***1。成像***1包括内窥镜2，该内窥镜2***在人体14中，例如***在膀胱中。内窥镜2连接到操作单元3，操作单元3包括光源4和检测器5。
光源4优选发射可见光范围内的光。光源4的光耦合到至少一个照明光纤束10中。在该实施例中，光源4的光耦合到若干个照明光纤束10中，其如图2中所示，并且其围绕中心的收集光纤束11。
每个光纤束10、11包含若干个光纤。在根据本发明的另一实施例中，可以分别使用直径与光纤束的直径相对应的光纤来代替光纤束10、11，例如，由若干个照明光纤围绕的一个收集光纤。在根据本发明的另一实施例中，成像***包括若干个照明光纤，其围绕着一个收集光纤束。光纤束例如包括10.000个单光纤。
光源4的光通过照明光纤束10传送到待成像的物体14的内部。从物体的内部反射的光由收集光纤束11收集，其中由于物体14的内部被照明光纤束10从不同方向照射，所以在物体的内部产生不同的空间光强度分布。所检测到的光通过收集光纤束11传送到检测器5。检测器5优选是CCD照相机，其将所检测到的不同的空间光强度分布转换为电信号。这些电信号，即，不同的空间光强度分布被传送到重构装置6，在本实施例中重构装置6是重构计算机。重构计算机适于根据不同的空间光强度分布重构物体14的内部的三维图像。通过从不同方向对物体的内部进行照射并检测从物体的内部反射的光来产生不同的空间光强度分布，以及根据不同的空间光强度分布进行三维图像重构，例如从“Shape from shading：A Survey”(Ruo Zhang，Ping-Sing Tsai，James Edwin Cryer和Mubarak Shah，IEEE Transactions onPattern Analysis and Machine Intelligence，Vol.21，No.8，1999年8月，pp.690-706)中可知。
重构装置6连接到监视器7，监视器7显示所重构的物体14的内部的三维图像。可以使用例如可为外科医生产生三维感觉的立体眼镜或显示器来代替监视器7。
操作单元3和重构装置6连接到控制单元8，控制单元8优选是控制计算机，并且其控制操作单元3和重构装置6。
图2示出了在第一种情况下的包含若干个照明光纤束10和一个收集光纤束11的光学***9，其中在第一种情况下，光纤束从光纤束10、11所***的外套2的外部的位置开始彼此分开。光纤束10、11***到内窥镜2的光学******孔12中。内窥镜2还包括***孔15，手术器械可以位于***孔15中，以保证外科医生能够在手术过程期间重构并查看物体14的内部的三维图像。
在另一实施例中，可以将光纤或光纤束***一个***孔15中，以收集来自物体的内部的光，从而收集来自物体的内部的不同的空间强度分布。在该实施例中，光纤束10、11的所有或一部分连接到光源4以沿不同方向照射物体的内部。
图2示出了已经***物体14中的内窥镜2和光学***9的端部。在图2中，示出了第二种情况下的光纤***9，其在成像过程期间使用。由于照明光纤束10彼此分开，所以它们沿不同方向照射物体14的内部，并因此，收集光纤束11从不同方向收集反射的光。因此，通过使用第一种情况下的光纤***9，每个照明光纤束沿不同方向照射物体的内部，其中每个照明光纤在物体的内部产生另一空间光强度分布。
图3示出了已经***到物体中的第一种情况下的光纤***9的端部，其中照明光纤束10和收集光纤束11彼此平行设置。光纤***9的第一种情况用于将光纤***9***内窥镜2中以组装内窥镜2和光纤***9。因此，通过使用光纤***9的第一种情况，可以方便成像***1的组装。此外，在将已组装的成像******物体14中时，光纤***9包括第一种情况来方便将内窥镜2***物体14中。
光纤***9还包括转换机构13，其适于通过展开将光纤***从第二种情况转换到第一种情况，以及通过收拢将光纤***9从第一种情况转换到第二种情况，其中展开和收拢过程与雨伞的类似。
优选使用从所谓的网篮导管(basket catheter)所知的转换机构。这种转换机构例如在US 20060009690 A1中公开。
成像***1，例如光源4和照明光纤束10之间的耦合适于能够分别定位不同的照明光纤束。尤其是，光源4，光源和照明光纤束10之间的耦合适于使得照明光纤束10依次照射物体14的内部，即，使得在物体的内部依次产生不同的空间光强度分布。
接下来，将参照图4描述用于对物体的内部进行三维成像的方法。
从步骤101开始之后，光纤***9转换到第二种情况，在第二种情况下光纤束10、11彼此平行。在这种情况下，光纤***9***内窥镜2的光学******孔12中。如果光纤***9已经位于内窥镜2中，则可以省略将光纤***9***内窥镜的步骤。
在步骤103中，将包含第二种情况下的光纤***9的内窥镜2***物体14中，并且推进到应该重构物体14的内部的三维图像的位置处。
在内窥镜2的端部到达希望的位置之后，在步骤104，已经***物体14中的光纤***9的端部由转换机构13展开，即，光纤***9从第二种情况转换到第一种情况。
在步骤105中，照明光纤束10依次照射物体14的内部，并且从物体14的内部反射的光被收集光纤束11收集。这样，在物体的内部，依次产生不同的空间光强度分布并且获得所反射的不同的空间光强度分布。由收集光纤束11收集的不同的空间光强度分布被传送到检测器5，在该实施例中检测器5是CCD照相机，并且其将包含所述空间光强度分布的光信号转换为电信号。所述电信号，即，所述空间光强度分布，从检测器5传送到重构装置6，在该实施例中重构装置6是重构计算机6.
在步骤106中，通过重构算法将所获取的空间光强度分布重构为物体14的内部的三维图像，所述重构算法例如可从上述引用的参考文献中了解。优选地，通过阴影恢复形状算法来从空间光强度分布重构三维图像。
在步骤107中，所重构的三维图像显示在监视器7上，外科医生例如可以在监视器7上查看物体14的内部的三维图像。
在步骤108中，必须决定是否继续获取、重构和查看的步骤。这种决定可以由外科医生或由预定准则做出。预定准则可以是：重复步骤105、106和107，直到同时进行的手术过程结束。
如果在步骤108中已经决定应停止获取、重构和查看，则在步骤109中，控制单元8停止这些处理并且光纤***9的端部收拢到光纤束彼此平行的第二种情况，即，光纤***9从第一种情况转换到第二种情况。此后，在步骤110中，将包含第二种情况下的光纤***9的成像***1的内窥镜2从人体14中取出，并且在步骤111中，结束对物体的内部进行三维成像的方法。
通过执行上述用于对物体的内部进行三维成像的方法，可实时地显示物体内部的三维图像。
根据本发明，光纤***可以***到内窥镜的外套中，例如，柔性或刚性的外套，其中所述外套可以仅包含光纤***，或者所述外套可以包含光纤***以及附加器械，例如，附加的手术器械。
可以使用单个光纤来代替光纤束。例如，可以使用一个收集光纤和若干个照明光纤，其与上述使用一个收集光纤束和若干个照明光纤束的情况类似地操作。
上述照明光纤束或照明光纤，以及上述收集光纤束或收集光纤可以根据本发明来使用，只要它们适于在物体的内部产生不同的空间光强度分布并且获取从物体的内部反射的不同的空间光强度分布。
优选地，控制单元8适于根据图4的成像方法的步骤104至109来控制成像***。为了决定获取、重构和查看是否应该停止，控制单元优选连接到另一个手术器械的控制单元，其中如果所述成像***的控制单元从所述手术器械的控制单元接收到指示手术过程已经停止的信号，则其决定停止获取、重构和查看。
图5示出了根据本发明的成像***的另一实施例的内窥镜202的端部。在该实施例中，照明装置包括若干个照明光纤或照明光纤束210，其例如位于内窥镜的外套202内，并且适于从不同方向照射物体的内部以在物体的内部产生不同的空间光强度分布。在该实施例中检测装置包括收集光纤束215，其也位于外套202内并且适于将所收集的光传送到检测器，例如CCD照相机。除了收集光纤束215之外，或者代替收集光纤束215，检测装置可以包括直接位于外套202的顶端上，例如，位于内窥镜的顶端上的照相机。
在根据本发明的一个实施例中，还可以使用两个或多个检测器和/或收集器，以及同时使用两个或多个照明装置以在物体的内部产生不同的空间光强度分布并且获取从物体的内部反射的不同的空间光强度分布。
在本发明的另一实施例中，所述成像***包括至少两个内窥镜，其中至少一个内窥镜包括所述照明装置，并且其中至少另一个内窥镜包括至少一个检测器和/或收集器。

Claims (5)

1.一种用于对物体(14)的内部进行三维成像的成像***，包括：
-照明装置(4，10)，适于用光来照射所述物体(14)的内部，其中所述照明装置(4，10)能够在所述物体(14)的内部产生不同的空间光强度分布，
-检测装置(5，11)，适于检测所述不同的空间光强度分布，
-重构装置(6)，适于通过阴影恢复形状算法来从所检测到的不同的空间光强度分布重构三维图像，
其中所述照明装置(4，10)包括多个光纤(10)和一个光源(4)，所述多个光纤(10)适于从不同方向照射所述物体(14)的内部以在所述物体(14)的内部产生不同的空间光强度分布，其中所述检测装置包括至少一个光纤(11)和一个检测器(5)，并且其中所述光纤(10，11)设置在内窥镜的外套(2，202)内，以将光从所述光源(4)传送到所述物体(14)的内部并且将从所述内部反射的光经由所述至少一个光纤(11)传送到所述检测器(5)；
其中所述照明装置和所述检测装置的光纤(10，11)设置为一束，其中所述检测装置的所述至少一个光纤(11)位于所述束的中心，并且其中所述照明装置的所述多个光纤(10)围绕所述检测装置的所述至少一个光纤(11)；并且
所述照明装置和所述检测装置的光纤(10，11)设置为在以下情况之间转换：i)第一种情况下，设置所述光纤(10，11)，使得所述多个光纤(10)中的至少两个光纤在所述束的端部彼此分开，以及ii)第二种情况下，设置所述光纤(10，11)，使得所述光纤在所述束的所述端部彼此平行。
2.如权利要求1所述的成像***，其中所述检测装置(5，11)包括单个检测器(5)和/或单个收集器(11)。
3.如权利要求1所述的成像***，其中所述照明装置包括一个照明器，所述一个照明器包括光源(4)、光纤或光纤束，其中所述光纤或光纤束可移动来从不同方向照射所述物体(14)的内部，以在所述物体(14)的内部产生不同的空间光强度分布。
4.如权利要求1所述的成像***，其中所述照明装置和所述检测装置的光纤位于相同的外套(2，202)内，具体是位于一个内窥镜的外套(2，202)内。
5.如权利要求1所述的成像***，其中所述成像***(1)包括转换机构(13)，所述转换机构适于执行所述第一种情况与所述第二种情况之间的转换。
CN2007800164847A 2006-05-09 2007-05-02 用于对物体内部三维成像的成像*** Expired - Fee Related CN101437437B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06113712 2006-05-09
EP06113712.1 2006-05-09
PCT/IB2007/051631 WO2007132378A2 (en) 2006-05-09 2007-05-02 Imaging system for three-dimensional imaging of the interior of an object

Publications (2)

Publication Number Publication Date
CN101437437A CN101437437A (zh) 2009-05-20
CN101437437B true CN101437437B (zh) 2012-01-11

Family

ID=38510409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800164847A Expired - Fee Related CN101437437B (zh) 2006-05-09 2007-05-02 用于对物体内部三维成像的成像***

Country Status (5)

Country Link
US (2) US9176276B2 (zh)
EP (1) EP2020897B1 (zh)
JP (1) JP5398524B2 (zh)
CN (1) CN101437437B (zh)
WO (1) WO2007132378A2 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010009884A1 (de) * 2010-03-02 2011-09-08 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren und Einrichtung zum Erfassen von Information über die dreidimensionale Struktur der Innenoberfläche eines Körperhohlraums
US9835564B2 (en) * 2012-06-08 2017-12-05 SeeScan, Inc. Multi-camera pipe inspection apparatus, systems and methods
CN103006170B (zh) * 2012-12-16 2014-08-13 天津大学 一种医用内窥镜三维成像装置
CN103006168A (zh) * 2012-12-29 2013-04-03 上海乾衡生物科技有限公司 集束光纤快速成像装置
DE102013012609B4 (de) * 2013-07-26 2024-06-27 Carl Zeiss Microscopy Gmbh Optoelektronischer Detektor, insbesondere für hochauflösende Lichtrastermikroskope und Lichtrastermikroskop
CN104796631A (zh) * 2014-01-16 2015-07-22 宝山钢铁股份有限公司 一种曲面展开成像装置及方法
EP3107440B1 (en) * 2014-02-20 2022-04-06 Steris Instrument Management Services, Inc. Endoscope illumination system and method for shadow creation and improved depth perception and edge detection
JP6454489B2 (ja) * 2014-07-10 2019-01-16 オリンパス株式会社 観察システム
DE102014118753A1 (de) * 2014-10-01 2016-04-07 Jenoptik Industrial Metrology Germany Gmbh Prüfvorrichtung
DE102015010225B4 (de) 2015-08-12 2017-09-21 Jenoptik Industrial Metrology Germany Gmbh Bohrungsinspektionsvorrichtung
JP6600442B2 (ja) * 2015-08-13 2019-10-30 承▲イン▼生醫股▲フン▼有限公司 陰影からの形状復元法を使用する単眼内視鏡立体視システムおよびその方法
DE102016113400B4 (de) 2015-08-19 2023-11-30 Jenoptik Industrial Metrology Germany Gmbh Bohrungsinspektionsvorrichtung und Bohrungsinspektionsverfahren
CN105608734B (zh) * 2015-12-23 2018-12-14 王娟 一种应用三维图像信息采集装置的图像重建方法
US10872418B2 (en) * 2016-10-11 2020-12-22 Kabushiki Kaisha Toshiba Edge detection device, an edge detection method, and an object holding device
DE102017111819B4 (de) 2017-05-30 2021-07-22 Jenoptik Industrial Metrology Germany Gmbh Bohrungsinspektionsvorrichtung
WO2018229834A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229832A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229831A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229833A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2019234831A1 (ja) 2018-06-05 2019-12-12 オリンパス株式会社 内視鏡システム
JP7118147B2 (ja) 2018-06-05 2022-08-15 オリンパス株式会社 内視鏡システム
WO2021026148A1 (en) * 2019-08-05 2021-02-11 Gyrus Acmi, Inc. D/B/A Olympus Surgical Technologies America Optical fiber assembly
CN111331574A (zh) * 2020-03-18 2020-06-26 深圳市创真视界科技有限公司 一种基于机械臂的静态物体三维重构数据采集***
US11997248B2 (en) 2020-12-18 2024-05-28 Yoed Abraham Fiber-optic 3D imaging
US11162783B1 (en) 2020-12-18 2021-11-02 Yoed Abraham Fiber-optic 3D imaging
US11901203B2 (en) 2021-06-10 2024-02-13 Applied Materials, Inc. Substrate process endpoint detection using machine learning
US11965798B2 (en) * 2021-06-10 2024-04-23 Applied Materials, Inc. Endpoint detection system for enhanced spectral data collection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4656508A (en) * 1984-06-08 1987-04-07 Olympus Optical Co., Ltd. Measuring endoscope
US4924853A (en) * 1989-05-22 1990-05-15 Medical Dimensions, Inc. Stereoscopic medical viewing device
US5305759A (en) * 1990-09-26 1994-04-26 Olympus Optical Co., Ltd. Examined body interior information observing apparatus by using photo-pulses controlling gains for depths
CN1326557A (zh) * 1998-09-15 2001-12-12 巴黎公共救济院 具有高观察质量的体内观察设备
EP1371321A1 (en) * 2002-06-14 2003-12-17 Fuji Photo Optical Co., Ltd. Electronic endoscope for stereoscopic endoscopy

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63242233A (ja) 1987-03-31 1988-10-07 株式会社東芝 電子内視鏡装置
US4938205A (en) 1988-05-27 1990-07-03 The University Of Connecticut Endoscope with traced raster and elemental photodetectors
US5200838A (en) 1988-05-27 1993-04-06 The University Of Connecticut Lateral effect imaging system
US6485413B1 (en) * 1991-04-29 2002-11-26 The General Hospital Corporation Methods and apparatus for forward-directed optical scanning instruments
US5436655A (en) * 1991-08-09 1995-07-25 Olympus Optical Co., Ltd. Endoscope apparatus for three dimensional measurement for scanning spot light to execute three dimensional measurement
JP3347385B2 (ja) 1992-03-27 2002-11-20 オリンパス光学工業株式会社 内視鏡画像処理装置
US5575751A (en) * 1992-05-14 1996-11-19 The United States Of America As Represented By The Department Of Health And Human Services Device for measuring incident light in a body cavity
JP3257640B2 (ja) 1992-06-09 2002-02-18 オリンパス光学工業株式会社 立体視内視鏡装置
US5716324A (en) * 1992-08-25 1998-02-10 Fuji Photo Film Co., Ltd. Endoscope with surface and deep portion imaging systems
USRE36434E (en) * 1993-11-05 1999-12-07 Hamlin; David Endoscopic device
JPH1043127A (ja) 1996-08-02 1998-02-17 Tsunehisa Shimoda 医療用内視鏡
US6101408A (en) * 1996-08-22 2000-08-08 Western Research Company, Inc. Probe and method to obtain accurate area measurements from cervical lesions
US6066090A (en) 1997-06-19 2000-05-23 Yoon; Inbae Branched endoscope system
AU763861B2 (en) * 1998-05-19 2003-07-31 Spectrx, Inc. Apparatus and method for determining tissue characteristics
GB2342524A (en) 1998-10-06 2000-04-12 Icaros Savvides Optical image transmission
EP1139864A1 (en) * 1998-12-23 2001-10-10 Medispectra Inc. Optical methods and systems for cervical screening
US6563105B2 (en) 1999-06-08 2003-05-13 University Of Washington Image acquisition with depth enhancement
JP3869589B2 (ja) * 1999-09-02 2007-01-17 ペンタックス株式会社 ファイババンドル及び内視鏡装置
US6663560B2 (en) * 1999-12-17 2003-12-16 Digital Optical Imaging Corporation Methods and apparatus for imaging using a light guide bundle and a spatial light modulator
NZ520257A (en) * 2000-02-08 2005-10-28 Cornell Res Foundation Inc Multiphoton excitation through optical fibers for fluorescence spectroscopy
US6975898B2 (en) * 2000-06-19 2005-12-13 University Of Washington Medical imaging, diagnosis, and therapy using a scanning single optical fiber system
JP2004515779A (ja) * 2000-12-15 2004-05-27 ザ ジェネラル ホスピタル コーポレーション 間接方式撮像
JP2002191554A (ja) * 2000-12-26 2002-07-09 Asahi Optical Co Ltd ３次元画像検出装置を備えた電子内視鏡
US6741878B2 (en) 2001-12-14 2004-05-25 Biosense Webster, Inc. Basket catheter with improved expansion mechanism
IL153510A0 (en) * 2001-12-18 2003-07-06 Given Imaging Ltd Device, system and method for capturing in-vivo images with three-dimensional aspects
US8423110B2 (en) * 2002-01-09 2013-04-16 Boston Scientific Scimed, Inc. Imaging device and related methods
US7282723B2 (en) * 2002-07-09 2007-10-16 Medispectra, Inc. Methods and apparatus for processing spectral data for use in tissue characterization
US6768918B2 (en) * 2002-07-10 2004-07-27 Medispectra, Inc. Fluorescent fiberoptic probe for tissue health discrimination and method of use thereof
JP3974466B2 (ja) 2002-07-15 2007-09-12 ペンタックス株式会社 光学情報収集用プローブ
US7720526B1 (en) * 2003-02-04 2010-05-18 Modell Mark D Self-interfering tomography system
US7297154B2 (en) * 2003-02-24 2007-11-20 Maxwell Sensors Inc. Optical apparatus for detecting and treating vulnerable plaque
US7294102B2 (en) * 2003-04-14 2007-11-13 Pentax Corporation Method and apparatus for providing depth control or z-actuation
DE10325003A1 (de) 2003-06-03 2004-12-30 Siemens Ag Visualisierung von 2D/ 3D-fusionierten Bilddaten für die Katheterangiografie
ATE511162T1 (de) 2003-10-14 2011-06-15 Nucletron Bv Verfahren und vorrichtung zur relativen positionsbestimmung eines chirurgischen instrumentes in einem zielvolumen innerhalb eines lebewesens
US7901348B2 (en) * 2003-12-12 2011-03-08 University Of Washington Catheterscope 3D guidance and interface system
DE102004008164B3 (de) 2004-02-11 2005-10-13 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zum Erstellen zumindest eines Ausschnitts eines virtuellen 3D-Modells eines Körperinnenraums
US8406835B2 (en) * 2004-04-30 2013-03-26 Koninklijke Philips Electronics N.V. Probe head for spectroscopic analysis of a fluid
JP3802912B2 (ja) 2004-09-17 2006-08-02 テルモ株式会社 撮像装置
EP1814434A4 (en) * 2004-11-25 2009-10-21 Optiscan Pty Ltd Borescope
CN101065052B (zh) * 2004-12-27 2010-12-22 奥林巴斯株式会社 医疗图像处理装置和医疗图像处理方法
US7889905B2 (en) * 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
CN101247753A (zh) * 2005-06-06 2008-08-20 德州***大学董事会 使用光谱分辨带宽的光学相干层析成像（oct）
JP4761899B2 (ja) * 2005-09-12 2011-08-31 Ｈｏｙａ株式会社 電子内視鏡システム
WO2007041383A2 (en) * 2005-09-30 2007-04-12 Purdue Research Foundation Endoscopic imaging device
US20070161854A1 (en) * 2005-10-26 2007-07-12 Moshe Alamaro System and method for endoscopic measurement and mapping of internal organs, tumors and other objects
US7935050B2 (en) * 2006-02-27 2011-05-03 Microvision, Inc. Endoscope tips, scanned beam endoscopes using same, and methods of use
US20070238930A1 (en) * 2006-02-27 2007-10-11 Wiklof Christopher A Endoscope tips, scanned beam endoscopes using same, and methods of use
US20070276187A1 (en) * 2006-02-27 2007-11-29 Wiklof Christopher A Scanned beam imager and endoscope configured for scanning beams of selected beam shapes and/or providing multiple fields-of-view
US7435217B2 (en) * 2006-04-17 2008-10-14 Microvision, Inc. Scanned beam imagers and endoscopes with positionable light collector
WO2008121844A1 (en) * 2007-03-30 2008-10-09 The General Hospital Corporation System and method providing intracoronary laser speckle imaging for the detection of vulnerable plaque

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4656508A (en) * 1984-06-08 1987-04-07 Olympus Optical Co., Ltd. Measuring endoscope
US4924853A (en) * 1989-05-22 1990-05-15 Medical Dimensions, Inc. Stereoscopic medical viewing device
US5305759A (en) * 1990-09-26 1994-04-26 Olympus Optical Co., Ltd. Examined body interior information observing apparatus by using photo-pulses controlling gains for depths
CN1326557A (zh) * 1998-09-15 2001-12-12 巴黎公共救济院 具有高观察质量的体内观察设备
EP1371321A1 (en) * 2002-06-14 2003-12-17 Fuji Photo Optical Co., Ltd. Electronic endoscope for stereoscopic endoscopy

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ruo Zhang, Ping-Sing Tsai, James Edwin Cryer, and Mubarak Shah.Shape from Shading:A Survey.IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE.1999,21(8),693-699. *

Also Published As

Publication number Publication date
WO2007132378A2 (en) 2007-11-22
US9176276B2 (en) 2015-11-03
US20160041334A1 (en) 2016-02-11
JP2009536066A (ja) 2009-10-08
EP2020897A2 (en) 2009-02-11
WO2007132378A3 (en) 2008-01-24
EP2020897B1 (en) 2015-04-29
CN101437437A (zh) 2009-05-20
JP5398524B2 (ja) 2014-01-29
US20100048995A1 (en) 2010-02-25

Similar Documents

Publication Publication Date Title
CN101437437B (zh) 用于对物体内部三维成像的成像***
CN109222865B (zh) 一种多模态成像内窥镜***
CN102197982B (zh) 电子内视镜***
US9119552B2 (en) Apparatus and method for endoscopic 3D data collection
JP5052019B2 (ja) 医用画像化システム
CN102247114A (zh) 图像处理装置及图像处理方法
CN105050478A (zh) 内窥镜***
CN102197985A (zh) 电子内窥镜***
US20240188793A1 (en) Imaging system and method using multicore fiber
CN106901679A (zh) 荧光显微内窥成像***及荧光显微内窥成像方法
CN109561810A (zh) 内窥镜设备和用于内窥镜检查的方法
CN209172253U (zh) 一种多模态成像内窥镜***
JPWO2015194242A1 (ja) 画像処理装置
CN105796044B (zh) 内窥镜及其成像方法
CN106955085A (zh) 结构光三维内窥镜装置
CN109893258A (zh) 一体化外视镜腹腔镜***
CN105212880B (zh) 一种立体医疗内窥镜及其前端结构
CN210902962U (zh) 可扫描腹腔内部的腹腔镜外视镜装置
CN208837876U (zh) 快速组织分子光谱成像装置
CN116763239A (zh) 宽谱荧光内窥镜装置
CN113143169B (zh) 一种结构光双目内窥镜
US20190132579A1 (en) Imaging device, system, method and program for converting a first image into a plurality of second images
CN205795645U (zh) 一种广视角光学分子断层成像导航***
CN110115557A (zh) 一种高光谱内窥成像装置及成像方法
CN218792184U (zh) 一种单目3d立体内窥镜***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120111

Termination date: 20160502