CN108392180B - 时间强度曲线测定装置 - Google Patents
时间强度曲线测定装置 Download PDFInfo
- Publication number
- CN108392180B CN108392180B CN201810122813.6A CN201810122813A CN108392180B CN 108392180 B CN108392180 B CN 108392180B CN 201810122813 A CN201810122813 A CN 201810122813A CN 108392180 B CN108392180 B CN 108392180B
- Authority
- CN
- China
- Prior art keywords
- region
- image
- unit
- interest
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 claims abstract description 35
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 23
- 238000003384 imaging method Methods 0.000 claims description 56
- 239000007850 fluorescent dye Substances 0.000 claims description 18
- 230000005284 excitation Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 abstract description 31
- 238000000799 fluorescence microscopy Methods 0.000 abstract description 9
- 238000000034 method Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 32
- 210000001519 tissue Anatomy 0.000 description 29
- 238000000605 extraction Methods 0.000 description 27
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 23
- 229960004657 indocyanine green Drugs 0.000 description 23
- 230000008569 process Effects 0.000 description 16
- 230000007717 exclusion Effects 0.000 description 15
- 238000005286 illumination Methods 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 10
- 238000012790 confirmation Methods 0.000 description 8
- ZGXJTSGNIOSYLO-UHFFFAOYSA-N 88755TAZ87 Chemical compound NCC(=O)CCC(O)=O ZGXJTSGNIOSYLO-UHFFFAOYSA-N 0.000 description 7
- 210000004204 blood vessel Anatomy 0.000 description 7
- 230000007704 transition Effects 0.000 description 7
- 206010028980 Neoplasm Diseases 0.000 description 6
- 238000009499 grossing Methods 0.000 description 6
- 230000010339 dilation Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000001502 supplementing effect Effects 0.000 description 4
- 229960002749 aminolevulinic acid Drugs 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- KSFOVUSSGSKXFI-GAQDCDSVSA-N CC1=C/2NC(\C=C3/N=C(/C=C4\N\C(=C/C5=N/C(=C\2)/C(C=C)=C5C)C(C=C)=C4C)C(C)=C3CCC(O)=O)=C1CCC(O)=O Chemical compound CC1=C/2NC(\C=C3/N=C(/C=C4\N\C(=C/C5=N/C(=C\2)/C(C=C)=C5C)C(C=C)=C4C)C(C)=C3CCC(O)=O)=C1CCC(O)=O KSFOVUSSGSKXFI-GAQDCDSVSA-N 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000001215 fluorescent labelling Methods 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 210000001365 lymphatic vessel Anatomy 0.000 description 2
- 229950003776 protoporphyrin Drugs 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002504 physiological saline solution Substances 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
- A61B5/0044—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
- A61B2576/023—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the heart
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Cardiology (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Gynecology & Obstetrics (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种时间强度曲线测定装置，该时间强度曲线测定装置不使用标记就能够准确地得到时间强度曲线。图像处理部(44)具备灰度图像生成部(61)、发光区域去除部(62)、关注区域跟踪部(63)以及时间强度曲线测定部(64)。另外，时间强度曲线测定部(64)具备：像素值测定部(76)，其对由荧光用摄像元件(56)拍摄到的荧光图像中的特定点的像素值进行测定；以及测定位置移动部(77)，其使该像素值测定部(76)中的像素值的测定位置与由关注区域跟踪部(63)跟踪的关注区域相对应地进行移动。
Description
技术领域
本发明涉及一种对表示来自被投放到被检者的体内的荧光色素的发光的像素值的经时变化的时间强度曲线进行测定的时间强度曲线测定装置。
背景技术
在外科手术的血管、***的造影中利用了被称为近红外荧光成像的方法。在该近红外荧光成像中，将作为荧光色素的吲哚氰绿(ICG)通过注射器等注入到被检者的体内来投放于患部。而且，当将波长为600nm～850nm(纳米)左右的近红外光作为激励光向该吲哚氰绿照射时，吲哚氰绿发出750nm～900nm左右波长的近红外荧光。通过能够检测近红外光的摄像元件对该荧光进行拍摄，并将其图像显示于液晶显示面板等显示部。根据该近红外荧光成像，能够进行存在于从体表到20mm左右的深度的血管、***等的观察。
另外，近年来对肿瘤进行荧光标记来利用于手术导航的方法受到关注。作为用于对肿瘤进行荧光标记的荧光标记剂，使用5-氨基乙酰丙酸(5-ALA/5-AminolevulinicAcid)。在将该5-氨基乙酰丙酸(以下将其简称为“5-ALA”)投放到被检者中的情况下，5-ALA被代谢为作为荧光色素的Pp IX(protoporphyrin IX/原卟啉IX)。此外，该Pp IX特异性地蓄积于癌细胞。而且，当朝向作为5-ALA的代谢产物的Pp IX照射波长为410nm左右的可见光时，从Pp IX发出波长为大致630nm左右的红色的可见光来作为荧光。通过摄像元件对来自该Pp IX的荧光进行拍摄并进行观察，能够确认癌细胞。
在对这样的来自侵入到体内的荧光色素的荧光进行拍摄的成像装置中，对绘制关注区域的荧光的强度的在时间方向上的信号变化曲线所得到的时间强度曲线(TimeIntensity Curve：TIC)进行解析，求出直到关注区域(ROI：Region of Interest)的像素值达到峰值为止的时间，由此能够定量地对吲哚氰绿等荧光色素的造影时间进行评价。在这样的情况下，需要经时地跟踪移动的关注区域。
为了得到这样的时间强度曲线，需要将被检者的血管的区域作为关注区域并经时地测定该关注区域的近红外图像的像素值。另一方面，被检者的关注区域由于被检者的身体动作等而移动。因此，需要与被检者的身体动作等相对应地跟踪关注区域以测定准确的时间强度曲线。
在专利文献1中公开了一种利用一对标记来识别血管的移动的摄像装置。
专利文献1：日本特表2009-538171号公报
发明内容
发明要解决的问题
在专利文献1所记载的方法中，需要留置标记。因此，需要进行用于将标记留置在被检者的体内的特别的手术。另外，能够留置标记的部位被限定，无法对难以留置标记的部位执行关注区域的跟踪。
本发明是为了解决上述问题而完成的，其目的在于提供一种不使用标记、能够准确地得到时间强度曲线的时间强度曲线测定装置。
用于解决问题的方案
第一发明是一种时间强度曲线测定装置，用于测定时间强度曲线，该时间强度曲线表示来自被投放到被检者的体内的荧光色素的发光的像素值的经时变化，所述时间强度曲线测定装置的特征在于，具备：激励用光源，其朝向所述被检者照射激励光，该激励光用于激励被投放到被检者的体内的荧光色素；摄像单元，其拍摄来自所述荧光色素的荧光图像和包含所述被检者的组织的彩色图像；关注区域跟踪部，其基于由所述摄像单元拍摄到的彩色图像，来跟踪关注区域；像素值测定部，其测定由所述摄像单元拍摄到的荧光图像中的预先设定的测定点的像素值；以及测定位置移动部，其使所述像素值测定部中的像素值的测定位置与由所述关注区域跟踪部跟踪的关注区域相对应地进行移动。
在此，“组织”是指被检者的作为内脏器官的脏器等组织。另外，在“组织”中包含在皮肤移植时被移植的皮肤等除脏器以外的组织。在本申请的说明书等中，将被检者的包含脏器的各种组织简单称为“组织”。
第二发明是，在第一发明中，所述摄像单元具有：第一摄像元件，其拍摄来自所述荧光色素的荧光图像；以及第二摄像元件，其拍摄包含所述被检者的组织的彩色图像。
第三发明是，在第一发明中，还具备发光区域去除部，该发光区域去除部基于包含组织的彩色图像来去除组织表面的发光区域，所述关注区域跟踪部基于由所述发光区域去除部去除发光区域后的彩色图像，来跟踪所述关注区域。
发明的效果
根据第一和第二发明，通过基于彩色图像来跟踪关注区域，由此在关注区域由于被检者的身体动作等而移动了的情况下，也能够始终测定固定位置的像素值。因此，能够得到准确的时间强度曲线。
根据第三发明，由于基于去除发光区域后的图像来跟踪关注区域，因此能够更高精度地跟踪关注区域。
附图说明
图1是将具备本发明所涉及的关注区域跟踪装置的成像装置1与显示装置2一同示出的立体图。
图2是照明/摄像部12的概要图。
图3是照明/摄像部12中的摄像机21的概要图。
图4是将本发明所涉及的成像装置1的主要的控制***与显示装置2一同示出的框图。
图5是控制部40中的图像处理部44的框图。
图6是表示由图像处理部44得到的包含被检者的关注部位的图像的推移的示意图。
图7是表示由图像处理部44得到的包含被检者的关注部位的图像的推移的示意图。
图8是表示由图像处理部44得到的包含被检者的关注部位的图像的推移的示意图。
图9是表示由图像处理部44得到的包含被检者的关注部位的图像的推移的示意图。
图10是表示由图像处理部44得到的包含被检者的关注部位的图像的推移的示意图。
图11是表示发光去除处理的流程的框图。
图12是概念性地表示从发光区域提取出的区域的像素值和大小的示意图。
图13是概念性地表示从发光区域提取出的区域的像素值和大小的示意图。
图14是概念性地表示从发光区域提取出的区域的像素值和大小的示意图。
图15是概念性地表示从发光区域提取出的区域的像素值和大小的示意图。
图16是概念性地表示从发光区域提取出的区域的像素值和大小的示意图。
图17是概念性地表示从发光区域提取出的区域的像素值和大小的示意图。
图18是概念性地表示从发光区域提取出的区域的示意图。
图19是概念性地表示从发光区域提取出的区域的示意图。
图20是概念性地表示从发光区域提取出的区域的示意图。
图21是概念性地表示从发光区域提取出的区域的示意图。
图22是概念性地表示从发光区域提取出的区域的示意图。
图23是示意性地表示通过轮廓跟踪法来基于排除区域的外周部的像素对排除区域的像素进行补充的工序的说明图。
图24是示意性地表示通过移动向量计算法来在多个帧内检测特征图像的移动量的动作的说明图。
图25是表示时间强度曲线(TIC)的曲线图。
附图标记说明
1：成像装置；2：显示装置；12：照明/摄像部；21：摄像机；22：可见光源；23：激励用光源；24：确认用光源；30：臂机构；40：控制部；44：图像处理部；45：图像存储部；46：近红外图像存储部；47：可视图像存储部；52：显示部；55：可见光用摄像元件；56：荧光用摄像元件；61：灰度图像生成部；62：发光区域去除部；63：关注区域跟踪部；64：时间强度曲线测定部；71：排除区域设定部；72：补充部；73：特征图像跟踪部；74：二值化部；75：跟踪部；76：像素值测定部；77：测定位置移动部。
具体实施方式
<装置结构>
以下，基于附图说明本发明的实施方式。图1是将具备本发明所涉及的关注区域跟踪装置的成像装置1与显示装置2一同示出的立体图。
显示装置2具有通过支承机构51来支承由大型的液晶显示装置等构成的显示部52的结构。
成像装置1用于对被注入到被检者的体内的作为荧光色素的吲哚氰绿照射激励光，对从该吲哚氰绿辐射的荧光进行拍摄，并且将拍摄到的荧光图像与被检者的作为可视图像的彩色图像一起显示于显示装置2。而且，该成像装置1特别用于通过显示上述的荧光图像和彩色图像并且经时地测定被检者的关注区域中的荧光的强度，来获得被检者的关注区域中的荧光的时间强度曲线(Time Intensity Curve：TIC)。
该成像装置1具备：台车11，其具备四个车轮13；臂机构30，其配设在该台车11的上表面处的台车11的行进方向的前方附近；照明/摄像部12，其经由副臂41配设于该臂机构30；以及监视器15。在台车11的行进方向的后方附设有在移动台车11时使用的把手14。另外，在台车11的上表面形成有凹部16，该凹部16用于安装在该成像装置1的远程操作中使用的未图示的操作部。
上述的臂机构30配设在台车11的行进方向的前方侧。该臂机构30具备通过铰链部33来与支承部37连结的第一臂构件31，该支承部37配设在竖立设置于台车11的行进方向的前方侧的支柱36上。该第一臂构件31通过铰链部33的作用能够借助支柱36和支承部37来相对于台车11摇动。此外，上述的监视器15附设于支柱36。
第二臂构件32通过铰链部34来与该第一臂构件31的上端连结。该第二臂构件32通过铰链部34的作用能够相对于第一臂构件31摇动。因此，第一臂构件31和第二臂构件32能够采取摄像姿势和待机姿势，该摄像姿势是图1所示的第一臂构件31与第二臂构件32以作为第一臂构件31与第二臂构件32的连结部的铰链部34为中心打开了规定的角度的姿势，该待机姿势是第一臂构件31与第二臂构件32接近的姿势。
支承部43通过铰链部35来与第二臂构件32的下端连结。该支承部43通过铰链部35的作用能够相对于第二臂构件32摇动。旋转轴42被支承于该支承部43。而且，对照明/摄像部12进行支承的副臂41以配设于第二臂构件32的前端的旋转轴42为中心转动。因此，照明/摄像部12通过该副臂41的转动来在以下位置之间移动：用于采取图1所示的摄像姿势或待机姿势的相对于臂机构30而言处于台车11的行进方向的前方侧的位置；以及作为使台车11移动时的姿势的相对于臂机构30而言处于台车11的行进方向的后方侧的位置。
图2是照明/摄像部12的概要图。
该照明/摄像部12具备：摄像机21，其具备能够检测后述的近红外线和可见光的多个摄像元件；可见光源22，其包括配设于该摄像机21的外周部的六个LED；激励用光源23，其包括六个LED；以及确认用光源24，其包括一个LED。可见光源22照射可见光。激励用光源23照射作为用于激励吲哚氰绿的激励光的、其波长为760nm的近红外光。另外，确认用光源24照射与从吲哚氰绿产生的荧光的波长近似的、波长为810nm的近红外光。此外，激励用光源23的波长不限定于760nm，只要是能够激励吲哚氰绿的波长即可。确认用光源24的波长不限定于810nm，也可以是吲哚氰绿所产生的荧光的波长以上。
图3是照明/摄像部12中的摄像机21的概要图。
该摄像机21具备进行往复移动以进行对焦的可动透镜54、波长选择滤波器53、可见光用摄像元件55以及荧光用摄像元件56。可见光用摄像元件55和荧光用摄像元件56包括CMOS或CCD。此外，可见光用摄像元件55使用能够将可见光的图像拍摄为彩色图像的摄像元件。
沿着摄像机21的光轴L同轴入射至摄像机21的可见光和荧光在通过构成对焦机构的可动透镜54之后到达波长选择滤波器53。呈同轴状入射的可见光和荧光中的可见光由波长选择滤波器53反射并向可见光用摄像元件55入射。另外，呈同轴状入射的可见光和荧光中的荧光通过波长选择滤波器53并向荧光用摄像元件56入射。此时，通过包括可动透镜54的对焦机构的作用，使可见光对焦至可见光用摄像元件55，使荧光对焦至荧光用摄像元件56。可见光用摄像元件55以规定的帧频将可视图像拍摄为彩色图像。另外，荧光用摄像元件56以规定的帧频拍摄作为近红外图像的荧光图像。
图4是将本发明所涉及的成像装置1的主要的控制***与显示装置2一同示出的框图。
该成像装置1具备控制部40，该控制部40包括执行逻辑运算的CPU、保存有装置的控制所需要的动作程序的ROM、在控制时暂时地储存数据等的RAM等，该控制部40对装置整体进行控制。该控制部40具备执行后述的各种图像处理的图像处理部44。该控制部40与上述的显示装置2连接。另外，该控制部40与具备摄像机21、可见光源22、激励用光源23以及确认用光源24的照明/摄像部12连接。并且，该控制部40与存储由摄像机21拍摄到的图像的图像存储部45连接。该图像存储部45由存储近红外图像的近红外图像存储部46和存储可视图像(彩色图像)的可视图像存储部47构成。
图5是控制部40中的图像处理部44的框图。
该图像处理部44具备灰度图像生成部61、发光区域去除部62、关注区域跟踪部63以及时间强度曲线测定部64。
上述的灰度图像生成部61基于由可见光用摄像元件55拍摄到的彩色图像来生成灰度图像。另外，发光区域去除部62具备：排除区域设定部71，其将由灰度图像生成部61生成的灰度图像中的像素值大于阈值的区域与该像素值大于阈值的区域的外周区域相加，来设定比发光区域大的排除区域；以及补充部72，其在从彩色图像中排除了排除区域之后，基于该排除区域的外周部的像素来补充该排除区域的像素。另外，关注区域跟踪部63具备：特征图像提取部73，其基于由灰度图像生成部61生成的灰度图像，来提取组织中的特征图像；二值化部74，其将灰度图像二值化来生成二值化图像；以及跟踪部75，其通过在多个帧内检测由该二值化部74生成的二值化图像中的特征图像的移动量，来跟踪关注区域。并且，时间强度曲线测定部64具备：像素值测定部76，其测定由荧光用摄像元件56拍摄到的荧光图像中的特定点的像素值；以及测定位置移动部77，其使该像素值测定部76中的像素值的测定位置与由上述关注区域跟踪部63跟踪的关注区域相对应地进行移动。
在使用具有如以上那样的结构的成像装置1来对被检者进行手术的情况下，最初点亮照明/摄像部12中的确认用光源24，并且由摄像机21拍摄其照射区域的图像。从确认用光源24照射与从吲哚氰绿产生的荧光的波长近似的、波长为810nm的近红外光。该近红外光无法用人眼确认。另一方面，在从确认用光源24照射波长为810nm的近红外光并且由摄像机21拍摄了其照射区域的图像的情况下，在摄像机21正常地进行了动作时，通过摄像机21拍摄到被近红外光照射的区域的图像且该图像被显示于显示装置2中的显示部52。由此，能够容易地执行摄像机21的动作确认。
然后，通过注射来对被检者注入吲哚氰绿。然后，从照明/摄像部12中的激励用光源23向被检者的组织中的患部照射近红外线并且从可见光源22向该患部照射可见光。此外，作为从激励用光源23照射的近红外光，如上述那样采用作为用于使吲哚氰绿发出荧光的激励光发挥作用的760nm的近红外光。由此，被注入到被检者的体内的吲哚氰绿产生以约800nm为峰值的近红外区域的荧光。
然后，由照明/摄像部12中的摄像机21以规定的帧频对被检者的组织中的患部附近进行拍摄。该摄像机21如上述那样能够检测近红外光和可见光。由摄像机21以规定的帧频拍摄到的近红外图像和彩色图像通过图像处理部44被变换为能够将近红外图像和彩色图像显示于显示装置2中的显示部52的图像数据，并在显示部52中显示。另外，根据需要，图像处理部44利用近红外图像数据和彩色图像数据生成使彩色图像与近红外图像融合而成的合成图像。并且，由摄像机21拍摄到的近红外图像和彩色图像根据需要被存储于图像存储部45中的近红外图像存储部46和可视图像存储部47。
在这样的成像装置1中，形成如下结构：将被检者的组织中的患部的彩色图像和近红外图像同时存储为运动图像，对由录像机记录的摄像图像进行运动图像再现。即，这样的成像装置1通过将以规定的帧频拍摄到的图像作为运动图像进行记录/再现，由此能够在明亮的外部照明环境下进行投放ICG等荧光色素后的血管/***的分布的观察、癌症病灶区域的确认。这样的录像数据不仅能够使用于进行参照，还能够通过在解析时利用来获得新的见解。即，在对关注区域的时间方向上的信号变化曲线进行绘制所得到的时间强度曲线(TIC)的解析中，通过求出直到关注区域的近红外图像的像素值达到峰值为止的时间，能够定量地对吲哚氰绿等荧光色素的造影时间进行评价。
为了得到这样的时间强度曲线，需要将被检者的血管的区域作为关注区域并经时地测定该关注区域的近红外图像的像素值。另一方面，被检者的关注区域由于被检者的身体动作等而移动。因此，在该成像装置1中，采用了如下结构：通过跟踪关注区域，即使关注区域移动，也测定准确的时间强度曲线。即，在该成像装置1中，在从包含被检者的组织的彩色图像中去除发光区域之后，使用该彩色图像来跟踪关注区域，由此始终测定同一位置的像素值。
以下说明用于使用该成像装置1得到时间强度曲线的动作。图6至图10是表示在本发明所涉及的成像装置1中由图像处理部44得到的包含被检者的关注部位的图像的推移的示意图。此外，在这些图中，示意性地示出了被检者的心脏附近的图像的推移。
<发光去除>
这些图中的图6示意性地表示由可见光用摄像元件55拍摄到的被检者的组织的彩色图像。正在进行手术时的被检者的组织为由于体液、在手术时使用的生理盐水等液体而容易发光的状况。另一方面，照明/摄像部12大多从被检者的正上方照射可见光来拍摄彩色图像，从而可见光源22照射可见光的照射方向与可见光用摄像元件55拍摄彩色图像的拍摄方向一致。因此，在拍摄被检者的组织所得到的彩色图像中产生发光区域G。在图6中，将发光区域G图示为空白的区域。此外，在图6中，仅对很多发光区域中的一部分发光区域附加了附图标记G。在此，发光区域是指由于液体的存在而组织的一部分与其它区域相比看起来亮的区域。
彩色图像中的关注区域与医生在术野中诊察的关注区域一致。因此，在彩色图像上显示出在医生的视野中无法观察的发光区域。因而，彩色图像与医生的视野不同。另外，在彩色图像中存在发光区域时，对边缘增强、特征图像提取等各种图像处理造成影响。
因此，在该成像装置1中，最初通过图像处理部44中的发光区域去除部62执行了针对彩色图像的发光去除处理。在由该发光区域去除部62进行的发光去除处理中，使用由灰度图像生成部61基于彩色图像生成的灰度图像。而且，由排除区域设定部71将灰度图像中的像素值大于阈值的区域与该像素值大于阈值的区域的外周区域相加来设定比发光区域大的排除区域。然后，在从彩色图像中排除了排除区域之后，利用补充部72基于该排除区域的外周部的像素来补充该排除区域的像素。
以下，详细地说明该发光去除处理。图11是表示发光去除处理的流程的框图。另外，图12至图17是概念性地表示从发光区域提取出的区域的像素值和大小的示意图。并且，图18至图22是概念性地表示从发光区域提取出的区域的示意图。此外，在图12至图17中，纵轴表示像素值，横轴表示位置。
在进行发光去除处理时，最初通过图5所示的灰度图像生成部61对由可见光用摄像元件55拍摄到的彩色图像进行灰度化。该彩色图像的灰度化使用BT.601、BT.709、R值提取、G值提取、B值提取、RB值平均、RG值平均、GB值平均、RGB值平均、MAX值、MIN值、MAX和/或MIN平均值、MAX-MIN值、255×(MAX-MIN)/MAX值、RGB中间值等一般的方法即可。
然后，对灰度图像进行平滑化处理。图12表示在进行平滑化处理前后从发光区域提取出的区域的像素值和大小。在该图中，G1表示在平滑化处理前从发光区域提取出的区域的像素值和大小，G2表示在平滑化处理后从发光区域提取出的区域的像素值和大小。通过该平滑化处理能够去除灰度图像中的噪声。
接着，针对平滑化处理后的图像提取阈值。通过从灰度图像中的各像素值减去与阈值相当的像素值来进行该阈值的提取。图13中的G2表示在阈值提取前从发光区域提取出的区域的像素值和大小，图14中的G3表示在阈值提取后从发光区域提取出的区域的像素值和大小。然后，对阈值提取后的图像进行膨胀化处理。图15中的G3表示在膨胀化处理前从发光区域提取出的区域的像素值和大小，图15中的G4表示在膨胀化处理后从发光区域提取出的区域的像素值和大小。另外，图18和图19中的E3表示在膨胀化处理前从发光区域提取出的区域，图19中的E4表示在膨胀化处理后从发光区域提取出的区域。
另外，如图11所示，与阈值提取并行地对平滑化处理后的图像进行边缘提取处理。在该边缘提取处理中，例如对平滑化处理后的图像连续两次应用3×3的平均滤波(MeanFilter)处理，从第一次的处理结果中减去第二次的处理结果。图16中的G5表示在边缘提取处理后从发光区域提取出的区域的像素值和大小。从发光区域提取出的区域的像素值和大小从图13所示的状态变为图16所示的状态。然后，针对边缘提取处理后的图像提取阈值。通过从灰度图像中的各像素值减去与阈值相当的像素值来进行该阈值的提取。图17中的G6表示在阈值提取后从发光区域提取出的区域的像素值和大小。另外，图20中的E6表示在阈值提取后从发光区域提取出的在中央部形成有空白区域的大致环状的区域。
然后，将提取阈值并进行了膨胀化处理之后的图像与在边缘提取后进行了阈值提取的图像相加。即，将提取阈值并进行了膨胀化处理之后的图像与在边缘提取后进行了阈值提取的图像合起来形成为一个图像。在图21中示出了将区域E4与区域E6相加后的状态。如该图所示，区域E6的中央部的空白区域被区域E4所填充。
然后，对相加后的图像执行膨胀处理。在图22中示出了从图21所示的区域E6膨胀得到的区域E7。该区域E7为比图7所示的发光区域G大的区域。而且，如图11所示，将该区域作为排除区域，从原始的彩色图像中减去来进行排除。
图7示意性地表示从由可见光用摄像元件55拍摄到的被检者的组织的彩色图像中排除作为比发光区域大的区域的排除区域后的状态。此外，在图7中，将进行排除后的区域图示为涂黑的区域。在图7中，对进行排除后的区域附加了与发光区域相同的附图标记G。此外，在图7中，仅对很多排除区域中的一部分排除区域附加了附图标记G。
在从被检者的组织的彩色图像中排除作为比发光区域大的区域的排除区域之后，基于排除区域的外周部的像素来补充该排除区域的像素。例如能够通过轮廓跟踪法来执行该补充。
图23是示意性地表示通过轮廓跟踪法来基于排除区域的外周部的像素对排除区域的像素进行补充的工序的说明图。此外，在该图中，使需要补充的区域、即上述的排除区域为空白，并对其以外的区域附加了阴影线。
该轮廓跟踪法是如箭头A所示那样对图像中的规定的区域进行扫描并如箭头B所示那样对需要补充的区域、即上述的排除区域的轮廓进行跟踪来从周围朝向中央部进行补充的方法。利用针对关注像素而言的周围的像素的平均值或中央值对各个需要补充的区域进行补充。在此，针对关注像素而言的周围的像素例如是指关注像素的左右两个像素、上下两个像素或者周围八个像素。此外，在图23中，二维地跟踪轮廓来进行了补充，但是也可以按一行跟踪轮廓来进行补充。
此外，也可以代替上述的轮廓跟踪法，而通过图像缩小法来进行补偿。图像缩小法是如下一种方法：利用通过按需要补充的区域的中心使图像整体上下左右缩小一个像素的量而在与轮廓部分相同的坐标处出现颜色的情形，用该颜色进行补充。缩小时的逻辑可以是线性、双立方等中的任一个。
另外，也可以代替上述的轮廓跟踪法，而通过直线近似/周围校正法进行补充。直线近似/周围校正法是如下一种方法：关注一行，使用离开轮廓一个像素的起点、终点像素的颜色，线性地进行补充。在线性地进行补充之后在相邻的行存在颜色时，执行采用它们的平均值的周围校正。
图8示意性地表示对被检者的组织的彩色图像进行上述的发光去除之后的状态。通过执行上述的发光去除，能够没有不协调感地从被检者的组织的彩色图像中去除发光区域。
<关注区域跟踪>
以上的发光去除工序结束后，接下来执行基于包含被检者的组织的彩色图像来跟踪组织中的关注区域的关注区域跟踪工序。该关注区域跟踪工序主要由图5所示的关注区域跟踪部63来执行。
此时，最初对通过上述发光去除工序去除了发光区域后的彩色图像进行灰度化来生成灰度图像。由图5所示的灰度图像生成部61来执行该灰度图像的生成。该彩色图像的灰度化与上述发光去除工序同样地使用BT.601、BT.709、R值提取、G值提取、B值提取、RB值平均、RG值平均、GB值平均、RGB值平均、MAX值、MIN值、MAX和/或MIN平均值、MAX-MIN值、255×(MAX-MIN)/MAX值、RGB中间值等一般的方法即可。图9示意性地示出了通过这样生成的被检者的组织的灰度图像。
接着，由图5所示的特征图像提取部73基于灰度图像生成特征图像。该特征图像是将被检者的血管、褶皱等作为特征量来进行了提取的图像。特征图像的提取即特征提取能够使用利用单纯的卷积(卷积积分：convolution)、拉普拉斯滤波器、反锐化掩模、能量函数的方法等各种方法。此时，为了执行实时处理，优选使用卷积、拉普拉斯、反锐化掩模等。
说明在该特征图像的提取中使用反锐化掩模的情况。在使用反锐化掩模的情况下，在将模糊系数设为s、将权重设为w时(其中，0<w<1)，对灰度图像施加s×s的平均或高斯滤波使灰度图像模糊，由此生成模糊图像。而且，通过以下的式子来运算提取出特征图像而成的输出图像。
输出图像＝(原图像-w×模糊图像)/(1-w)
在特征图像提取后，由图5所示的二值化部74执行二值化处理。在图10中示意性地表示提取特征图像并进行二值化之后的输出图像。此外，在图10中用线条来表现通常被明亮显示的特征图像。
接着，由图5所示的跟踪部75使用二值化后的特征图像来在多个帧内检测特征图像的移动量，由此跟踪关注区域。例如能够利用移动向量计算法、图案匹配法来执行该关注区域的跟踪。
图24是示意性地表示通过移动向量计算法来在多个帧内检测特征图像的移动量的动作的说明图。此外，这些图形中的矩形区域的横轴表示位置，纵轴表示像素值。
在该图中，图中左侧的Ft表示特征图像的当前的帧，Ft-1表示特征图像的过去的(前一)帧。另外，图中的中央的ACC表示从特征图像的当前帧减去过去帧所得到的结果，DEC表示从特征图像的过去帧减去当前帧所得到的结果。而且，图中右侧表示将k1、k2、k3设为任意的系数(其中，k1>k2>k3)时的下述式子的运算结果。
k1·k2+k2.ACC+k3.DEC
在图24中，如图中右侧所示，运算后的差图像随着去向右侧而像素值变大。例如，在设为k1＝2、k2＝1、k3＝-1并将二值化图像的最大值设为1时，图像的背景为0，因图像移动而变为背景的消失像素为1，没有变化的像素为2，新出现的出现图像为3，差图像的像素值随着向右而1、2、3地增加。由此，如图中右侧的箭头M所示那样，能够识别出该图像随着时间经过而向右侧移动。在多个帧内连续地执行这样的运算。而且，能够将关注区域的角或中央的像素作为基准坐标，利用上述的差图像、例如利用基准坐标的上下左右方向的消失像素与出现像素的数量、比，来计算移动向量。
另外，也能够代替上述移动向量计算法而利用图案匹配法来跟踪关注区域。在该情况下，将关注区域中的N×N区域的像素作为用作模板的图案。而且，将M设为大于N的整数，对包含关注区域的区域中的M×M的区域执行图案匹配。通过利用相关函数、方差、标准偏差等方法计算相似度来进行该图案匹配。通过该图案匹配，能够在多个帧内检测特征图像的移动量。
通过这样，针对特征图像的整个区域检测特征图像的移动量，由此能够跟踪关注区域。因此，能够在多个帧内跟踪特征图像中的特定位置的移动。
<时间强度曲线测定>
接着，说明通过利用上述的关注区域的跟踪结果来对绘制关注区域的荧光的强度在时间方向上的信号变化曲线所得到的时间强度曲线进行解析的时间强度曲线测定工序。
在该时间强度曲线的测定中利用上述的关注区域的跟踪结果。即，通过由图5所示的时间强度曲线测定部64中的测定位置移动部77使由时间强度曲线测定部64中的像素值测定部76进行测定的荧光图像的像素值的测定位置与由关注区域跟踪部63跟踪的关注区域相对应地进行移动来执行时间强度曲线测定。
在对时间强度曲线进行解析的情况下，将想要经时地测定由荧光用摄像元件56拍摄到的荧光图像中的来自吲哚氰绿的荧光的强度的位置预先设定为测定点。然后，通过像素值测定部76测定该测定点处的荧光的强度。该测定点的位置随着被检者的身体动作等而移动。因此，通过测定位置移动部77使像素值测定部76中的像素值的测定位置与由上述的关注区域跟踪部63跟踪的关注区域相对应地进行移动。通过采用这样的结构，在测定点移动了的情况下，也能够跟踪该测定点来执行像素值的测定。
图25是表示通过这样测定得到的时间强度曲线(TIC)的曲线图。在该图中，纵轴表示测定点的像素值、即来自吲哚氰绿的荧光的强度，横轴表示时间。
在TIC解析中，通过求出直到关注区域中的来自吲哚氰绿的荧光的像素值达到峰值为止的时间，能够定量地对吲哚氰绿的造影时间进行评价。而且，在该成像装置1中，通过测定位置移动部77使由像素值测定部76进行测定的像素值的测定位置与由关注区域跟踪部63跟踪的关注区域相对应地进行移动，由此在关注区域由于被检者的身体动作等而移动了的情况下，也能够始终测定固定位置的像素值，从而能够得到准确的时间强度曲线。
此外，在上述实施方式中，通过在荧光图像的很多区域中识别组织的移动，在这些区域中测定时间强度曲线并显示对应图(map)，由此不仅对于关注区域，还能够对于整个术野进行定量的评价。
在上述的实施方式中，作为摄像机21，说明了个别地具备用于拍摄包含被检者的组织的彩色图像的可见光用摄像元件55和用于拍摄来自吲哚氰绿的荧光图像的荧光用摄像元件56的摄像机，但是也可以采用通过单个摄像元件等来拍摄包含被检者的组织的彩色图像和来自吲哚氰绿的荧光图像的结构。
Claims (3)
1.一种时间强度曲线测定装置，用于测定时间强度曲线，该时间强度曲线表示来自被投放到被检者的体内的荧光色素的发光的像素值的经时变化，所述时间强度曲线测定装置的特征在于，具备：
激励用光源，其朝向所述被检者照射激励光，该激励光用于激励被投放到被检者的体内的荧光色素；
摄像单元，其拍摄来自所述荧光色素的多个荧光图像和包含所述被检者的组织的多个彩色图像；
第一关注区域设定部，其在所述多个荧光图像中的第一荧光图像上设定关注区域；
组织指定部，其在所述多个彩色图像中的第一彩色图像上指定所述组织的位置，所述组织的位置与所述第一荧光图像上的所述关注区域的位置相对应；
组织跟踪部，其在所述多个彩色图像中的第二彩色图像上跟踪所述组织的位置；
第二关注区域设定部，其将所述关注区域设定在所述多个荧光图像中的第二荧光图像上的与所述第二彩色图像上的所述组织的位置相对应的位置；以及
像素值测定部，其测定所述关注区域的像素值。
2.根据权利要求1所述的时间强度曲线测定装置，其特征在于，
所述摄像单元具有：第一摄像元件，其拍摄来自所述荧光色素的荧光图像；以及第二摄像元件，其拍摄包含所述被检者的组织的彩色图像。
3.根据权利要求1所述的时间强度曲线测定装置，其特征在于，
还具备发光区域去除部，该发光区域去除部基于包含组织的彩色图像来去除组织表面的发光区域，
所述关注区域跟踪部基于由所述发光区域去除部去除发光区域后的彩色图像，来跟踪所述关注区域。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017020111A JP6708143B2 (ja) | 2017-02-07 | 2017-02-07 | 時間強度曲線測定装置 |
| JP2017-020111 | 2017-02-07 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108392180A CN108392180A (zh) | 2018-08-14 |
| CN108392180B true CN108392180B (zh) | 2021-07-30 |
Family
ID=63038404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810122813.6A Active CN108392180B (zh) | 2017-02-07 | 2018-02-07 | 时间强度曲线测定装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11937898B2 (zh) |
| JP (1) | JP6708143B2 (zh) |
| CN (1) | CN108392180B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12002294B2 (en) * | 2021-03-04 | 2024-06-04 | Black Sesame Technologies Inc. | RGB-NIR dual camera face anti-spoofing method |
| CN113842212B (zh) * | 2021-10-09 | 2023-07-07 | 南京诺源医疗器械有限公司 | 荧光散射光学断层成像处理方法及*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101278839A (zh) * | 2008-05-22 | 2008-10-08 | 曹宇 | 夜间驾驶跟踪方法 |
| CN101448457A (zh) * | 2006-05-22 | 2009-06-03 | 皇家飞利浦电子股份有限公司 | 由投影成像得到的经运动补偿的冠状动脉血流 |
| CN101732055A (zh) * | 2009-02-11 | 2010-06-16 | 北京智安邦科技有限公司 | 驾驶员疲劳检测方法及*** |
| CN103025247A (zh) * | 2010-08-31 | 2013-04-03 | 株式会社日立医疗器械 | 超声波诊断装置以及超声波图像显示方法 |
| CN105074433A (zh) * | 2013-03-29 | 2015-11-18 | 浜松光子学株式会社 | 荧光观察装置以及荧光观察方法 |
| CN105705084A (zh) * | 2013-09-20 | 2016-06-22 | 国立大学法人旭川医科大学 | 血管内血流动态的图像处理方法及*** |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040209237A1 (en) * | 2003-04-18 | 2004-10-21 | Medispectra, Inc. | Methods and apparatus for characterization of tissue samples |
| JP4845507B2 (ja) * | 2005-10-04 | 2011-12-28 | オリンパス株式会社 | 蛍光観察システム |
| EP2049886A2 (en) * | 2006-07-31 | 2009-04-22 | Koninklijke Philips Electronics N.V. | Fast fluorescence imaging device for diffuse optical tomography |
| JP4971816B2 (ja) * | 2007-02-05 | 2012-07-11 | 三洋電機株式会社 | 撮像装置 |
| EP3733055A1 (en) * | 2008-01-25 | 2020-11-04 | Novadaq Technologies ULC | Method for evaluating blush in myocardial tissue |
| JP5658873B2 (ja) * | 2009-11-13 | 2015-01-28 | オリンパス株式会社 | 画像処理装置、電子機器、内視鏡システム及びプログラム |
| AU2010339972B2 (en) * | 2009-12-15 | 2015-04-30 | Emory University | System and method for providing real-time anatomical guidance in a diagnostic or therapeutic procedure |
| JP6299770B2 (ja) * | 2013-12-18 | 2018-03-28 | 株式会社島津製作所 | 赤外光イメージング装置 |
| KR102171387B1 (ko) | 2014-03-06 | 2020-10-28 | 삼성전자주식회사 | 포화 픽셀 데이터의 보정 방법 및 이를 이용한 이미지 데이터의 프로세싱 방법 |
| WO2016035450A1 (ja) * | 2014-09-01 | 2016-03-10 | 株式会社島津製作所 | イメージング装置 |
| WO2016039002A1 (ja) * | 2014-09-09 | 2016-03-17 | 株式会社島津製作所 | イメージング装置およびイメージング方法 |
| WO2016061754A1 (zh) * | 2014-10-22 | 2016-04-28 | 中国科学院自动化研究所 | 一种手持式分子影像导航*** |
| US9996923B2 (en) * | 2015-04-24 | 2018-06-12 | Canfield Scientific, Incorporated | Methods and apparatuses for dermatological feature tracking over multiple images |
| EP3314234B1 (en) * | 2015-06-26 | 2021-05-19 | Li-Cor, Inc. | Fluorescence biopsy specimen imager |
| JP6640334B2 (ja) * | 2015-09-23 | 2020-02-05 | ノバダック テクノロジーズ ユーエルシー | 医療イメージングから導かれたデータの管理のための方法およびシステム |
| JP2018534965A (ja) * | 2015-09-23 | 2018-11-29 | ノバダック テクノロジーズ ユーエルシー | 組織の治癒を評価するための方法およびシステム |
| JPWO2017159011A1 (ja) * | 2016-03-15 | 2019-01-24 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム及び情報処理システム |
| US10708478B2 (en) * | 2016-03-23 | 2020-07-07 | Karl Storz Imaging, Inc. | Image transformation and display for fluorescent and visible imaging |
| WO2017175452A1 (ja) * | 2016-04-04 | 2017-10-12 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
| JPWO2017221336A1 (ja) * | 2016-06-21 | 2019-04-11 | オリンパス株式会社 | 内視鏡システム、画像処理装置、画像処理方法およびプログラム |
| US20180220052A1 (en) * | 2017-01-31 | 2018-08-02 | Karl Storz Imaging, Inc. | Temporal Modulation of Fluorescence Imaging Color Channel for Improved Surgical Discrimination |
-
2017
- 2017-02-07 JP JP2017020111A patent/JP6708143B2/ja active Active
-
2018
- 2018-02-06 US US15/889,570 patent/US11937898B2/en active Active
- 2018-02-07 CN CN201810122813.6A patent/CN108392180B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101448457A (zh) * | 2006-05-22 | 2009-06-03 | 皇家飞利浦电子股份有限公司 | 由投影成像得到的经运动补偿的冠状动脉血流 |
| CN101278839A (zh) * | 2008-05-22 | 2008-10-08 | 曹宇 | 夜间驾驶跟踪方法 |
| CN101732055A (zh) * | 2009-02-11 | 2010-06-16 | 北京智安邦科技有限公司 | 驾驶员疲劳检测方法及*** |
| CN103025247A (zh) * | 2010-08-31 | 2013-04-03 | 株式会社日立医疗器械 | 超声波诊断装置以及超声波图像显示方法 |
| CN105074433A (zh) * | 2013-03-29 | 2015-11-18 | 浜松光子学株式会社 | 荧光观察装置以及荧光观察方法 |
| CN105705084A (zh) * | 2013-09-20 | 2016-06-22 | 国立大学法人旭川医科大学 | 血管内血流动态的图像处理方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018126234A (ja) | 2018-08-16 |
| US11937898B2 (en) | 2024-03-26 |
| CN108392180A (zh) | 2018-08-14 |
| US20180220894A1 (en) | 2018-08-09 |
| JP6708143B2 (ja) | 2020-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180220893A1 (en) | Region of interest tracing apparatus | |
| CN108186115B (zh) | 手持式荧光超声融合造影导航*** | |
| JP5435532B2 (ja) | 画像処理システム | |
| JP6176978B2 (ja) | 内視鏡用画像処理装置、内視鏡装置、内視鏡用画像処理装置の作動方法及び画像処理プログラム | |
| US20150287192A1 (en) | Image processing device, electronic device, endoscope apparatus, information storage device, and image processing method | |
| WO2023103467A1 (zh) | 图像处理方法、装置及设备 | |
| Gorpas et al. | Real-time visualization of tissue surface biochemical features derived from fluorescence lifetime measurements | |
| CN107072644B (zh) | 成像装置 | |
| US20200323430A1 (en) | Imaging device and imaging method | |
| CN106447703A (zh) | 近红外荧光与契伦科夫荧光融合成像方法及设备 | |
| CN113974830A (zh) | 一种用于超声引导甲状腺肿瘤热消融的手术导航*** | |
| CN108392180B (zh) | 时间强度曲线测定装置 | |
| CN105208937B (zh) | 图像处理装置 | |
| JP6485275B2 (ja) | イメージング装置 | |
| US20190239749A1 (en) | Imaging apparatus | |
| US11689689B2 (en) | Infrared imaging system having structural data enhancement | |
| JP2018128759A (ja) | テカリ領域除去装置 | |
| Stoyanov et al. | Robust registration of multispectral images of the cortical surface in neurosurgery | |
| Shademan et al. | Feasibility of near-infrared markers for guiding surgical robots | |
| US20170370843A1 (en) | Facilitating real-time visualization of tissue features derived from optical signals | |
| Hu et al. | Toward real-time tumor margin identification in image-guided robotic brain tumor resection | |
| JP7478245B2 (ja) | 医療画像装置及びその作動方法 | |
| CN117045178B (zh) | 一种用于荧光腔镜成像的图像品质智能监测方法及*** | |
| US12052526B2 (en) | Imaging system having structural data enhancement for non-visible spectra | |
| JP7200755B2 (ja) | イメージング装置およびイメージング装置の作動方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |