KR20220099152A - 조직 생체 확인 장치 및 방법 - Google Patents

조직 생체 확인 장치 및 방법 Download PDF

Info

Publication number
KR20220099152A
KR20220099152A KR1020210000430A KR20210000430A KR20220099152A KR 20220099152 A KR20220099152 A KR 20220099152A KR 1020210000430 A KR1020210000430 A KR 1020210000430A KR 20210000430 A KR20210000430 A KR 20210000430A KR 20220099152 A KR20220099152 A KR 20220099152A
Authority
KR
South Korea
Prior art keywords
parathyroid
image
region
information
biometric
Prior art date
Application number
KR1020210000430A
Other languages
English (en)
Inventor
이충희
신일형
Original Assignee
인더스마트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인더스마트 주식회사 filed Critical 인더스마트 주식회사
Priority to KR1020210000430A priority Critical patent/KR20220099152A/ko
Publication of KR20220099152A publication Critical patent/KR20220099152A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4227—Evaluating particular parts, e.g. particular organs endocrine glands, i.e. thyroid, adrenals, hypothalamic, pituitary
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/397—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave
    • A61B2090/3975—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave active
    • A61B2090/3979—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave active infrared
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Fuzzy Systems (AREA)
  • Cardiology (AREA)
  • Urology & Nephrology (AREA)
  • Endocrinology (AREA)
  • Gastroenterology & Hepatology (AREA)

Abstract

본 발명에 따른 부갑상선 생체 확인 장치는, 근적외선 센서에 의해 촬상된 대상자의 부갑상선 이미지가 저장된 메모리부, 상기 부갑상선 이미지로부터 속성정보를 추출하는 속성정보 추출부 및 상기 속성정보가 입력되는 기계 학습모델을 포함하고, 상기 기계 학습모델에 기초하여 상기 속성정보로부터 상기 부갑상선의 혈류지수를 생성하는 프로세서를 포함한다.

Description

조직 생체 확인 장치 및 방법 {Apparatus and Method for Viability Assessment of Tissue}
본 발명은 조직의 생체 확인을 위한 장치 및 방법에 관한 것으로, 더욱 자세하게는 부갑상선의 생체 확인을 수행할 수 있는 부갑상선 생체 확인 장치 및 방법에 관한 것이다.
부갑상선은 갑상선에 부착되어 있는 내분비기관으로, 일반적으로 상,하,좌,우의 4개의 작은 조직으로 구성되어 있다. 이와 같은 부갑상선은 파라토르몬(Parathormone)을 분비하여, 체액의 칼슘과 인의 대사를 조절한다. 고등동물로서 부갑상선이 정상적으로 활동하지 않거나 제거되면 혈액 속의 칼슘이 감소되고 전신에 특이한 근육경련증세가 발생하게 된다.
그리고 이와 같은 부갑상선에 대해 수술을 진행하는 경우, 부갑상선의 위치를 정확하게 식별해야 할 필요가 있다.
종래에는 대상 환자에게 조영제를 복용하도록 한 후 특정 파장의 빛을 조사하는 방법으로 부갑상선의 위치를 식별하는 방법이 흔히 사용되었으나, 이는 환자에게 심리적인 부담을 느끼게 하는 문제가 있다.
또한 수술 과정에서는 부갑상선의 생체 상태에 따라 부갑상선의 제거 여부를 결정해야 할 경우가 있으며, 종래에는 부갑상선의 생체 상태를 확인하는 과정이 전면적으로 시술자의 경험에 의존되고 있었다.
따라서 시술자의 개별 경험 차이에 따라 서로 다른 결과가 도출될 수 있으며, 잘못된 판단이 이루어지는 경우가 많아 신뢰성이 크게 떨어지는 문제가 있다.
따라서 이와 같은 문제점들을 해결하기 위한 방법이 요구된다.
대한민국 특허등록번호 10-1847435
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여 안출된 발명으로서, 식별된 부갑상선의 생체 확인 과정을 높은 신뢰도로 수행할 수 있도록 하는 장치 및 방법을 제공하기 위한 목적을 가진다.
또한, 기계 학습모델을 이용하여 실시간으로 부갑상선의 생체 확인을 수행할 수 있는 장치 및 방법을 제공하기 위한 목적을 가진다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 부갑상선 생체 확인 장치는, 근적외선 센서에 의해 촬상된 대상자의 부갑상선 이미지가 저장된 메모리부, 상기 부갑상선 이미지로부터 속성정보를 추출하는 속성정보 추출부 및 상기 속성정보가 입력되는 기계 학습모델을 포함하고, 상기 기계 학습모델에 기초하여 상기 속성정보로부터 상기 부갑상선의 혈류지수를 생성하는 프로세서를 포함한다.
또한, 본 발명의 다른 실시예에 따른 부갑상선 생체 확인 장치는 근적외선 센서에 의해 촬상된 대상자의 부갑상선 이미지가 저장된 메모리부, 상기 부갑상선 이미지로부터 속성정보를 추출하는 속성정보 추출부 및 상기 기준 속성정보에 기초한 혈류지수가 저장된 룩업 테이블을 포함하고, 상기 속성정보를 기준 속성정보와 비교 및 매칭하여 상기 부갑상선의 혈류지수를 생성하는 프로세서를 포함한다.
부갑상선 생체 확인 장치는 대상자의 부갑상선 영역에 780nm 내지 840nm 범위의 파장대역 중 선택된 파장의 광을 조사하는 광원부를 더 포함할 수 있다.
속성정보는 상기 부갑상선의 혈류에 관한 정보를 갖는 스펙클 콘트라스트 값(K), 부갑상선 영역에 근적외선 광이 조사되는 지점과 상기 근적외선센서를 통해 획득한 부갑상선 영역간의 거리(r) 및 상기 부갑상선 영역이 근적외선 광에 노출되는 시간(T) 중 적어도 어느 하나를 포함할 수 있다.
또한, 속성정보는 상기 대상자의 임상정보를 포함하고, 상기 임상정보는 상기 대상자의 나이, 성별, 병력, 운동습관, 식습관, 흡연 및 음주여부 중 어느 하나를 포함할 수 있다.
기계 학습모델은 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN) 중 적어도 어느 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 부갑상선 생체 확인 방법은 근적외선 센서로 대상자의 부갑상선 영역에 대한 이미지를 촬상하는 단계, 상기 부갑상선 영역의 이미지로부터 속성정보를 추출하는 단계 및 기계 학습모델에 기초하여 상기 속성정보로부터 상기 부갑상선의 혈류지수를 생성하는 단계를 포함한다.
상기한 과제를 해결하기 위한 본 발명의 실시예에 따르면, 부갑상선의 생체 확인 장치 및 방법은, 확산 스펙클(Speckle) 패턴을 생성하여, 이를 통해 획득한 영상정보를 이용하여 부갑상선의 생체 확인을 높은 신뢰도로 수행할 수 있는 효과가 있다.
또한, 기계 학습모델을 이용하여 수술현장에서 실시간으로 부갑상선의 생체 확인을 수행할 수 있는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 갑상선 및 부갑상선의 모습을 나타낸 도;
도 2는 본 발명의 일 실시예에 따른 부갑상선 식별 및 생체 확인 장치의 모습을 나타낸 도;
도 3은 본 발명의 일 실시예에 따른 부갑상선 식별 및 생체 확인 방법을 설명하기 위한 플로우 차트;
도 4는 본 발명의 일 실시예에 따른 부갑상선 식별 및 생체 확인 장치를 통해 부갑상선의 위치를 판단하는 모습을 나타낸 도;
도 5는 본 발명의 일 실시예에 따른 부갑상선 식별 및 생체 확인 장치를 통해 획득한 컬러 화상 및 제1화상을 각각 나타낸 도;
도 6은 본 발명의 일 실시예에 따른 부갑상선 식별 및 생체 확인 장치를 통해 부갑상선의 생체 확인을 수행하는 모습을 나타낸 도;
도 7은 본 발명의 일 실시예에 따른 부갑상선 식별 및 생체 확인 장치를 통해 획득한 제2화상을 가공하는 과정을 나타낸 도;
도 8a 및 도 8b는 본 발명의 일 실시예로, 부갑상선 식별 및 생체 확인 장치를 통해 획득한 컬러 화상 및 제2화상을 각각 나타낸 도;
도 9는 본 발명의 일 실시예에 따른 부갑상선 생체 확인 장치를 나타낸 도;
도 10은 본 발명의 일 실시예에 따른 장치를 이용하여 부갑상선 생체 확인을 하는 제 1방법을 개략적으로 설명하기 위한 도; 및
도 11은 본 발명의 일 실시예에 따른 장치를 이용하여 부갑상선의 생체 확인을 하는 제 2방법을 개략적으로 설명하기 위한 도이다.
이하 본 발명의 실시예에 대하여 첨부한 도면을 참조하여 상세하게 설명하기로 한다. 다만, 첨부된 도면은 본 발명의 내용을 보다 쉽게 개시하기 위하여 설명되는 것일 뿐, 본 발명의 범위가 첨부된 도면의 범위로 한정되는 것이 아님은 이 기술분야의 통상의 지식을 가진 자라면 용이하게 알 수 있을 것이다.
또한, 본 발명의 상세한 설명 및 청구항들에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 발명의 상세한 설명 및 청구항들에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 상세한 설명 및 청구항들에서, "학습", 혹은 "러닝"은 절차에 따른 컴퓨팅(computing)을 통하여 기계학습(machine learning)을 수행함을 일컫는 용어인바, 인간의 교육활동과 같은 정신적 작용을 지칭하도록 의도된 것이 아닌 것으로 이해되어야 한다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나 지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다
도 1은 갑상선(t) 및 부갑상선(g)의 모습을 나타낸 도면이다.
도 1에 도시된 바와 같이, 부갑상선(g)은 목 앞쪽 중앙에 위치한 갑상선(t)의 뒤쪽에 위치되며, 일반적으로 4개가 갑상선(t)의 좌측 상부, 좌측 하부, 우측 상부 및 우측 하부에 각각 위치된다.
발명의 배경이 되는 기술 부분에서 설명한 바와 같이, 이와 같은 부갑상선(g)에 대해 수술을 진행하는 경우, 부갑상선(g)의 위치를 정확하게 식별하고, 부갑상선(g)의 생체 상태를 파악하는 것이 매우 중요하다,
이에 따라 본 발명은 특정 영역의 파장을 가지는 광을 이용하여 획득한 영상정보를 통해 부갑상선(g)의 위치를 식별하고, 생체 확인을 수행할 수 있도록 하는 부갑상선 식별 및 생체 확인 장치 및 이를 이용한 부갑상선 식별 및 생체 확인 방법을 제공한다.
도 2는 본 발명의 일 실시예에 따른 부갑상선 식별 및 생체 확인 장치(100)의 모습을 나타낸 도면이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 부갑상선 식별 및 생체 확인 장치(100)는 광원부(105)와, 내시경 어셈블리(110)와, 컬러센서(180)와, 제1근적외선 센서(190a) 및 제2근적외선 센서(190b) 및 광원 구동부(107)를 포함한다.
상기 광원부(105)는 기 설정된 파장 범위에서 선택된 파장의 광을 조사하도록 구비되며, 본 실시예의 경우 상기 내시경 어셈블리(110)의 바디에 장착되는 형태를 가진다.
이에 따라 상기 광원부(105)는 상기 내시경 어셈블리(110)에 입사되는 빛에 대해 평행한 방향으로 광을 조사할 수 있다. 도시되지는 않았으나, 상기 광원부(105)는 조사되는 광의 각도를 소정 범위에서 조절 가능하게 형성될 수도 있음은 물론이다.
그리고 본 실시예에서 상기 광원부(105)는 가시광 영역이나 근적외선 영역의 빛을 발생시킬 수 있는 LED나 근적외선 영역의 빛을 발생시킬 수 있는 레이저 다이오드(Laser Diode)를 포함할 수 있다. 근적외선 영역은 780nm 내지 840nm 범위의 파장대역 중 선택된 파장이고, 광원부(105)는 컬러센서(180)와, 제1근적외선 센서(190a) 및 제2근적외선 센서(190b)에 의해 이미지 촬상(image pickup) 동작을 수행하는 동안 해당 이미지 촬상 범위의 빛을 조사한다. 또한, 광원부(105)는 기능성 렌즈, 예를들어, 확산렌즈 혹은 포커싱 렌즈 등을 포함하여 해당영역에 광을 포커싱하거나 확산시켜 조사할 수 있다.
광원 구동부(107)는 광원부(105)를 구동하고, 광원부(105)로부터 발생된 광의 영역대를 선택적으로 제어한다. 예를들어, 광원 구동부(107)는 컬러센서(180)에 의해 이미지 촬상 동작을 수행하는 동안에는 가시광을 조사하는 광원부(105)의 LED가 동작되도록 제어하고, 제1근적외선 센서(190a) 및 제2근적외선 센서(190b)에 의해 이미지 촬상 동작을 수행하는 동안에는 근적외선 광을 조사하는 광원부(105)의 LED나 광원부(105)의 LD가 동작되도록 제어한다.
상기 내시경 어셈블리(105)는 상기 광원부(105)를 통해 광이 조사되는 부갑상선 수술 영역의 영상정보를 획득하는 매개체로서, 구체적인 구조 및 작동 과정은 당업자에게 자명한 사항이므로 이에 대한 자세한 설명은 생략하도록 한다.
본 실시예에서 상기 내시경 어셈블리(105)에는 사용자가 그립 가능하도록 하는 그립부(112)가 형성되며, 또한 전단에는 편광 캡(120)이 구비될 수 있다.
상기 컬러센서(180)는 상기 내시경 어셈블리(110)를 통해 획득한 영상정보의 가시광선 영역을 검출하여 컬러 화상을 제공하는 구성요소이다.
이를 위해, 본 실시예의 경우 상기 내시경 어셈블리(110)를 통해 획득한 영상정보의 가시광을 상기 컬러센서(180) 측으로 반사하고 적외광을 투과시키는 가시광 반사미러(130)와, 상기 가시광 반사미러(130)에 도달하기 이전의 영상정보가 통과하는 제1렌즈(140a)와, 상기 가시광 반사미러(130)에 의해 반사된 가시광이 통과하는 제2렌즈(140b)를 더 포함할 수 있다.
상기 제1근적외선 센서(190a)는 상기 내시경 어셈블리(110)를 통해 획득한 영상정보로부터 제1적외선 영역을 검출하여 부갑상선의 위치 판별을 위한 제1화상을 제공하고, 상기 제2근적외선센서(190b)는 상기 내시경 어셈블리(110)를 통해 획득한 영상정보로부터 제2적외선 영역을 검출하여 부갑상선의 생체 확인을 위한 제2화상을 제공한다. 이때, 상기 제1적외선 영역과 상기 제2적외선 영역은 서로 다른 파장대역일 수 있다. 예컨대, 상기 제1근적외선센서(190a)가 검출하는 상기 제1적외선 영역은 상기 광원부(105)로부터 780nm 내지 805nm 범위를 갖는 광이 조사되어 생성된 파장대역을 포함할 수 있으며, 상기 제2근적외선센서(190b)가 검출하는 상기 제2적외선 영역은 상기 광원부(105)로부터 820nm 내지 840nm 범위를 갖는 광이 조사되어 생성된 파장대역을 포함할 수 있다.
또한 이를 위해 본 실시예의 경우, 상기 가시광 반사미러(130)를 통과한 적외선광을 상기 제1적외선 영역의 적외선광과 상기 제2적외선 영역의 적외선광으로 분리하여 각각 상기 제1근적외선센서(190a) 또는 상기 제2근적외선센서(190b)에 전달하는 적외선광 분리기(150)와, 상기 제1적외선 영역의 적외선광을 필터링하는 제1필터(160a)와, 상기 제2적외선 영역의 적외선광을 필터링하는 제2필터(160b)를 더 포함할 수 있다. 더불어 상기 제1필터(160a)와 상기 제1근적외선센서(190a) 사이에는 편광렌즈(170)가 더 구비될 수 있다.
또한, 본 실시예의 부갑상선 식별 및 생체 확인 장치(100)는 상기 컬러 화상, 상기 제1화상 및 상기 제2화상을 이미지 처리하기 위한 프로세서(195)와 상기 프로세서에 의해 이미지 처리된 컬러화상, 제1화상 및 제2화상을 디스플레이 하기 위한 디스플레이부(200)를 더 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 부갑상선 식별 및 생체 확인 방법을 설명하기 위한 플로우 차트이다.
도 3에서 보는 바와 같이, 부갑상선 수술 영역 혹은 부갑상선에 기 설정된 파장 범위에서 선택된 파장의 광를 조사한다(Irradiating light of a selected wavelength in a preset wavelength range to the parathyroid surgery area or the parathyroid gland, S1). 이때 선택된 파장은 가시광 영역 및 근적외선 영역일 수 있다. 이후, 광이 조사되는 부갑상선 수술 영역의 영상정보를 획득하고, 상기 영상정보로부터 가시광선 영역을 분리하여 컬러 화상을 획득한다(Acquiring image information of parathyroid surgery area to which light is irradiated and a color image by separating a visible region from the image information, S2). 이후, 상기 가시광선 영역이 분리된 영상정보로부터 제1적외선 영역 및 제2적외선 영역을 분리한다(Separating a first infrared region and a second infrared region from the image information, S3). 이후, 분리된 제1적외선 영역으로부터 부갑상선의 위치 판별을 위한 제1화상을 획득하고, 분리된 제2적외선 영역으로부터 부갑상선의 생체 확인을 위한 제2화상을 획득한다(Acquiring a first image from the separated first infrared region and a second image from the separated second infrared region, S4). 이때, 제1화상을 획득하거나 제2화상을 획득은 선택적으로 수행될 수 있다.
한편, 본 발명의 일 실시예에서, 가시광 영역 및 근적외선 영역의 광을 조사하여 컬러화상을 획득하였지만, 광원부의 가시광 영역만의 광을 조사하거나, 광원부의 동작없이 수술환경에서의 자연광을 이용하여 컬러화상을 획득할 수 있다. 이후, 제1화상 및 제2화상은 선택된 근적외선 영역의 광을 부갑상선 수술영역에 조사하여 획득될 수 있다.
도 4는 본 발명의 일 실시예에 따른 부갑상선 식별 및 생체 확인 장치(100)를 통해 부갑상선의 위치를 판단하는 모습을 나타낸 도면이다.
도 4에 도시된 바와 같이, 부갑상선의 위치 판별 과정에서는, 부갑상선 식별 및 생체 확인 장치(100)의 광원부(105)를 통해 광을 부갑상선 수술 영역(R)에 조사하게 된다. 이때, 조사되는 광은 확산광으로써, 780nm 내지 840nm 파장대역인 근적외선 광이다.
이에 따라, 상기 부갑상선 수술 영역(R)으로부터 발생된 반사광은 상기 내시경 어셈블리(110)의 바디(B) 내측으로 전달되어 상기 제1근적외선센서(190a)에 의해 제1화상이 구현된다. 이때, 제1화상에서는 부갑상선 수술 영역(R) 내에 위치된 부갑상선(g)이 다른 영역에 비해 광도가 높게 나타나게 된다.
즉, 부갑상선(g)은 780nm 내지 805nm 범위의 파장대역인 제1적외선 영역에 대해 자체적으로 발광하게 되며, 이를 통해 시술자는 제1화상을 통해 부갑상선(g)의 위치를 용이하게 식별할 수 있다.
도 5는 본 발명의 일 실시예에 따른 부갑상선 식별 및 생체 확인 장치를 통해 획득한 컬러 화상(a) 및 제1화상(b)을 각각 나타낸 도면으로서, (b)에 나타난 제1화상에서 부갑상선(g)이 주위 다른 영역에 비해 높은 광도로 표시되는 것을 확인할 수 있다.
한편, 부갑상선의 위치 식별은 제1적외선 영역에서의 자체 발광으로 파악될 수 있지만, 제1적외선에 의해 갑상선 영역의 다른 조직에서 표면 반사(Surface reflection)로 인한 부갑상선의 위치를 오인, 혼동할 수 있다. 이에 대해, 본 발명의 실시예에서는 컬러센서(180)를 이용하여 (a)와 같이 갑상선의 컬러 화상을 구현하고, 상기 제1근적외선센서(190a)를 이용하여 부갑상선 조직으로부터 발생한 자가형광 이미지 즉, 제1화상을 더하여(overlay) 퓨전 이미지(Fusion Image)를 도출할 수 있다. 이에 따라 부갑상선의 위치 식별에 대한 정확도를 높일 수 있다.
도 6은 본 발명의 일 실시예에 따른 부갑상선 식별 및 생체 확인 장치(100)를 통해 부갑상선의 생체 확인을 수행하는 모습을 나타낸 도이다. 도시된 바와 같이, 부갑상선의 생체 확인 과정에서는, 부갑상선 식별 및 생체 확인 장치(100)의 광원부(105)를 통해 광을 부갑상선(g)의 특정지점(s) 혹은 부갑상선(g)의 근접영역에 포커싱하여 조사하게 된다. 조사되는 광은 부갑상선의 특정 지점 혹은 근접영역을 포커싱하기 위한 광으로써, 820nm 내지 840nm 파장대역인 근적외선 광이다.
이에 따라 부갑상선(g)의 조직 내에는 도시된 바와 같이, 근적외선 광에 의해 확산 스펙클(Speckle) 패턴(D1, D2)이 생성되며, 상기 제2근적외선센서(190b)를 통해 획득한 제2화상은, 확산 스펙클 패턴에 의한 패턴정보를 포함하게 된다. 확산 스펙클 패턴은 근적외선이 조사되는 지점과 제2근적외선센서(190b)를 통해 획득한 제2화상 영역간의 거리(r)에 따라 다르게 나타난다.
한편, 광원부(105)의 종축은 내시경 어셈블리(110)의 종축과 평행한 방향으로 배치됨이 바람직하다. 이는 광원부의 근적외선 광에 의해 생성된 스펙클 패턴을 내시경 어셈블리(110)를 통해 패턴 정보를 획득할 때, 근적외선 광에 의한 노이즈가 발생되지 않도록 하기 위함이다. 즉, 내시경 어셈블리(110)의 획득 윈도우가 스펙클 패턴 영역뿐만 아니라 근적외선 광이 포커싱 된 지점(s)을 포함하게 될 경우, 포커싱 광에 의한 스펙클 패턴 정보의 신뢰성을 떨어뜨리기 때문이다. 그러므로, 본 발명의 일 실시예에서는 적어도 광원부의 포커싱 광이 조사되는 영역과 스펙클 패턴을 얻는 획득 윈도의 영역은 서로 달라야 한다.
또한, 도면에는 나타나 있지 않지만, 부갑상선의 위치 파악 및 생체확인을 위해 여러 가지 다양한 센서 예를들어, 온도 센서 등을 이용하여 그 센서들로부터 공간적 및 시간적으로 정보를 얻어 이미지화 할 수 있다.
도 7은 본 발명의 일 실시예에 따른 부갑상선 식별 및 생체 확인 장치를 통해 획득한 제2화상을 가공하는 과정을 나타낸 도면이다.
도 7의 좌측에 도시된 바와 같이, 상기 제2근적외선센서(190b)를 통해 제2화상의 Raw 이미지를 획득한 이후, 이를 도 7의 우측에 도시된 바와 같이, 소정의 수식을 적용하여 상기 Raw 이미지의 각 픽셀에 혈류에 관한 정보인 1차원의 스펙클 콘트라스(Speckle Contrast, K) 값을 배분하고, K값의 크기에 따라 각 픽셀의 컬러 계조를 대응시켜 이미지화 시킨다. 이때, 스펙클 콘트라스 값은 픽셀 혹은 픽셀 그룹에 배분될 수 있다.
즉, 본 과정에서는, 이미 K값이 설정된 기준 이미지와 가공한 제2화상의 이미지를 서로 비교하여, 제2화상의 K값이 기 설정된 Thresholds값 이상인 경우 부갑상선이 죽어있는 것으로 판단하고, 제2화상의 K값이 기 설정된 Thresholds값 미만인 경우 부갑상선이 살아 있는 상태인 것으로 판단할 수 있다.
도 8a 및 도 8b는 본 발명의 일 실시예로, 부갑상선 식별 및 생체 확인 장치를 통해 획득한 컬러 화상 및 제2화상을 각각 나타낸 도이다.
도 8a를 참조하면, (a)는 부갑상선의 컬러 화상이고, (b)는 부갑상선의 제2화상이다. 제2화상은 앞서 도 7에서 설명한 방법으로, K값의 크기에 따라 각 픽셀의 컬러 계조를 대응시켜 이미지화 시킨것으로, 부갑상선의 K값이 기 설정된 Thresholds값 미만으로 나타나 부갑상선이 살아있는 이미지이다.
도 8b를 참조하면, (a)는 부갑상선의 컬러 화상이고, (b)는 부갑상선의 제2화상이다. 제2화상은 역시 앞서 도 7에서 설명한 방법으로, K값의 크기에 따라 각 픽셀의 컬러 계조를 대응시켜 이미지화 시킨것으로, 부갑상선의 K값이 기 설정된 Thresholds값 이상으로 나타나 부갑상선이 죽어있는 이미지이다.
한편, 본 과정에서 제2화상을 가공하기 위해, 다음 수학식들을 통해 1차원 수치값을 도출할 수 있다.
[수학식1]
Figure pat00001
(K:speckle contrast, T:exposure time, g1:electric-field autocorrelation function, ρ:source-detector separation, τ: delay time)
[수학식2]
Figure pat00002
(μ's: scattering coefficient, μa: absorption coefficient, αDB: Blood flow index)
[수학식3]
1/K2 ∝ αDb (blood flow index)
[수학식 4]
K= σ/I
(σ: standard deviation of speckle intensity, I: mean intensity)
수학식 4에서, 실제 실험적으로 조직(부갑상선)에서 측정한 K값을 수학식 3의 이론적 모델에서의 K값에 피팅시킨다. 이에 따라 혈류지수(Blood flow index)는 이론값 K를 실험값 K에 근사시켜서 도출된다.
이와 같이, 본 발명은 선택된 제 1파장을 가지는 광을 부갑상선 수술 영역에 조사하고, 부갑상선 수술 영역의 영상정보를 획득한 후 빛의 분리 과정을 거쳐 부갑상선의 위치를 정확하게 식별할 수 있으며, 또한 선택된 제 2파장의 광을 부갑상선 혹은 부갑상선의 인접한 인접부에 조사하도록 하여 부갑상선에 생성된 확산 스펙클(Speckle) 패턴을 획득하여 부갑상선의 생체 확인을 높은 신뢰도로 수행할 수 있다.
한편, 혈류지수(Blood flow index)는 스펙클 콘트라스 값(K)을 실험을 통해 얻은 후, 해당 K값을 상기 수학식 3인 비선형수식에 넣어 역 계산하여야 한다. 따라서, 수학적으로 역 계산하여 풀기에는 부갑상선 생체 확인장치의 컴퓨팅 성능(Computation Power)이 많이 요구된다.
본 발명의 일 실시예에서는 기계 학습모델을 활용하여 복잡한 계산없이 혈류지수(Blood flow index)를 구하고, 실시간으로 부갑상선의 생체를 확인할 수 있는 장치 및 방법을 제공한다.
도 9는 본 발명의 일 실시예에 따른 부갑상선 생체 확인 장치를 나타낸 도이다.
도 9를 참조하면, 부갑상선 생체 확인 장치(500)는 내시경 어셈블리(110), 근적외선센서(190), 컴퓨팅 디바이스(Computing Device, 300), 디스플레이 디바이스(Display Device, 200)를 포함할 수 있다. 내시경 어셈블리를 통해 획득한 부갑상선의 이미지는 근적외선센서(190)에 의해 광전자적으로 이미지신호로 변환되어 프로세서(111)에 제공될 수 있다.
컴퓨팅 디바이스(300)는 프로세서(Processor, 111), 메모리부(Memory Unit, 113), 스토리지 디바이스(Storage Device, 115), 입, 출력 인터페이스(117), 네트웍 어뎁터(Network Adapter, 118), 디스플레이 어뎁터(Display Adapter, 119), 프로세서를 포함한 다양한 시스템 구성요소를 메모리부(113)에 연결하는 시스템 버스(System bus, 112)를 포함할 수 있지만 이에 한정되지 않는다. 또한, 부감상선 생체 확인 장치는 정보를 전달하기 위한 버스(112)뿐만 아니라 다른 통신 메커니즘을 포함할 수 있다.
버스 또는 다른 통신 메커니즘은, 프로세서, 컴퓨터 판독가능한 기록매체인 메모리, 근거리 통신 모듈(예를 들어, 블루투스나 NFC), 네트워크 인터페이스나 이동통신 모듈을 포함하는 네트워크 어뎁터, 디스플레이 디바이스(예를 들면, CRT 또는 LCD 등), 입력장치 (예를 들면, 키보드, 키패드, 가상 키보드, 마우스, 트랙볼, 스타일러스, 터치 감지 수단 등), 및/또는 하위 시스템들을 상호 접속한다.
프로세서(111)는 기계 학습모델(13)을 활용하여 자동으로 프로세싱 하는 프로세싱 모듈일 수 있고, CPU, AP(Application Processor), 마이크로 컨트롤러, 디지털 신호 프로세서(Digital Signal Processor) 등일 수 있으나 이에 한정되는 것은 아니다.
프로세서(111)는 디스플레이 디바이스용 하드웨어 제어기 예를들어, 디스플레이 어뎁터(119)와 통신하여 디스플레이 디바이스(200) 상에 부갑상선 생체 확인장치의 동작 및 유저 인터페이스를 표시할 수 있다.
프로세서(111)는 메모리부(113)에 접속하여 메모리부에 저장된 명령들이나 로직의 하나 이상의 시퀀스들을 실행하는 것에 의해 이후 설명될 본 발명의 실시예에 따른 부갑상선 생체 확인장치의 동작을 제어한다.
이러한 명령들은, 정적 저장부(Static storage) 또는 디스크 드라이브와 같은 다른 컴퓨터 판독가능 기록매체로부터 메모리 안에서 판독될 수도 있다. 다른 실시형태들에서, 본 개시를 구현하기 위한 소프트웨어 명령들을 대신하거나 소프트웨어 명령들과 조합된 하드웨어에 내장된 회로부(hard-wired circuitry)가 사용될 수도 있다. 로직은, 프로세서로 명령들을 제공하는데 참여하는 임의의 매체를 지칭할 수도 있으며, 메모리부(113)에 로딩될 수도 있다.
시스템 버스(System bus, 112)는 다양한 버스 구조(architectures) 중 임의의 것을 사용하는 메모리 버스 또는 메모리 컨트롤러, 주변장치버스, 가속 그래픽 포트 및 프로세서 혹은 로컬 버스를 포함하는 여러 가능한 유형의 버스 구조 중 하나 이상을 나타낸다. 예를 들어, 이런 구조들(architectures)은 ISA (Industry Standard Architecture) 버스, MCA(Micro Channel Architecture) 버스, EISA(Enhanced ISA)버스, VESA(Video Electronics Standard Association) 로컬 버스, AGP(Accelerated Graphics Port) 버스 및 PCI(Peripheral Component Interconnects), PCI-Express 버스, PCMCIA(Personal Computer Memory Card Industry Association), USB(Universal Serial Bus)과 같은 것을 포함할 수 있다.
시스템 버스(System bus, 112)는 유, 무선 네트워크 연결로써 실행될 수 있다. 프로세서(Processor, 111), 메모리부(Memory unit), 오퍼레이팅 시스템(Operating System), 이미징 소프트웨어(Imaging Software), 이미징 데이터(Imaging Data), 네트워크 어뎁터(Network Adapter), 시스템 메모리(Story device), 입/출력 인터페이스(Input/Output Interface), 디스플레이 어뎁터(Display Adapter), 디스플레이 디바이스(Display Device)를 포함하는 서브 시스템 각각은 물리적으로 분리된 위치에 하나 이상의 원격 컴퓨팅 장치(Remote Computing Device, 310, 320, 330) 안에 포함될 수 있고, 분산된 시스템을 효율적으로 실행하는데 있어 이와 같은 형태의 버스들을 통해 연결될 수 있다.
버스의 배선들(wires)을 포함하는 송신 매체들은 동축 케이블, 동선(copper wire), 및 광섬유들을 포함할 수 있다. 일 예에서, 송신 매체들은, 라디오 파 통신이나 적외선 데이터 통신 동안 생성된 음파 또는 광파의 형태를 취할 수도 있다.
본 발명의 실시예에 따른 부갑상선 생체 확인장치(500)는, 네트워크 링크 및 네트워크 어뎁터(Network Adapter, 118)를 통해 메시지들, 데이터, 정보 및 하나 이상의 프로그램들(즉, 애플리케이션 코드)을 포함하는 명령들을 송신하고 수신할 수도 있다.
네트워크 어뎁터(Network Adapter, 118)는, 네트워크 링크를 통한 송수신을 가능하게 하기 위한, 별개의 또는 통합된 안테나를 포함할 수도 있다. 네트워크 어뎁터(118)는 네트워크에 접속하여 원격 부갑상선 생체확인 장치와 같은 원격 컴퓨팅 장치(Remote Computing Device, 310, 320, 330)와 통신할 수 있다. 네트워크는 LAN, WLAN, PSTN, 및 셀룰러 폰 네트워크 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니다.
네트워크 어뎁터(118)는 상기 네트워크에 접속하기 위한 네트워크 인터페이스 및 이동통신 모듈 중 적어도 하나를 포함할 수 있다. 이동통신 모듈은 세대별 이동통신망(예를 들어, 2G 내지 5G 이동통신망)에 접속가능하다.
프로그램 코드는 수신될 때 프로세서(111)에 의해 실행될 수도 있고/있거나 실행을 위해 메모리부(113)의 디스크 드라이브 또는 디스크 드라이브와는 다른 종류의 비휘발성 메모리에 저장될 수도 있다.
컴퓨팅 디바이스(Computing device, 300)는 다양한 컴퓨터 판독가능한 기록매체를 포함할 수 있다. 판독가능한 매체는 컴퓨팅 디바이스에 의해 접근 가능한 임의의 다양한 매체가 될 수 있고, 예를들어, 휘발성(volatile) 또는 비휘발성 매체(non-volatile media), 유동 매체(removable media), 비유동 매체(non-removablemedia)를 포함할 수 있지만 이에 한정되지 않는다.
메모리부(113)는 본 발명의 실시예에 따른 부갑상선 생체확인 장치의 동작에 필요한 운영체제, 드라이버, 애플리케이션 프로그램, 데이터 및 데이터 베이스 등을 저장할 수 있으나 이에 한정되는 것은 아니다. 또한, 메모리부(113)는 RAM(Random Access Memory)과 같은 휘발성 메모리, ROM(Read Only Memory) 및 플래시 메모리와 같은 비휘발성 메모리 형태로 컴퓨터 판독 가능한 매체를 포함할 수 있고, 또한, 디스크 드라이브 예를들면, 하드 디스크 드라이브(Hard Disk Drive), 솔리드 스테이트 드라이브(Solid State Drive), 광 디스크 드라이브 등을 포함 할 수 있지만 이에 한정되지 않는다.
또한, 메모리부(113)와 스토리지 디바이스(115)는 각각 전형적으로 부갑상선의 이미지와 같은 이미징 데이터(Imaging Data, 113a, 115a)가 프로세서(111)에 의해 동작되도록 즉시 접속될 수 있는 이미징 소프트웨어(113b, 115b)와 오퍼레이팅 시스템(113c, 115c)과 같은 프로그램 모듈을 포함할 수 있다.
기계 학습모델(13)은 프로세서(111), 메모리부(113) 혹은 스토리지 디바이스(115)에 삽입될 수 있다. 이때의 기계 학습모델(13)은 기계학습 알고리즘의 하나인 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN) 등을 포함할 수 있고, 이에 한정되지 않는다.
심층 신경망(Deep Neural Network, DNN)은 입력층(input layer)과 출력층(output layer) 사이에 여러 개의 은닉층(hidden layer)들로 이뤄진 인공신경망(Artificial Neural Network, ANN)이다. 심층 신경망(DNN)은 일반적인 인공신경망과 마찬가지로 복잡한 비선형 관계(non-linear relationship)들을 모델링할 수 있다. 예를 들어, 물체 식별 모델을 위한 심층 신경망 구조에서는 각 물체가 영상의 기본적 요소들의 계층적 구성으로 표현될 수 있다. 이때, 추가 계층들은 점진적으로 모여진 하위 계층들의 특징들을 규합시킬 수 있다. 심층 신경망의 이러한 특징은, 비슷하게 수행된 인공신경망에 비해 더 적은 수의 유닛(unit, node)들만으로도 복잡한 데이터를 모델링할 수 있게 해준다.
합성곱신경망(CNN)은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. 합성곱 신경망(CNN)은 하나 또는 여러개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 합성곱 신경망(CNN)은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥 러닝 구조들과 비교해서, 합성곱 신경망(CNN)은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. 합성곱 신경망(CNN)은 또한 표준 역전달을 통해 훈련될 수 있다. 합성곱 신경망(CNN)은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.
딥 러닝에서는 합성곱 심층 신뢰 신경망(Convolutional Deep Belief Network, CDBN)가 개발되었는데, 기존 합성곱 신경망(CNN)과 구조적으로 매우 비슷해서, 2차원 구조를 잘 이용할 수 있으며 그와 동시에 심층 신뢰신경망(Deep Belief Network, DBN)에서의 선훈련에 의한 장점도 취할 수 있다. 합성곱 심층 신뢰 신경망(CDBN)은 다양한 영상과 신호 처리 기법에 사용될 수 있는 일반적인 구조를 제공하며 CIFAR와 같은 표준 이미지 데이터에 대한 여러 벤치마크 결과에 사용되고 있다.
순환 신경망(Recurrent Neural Network, RNN)은 인공신경망을 구성하는 유닛 사이의 연결이 다이렉티드 사이클(directed cycle)을 구성하는 신경망을 말한다. 순환 신경망은 임의의 입력을 처리하기 위해 신경망 내부의 메모리를 활용할 수 있다. 이러한 특성에 의해 순환 신경망은 필기체 인식(Handwriting recognition)과 같은 분야에 활용되고 있고, 높은 인식률을 나타낸다.
도 10은 본 발명의 일 실시예에 따른 부갑상선 생체 확인장치를 이용하여 부갑상선의 생체 확인을 하는 제 1방법을 개략적으로 나타낸 도이다.
도 10을 참조하면, 우선, 근적외선 센서(미도시)에 의해 획득된 부갑상선 이미지(10)는 메모리부(113)에 저장된다. 메모리부(113)는 속성 정보 추출부(30)를 포함할 수 있고, 상기 속성 정보 추출부(30)는 부갑상선 이미지로부터 속성 정보를 추출할 수 있다. 속성 정보 추출부(30)는 메모리부(113)에 포함되지 않고 독립적으로 구성될 수 있다. 이때, 속성 정보는 혈류에 관한 정보를 갖는 스펙클 콘트라스(K) 값과, 앞서 도 6를 참조하여 설명한 부갑상선을 촬상하기 위해 부갑상선 영역에 근적외선 광이 조사되는 지점과 근적외선센서를 통해 획득한 부갑상선 영역간의 거리(r), 부갑상선 영역이 근적외선 광에 노출되는 시간(T)을 포함할 수 있다.
또한, 속성 정보는 상기 부갑상선의 대상자인 임상정보를 더 포함할 수 있다. 임상정보는 대상자의 나이, 성별, 병력, 운동습관, 식습관, 흡연 및 음주여부 중 어느 하나를 포함할 수 있다.
이러한 속성정보는 부갑상선 생체 확인 장치(500)의 구성요소인 프로세서(111) 내에 저장된 기계 학습모델(13)에 입력될 수 있다. 기계 학습모델(13)에는 복수의 대상자로부터 기 확보된 학습용 부갑상선 이미지에서 추출된 속성정보에 기초하여 부갑상선의 혈류에 관한 정보, 즉, 부갑상선의 혈류지수(Blood flow Index)가 정의되어 있다.
본 발명에 따른 부갑상선 생체 확인 장치(500)는 새롭게 획득한 상기 속성정보를 갖는 부갑상선 이미지에 대해 기계 학습모델에 기초하여 상기 부갑상선 이미지에서 혈류지수를 생성할 수 있다. 이에 따라, 혈류 지수에 기초하여 부갑상선의 생체를 실시간으로 확인할 수 있다.
한편, 본 발명의 일 실시예에서는 기계 학습모델을 활용하여 부갑상선의 혈류지수를 생성하였지만, 기준 속성 정보가 미리 설정된 알고리즘 혹은 프로그램을 활용하여 부갑상선의 혈류지수를 생성할 수 있다. 예를들어, 도 11에서와 같이, 근적외선 센서(미도시)에 의해 획득된 부갑상선 이미지(10)는 메모리부(113)에 저장되고, 메모리부(113)에 포함된 상기 속성 정보 추출부(30)는 부갑상선 이미지로부터 속성 정보를 추출할 수 있다. 이때, 속성 정보는 혈류에 관한 정보를 갖는 스펙클 콘트라스(K) 값과, 앞서 도 6를 참조하여 설명한 부갑상선을 촬상하기 위해 부갑상선 영역에 근적외선 광이 조사되는 지점과 근적외선센서를 통해 획득한 부갑상선 영역간의 거리(r), 부갑상선 영역이 근적외선 광에 노출되는 시간(T)을 포함할 수 있다.
또한, 기준 속성정보에 기초한 혈류지수가 미리 저장된 룩업 테이블(Look-Up table, 111a)이 프로세서(111)에 포함되고, 프로세서(111)는 속성정보 추출부(30)에서 새롭게 추출한 부갑상선 이미지의 속성정보를 기준 속성정보와 비교 및 매칭하여 혈류지수를 생성할 수 있다. 이에 따라, 혈류 지수에 기초하여 부갑상선의 생체를 실시간으로 확인할 수 있다.
이상과 같이 본 발명에 따른 바람직한 실시예를 살펴보았으며, 앞서 설명된 실시예 이외에도 본 발명이 그 취지나 범주에서 벗어남이 없이 다른 특정 형태로 구체화될 수 있다는 사실은 해당 기술에 통상의 지식을 가진 이들에게는 자명한 것이다. 그러므로, 상술된 실시예는 제한적인 것이 아니라 예시적인 것으로 여겨져야 하고, 이에 따라 본 발명은 상술한 설명에 한정되지 않고 첨부된 청구항의 범주 및 그 동등 범위 내에서 변경될 수도 있다.
100: 부갑상선 식별 및 생체 확인 장치
105: 광원부
107: 광원 구동부(Light Source Driver)
110: 내시경 어셈블리
130: 가시광 반사미러
150: 적외광 분리기
180: 컬러 센서
190a: 제1근적외선 센서
190b: 제2근적외선 센서
195: 프로세서(Processor)
200: 디스플레이부(Display Device)

Claims (12)

  1. 근적외선 센서에 의해 촬상된 대상자의 부갑상선 이미지가 저장된 메모리부;
    상기 부갑상선 이미지로부터 속성정보를 추출하는 속성정보 추출부; 및
    상기 속성정보가 입력되는 기계 학습모델을 포함하고, 상기 기계 학습모델에 기초하여 상기 속성정보로부터 상기 부갑상선의 혈류지수를 생성하는 프로세서
    를 포함하는 부갑상선 생체 확인장치.
  2. 제1항에 있어서,
    상기 대상자의 부갑상선 영역에 780nm 내지 840nm 범위의 파장대역 중 선택된 파장의 광을 조사하는 광원부를 더 포함하는 부갑상선 생체 확인 장치.
  3. 제1항에 있어서,
    상기 속성정보는 상기 부갑상선의 혈류에 관한 정보를 갖는 스펙클 콘트라스트 값(K), 부갑상선 영역에 근적외선 광이 조사되는 지점과 상기 근적외선센서를 통해 획득한 부갑상선 영역간의 거리(r) 및 상기 부갑상선 영역이 근적외선 광에 노출되는 시간(T) 중 적어도 어느 하나를 포함하는 부갑상선 생체 확인 장치.
  4. 제1항에 있어서,
    상기 속성정보는 상기 대상자의 임상정보를 포함하고, 상기 임상정보는 상기 대상자의 나이, 성별, 병력, 운동습관, 식습관, 흡연 및 음주여부 중 어느 하나를 포함하는 부갑상선 생체 확인 장치.
  5. 제1항에 있어서,
    상기 기계 학습모델은 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN) 중 적어도 어느 하나를 포함하는 부갑상선 생체 확인 장치.
  6. 근적외선 센서에 의해 촬상된 대상자의 부갑상선 이미지가 저장된 메모리부;
    상기 부갑상선 이미지로부터 속성정보를 추출하는 속성정보 추출부; 및
    기준 속성정보에 기초한 혈류지수가 저장된 룩업 테이블을 포함하고, 상기 속성정보를 기준 속성정보와 비교 및 매칭하여 상기 부갑상선의 혈류지수를 생성하는 프로세서
    를 포함하는 부갑상선 생체 확인장치.
  7. 제6항에 있어서,
    상기 대상자의 부갑상선 영역에 780nm 내지 840nm 범위의 파장대역 중 선택된 파장의 광을 조사하는 광원부를 더 포함하는 부갑상선 생체 확인 장치.
  8. 제6항에 있어서,
    상기 속성정보는 상기 부갑상선의 혈류에 관한 정보를 갖는 스펙클 콘트라스트 값(K), 부갑상선 영역에 근적외선 광이 조사되는 지점과 상기 근적외선센서를 통해 획득한 부갑상선 영역간의 거리(r) 및 상기 부갑상선 영역이 근적외선 광에 노출되는 시간(T) 중 적어도 어느 하나를 포함하는 부갑상선 생체 확인 장치.
  9. 근적외선 센서로 대상자의 부갑상선 영역에 대한 이미지를 촬상하는 단계;
    상기 부갑상선 영역의 이미지로부터 속성정보를 추출하는 단계; 및
    기계 학습모델에 기초하여 상기 속성정보로부터 상기 부갑상선의 혈류지수를 생성하는 단계를 포함하는 부갑상선 생체 확인 방법.
  10. 제9항에 있어서,
    상기 속성정보는 상기 부갑상선의 혈류에 관한 정보를 갖는 스펙클 콘트라스트 값(K), 부갑상선 영역에 근적외선 광이 조사되는 지점과 상기 근적외선센서를 통해 획득한 부갑상선 영역간의 거리(r) 및 상기 부갑상선 영역이 근적외선 광에 노출되는 시간(T) 중 적어도 어느 하나를 포함하는 부갑상선 생체 확인 방법.
  11. 제9항에 있어서,
    상기 속성정보는 상기 대상자의 임상정보를 포함하고, 상기 임상정보는 상기 대상자의 나이, 성별, 병력, 운동습관, 식습관, 흡연 및 음주여부 중 어느 하나를 포함하는 부갑상선 생체 확인 방법.
  12. 제 9항에 있어서,
    상기 기계 학습모델은 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN) 중 적어도 어느 하나를 포함하는 부갑상선 생체 확인 방법.
KR1020210000430A 2021-01-04 2021-01-04 조직 생체 확인 장치 및 방법 KR20220099152A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210000430A KR20220099152A (ko) 2021-01-04 2021-01-04 조직 생체 확인 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210000430A KR20220099152A (ko) 2021-01-04 2021-01-04 조직 생체 확인 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20220099152A true KR20220099152A (ko) 2022-07-13

Family

ID=82401182

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210000430A KR20220099152A (ko) 2021-01-04 2021-01-04 조직 생체 확인 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20220099152A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101847435B1 (ko) 2016-09-30 2018-04-10 부경대학교 산학협력단 부갑상선 실시간 이미징 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101847435B1 (ko) 2016-09-30 2018-04-10 부경대학교 산학협력단 부갑상선 실시간 이미징 장치

Similar Documents

Publication Publication Date Title
EP3373798B1 (en) Method and system for classifying optic nerve head
De Greef et al. Bilicam: using mobile phones to monitor newborn jaundice
WO2021039339A1 (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
WO2018201633A1 (zh) 基于眼底图像的糖尿病视网膜病变识别***
US9808154B2 (en) Biometric identification via retina scanning with liveness detection
US8918162B2 (en) System and method for using three dimensional infrared imaging to provide psychological profiles of individuals
JP5607640B2 (ja) 眼の特徴の画像を得る方法と装置
US20070038118A1 (en) Subcutaneous tissue imager
JP2021039748A (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
KR101492803B1 (ko) 촉각 영상 및 근적외선 영상의 정합을 이용한 유방촬영용 영상진단기기 및 유방조직 영상획득방법
US20180096119A1 (en) Biometric information acquisition method and device for same
KR102180922B1 (ko) 멀티모달 센서 어셈블리를 포함하는 분산형 엣지 컴퓨팅 기반 피부 질환 분석 디바이스
WO2013163211A1 (en) Method and system for non-invasive quantification of biological sample physiology using a series of images
CN215305781U (zh) 识别甲状旁腺位置并评估甲状旁腺存活率的设备
KR20200070062A (ko) 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템 및 방법
US20220148218A1 (en) System and method for eye tracking
US20220198831A1 (en) System for determining one or more characteristics of a user based on an image of their eye using an ar/vr headset
CN114930407A (zh) 用于训练或使用机器学习模型的***、显微镜***、方法和计算机程序
US20230397826A1 (en) Operation method for measuring biometric index of a subject
KR102343796B1 (ko) 안구영상을 이용한 심혈관계 질환 예측방법
CN215305780U (zh) 评估甲状旁腺存活率的***
KR20220099152A (ko) 조직 생체 확인 장치 및 방법
US20220222840A1 (en) Control device, image processing method, and storage medium
KR20220098578A (ko) 조직 식별 및 생체 확인 장치 및 이를 이용한 조직 식별 및 생체 확인 방법
KR20080109425A (ko) 영상인식을 통한 얼굴 특징 추출과 사상체질 판별 방법 및시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application