KR20230069196A - 움직임이 보정된 레이저 스펙클 대조 영상화 - Google Patents
움직임이 보정된 레이저 스펙클 대조 영상화 Download PDFInfo
- Publication number
- KR20230069196A KR20230069196A KR1020237012761A KR20237012761A KR20230069196A KR 20230069196 A KR20230069196 A KR 20230069196A KR 1020237012761 A KR1020237012761 A KR 1020237012761A KR 20237012761 A KR20237012761 A KR 20237012761A KR 20230069196 A KR20230069196 A KR 20230069196A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- speckle
- images
- speckle contrast
- light
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 80
- 230000033001 locomotion Effects 0.000 title abstract description 75
- 230000009466 transformation Effects 0.000 claims abstract description 124
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 97
- 238000000034 method Methods 0.000 claims abstract description 89
- 230000001427 coherent effect Effects 0.000 claims abstract description 41
- 238000006243 chemical reaction Methods 0.000 claims abstract description 5
- 238000006073 displacement reaction Methods 0.000 claims description 122
- 239000013598 vector Substances 0.000 claims description 108
- 230000010412 perfusion Effects 0.000 claims description 62
- 238000012545 processing Methods 0.000 claims description 49
- 210000001519 tissue Anatomy 0.000 claims description 35
- 238000003860 storage Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 17
- 210000004204 blood vessel Anatomy 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 14
- 238000001228 spectrum Methods 0.000 claims description 12
- 238000001429 visible spectrum Methods 0.000 claims description 8
- 210000003484 anatomy Anatomy 0.000 claims description 7
- 210000004369 blood Anatomy 0.000 claims description 7
- 239000008280 blood Substances 0.000 claims description 7
- 210000001124 body fluid Anatomy 0.000 claims description 7
- 230000008081 blood perfusion Effects 0.000 claims description 6
- 238000002059 diagnostic imaging Methods 0.000 claims description 6
- 210000002751 lymph Anatomy 0.000 claims description 6
- 238000001356 surgical procedure Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 230000001926 lymphatic effect Effects 0.000 claims description 3
- 210000000056 organ Anatomy 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 description 39
- 230000000875 corresponding effect Effects 0.000 description 24
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 21
- 238000012937 correction Methods 0.000 description 21
- 239000000872 buffer Substances 0.000 description 19
- 230000002123 temporal effect Effects 0.000 description 19
- 238000000844 transformation Methods 0.000 description 18
- 230000008901 benefit Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 16
- 238000012935 Averaging Methods 0.000 description 14
- 238000013519 translation Methods 0.000 description 13
- 230000017531 blood circulation Effects 0.000 description 12
- 230000015654 memory Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 230000002596 correlated effect Effects 0.000 description 8
- 238000001839 endoscopy Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 6
- 210000003491 skin Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 5
- 210000005013 brain tissue Anatomy 0.000 description 4
- 210000003743 erythrocyte Anatomy 0.000 description 4
- 239000000835 fiber Substances 0.000 description 4
- 210000004904 fingernail bed Anatomy 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000035515 penetration Effects 0.000 description 4
- 210000001835 viscera Anatomy 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 210000000936 intestine Anatomy 0.000 description 3
- 230000004118 muscle contraction Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000010008 shearing Methods 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000001444 catalytic combustion detection Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004089 microcirculation Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013442 quality metrics Methods 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 206010050456 Anastomotic leak Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 230000003727 cerebral blood flow Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000023077 detection of light stimulus Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000011503 in vivo imaging Methods 0.000 description 1
- QWXYZCJEXYQNEI-OSZHWHEXSA-N intermediate I Chemical compound COC(=O)[C@@]1(C=O)[C@H]2CC=[N+](C\C2=C\C)CCc2c1[nH]c1ccccc21 QWXYZCJEXYQNEI-OSZHWHEXSA-N 0.000 description 1
- 208000028867 ischemia Diseases 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 210000001365 lymphatic vessel Anatomy 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 210000000282 nail Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008855 peristalsis Effects 0.000 description 1
- 230000001766 physiological effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000035899 viability Effects 0.000 description 1
- 230000009278 visceral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/48—Laser speckle optics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4887—Locating particular structures in or on the body
- A61B5/489—Blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
- A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/0012—Surgical microscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Vascular Medicine (AREA)
- Cardiology (AREA)
- Hematology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Image Processing (AREA)
- Endoscopes (AREA)
- Eye Examination Apparatus (AREA)
- Lasers (AREA)
Abstract
본 발명은 움직임이 보정된 레이저 스펙클 대조 영상화를 위한 방법 및 시스템에 관한 것이다. 상기 방법은, 생체 조직을 포함하는 표적 영역을 제1 파장의 간섭성 제1 광에 노출시키는 단계 및 영상 시퀀스를 캡처하는 단계를 포함한다. 적어도 하나의 영상 시퀀스는 제1 스펙클 영상을 포함하며, 제1 스펙클 영상은 제1 광으로 노출되는 동안에 캡처된다. 상기 방법은 또한 제1 스펙클 영상을 서로 정합하기 위한 영상 정합 알고리즘의 하나 이상의 변환 매개변수를 결정하는 단계를 포함한다. 변환 매개변수는 적어도 하나의 영상 시퀀스의 복수의 영상에 있는 화소 그룹의 화소 값의 유사성 정도에 기초하며, 복수의 영상의 영상은 제1 스펙클 영상으로부터 선택되거나 또는 제1 스펙클 영상과 연관된다. 상기 방법은 또한 하나 이상의 변환 매개변수 및 영상 정합 알고리즘에 기초하여 제1 스펙클 영상을 정합함으로써 정합된 제1 스펙클 영상을 결정하고, 및 정합된 제1 스펙클 영상에 기초하여 결합된 스펙클 대조 영상을 결정하는 단계를 포함하거나; 또는 제1 스펙클 영상에 기초하여 제1 스펙클 대조 영상을 결정하고, 하나 이상의 변환 매개변수 및 영상 정합 알고리즘에 기초하여 제1 스펙클 대조 영상을 정합함으로써 정합된 스펙클 대조 영상을 결정하고, 및 정합된 제1 스펙클 대조 영상에 기초하여 결합된 스펙클 대조 영상을 결정하는 단계를 포함하여 구성된다.
Description
본 발명은 움직임이 보정된 레이저 스펙클 대조 영상화(Laser speckle contrast imaging)에 관한 것이고, 특히, 배타적이지는 않지만, 움직임이 보정된 레이저 스펙클 대조 영상화를 위한 방법 및 시스템, 레이저 스펙클 대조 영상화 시스템 및 방법에서의 움직임 보정을 위한 모듈 및 상기 방법을 컴퓨터 시스템이 수행할 수 있도록 하는 컴퓨터 프로그램 제품에 관한 것이다.
레이저 스펙클 대조 영상화(LSCI))는 살아있는 생물학적 조직의 2차원(2D) 관류(perfusion) 지도를 결정하기 위한 빠른 전체 필드 및 생체 내 영상화 방법을 제공한다. 관류는 조직의 생존 가능성에 대한 지표가 될 수 있어서 진단 및 수술을 위한 유용한 정보를 제공할 수 있다. 예를 들어, 내장 수술 중에, 높은 관류가 개입된 부위를 선택하면 문합부위 누출(anastomotic leakage)을 줄일 수 있다.
LSCI는 간섭성 레이저 광이 조명된 조직으로부터 후방 산란된 광이 광 경로 차로 인해 검출기에서 무작위 간섭 패턴을 형성한다는 원리를 기반으로 한다. 이렇게 생긴 간섭 패턴을 스펙클(speckle) 패턴이라고 하며, 디지털 카메라를 이용하여 실시간으로 촬영할 수 있다. 조직 내부에서 입자가 이동하면 이 스펙클 패턴에 변동이 야기되어 관류가 발생하는 영상 부분의 스펙클이 흐려지는 결과를 초래하다.
예를 들어, 적혈구의 움직임으로 인해 변동이 발생하는 경우에 이러한 흐려짐은 혈류와 관련이 있을 수 있다. 이런 식으로, 비교적 간단한 방법으로 살아있는 조직에서의 혈액 관류를 영상화할 수 있다. LSCI에 의한 최신 임상 관류 영상화 방식의 예는 W. Heeman 등이 작성한 논문('Clinical applications of laser speckle contrast imaging: a review', J. Biomed. Opt. 24:8(2019))에 설명되어 있다. 림프 관류와 같은 기타 체액에 의한 관류는 비슷한 방식으로 영상화될 수 있다.
그러나 LSCI는 모든 유형의 움직임에 매우 민감하다. 흐릿함은 혈류의 움직임뿐만 아니라 호흡, 심장 박동, 근육 수축과 같은 다른 유형의 움직임 또는 특히 손으로 붙잡고 있는 카메라의 움직임으로 인해 발생할 수 있다.
진단 및 수술과 같은 많은 의료 응용 분야에서, 인위적인 움직임이 충분히 감소된, 정확한 고해상도 혈류 영상, 특히 미세 순환 영상을 LSCI 시스템이 실시간으로 생성할 수 있는 것이 소망된다. 따라서 원시(raw) 스펙클 영상을 처리하는 동안에, 인위적인 움직임을 최소화하여 정확한 고해상도 관류 영상을 얻을 수 있는 수단이 필요하다. 이를 통해 관류가 잘 되는 영역과 관류가 잘 안되는 영역을 더욱 잘 식별할 수 있어서 결과적으로 진단 및 치료 결과가 향상될 수 있다.
스펙클 영상에서 인위적 움직임을 감소시키기 위한 다양한 접근방식이 공지되어 있다. 예를 들어, WO2020/045015 A1은 영상화 표적의 근적외선 스펙클 영상 및 백색 광 영상을 캡처할 수 있는 레이저 스펙클 대조 영상화 시스템을 개시하고 있다. 두 개의 연속 영상 사이에서 영상 표적이 움직인 양을 나타내는 전역 이동 벡터를 결정하기 위해, 영상 표적 상에 기준 마커를 사용하거나, 가시광선 영상에서 특징점을 추적하거나, 또는 스펙클 영상에서 스펙클 모양의 변화를 감지하는 간단한 움직임 감지 방법을 포함한다. 스펙클 대조 영상은 스펙클 영상을 기반으로 생성될 수 있으며 이동 벡터에 기반하여 움직임의 양에 대해 보정이 될 수 있다.
움직임은 예를 들어 삼각대로 지지되는 시스템에 비해, 손으로 잡는 LSCI 시스템에서 더 두드러질 것이다. 예를 들어, Lertsakdadet 등이 2018년 3월에 Journal of biomedical optics 23(2)에 발표한 논문 'Correcting for motion artefact in handheld laser speckle images'에는 영상화가 필요한 조직에 부착된 기준 마커를 사용하는 레이저 스펙클 영상화를 위한 움직임 보정 방법에 대해 설명했다. 마커를 사용하는 것이 많은 응용 분야에서 불가능하다.
유사하게, P. Miao 등은 그들의 논문('High resolution cerebral blood flow imaging by registered laser speckle contrast analysis' IEEE transactions on bio-medical engineering 57(5):1152-1157)에서, 컨벌루션 필터링과 상관 및 보간 방식을 기반으로 원시 스펙클 영상을 정합하여(registering) 고해상도의 LSCI 영상을 생성하는 방법을 설명하고 있다. 정합된 영상은 시간(temporal) 레이저 스펙클 대조 분석을 사용하여 이후에 소급하여 분석된다. 하지만 원시 스펙클 영상을 이렇게 정합하는 것은 많은 연산 자원이 필요하여 결과적으로 정확한 실시간 영상화 분야에는 적합하지 않다.
따라서, 상술된 내용으로부터, 개선된 움직임-보정된 레이저 스펙클 대조 영상화 방법이 당업계에 필요하다는 결론이 나온다. 특히, 인위적 움직임이 실질적으로 제거되거나 최소한으로 감소되어, 실시간으로, 잡음에 강인하고, 마커가 없는, 고해상도 관류 영상화, 특히 미세순환 영상화를 실현 가능하게 하는 레이저 스펙클 대조 영상화를 위한 개선된 방법 및 시스템에 대한 요구가 당업계에 존재한다.
당업자라면 이해할 수 있는 바와 같이, 본 발명의 양태는 시스템, 방법 또는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 따라서, 본 발명의 양태는 전적으로 하드웨어 실시예, 전적으로 소프트웨어 실시예(펌웨어, 상주 소프트웨어, 마이크로코드 등 포함) 또는 여기서 "회로", "모듈" 또는 "시스템"으로 모두 일반적으로 지칭될 수 있는 소프트웨어 및 하드웨어의 결합된 실시예의 형태를 취할 수 있다. 본 명세서에 설명된 기능들은 컴퓨터의 프로세서/마이크로프로세서에 의해 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 양태는 컴퓨터 판독 가능한 프로그램 코드가 구현된, 예를 들어 저장되어 있는 하나 이상의 컴퓨터 판독 가능한 매체(들)에 내장된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
하나 이상의 컴퓨터 판독 가능한 매체(들)의 임의의 결합이 이용될 수 있다. 컴퓨터 판독 가능한 매체는 컴퓨터 판독 가능한 신호 매체 또는 컴퓨터 판독 가능한 저장 매체일 수 있다. 컴퓨터 판독 가능한 저장 매체는 예를 들어 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치, 또는 설비, 또는 이들의 임의의 적절한 결합일 수 있지만 이에 제한되지는 않는다. 컴퓨터 판독 가능한 저장 매체의 구체적인 예는 다음을 포함할 수 있지만 이에 제한되지는 않는다: 하나 이상의 와이어를 포함하는 전기적 연결체, 휴대용 컴퓨터 디스켓, 하드 디스크, RAM, ROM, 지울 수 있는 프로그래밍 가능한 읽기-전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 읽기-전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치, 또는 이들의 적절한 결합을 포함한다. 본 발명의 맥락에 있어서, 컴퓨터 판독 가능한 저장 매체는 명령 실행 시스템, 장치 또는 설비에 의해 또는 이와 관련하여 사용하기 위한 프로그램을 포함하거나 또는 저장할 수 있는 형체를 가진 매체일 수 있다.
컴퓨터 판독 가능한 신호 매체는 예를 들어 기저 대역에서 또는 반송파의 일부로서 내부에 내장된 컴퓨터 판독 가능한 프로그램 코드가 구현된 전파(propagated) 데이터 신호를 포함할 수 있다. 이러한 전파 신호는 전자기, 광학 또는 이들의 임의의 적절한 결합을 포함하지만 이에 제한되지 않는 다양한 형태 중 임의의 것을 취할 수 있다. 컴퓨터 판독 가능한 신호 매체는 컴퓨터 판독 가능한 매체일 수 있으며, 이는 컴퓨터 판독 가능한 저장 매체가 아니며 명령 실행 시스템, 장치 또는 설비에 의해 또는 이와 관련하여 사용하기 위한 프로그램을 통신하거나, 전파하거나 또는 전송할 수 있다.
컴퓨터 판독 가능한 매체에 내장된 프로그램 코드는 무선, 유선, 광섬유, 케이블, RF 등 또는 이들의 적절한 결합을 포함하지만 이에 제한되지 않는 임의의 적절한 매체를 사용하여 전송될 수 있다. 본 발명의 양태를 위한 연산을 수행하기 위한 컴퓨터 프로그램 코드는 Java™, Smalltalk, C++ 등과 같은 객체 지향 프로그래밍 언어 및 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어와 같은 종래의 절차적 프로그래밍 언어를 포함하는 하나 이상의 프로그래밍 언어의 임의의 결합으로 작성될 수 있다. 프로그램 코드는 전적으로 사용자 컴퓨터에서, 부분적으로는 사용자 컴퓨터에서, 독립 실행형 소프트웨어 패키지로, 부분적으로는 사용자 컴퓨터에서, 그리고 부분적으로는 원격 컴퓨터에서, 또는 전체적으로 원격 컴퓨터나 서버에서 실행될 수 있다. 후자의 시나리오에서, 원격 컴퓨터는 LAN(Local Area Network) 또는 WAN(Wide Area Network)을 포함한 소정 유형의 네트워크를 통해 사용자의 컴퓨터에 연결되거나, 또는 외부 컴퓨터(예: 인터넷 서비스 공급자를 사용하여 인터넷을 통해)에 연결될 수 있다.
본 발명의 양태는 본 발명의 실시예에 따른 방법, 장치(시스템), 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 아래에서 설명된다. 흐름도 및/또는 블록도의 각 블록, 및 흐름도 및/또는 블록도의 블록 결합은 컴퓨터 프로그램 명령에 의해 구현될 수 있음을 이해할 것이다. 이러한 컴퓨터 프로그램 명령는 범용 컴퓨터, 특수 목적 컴퓨터 또는 기타 프로그래밍 가능한 데이터 처리 장치의 프로세서, 특히 마이크로프로세서 또는 중앙 처리 장치(CPU)에 제공될 수 있어, 컴퓨터, 다른 프로그래밍 가능한 데이터 처리 장치, 또는 흐름도 및/또는 블록 다이어그램 블록 또는 블록들에 지정된 기능/행위를 구현하기 위한 수단을 생성하는 다른 장치의 프로세서를 통해 명령들이 수행된다.
이러한 컴퓨터 프로그램 명령들은 또한 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치, 또는 특정한 방식으로 기능한 다른 장치를 지시할 수 있는 컴퓨터 판독 가능한 매체에 저장될 수 있어서, 컴퓨터 판독 가능한 매체에 저장된 명령들은 흐름도 및/또는 블록 다이어그램 블록 또는 블록에 기입된 기능/행동을 구현하는 명령들을 포함하는 제조물품을 생산한다.
또한, 컴퓨터 실행 프로세스를 생성하기 위해서 컴퓨터 프로그램 명령들은 컴퓨터, 다른 프로그램 가능한 장치 또는 다른 장치에서 수행될 일련의 연산 단계를 수행하는 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치, 또는 다른 장치에 로드될 수 있어, 컴퓨터 또는 기타 프로그래밍 가능한 장치에서 실행되는 명령가 흐름도 및/또는 블록 다이어그램 블록 또는 블록에 명시된 기능/행위를 구현하기 위한 프로세스를 제공한다.
도면들의 흐름도 및 블록 다이어그램들은 본 발명의 다양한 실시예들에 따른 시스템, 방법 및 컴퓨터 프로그램 제품들의 가능한 구현들의 구조, 기능 및 연산을 예시한다. 이와 관련하여, 흐름도 또는 블록 다이어그램의 각 블록은 지정된 논리 기능을 구현하기 위한 하나 이상의 실행 가능한 명령를 포함하는 코드의 모듈, 세그먼트 또는 일부분을 나타낼 수 있다. 또한, 일부 대안적 구현에서, 블록에 명시된 기능은 도면에 명시된 순서로 발생할 수 있다는 점에 유의해야 한다. 예를 들어, 연속적으로 표시된 두 개의 블록은 실제로 실질적으로 동시에 실행될 수도 있고, 관련된 기능에 따라 때로는 역순으로 실행될 수도 있다. 블록 다이어그램 및/또는 흐름도의 각 블록과 블록 다이어그램 및/또는 흐름도의 블록 결합은 지정된 기능이나 행위를 수행하는 특수 목적 하드웨어에 기반한 시스템, 또는 특수 목적 하드웨어와 컴퓨터 명령의 결합에 의해 구현될 수 있다는 점에 유의해야 한다.
종래 기술에서 알려진 결점 중 적어도 하나를 감소시키거나 제거하는 것이 본 명세서의 실시예의 목적이다.
제1 양태에서, 본 발명은 움직임이 보정된 레이저 스펙클 대조 영상화 방법에 관한 것이다. 본 방법은 생체 조직을 포함하는 표적 영역을 제1 파장의 간섭성 제1 광에 노출시키는 단계, 및 적어도 하나의 영상 시퀀스를 캡처하는 단계를 포함한다. 적어도 하나의 영상 시퀀스는 제1 스펙클 영상을 포함하며, 제1 스펙클 영상은 제1 광으로 노출되는 동안에 캡처된다. 본 발명은 제1 스펙클 영상을 서로 정합하기 위한 영상 정합 알고리즘의 하나 이상의 변환 매개변수를 결정하는 단계를 더 포함한다. 변환 매개변수는 적어도 하나의 영상 시퀀스의 복수의 영상에 있는 화소 그룹의 화소 값의 유사성 정도에 기초하며, 복수의 영상의 영상은 제1 스펙클 영상으로부터 선택되거나 또는 제1 스펙클 영상과 연관된다. 본 방법은 하나 이상의 변환 매개변수 및 영상 정합 알고리즘에 기초하여 제1 스펙클 영상을 정합하여 정합된 제1 스펙클 영상을 결정하고, 및 정합된 제1 스펙클 영상에 기초하여 결합된 스펙클 대조 영상을 결정하는 단계; 또는 제1 스펙클 영상에 기초하여 제1 스펙클 대조 영상을 결정하고, 하나 이상의 변환 매개변수 및 영상 정합 알고리즘에 기초하여 제1 스펙클 대조 영상을 정합하여 정합된 스펙클 대조 영상을 결정하고, 및 정합된 제1 스펙클 대조 영상에 기초하여 결합된 스펙클 대조 영상을 결정하는 단계를 더 포함하여 구성된다.
따라서, 스펙클 영상 또는 스펙클 대조 영상 시퀀스는 마커를 사용하지 않고 정합되거나 정렬될 수 있다. 그런 다음 정합된 영상은 높은 해상도와 정확도를 갖는, 결합된 스펙클 대조 영상으로 결합될 수 있다. 결합된 영상은 복수의 스펙클 영상으로부터, 화소별 평균, 바람직하게는 가중 평균과 같은 정보를 포함하거나, 또는 결합된 영상은 영상의 이동 윈도우에서 가장 신뢰할 수 있는 단일 영상일 수 있으며, 예를 들어 영상 시퀀스의 후속 영상에 비해 가장 작은 변환을 가진 영상(즉, 적절한 메트릭을 사용하는 동일성 변환에 가장 가까운 영상)이다.
이렇게 하면 영상이 움직임으로 인한 잡음에 덜 민감하게 된다. 움직임은 예를 들면 핸드헬드 시스템에서 카메라의 움직임, 또는 근육 수축으로 인한 환자의 움직임에 의해 야기될 수 있다. 따라서, 본 발명의 실시예는 예를 들어, 영상화될 전체 표면을 따라 카메라의 움직임을 필요로 하는 대장관의 관류 영상화, 또는 환자가 통증으로 인해 움직이지 않고 가만히 있을 수 없는 화상 피부의 관류 영상화를 포함하는 광범위한 응용분야에서 스펙클 대조 영상화를 가능하게 하거나 개선할 수 있다.
본 방법의 장점은 일반적으로 사용 가능한 하드웨어를 사용하여 실시간으로 방법을 실행할 수 있다는 것이다. 일부 실시예에서, 예를 들어 다수의 프레임(예: 20 프레임, 또는 충분한 품질의 20 프레임), 고정된 양의 시간(예: 1초), 또는 생리학적 속성(예: 한두 번의 심장 박동 시간 또는 한두 번의 호흡 시간))에 관련한 시간에 기초하여 약간의 지연이 있을 수 있다. 이러한 지연은 일반적으로 임상적인 용도에 불리하지는 않다. 생리학적 속성은 스펙클 영상, 스펙클 대조 영상 및/또는 복수의 영상으로부터의 영상 분석에 기초할 수 있고, 생리학적 현상에 대한 지식에 기초하여 사전 결정된 상수에 기반할 수 있거나, 또는 심박수 모니터로부터의 외부 입력에 기반할 수 있다.
본 방법은 시야에 배치할 기준 마커가 필요하지 않다는 것이 또 다른 장점이다. 이는 내부 장기, 화상 조직 또는 뇌 조직을 영상화할 때처럼 기준 마커를 배치하는 것이 바람직하지 않은 영역과, 또는 그렇지 않으면 다수의 기준 마커가 필요하거나 마커를 반복적으로 교체해야 하는 상대적으로 큰 영상 표적인 경우와 관련이 있다.
본 방법이 카메라를 기준으로 표적 영역의 움직임을 보상 및/또는 보정하기때문에, 보다 신뢰할 수 있는 관류 영상을 생성할 수 있다. 경우에 따라, 예를 들어 불규칙하게 움직이는 표적을 영상화될 때, 및 작업자가 영상을 획득하기 위해 움직임이 거의 없는 기간을 기다려야 하는 경우에, 신뢰할 수 있는 영상을 더 빠르고 쉽게 얻을 수 있다. 예를 들어, 움직임 보정은 검출된 개별 움직임에 기초하여 하나 이상의 영상을 변환하는 단계를 포함할 수 있다. 움직임 보정은 복수의 영상을 결합하여 신호 대 잡음비를 증가시키는 단계를 포함할 수 있다.
제1 스펙클 영상 또는 제1 스펙클 대조 영상을 정합함으로써, 제1 스펙클 영상 시퀀스의 복수의 제1 스펙클 영상은 제1 스펙클 대조 영상과 별도로 비교하여, 증가된 대조 및/또는 공간 해상도를 갖는 결합된 스펙클 대조 영상을 결정하는 데 사용될 수 있다. 결합될 정합 스펙클 영상의 수는 임상 요건 및/또는 제1 스펙클 영상의 품질에 따라 달라질 수 있다.
스펙클 대조 영상은 정합되지 않은, 따라서 변환되지 않은 스펙클 영상을 기초로 계산될 수 있다. 후속해서, 스펙클 대조 영상이 변환되고 그런 다음에 결합될 수 있다. 변환은 스펙클 패턴 또는 그 일부를 변형시킬 수 있으며, 예를 들어 스펙클은 특히 단순한 병진(translation) 또는 회전보다 더 일반적인 변환을 위해 확대, 축소 또는 변형될 수 있다. 따라서 변환되지 않은 스펙클 영상을 기반으로 스펙클 대조 영상을 연산하면 스펙클 대조 영상으로의 변환으로 인해 잡음이 도입되는 것을 방지할 수 있다.
대안적으로, 스펙클 영상은 먼저 정합될 수 있고, 따라서 변환될 수 있으며, 이어서 스펙클 대조 영상이 연산될 수 있다. 이러한 방식으로, 2개 이상의 정합된 스펙클 영상에 기초하여 시간(temporal) 또는 공간-시간(spatio-temporal) 스펙클 대조가 연산될 수 있다. 시간 또는 시공간 스펙클 대조를 사용하면 더 높은 공간 해상도를 얻을 수 있다. 이 실시예에서, 영상은 바람직하게는 화소단위 이하의 정확도로 정합된다.
이 실시예의 추가적인 장점은 영상의 단일 시퀀스만이 필요하다는 것이다: 동일한 영상 시퀀스가 영상 정합(을 위한 변환 매개변수 결정), 평균 가중치 결정 및 결합된 레이저 스펙클 대조 영상 또는 관류 영상 결정에 사용될 수 있다. 그러나, 다른 실시예에서, 제2 영상 시퀀스가 영상 정합을 위한 변환 매개변수를 결정하고 평균 가중치를 결정하기 위해 사용될 수 있다.
일 실시예에 있어서, 본 방법은, 하나 이상의 제2 파장의 제2 광, 바람직하게는 제2 파장의 간섭성 광 또는 가시 스펙트럼의 복수의 제2 파장을 포함하는 광에 표적 영역을 노출시키는 단계를 더 포함하고, 제2 광에 대한 노출이 제1 광에 대한 노출과 교대로 수행되거나 또는 제1 광에 대한 노출과 동시에 이루진다. 이 실시예에서, 적어도 하나의 영상 시퀀스는 제2 영상 시퀀스를 포함하고, 제2 영상은 제2 광에 노출되는 동안 캡처되고; 및 복수의 영상은 제2 영상 시퀀스로부터 선택되며, 제2 영상 각각은 제1 스펙클 영상과 연관된다.
따라서, 일 실시예에서, 레이저 스펙클 대조 영상화 방법은 제1 파장의 간섭성 제1 광 및 하나 이상의 제2 파장의 제2 광, 바람직하게는 제2 파장의 간섭성 광 또는 가시 스펙트럼의 복수의 제2 파장의 광에 표적 영역을 교대로 또는 동시에 노출시키며, 표적 영역은 바람직하게는 생체 조직을 포함한다. 본 방법은 제1 광에 노출되는 동안 제1 스펙클 영상 시퀀스 및 제2 광에 노출되는 동안 제2 영상 시퀀스를 캡처하는 단계를 추가로 포함할 수 있으며, 제1 스펙클 영상 시퀀스의 스펙클 영상은 제2 영상 시퀀스의 영상과 관련된다. 제1 스펙클 영상 시퀀스의 적어도 일부를 정합하기 위한 정합 알고리즘의 하나 이상의 변환 매개변수는 제1 스펙클 영상과 연관된 제2 영상 시퀀스의 적어도 일부에 있는 화소 그룹의 화소 값의 유사성 정도에 기초하여 결정될 수 있다. 본 방법은 하나 이상의 변환 매개변수 및 정합 알고리즘에 기초하여 제1 스펙클 영상 시퀀스의 적어도 일부를 정합함으로써 정합된 제1 스펙클 영상을 결정하는 단계, 및 정합된 제1 스펙클 영상에 기초하여 결합된 스펙클 대조 영상을 결정하는 단계를 더 포함할 수 있다. 대안적으로, 본 방법은 제1 스펙클 영상 시퀀스의 적어도 일부에 기초하여 제1 스펙클 대조 영상을 결정하는 단계, 하나 이상의 변환 매개변수 및 정합 알고리즘에 기초하여 제1 스펙클 대조 영상을 정합함으로써 정합된 스펙클 대조 영상을 결정하는 단계, 및 정합된 제1 스펙클 대조 영상에 기초하여 결합된 스펙클 대조 영상을 결정하는 단계를 포함한다.
위에서 정의한 제1 실시예에서, 제1 광과 제2 광은 동일한 파장을 갖는 동일한 광이고, 제1 스펙클 영상 시퀀스와 제2 영상 시퀀스는 동일한 영상 시퀀스이다. 하지만, 유리한 실시예에서, 하나 이상의 제2 파장 중 적어도 하나는 제1 파장과 상이하고, 결과적으로 제2 영상은 제1 스펙클 영상과 상이하다. 제1 스펙클 영상 및 연관된 제2 영상은 단일 영상의 다른 부분일 수도 있다. 영상 시퀀스의 영상은 비디오 스트림 또는 다중 프레임 스냅 샷의 프레임일 수 있다. 본 명세서에서 제2 영상은 보정 영상이라고도 지칭될 수 있다. 전형적으로, 제2 영상 시퀀스의 적어도 일부 각각에 있는 적어도 하나의 화소 그룹은 하나 이상의 변환 매개변수를 결정하는 데 사용된다.
따라서, 제1 파장 및 제1 스펙클 영상 시퀀스의 캡처는 측정될 수량에 종속하여 스펙클 대조 영상을 위해 최적화될 수 있다(예: 최적화된 노출 시간); 반면에 하나 이상의 제2 파장 및 제2 영상 시퀀스의 캡처는 혈관 같은 해부학적 특징과 정상 조직 사이의 높은 대조를 보장함으로써 쉽고 정확하게 정합될 수 있는 영상을 획득하기 위해 최적화될 수 있다. 대표적인 조합으로는 적외선을 이용하여 얻은 스펙클 영상과 백색 광을 이용하여 얻은 2차 영상, 또는 적색 광을 이용하여 얻은 스펙클 영상과 녹색 또는 청색 광을 이용하여 얻은 2차 영상이 있으나, 물론 다른 조합도 가능하다.
일 실시예에서, 화소 그룹은 복수의 영상에서 사전 결정된 특징을 나타낼 수 있고, 사전 결정된 특징은 바람직하게는 표적 영역에서의 객체, 바람직하게는 해부학적 구조와 연관된다. 특징 검출 알고리즘에 의해 화소 그룹이 선택될 수 있다.
특징은 표적 영역의 물리적 객체와 관련된 특징일 수 있으며, 과다 노출된 영상 부분 또는 스펙클과 같이 개체와 직접 관련되지 않은 영상 특징이 아니라, 혈관과 관련된 특징이다. 사전 결정된 특징은 예를 들어, 강도에서 차이가 큰 모서리 또는 영역과 같은, 특징 클래스에 속함으로써 결정될 수 있다. 이들은 예를 들어 품질 메트릭, 특징 간의 상호 거리 제한 등에 의해 추가로 결정될 수 있다. 일부 실시예에서, 하나 이상의 결정된 특징의 근처가 변위 벡터 및/또는 변환을 결정하는 데 사용될 수 있다.
총 화소 수에 비해 상대적으로 적은 수의 특징에 기초하여 변위를 결정하는 것은 계산 시간을 상당히 줄이면서도 정확한 결과를 얻을 수 있다. 이것은 특히 상대적으로 단순한 움직임의 경우이며, 전체 표적 영역이 카메라의 움직임으로 인해 변위되는 경우이다.
일 실시예에서, 본 방법은 화소 그룹이 해부학적 특징에 대응하는 특징을 나타낼 확률을 증가시키도록 구성된 필터로 복수의 영상을 필터링하는 단계를 더 포함할 수 있다. 예를 들어, 필터는 과다 노출 및/또는 노출 부족 영역 및/또는 다른 영상 아티팩트(artefacts)를 결정할 수 있고 이러한 영역 또는 아티팩트에 기초하여 마스크를 생성할 수 있다. 따라서 이러한 영역 또는 아티팩트와 관련된 특징을 결정하는 것이 방지될 수 있다.
일 실시예에서, 화소 그룹의 화소 값의 유사성에 기초하여 변환 매개변수를 결정하는 단계는, 복수의 영상으로부터의 영상에 있는 화소의 각각의 그룹에 대해, 복수의 영상으로부터의 다른 영상의 적어도 일부와의 컨볼루션 또는 교차-상관을 결정하는 단계를 포함할 수 있다. 본 방법은 또한 복수의 영상에서 화소 이웃의 화소 값을 모델링하기 위해 다항식 전개를 결정하고, 전개 계수를 비교하고, 비교에 기초하여 변위 벡터를 결정하는 단계를 포함할 수 있다.
일 실시예에서, 하나 이상의 변환 매개변수를 결정하는 단계는 유사성 정도에 기초하여 복수의 연관된 화소 그룹을 결정하는 단계를 포함할 수 있고, 각 화소 그룹은 복수의 영상과 상이한 영상에 속하며, 복수의 영상의 각각의 영상에 대한 화소 그룹의 위치에 기초하여 복수의 변위 벡터를 결정하는 단계를 포함할 수 있으며, 변위 벡터는 영상 센서에 대한 표적 영역의 움직임을 나타내고, 복수의 변위 벡터에 기초하여 변환 매개변수를 결정한다.
복수의 특징 또는 대응하는 특징의 쌍에 대한 변위 벡터를 결정함으로써, 영상화 표적에 대한 카메라의 임의의 움직임이 결정되고 보정될 수 있다. 변위 벡터는, 영상 데이터만을 기반으로 영상의 병진, 회전, 크기 조정 및 변형(shearing)을 보상할 수 있는, 아핀(affine) 변환, 투영(projective) 변환 또는 호모그래피(homography)를 결정하는 데 사용될 수 있다. 따라서 본 방법은 예를 들어 카메라와 표적 사이의 거리, 입사각 등에 대한 정보가 필요하지 않다.
변위 벡터 및/또는 하나 이상의 변환(transformation)은 광학 흐름 매개변수에 기초하여 예를 들어 조밀 광학 흐름(dense optical flow) 알고리즘 또는 희소(sparse) 광학 흐름 알고리즘과 같은 적합한 광학 흐름 알고리즘을 사용하여 결정될 수 있다.
일 실시예에서, 결합된 스펙클 대조 영상을 결정하는 단계는 정합된 제1 스펙클 영상, 각각의 정합된 제1 스펙클 대조 영상의 평균을 계산하는 단계를 더 포함하고, 평균은 바람직하게는 가중 평균이고, 영상의 가중치는 바람직하게는 변환 매개변수에 기초하거나 또는 스펙클 대조의 상대적 크기에 기초한다. 대안적으로, 스펙클 영상 또는 스펙클 대조 영상을 결합하는 단계는 제1 스펙클 영상, 각각 제1 스펙클 대조 영상의 적어도 일부를 중앙값 필터 또는 최소 또는 최대 필터 등으로 필터링하는 단계를 포함할 수 있다. 가중 평균을 위한 가중치는 스펙클 대조에서 파생되거나 변위 벡터에서 파생되는 양에 기초할 수 있다.
일 실시예에서, 결합된 레이저 스펙클 대조 영상을 계산하는 단계는 정합된 스펙클 영상 시퀀스의 평균, 바람직하게는 가중 평균을 계산하는 단계를 포함할 수 있다.
일 실시예에서, 본 방법은 복수의 영상으로부터의 영상과 연관된 각각의 제1 스펙클 영상 또는 각각의 제1 스펙클 대조 영상에 대해, 복수의 변위 벡터, 바람직하게는 복수의 변위 벡터의 길이 및/또는 결정된 변환을 정의하는 매개변수에 기초하여 각각의 제1 스펙클 영상 또는 각각의 제1 스펙클 대조와 관련된 변환 크기를 결정하는 단계를 더 포함할 수 있다. 각각의 제1 스펙클 대조 영상과 관련된 결정된 변환 크기에 기초하는 가중치를 사용하여 가중 평균이 결정될 수 있으며, 바람직하게 가중치는 결정된 변환 크기와 역의 상관에 있다.
변위의 크기나 양, 또는 크기 혹은 변환량에 기초한 가중치는 다른 영상과 독립적으로 각 영상에 대해 신속하게 결정될 수 있다. 변환 크기는 예를 들어 변환을 표현하는 행렬의 놈(norm), 또는 변환과 항등(identity) 변환의 차이를 표현하는 행렬의 놈을 기반으로 할 수 있다. 변환 크기는 또한 예를 들어 평균, 중앙값, n번째 백분위수 또는 최대 변위 벡터 길이와 같은, 변위 벡터의 통계적 표현 수단에 기초할 수 있다. 변위량이 큰 영상은 일반적으로 잡음이 더 많으므로 가중치를 더 낮게 할당할 수 있어, 결국 결합된 영상의 품질을 높일 수 있다.
일 실시예에서, 본 방법은 각각의 제1 스펙클 영상에 대해, 제1 스펙클 대조 영상 시퀀스에 있는 하나 이상의 이전 및/또는 후속 영상에 대한 스펙클 대조의 정규화된 양 또는 스펙클 대조의 변화량을 결정하는 단계를 더 포함할 수 있다. 가중 평균은 각각의 제1 스펙클 대조 영상과 관련된 스펙클 대조의 결정된 정규화된 양 또는 결정된 스펙클 대조 변화에 기초한 가중치를 사용하여 결정될 수 있다. 대안적으로 또는 부가적으로, 제2 스펙클 대조 영상에 대한 스펙클 대조의 정규화된 양 또는 스펙클 대조의 변화량에 기초하여 가중치가 결정될 수 있다.
스펙클 대조의 차이 또는 변화, 특히 급격한 변화에 기반한 가중치는 영상 품질을 나타낼 수 있다. 일반적으로 스펙클 대조, 따라서 이러한 가중치는 전체 시스템의 다양한 요인(표적 영역에 대한 카메라의 움직임, 섬유질의 움직임 또는 광학 경로 길이 또는 변동하는 조명 조건에 영향을 미치는 기타 요인)에 의해 영향을 받을 수 있다. 따라서, 스펙클 대조에 기초한 가중치를 이용하면 더 좋은 품질의 결합 영상을 얻을 수 있다. 일반적으로 스펙클 대조는 임의의 단위로 결정되므로 스펙클 영상 시퀀스를 분석하여 가중치를 결정할 수 있다. 스펙클 대조는 관류와 반비례하므로 스펙클 대조-기반 관류 장치를 유사하게 사용할 수 있다.
일 실시예에서, 카메라의 시야 중에서 사전 정의된 관심 영역에 알고리즘이 적용될 수 있다. 이러한 관심 영역은 사용자에 의해 결정될 수도 있고, 사전 결정될 수도 있다. 예를 들어 영상의 바깥쪽 테두리는 무시되거나, 및/또는 변환된 영상 테두리가 보이지 않도록 시야에서 숨겨질 수 있다. 알고리즘 또는 알고리즘의 일부를 영상의 일부에만 적용하는 것이 더 빠를 수 있다. 결정된 변환에 기초하여 관심 영역이 변환될 수 있다. 다른 실시예에서, 알고리즘은 전체 영상에 적용될 수 있다.
일 실시예에서, 복수의 영상은 제1 스펙클 영상 시퀀스일 수 있다. 이러한 실시예에서, 제1 파장은 바람직하게는 전자기 스펙트럼의 녹색 또는 청색 부분의 파장이다. 이러한 방식으로, 우수한 스펙클 신호와 우수한 시각적 구별성(즉, 높은 스펙클 대조와 구별되어야 하는, 해부학적 특징의 높은 대조) 간의 균형이 잡힐 수 있으며, 이는 특징을 결정하는 데 유리하다. 따라서 스펙클 영상의 대조를 높이는 데 필요한 전처리 단계가 없다.
대안적으로, 전자기 스펙트럼의 적색 부분, 바람직하게는 600-700 nm 범위, 보다 바람직하게는 620-660 nm 범위의 파장이거나, 또는 전자기 스펙트럼의 적외선 부분, 바람직하게는 700-1200nm 범위의 제1 파장이 사용될 수 있다. 조직 유형 및 노출 시간과 같은 영상 매개변수에 따라, 시각적 구별성이 특징을 적절하게 결정하는 데 충분할 수 있다. 적색 광과 적외선은 대부분 적혈구에 의해 반사되기 때문에 이러한 파장은 상대적으로 강도가 높은 스펙클을 생성하므로 혈류의 스펙클 대조 영상화에 매우 적합하다.
이들 실시예에서와 같이, 제1 스펙클 영상과 복수의 영상으로부터의 영상은 동일한 영상이며, 단일 광원 및 단일 카메라만을 필요로 하는 비교적 간단한 시스템으로 영상을 획득할 수 있다.
일 실시예에 있어서, 적어도 제2 파장의 광은 제1 파장과는 다른 제2 파장의 광이며, 바람직하게는 전자기 스펙트럼의 녹색 또는 청색 부분, 바람직하게는 380-590 nm 범위, 보다 바람직하게는 470-570 nm 범위, 더욱 바람직하게는 520-560 nm 범위의 사전 결정된 파장의 간섭성 광이다. 청색 광, 특히 녹색 광은 정상 조직보다 훨씬 더 강하게 혈관에 흡수되기 때문에 높은 대조 또는 시각적 구별성을 유발할 수 있다. 따라서, 혈관과 관련된 가장자리 또는 모서리와 같은 특징은 변환 매개변수를 결정하는 데 사용될 수 있다.
제1 스펙클 영상 자체는 본질적으로 잡음이 많기 때문에(해부학적 특징의 영상화에 관한 한), 변위 벡터를 결정하기 위해 다른 파장에 기초한 제2 영상을 사용하는 것이 바람직할 수 있다. 이러한 방식으로, 제1 스펙클 영상은 스펙클 대조 신호를 최적화하기 위해 선택된 광에 기초하여 획득될 수 있는 반면, 제2 영상은 시각적 구별성을 최적화하기 위해 선택된 광에 기초하여 획득될 수 있다. 이러한 시스템은 혈액 관류가 상대적으로 깊은 조직, 즉 피부를 영상화하는 데 특히 유리하다. 이러한 조직에서는 대부분의 녹색 또는 청색 광이 혈액 세포와 상호 작용할 만큼 충분히 깊숙이 침투하지 않아 비교적 잡음이 없는 영상이 생성된다.
일 실시예에서, 제1 파장은 전자기 스펙트럼의 적색 부분, 바람직하게는 600-700 nm 범위, 보다 바람직하게는 620-660 nm 범위의 파장이거나, 또는 전자기 스펙트럼의 적외선 부분, 바람직하게는 700-1200nm 범위의 파장이다. 적색 광과 적외선은 대부분 적혈구에 의해 반사되므로 혈류의 스펙클 대조 영상화에 매우 적합하다. 적외선은 적색 광보다 침투 깊이가 더 깊다. 적색 광은 스펙클 영상을 획득하기 위한 RGB 카메라의 레드 채널을 사용하여, 기존 시스템에 통합하기가 더 쉬울 수 있다.
바람직하게는, 제1 파장은 관심 유체에 의해 산란되거나 반사되도록 선택되며; 예를 들어, 적색 또는 근적외선은 혈관의 혈액을 영상화하는 데 사용될 수 있다. 바람직하게는, 제1 파장은 요구되는 침투 깊이에 기초하여 선택될 수 있다. 상대적으로 높은 침투 깊이를 가진 광은 영상화 조직의 어떤 깊이에서도 관심 체액에 의해 산란된 광을 충분한 신호 대 잡음 비율로 검출할 수 있게 한다.
바람직하게는, 제2 파장은 영상에서 조직 표면 상에 일관된 특징을 초래하는 높은 시각적 구별성을 갖는 영상을 제공하도록 선택된다. 예를 들어, 녹색 광은 일반적으로 조직보다 혈액에 훨씬 더 강하게 흡수되기 때문에 내부 장기의 혈관을 영상화하는 데 사용될 수 있다. 제2 파장의 광은 간섭성 또는 비간섭성 광일 수 있다. 제2 영상은 또한 다수의 파장에 기초할 수 있으며, 백색 광을 사용할 수 있다. 제2 파장의 광은 제2 간섭성 광원에 의해 생성될 수 있다. 대안적으로, 제1 파장의 광 및 제2 파장의 광은 복수의 파장에서 간섭성 광을 생성하도록 구성된 단일 간섭성 광원에 의해 생성될 수 있다.
일 실시예에서, 제2 영상 시퀀스는 제2 스펙클 영상 시퀀스일 수 있고, 본 방법은 제2 스펙클 영상 시퀀스에 기초하여 제2 스펙클 대조 영상을 결정하는 단계 및 제2 스펙클 대조 영상 시퀀스의 스펙클 대조 크기의 변화에 기초하여 제1 스펙클 대조 영상을 조정 또는 보정하는 단계를 더 포함할 수 있다.
이중 레이저 보정이라고도 하는 다중-스펙트럼 간섭 보정은 제2 영상 시퀀스에서 결정된 스펙클 대조의 변화에 기초하여 제1 스펙클 영상의 결정된 스펙클 대조를 조정함으로써 제1 스펙클 대조 영상의 잡음을 제거하거나 줄일 수 있다. 제1 스펙클 대조 영상의 스펙클 대조와 제2 스펙클 대조 영상의 스펙클 대조 사이의 사전 결정된 상관 관계에 기초하여 조정될 수 있다.
다중-스펙트럼 간섭 보정은 다중-스펙트럼 보정 및 영상 정합 모두를 위해 제2 파장에 기초한 제2 영상을 사용함으로써 제2 영상을 사용하는 영상 정합과 유리하게 결합될 수 있다. 이러한 실시예에서, 제2 파장은 바람직하게는 상대적으로 작은 침투 깊이를 갖는다. 이러한 방식으로 제2 영상은 대부분 표적 영역의 표면과 관련된 정보를 포함할 수 있다. 이는 특히 피부, 흉터 조직 및 일부 종양 유형과 같이 표면에 가까운 관류가 거의 없는 조직에 해당된다.
일 실시예에 있어서, 본 발명은 제1 스펙클 영상의 각각의 영상, 각각의 제1 스펙클 대조 영상, 및 복수의 영상의 각각의 영상을 복수의 영역, 바람직하게는 분리된 영역으로 분할하는 단계를 더 포함한다. 바람직하게는, 복수의 영상으로부터의 영상의 영역은 연관된 제1 스펙클 영상, 각각 제1 스펙클 대조 영상의 영역에 대응한다. 변환 매개변수를 결정하는 단계는 각각의 영역에 대한 변환 매개변수를 결정하는 단계를 포함하고, 및 정합된 제1 스펙클 영상, 각각의 제1 스펙클 대조 영상 시퀀스를 결정하는 단계는 제2 영상의 상응하는 영역에 기초한 변환에 기초하여, 제1 스펙클 영상, 각각의 제1 스펙클 대조 영상의 각각의 영역을 정합하는 단계를 포함한다.
영역은 직사각형 또는 삼각형 영역의 그리드와 같은 영상의 기하학, 또는 해부학적 구조에 속하는 것으로 보이는 광의 세기 또는 화소 그룹과 같은 영상 속성을 기반으로 결정될 수 있다.
이러한 방식으로, 영상 일부의 지역적인 움직임이 보정되어 더 높은 품질의 결합된 영상을 얻을 수 있다. 지역적인 움직임은 사람의 움직임, 호흡, 심장 박동 또는 하복부의 연동 운동과 같은 근육 수축으로 인한 표적의 움직임으로 인해 발생한다. 영역은 단일 화소만큼 작을 수 있다. 2개 이상의 영상을 합성하기 위해 가중 평균을 사용하는 경우에, 각 영역에 개별적으로 및/또는 영상 전체에 가중치를 부여할 수 있다. 영상 결합은 마찬가지로 영역 기반이거나 또는 영상별로 수행될 수 있다.
일 실시예에 있어서, 표적 영역은 바람직하게는 체액에 의해 관류되고, 보다 바람직하게는 혈액 및/또는 림프액에 의해 관류되는, 관류된 장기를 포함할 수 있으며, 및/또는 하나 이상의 혈관 및/또는 림프관을 포함한다. 본 방법은 결합된 스펙클 영상에 기초하여, 관류 강도, 바람직하게는 혈액 관류 강도 또는 림프 관류 강도를 계산하는 단계를 더 포함한다.
본 방법은 문턱값 처리, 가색(false colouring), 백색 광 영상과 같은 다른 영상 위에 겹치기, 및/또는 결합된 영상 또는 그 파생물을 표시하는, 영상을 후처리하는 단계를 더 포함할 수 있다.
제2 양태에 있어서, 본 발명은 영상화 장치용, 바람직하게는 의료 영상화 장치용 하드웨어 모듈에 관한 것으로, 생체 조직을 포함하는 표적 영역을 제1 파장의 간섭성 제1 광에 노출시키기 위한 제1 광원을 포함한다. 하드웨어 모듈은 적어도 하나의 영상 시퀀스를 캡처하기 위해 하나 이상의 영상 센서를 구비한 영상 센서 시스템을 더 포함하고, 적어도 하나의 영상 시퀀스는 제1 스펙클 영상을 포함하며, 제1 스펙클 영상은 제1 광으로 노출되는 동안에 캡처된다. 하드웨어 모듈은 또한 컴퓨터 판독가능 프로그램 코드가 내장된 컴퓨터 판독가능 저장 매체, 및 컴퓨터 판독가능 저장 매체에 결합된 프로세서, 바람직하게는 마이크로프로세서, 보다 바람직하게는 그래픽 처리 장치를 포함하여 구성되고, 컴퓨터 판독가능 프로그램 코드를 실행하는 것에 응답하여, 프로세서는, 제1 스펙클 영상을 서로 정합하기 위한 영상 정합 알고리즘의 하나 이상의 변환 매개변수를 결정하고, 변환 매개변수는 복수의 영상에 있는 화소 그룹의 화소 값의 유사성 정도에 기초하며, 복수의 영상의 영상은 제1 스펙클 영상으로부터 선택되거나 또는 제1 스펙클 영상과 연관되며, 변환 매개변수는 호모그래피, 투영 변환, 또는 아핀 변환 중의 하나를 정의하며; 및 하나 이상의 변환 매개변수 및 영상 정합 알고리즘에 기초하여 제1 스펙클 영상을 정합하여 정합된 제1 스펙클 영상을 결정하고, 및 정합된 제1 스펙클 영상에 기초하여 결합된 스펙클 대조 영상을 결정하며; 또는 제1 스펙클 영상에 기초하여 제1 스펙클 대조 영상을 결정하고, 하나 이상의 변환 매개변수 및 영상 정합 알고리즘에 기초하여 제1 스펙클 대조 영상을 정합하여 정합된 스펙클 대조 영상을 결정하고, 및 정합된 제1 스펙클 대조 영상에 기초하여 결합된 스펙클 대조 영상을 결정하도록 구성된다.
일 실시예에 있어서, 하드웨어 모듈은 제1 광원과 동시에 또는 교대로, 제1 파장과 상이한 적어도 제2 파장의 광으로 표적 영역을 조명하기 위한 제2 광원을 더 포함한다. 적어도 하나의 영상 센서는 제2 영상 시퀀스를 캡처하도록 추가로 구성되며, 제2 영상은 제2 광에 노출되는 동안에 캡처된다. 복수의 영상은 제2 영상 시퀀스로부터 선택되며, 제2 영상 각각은 제1 스펙클 영상과 연관된다.
영상 센서 시스템은 제1 영상 시퀀스를 캡처하기 위한 제1 영상 센서, 및 제2 영상 시퀀스를 캡처하기 위한 제2 영상 센서, 또는 제1 영상 시퀀스 및 제2 영상 시퀀스를 모두를 캡처하기 위한 단일 영상 센서를 포함할 수 있다.
일 실시예에 있어서, 하드웨어 모듈은 결합된 스펙클 영상 및/또는 그 파생물, 바람직하게는 관류 강도 영상을 표시하기 위한 표시장치를 더 포함할 수 있다. 대안적으로 또는 추가적으로, 하드웨어 모듈은 결합된 스펙클 영상 및/또는 그 파생물을 출력하기 위한 비디오 출력을 포함할 수 있다.
영상 센서 시스템은 제1 파장의 영상을 캡처하기 위한 제1 영상 센서 및 적어도 제2 파장의 영상을 캡처하기 위한 제2 영상 센서를 포함할 수 있다. 제1 영상 센서와 제2 영상 센서는 동일한 영상 센서일 수 있고, RGB 카메라의 적색 및 녹색 채널같은 단일 영상 센서의 다른 부분일 수 있고. 또는 다른 영상 센서일 수 있다. 하드웨어 모듈은 제1 광원 및 선택적 제2 광원으로부터의 광을 표적 영역으로 안내하고 및/또는 표적 영역으로부터의 광을 제1 및 제2 영상 센서로 안내하기 위한 광학 장치를 더 포함할 수 있다.
본 발명은 또한 의료 영상화 장치에 관한 것으로, 바람직하게는 상술된 하드웨어 모듈을 포함하는 내시경, 복강경, 수술 로봇, 핸드헬드 레이저 스펙클 대조 영상화 장치 또는 개복 수술 레이저 스펙클 대조 영상화 시스템과 관련된다.
또 다른 양태에 있어서, 본 발명은 레이저 스펙클 영상화 시스템용 계산 모듈에 관한 것으로서, 컴퓨터 판독가능 프로그램 코드가 내장된 컴퓨터 판독가능 저장 매체, 및 컴퓨터 판독가능 저장 매체에 결합된 프로세서, 바람직하게는 마이크로프로세서, 보다 바람직하게는 그래픽 처리 장치를 포함하여 구성되고, 컴퓨터 판독가능 프로그램 코드를 실행하는 것에 응답하여, 프로세서는 실행 가능한 연산을 수행하도록 구성된다. 실행 가능한 연산은, 적어도 하나의 영상 시퀀스를 수신하고, 적어도 하나의 영상 시퀀스는 제1 스펙클 영상을 포함하고, 제1 스펙클 영상은 제1 파장의 간섭성 제1 광에 표적 영역을 노출하는 동안에 캡처되며, 표적 영역은 생체 조직을 포함하고; 제1 스펙클 영상을 서로 정합하기 위한 영상 정합 알고리즘의 하나 이상의 변환 매개변수를 결정하며, 변환 매개변수는 적어도 하나의 영상 시퀀스의 복수의 영상에 있는 화소 그룹의 화소 값의 유사성 정도에 기초하며, 복수의 영상의 영상은 제1 스펙클 영상으로부터 선택되거나 또는 제1 스펙클 영상과 연관되고, 변환 매개변수는 호모그래피, 투영 변환, 또는 아핀 변환 중의 하나를 정의하며; 및 하나 이상의 변환 매개변수 및 영상 정합 알고리즘에 기초하여 제1 스펙클 영상을 정합하여 정합된 제1 스펙클 영상을 결정하고, 및 정합된 제1 스펙클 영상에 기초하여 결합된 스펙클 대조 영상을 결정하며; 또는 제1 스펙클 영상에 기초하여 제1 스펙클 대조 영상을 결정하고, 하나 이상의 변환 매개변수 및 영상 정합 알고리즘에 기초하여 제1 스펙클 대조 영상을 정합하여 정합된 스펙클 대조 영상을 결정하고, 및 정합된 제1 스펙클 대조 영상에 기초하여 결합된 스펙클 대조 영상을 결정하도록 구성된다.
이러한 계산 모듈은 레이저 스페클 대조 영상화, 특히 관류 영상화를 개선하기 위해, 복강경 또는 내시경과 같은 기존 또는 신규의 의료 영상화 장치에 추가될 수 있다. 일 실시예에서, 본 명세서에 기술된 방법의 단계는 간섭성 광을 내시경 시스템에 결합하기 위한 장치의 프로세서에 의해 실행될 수 있다. 이러한 장치는 광원 및 내시경 시스템의 비디오 프로세서와, 복강경과 같은 내시경 시스템의 내시경 사이에서 결합될 수 있다. 따라서 결합된 장치는 내시경 시스템에 레이저 스펙클 영상화 기능을 추가할 수 있다. 이러한 커플된 장치는 네덜란드 특허 출원 NL 2026240에 더 자세히 설명되어 있으며, 이는 본 명세서에 참조로 포함된다.
일 실시예에 있어서, 적어도 하나의 영상 시퀀스는 제2 영상 시퀀스를 포함하고, 제2 영상은 제2 광에 노출되는 동안에 캡처되며, 제2 광은 하나 이상의 제2 파장을 갖고, 바람직하게는 제2 광은 제2 파장의 간섭성 광이거나 또는 제2 광은 가시 스펙트럼의 복수의 제2 파장을 포함하며, 제2 광에 대한 노출은 제1 광에 대한 노출과 교대로 되거나 제1 광에 대한 노출과 동시에 이루어진다. 복수의 영상은 제2 영상 시퀀스로부터 선택되며, 제2 영상 각각은 제1 스펙클 영상과 연관된다.
본 발명은 적어도 하나의 소프트웨어 코드 부분 또는 적어도 하나의 소프트웨어 코드 부분을 저장하는 컴퓨터 프로그램 제품을 포함하는 컴퓨터 프로그램 또는 컴퓨터 프로그램 모음으로서, 소프트웨어 코드 부분이 컴퓨터 시스템에서 실행될 때, 본 명세서에서 설명된 방법의 단계 중 어느 하나를 실행하도록 구성된다.
본 발명은 또한 적어도 하나의 소프트웨어 코드 부분을 저장하는 비일시적 컴퓨터 판독 가능한 저장 매체에 관한 것이며, 소프트웨어 코드 부분은, 컴퓨터에 의해 실행되거나 처리될 때, 본 명세서에 설명된 방법의 단계 중 어느 하나를 수행하도록 구성된다.
본 발명의 실시예들은 첨부된 도면을 참조하여 더 설명되며, 본 발명에 따른 실시예들이 도식적으로 도시될 것이다. 본 발명은 어떠한 방식으로도 이러한 구체적인 실시예들에 제한되지 않는 점이 이해될 것이다.
본 발명의 특정 실시예의 도면에 대한 다음 설명은 본질적으로 예시일 뿐이며 본 발명이 교시하는 내용, 그들의 응용 또는 용도를 제한하려는 의도가 아니다.
도 1a는 본 발명의 실시예에 따른 움직임 보정된 레이저 스펙클 대조 영상화를 위한 시스템을 개략적으로 도시한다.
도 1b-d는 본 발명의 실시예에 따른 레이저 스펙클 대조 영상화를 위한 흐름도를 도시한다.
도 2a-c는 원시 스펙클 영상, 원시 스펙클 영상에 기반한 레이저 스펙클 대조 영상, 및 레이저 스펙클 대조 영상에 기반한 관류 영상을 도시한다.
도 3a 및 3b는 본 발명의 실시예에 따른 레이저 스펙클 대조 영상화를 위한 흐름도를 도시한다.
도 4a 및 4b는 본 발명의 실시예에 따른 레이저 스펙클 대조 영상화를 위한 흐름도를 도시한다.
도 5는 본 발명의 실시예에 따른 변환을 결정하기 위한 방법을 도시한다.
도 6a-d는 본 발명의 실시예에 따른 변환을 결정하는 방법을 도시한다.
도 7a 및 7b는 본 발명의 실시예에 따른 2개 이상의 원시 스펙클 영상을 결합하는 레이저 스펙클 대조 영상화를 위한 흐름도를 도시한다.
도 8은 본 발명의 실시예에 따른 보정된 레이저 스펙클 대조 영상을 계산하기 위한 흐름도를 도시한다.
도 9는 본 발명의 실시예에 따른 가중 평균에 기초하여 움직임이 보정된 스펙클 대조 영상을 결정하는 단계를 개략적으로 도시한다. 그리고
도 10은 본 명세서에 설명된 방법 및 소프트웨어 제품을 실행하기 위해 사용될 수 있는 예시적인 데이터 처리 시스템을 나타내는 블록도이다.
도 1a는 본 발명의 실시예에 따른 움직임 보정된 레이저 스펙클 대조 영상화를 위한 시스템을 개략적으로 도시한다.
도 1b-d는 본 발명의 실시예에 따른 레이저 스펙클 대조 영상화를 위한 흐름도를 도시한다.
도 2a-c는 원시 스펙클 영상, 원시 스펙클 영상에 기반한 레이저 스펙클 대조 영상, 및 레이저 스펙클 대조 영상에 기반한 관류 영상을 도시한다.
도 3a 및 3b는 본 발명의 실시예에 따른 레이저 스펙클 대조 영상화를 위한 흐름도를 도시한다.
도 4a 및 4b는 본 발명의 실시예에 따른 레이저 스펙클 대조 영상화를 위한 흐름도를 도시한다.
도 5는 본 발명의 실시예에 따른 변환을 결정하기 위한 방법을 도시한다.
도 6a-d는 본 발명의 실시예에 따른 변환을 결정하는 방법을 도시한다.
도 7a 및 7b는 본 발명의 실시예에 따른 2개 이상의 원시 스펙클 영상을 결합하는 레이저 스펙클 대조 영상화를 위한 흐름도를 도시한다.
도 8은 본 발명의 실시예에 따른 보정된 레이저 스펙클 대조 영상을 계산하기 위한 흐름도를 도시한다.
도 9는 본 발명의 실시예에 따른 가중 평균에 기초하여 움직임이 보정된 스펙클 대조 영상을 결정하는 단계를 개략적으로 도시한다. 그리고
도 10은 본 명세서에 설명된 방법 및 소프트웨어 제품을 실행하기 위해 사용될 수 있는 예시적인 데이터 처리 시스템을 나타내는 블록도이다.
레이저 스펙클 대조 영상은 공간 대조, 시간 대조 또는 이들의 조합을 기반으로 할 수 있다. 일반적으로 공간 대조를 사용하면 시간 해상도는 높아지지만 공간 해상도는 상대적으로 낮아진다. 또한, 개별 영상은 움직임이나 조명 액티팩트로 인한 품질 손실로 인해 영상 품질이 영상마다 다를 수 있는 문제를 겪을 수 있다. 한편, 시간 대조를 사용하면 상대적으로 높은 공간 해상도 및 상대적으로 낮은 시간 해상도와 관련이 된다. 그러나 시간 대조의 품질은 카메라에 대한 표적의 움직임에 크게 영향을 받을 수 있으며, 이로 인해 화소가 잘못 결합될 수 있다. 혼합된 방법은 두 방법의 장점과 단점을 공유할 수 있다.
본 명세서에서, 스펙클 영상은 (원시) 스펙클 영상과 스펙클 대조 영상 사이의 차이를 더 잘 구별하기 위해 원시 스펙클 영상으로도 지칭될 수 있다. 따라서 '원시 스펙클 영상'이라는 용어는 광 강도를 표현하는 화소 값을 갖는 화소를 구비한 스펙클 패턴을 나타내는 영상을 지칭할 수 있다. 원시 스펙클 영상은 처리되지 않은 영상 또는 (전)처리된 영상일 수 있다. '스펙클 대조 영상'이라는 용어는 일반적으로 미리 정의된 이웃에 대한 화소의 상대 표준 편차인, 스펙클 대조 크기를 표현하는 화소 값을 갖는 화소를 구비한 처리된 스펙클 영상을 지칭하는 데 사용될 수 있다.
도 1a는 본 발명의 실시예에 따른 움직임이 보정된 레이저 스펙클 대조 영상화를 위한 시스템(100)을 개략적으로 도시한다. 시스템은 간섭성 광을 생성하기 위한 제1 광원(104), 예를 들어 레이저 광을 포함할 수 있으며, 표적 영역(102)을 조명하기 위한 제1 파장의 레이저 광이다. 표적(target)은 바람직하게는 살아있는 조직, 예를 들어 피부, 창자 또는 뇌 조직이다. 제1 파장은 표적을 통과해 이동할 수 있는 체액, 예를 들어 혈액 또는 림프액과 상호작용하도록 선택될 수 있다. 제1 파장은 전자기 스펙트럼의 적색 또는 (근)적외선 부분일 수 있으며, 600~700nm 범위, 바람직하게는 620~660nm 범위, 또는 700~1200nm 범위일 수 있다. 제1 파장은 관심 체액 및/또는 영상화되는 조직에 따라 선택될 수 있다. 제1 파장은 또한 영상화 센서의 특성에 기초하여 선택될 수 있다. 특히 노출 시간, 영상 영역의 크기, 스펙클 크기 및 영상 해상도에 따라, 개별적인 크거나 작은 혈관 내의 흐름, 또는 표적 영역의 미세혈관 관류와 같은 관심분야의 다양한 양이 영상화될 수 있다.
일 실시예에서, 시스템은 표적 영역(102)을 조명하기 위해 바람직하게는 전자기 스펙트럼의 녹색 부분의 광을 포함하는 적어도 제2 파장의 광을 생성하기 위한 제2 광원(106)을 더 포함할 수 있다. 적어도 제2 파장은 높은 시각적 특징을 가진 영상, 즉 해부학적 특징이 현저한 대조를 이루는 영상을 생성하는 파장을 포함하도록 선택될 수 있다. 제2 파장은 표적 영역의 조직에 기초하여 선택될 수 있다. 일반적으로, 적어도 제2 파장의 광은 간섭성 광 또는 비간섭성 광일 수 있고, 청색 또는 녹색 협대역 영상화 조명과 같은 예를 들어 단색이거나 또는 백색 광과 같은 다색일 수 있다. 다른 실시예에서, 제1 광원만이 사용된다. 도 1c에 도시된 실시예에서, 적어도 제2 파장의 광은 단색 간섭성 광이다. 제2 파장은 예를 들어 제2 간섭 광원에 의해 생성될 수 있다. 대안적으로, 제1 파장의 광 및 제2 파장의 광은 복수의 파장에서 간섭성 광을 생성하도록 구성된 단일 간섭성 광원에 의해 생성될 수 있다.
시스템은 제1 파장의 광과 관련된 영상 그리고, 적용 가능한 경우에는, 적어도 제2 파장의 광과 관련된 영상을 캡처하기 위한 하나 이상의 영상 센서(108)를 더 포함할 수 있으며, 제1 및 적어도 제2 파장의 광은 표적 영역에 있는 표적과 상호작용을 한다. 다른 실시예에서, 시스템은 복수의 카메라, 예를 들어 제1 파장과 관련된 제1 원시 스펙클 영상을 획득하기 위한 제1 카메라 및 제2 파장과 관련된 보정 영상을 획득하기 위한 제2 카메라를 포함할 수 있다. 시스템은 추가적인 광학 장치를 더 포함할 수 있는데, 이는 하나 이상의 광원에서 표적 영역으로, 그리고 표적 영역에서 하나 이상의 영상 센서로 빛을 안내하기 위한 광섬유, 렌즈 또는 빔 스플리터를 포함한다.
간섭광을 표적에 조사하면, 자기-간섭을 통해 레이저 스펙클 패턴이 형성될 수 있다. 영상은 처리 유닛(110)에 의해 수신되고 처리될 수 있다. 예는 도 1b-d를 참조하여 더 상세히 설명될 것이다. 처리 유닛은 본질적으로 실시간으로 표시장치 또는 컴퓨터(112)로 처리된 영상을 출력할 수 있다. 처리 장치는 별도의 장치이거나 또는 컴퓨터의 일부일 수 있다. 처리된 영상은 표시장치나 컴퓨터에 표시될 수 있다.
일 실시예에서, 내시경 또는 복강경을 사용하여 표적 영역으로 광을 안내하고 영상을 획득할 수 있다. 하나 이상의 광원, 하나 이상의 영상 센서, 처리 유닛 및 표시장치는 예를 들어, 내시경 시스템의 일부일 수 있다.
도 1b-d는 본 발명의 실시예에 따른 움직임이 보정된 레이저 스펙클 대조 영상화를 위한 흐름도를 도시한다. 이러한 결합이 모순된 설명을 초래하지 않는 한, 이들 실시예 중 하나에 대해 언급된 대안이 다른 실시예에도 적용될 수 있다.
도 1b는 본 발명의 실시예에 따른 움직임이 보정된 레이저 스펙클 대조 영상화를 위한 흐름도를 도시한다. 이 실시예에서, 제1 광원(104)에 의해 생성된 제1 파장의 간섭성 광만이 사용되며, 이는 예를 들어 녹색 또는 바람직하게는 적색 광일 수 있다. 하나 이상의 영상 센서(108)는 단일 영상 센서이며, 사용된 파장에 대해 최적화되거나 적어도 적합한 전형적인 단색 영상 센서이다. 전술되고 도 1c 및 1d의 예에 후술되는 바와 같이, 다른 실시예는 다른 구성을 사용할 수 있다.
제1 단계 120에서, 원시 스펙클 영상 시퀀스가 획득되는데, 즉 외부 소스로부터 캡처되거나 수신되다. 이러한 스펙클 영상은 또한 보정 영상으로도 사용될 수도 있다. 각각의 제1 원시 스펙클 영상에 기초하여, 제1 스펙클 대조 영상이 연산될 수 있다(126). 사전 결정된 컨볼루션 커널을 사용한 컨볼루션에 의해 또는 슬라이딩 윈도우에서 화소 값 강도의 상대 표준 편차를 결정하는 것과 같은 소정의 적절한 방법으로 스펙클 대조가 결정될 수 있다. 스펙클 대조는 관류와 상관 관계가 있으므로, 제1 스펙클 대조 영상의 스펙클 대조 값에 기반하여 관류 단위 가중치(unit weights)가 결정될 수 있다.
단일 파장 실시예에서, 원시 스펙클 영상 또는 스펙클 대조 영상은 보정 영상으로 사용될 수 있다. 각각의 보정 영상에서, 사전 결정된 객체 특징의 위치가 결정될 수 있다(130). 둘 이상의 보정 영상에 있는 사전 결정된 객체 특징의 위치에 기초하여, 표적 영역의 움직임을 식별하는 변위 벡터가 예를 들어 광학 흐름 알고리즘을 사용하여 결정될 수 있다. 이것은 도 5 및 도 6을 참조하여 더 상세히 설명될 것이다. 선택된 특징에 기초하여 변위 벡터를 결정하기 위해 (희소) 광학 흐름 알고리즘이 사용될 수 있다. 다른 실시예는 예를 들어 조밀 광학 흐름 알고리즘을 사용할 수 있으며; 이 경우에는 특징을 결정할 필요가 없다.
변위 벡터에 기초하여, 영상의 제2 시퀀스에 영상을 정합하기 위한 변환이 결정될 수 있다. 바람직하게는, 변환은 호모그래피(homographies) 클래스, 투영 변환 클래스 또는 아핀(affine) 변환 클래스 중에서 선택된다. 선택적으로 광학 흐름 가중치는 변위 벡터 또는 변환을 정의하는 매개변수에 기초하여 결정될 수 있다.
그런 다음에 결정된 변환은 스펙클 대조 영상을 서로 정합하거나(134), 또는 기하학적으로 정렬하여, 정합된 제1 스펙클 대조 영상을 생성하는 데 사용될 수 있다. 대안적인 실시예에서, 원시 스펙클 영상은 스펙클 대조를 연산하기 전에 정합될 수 있다. 그러나 영상 정합이 화소 값에 영향을 미치므로 그래서 대조에 영향을 줄 수 있으므로 이러한 실시예는 덜 선호된다.
이어서, 정합된 제1 스펙클 대조 영상은 예를 들어 시간 필터를 사용하여 결합될 수 있다(136). 시간 필터는 복수의 제1 스펙클 대조 영상을 평균화하는 단계를 포함할 수 있다. 평균화는 가중 평균화일 수 있으며, 가중치는 광학 흐름 가중치 및/또는 관류 단위 가중치를 기반으로 한다. 대안적인 실시예에서, 정합된 원시 스펙클 영상은 시간 필터를 사용하여 결합될 수 있고, 스펙클 대조 영상은 결합된 원시 스펙클 영상을 기반으로 결정될 수 있다. 그 결과 움직임이 보정된 스펙클 대조 영상이 생성된다.
그 후, 결합된 제1 원시 스펙클 영상은, 예를 들어 관류 값으로 변환되고, 관류가 높거나 낮은 영역을 나타내도록 임계값이 지정되고, 표적 영역의 백색 광 영상 위에 중첩되는 등의 후처리가 될 수 있다. 후처리는 처리 유닛(110) 또는 컴퓨터(112)에 의해 진행될 수 있다. 도 1c는 본 발명의 실시예에 따른 움직임이 보정된 레이저 스펙클 대조 영상화를 위한 흐름도를 도시한다. 도시된 실시예에서, 제1 광원(104)에 의해 생성된 제1 파장의 광은 적색 광이고, 제2 광원(106)에 의해 생성된 적어도 제2 파장의 광은 간섭성 녹색 광이다. 하나 이상의 영상 센서(108)는 적색, 녹색 및 청색 채널을 포함하는 단일 센서이다. 제1 파장 및 제2 파장은 혼선(crosstalk)을 최소화하도록 선택된다. 녹색 광에 의해 야기된 적색 채널의 신호는 적색 광에 의해 야기된 신호보다 실질적으로 더 작으며; 적색 광에 의해 야기되는 녹색 채널의 신호는 녹색 광에 의해 야기되는 신호보다 실질적으로 더 작다. 전술한 바와 같이, 다른 실시예는 상이한 구성을 사용할 수 있다.
제1 단계 140에서 RGB 영상 시퀀스가 수신된다. 제1 원시 스펙클 영상의 제1 시퀀스는 RGB 영상 시퀀스의 적색 채널로부터 추출될 수 있고(142), 보정 영상의 제2 시퀀스는 RGB 영상의 녹색 채널로부터 추출될 수 있다(144). 보정 영상 시퀀스는 제2 원시 스펙클 영상의 제2 시퀀스일 수 있다. 각각의 제1 원시 스펙클 영상은 동일한 RGB 영상으로부터 추출된 보정 영상과 연관될 수 있다. 다른 실시예에서, 제1 원시 스펙클 영상 및 보정 영상은 상이한 카메라에 의해, 다중 센서 카메라(예를 들어, 3CCD 카메라)의 상이한 센서에 의해, 또는 단일 카메라(예를 들어, YUV 카메라)의 상이한(컬러) 채널에 의해 획득될 수 있으며, 표적이 제1 파장의 광과 적어도 제2 파장의 광으로 교대로 조명되는 경우에, 영상은 단일 흑백 카메라에 의해 교대로 획득될 수 있다.
각각의 제1 원시 스펙클 영상에 기초하여, 제1 스펙클 대조 영상이 연산될 수 있다(146). 선택적으로, 각각의 제2 원시 스펙클 영상에 기초하여, 제2 스펙클 대조 영상이 연산될 수 있다(148). 사전 결정된 컨볼루션 커널을 사용한 컨볼루션에 의해 또는 슬라이딩 윈도우에서 화소 값 강도의 상대 표준 편차를 결정하는 것과 같은 소정의 적절한 방법으로 스펙클 대조를 결정할 수 있다. 스펙클 대조는 관류와 상관 관계가 있으므로, 제1 스펙클 대조 영상의 스펙클 대조 값을 기반으로 관류 단위 가중치를 결정할 수 있다. 제2 스펙클 대조 영상은 제1 스펙클 대조 영상을 보정하기(152) 위해 선택적으로 사용될 수 있으며, 이는 도 8을 참조하여 더 자세히 설명될 것이다. 이 경우에, 보정된 스펙클 대조 값은 관류 단위 가중치를 결정하는 데 사용될 수 있다.
각각의 보정 영상에서(즉, 이 실시예에서, 각각의 제2 원시 스펙클 영상에서), 사전 결정된 객체 특징의 위치가 결정될 수 있다(150). 2개 이상의 보정 영상에 있는 사전 결정된 객체 특징의 위치에 기초하여, 예를 들어 광학 흐름 알고리즘을 사용하여, 표적 영역의 움직임을 식별하는 변위 벡터가 결정될 수 있다. 이것은 도 5 및 도 6을 참조하여 더 상세히 설명될 것이다. 선택된 특징에 기초하여 변위 벡터를 결정하기 위해 (희소) 광학 흐름 알고리즘이 사용될 수 있다. 다른 실시예는 예를 들어 조밀 광학 흐름 알고리즘이 사용될 수 있으며; 이 경우에, 특징을 결정할 필요가 없다.
변위 벡터에 기초하여, 제2 영상 시퀀스에 영상을 정합하기 위한 변환이 결정될 수 있다. 바람직하게는, 변환은 호모그래피 클래스, 투영 변환 클래스 또는 아핀 변환 클래스로부터 선택된다. 선택적으로 광학 흐름 가중치는 변위 벡터 또는 변환을 정의하는 매개변수에 따라 결정될 수 있다.
그런 다음에 결정된 변환은 보정 영상과 연관된 제1 스펙클 대조 영상을 정합하거나(154), 또는 기하학적으로 정렬하는 데 사용될 수 있다.
이어서, 정합된 제1 스펙클 대조 영상은 시간 필터를 사용하여 결합될 수 있다(156). 시간 필터는 복수의 제1 스펙클 대조 영상을 평균화하는 단계를 포함할 수 있다. 평균화는 가중 평균화일 수 있으며, 가중치는 광학 흐름 가중치 및/또는 관류 단위 가중치에 기반한다.
최종 단계 158에서, 결합된 제1 원시 스펙클 영상은 관류 값으로 변환되고, 관류가 높거나 낮은 영역을 나타내도록 임계값이 지정되고, 표적 영역의 백색 광 영상 위에 중첩되는 등의 후처리가 될 수 있다. 후처리는 처리 유닛(110) 또는 컴퓨터(112)에 의해 진행될 수 있다.
도 1d는 본 발명의 실시예에 따른 움직임이 보정된 레이저 스펙클 대조 영상화를 위한 흐름도를 도시한다. 도시된 실시예에서, 제1 광원(104)에 의해 생성된 제1 파장의 빛은 적외선이지만, 적색, 녹색 또는 청색과 같은 다른 색상도 가능하다. 제2 광원(106)에 의해 생성된 적어도 제2 파장의 광은 (비간섭성) 백색 광이다. 적외선과 백색 광을 사용하는 이점은 서로 실질적으로 영향을 주지 않고 동시에 사용할 수 있다는 것이다.
도시된 바와 같이, 하나 이상의 영상 센서(108)는 2개의 카메라(적외선 카메라 및 컬러 카메라)에 있는 2개의 영상 센서이다. 예를 들어 개복 수술 환경에서 이미 컬러 카메라로 구성된 시스템에 레이저 스펙클 영상화를 추가되는 경우에 이방식은 실용적일 수 있다. 또한, 전용 영상 센서를 사용하면 노출 시간과 같은 하드웨어 및/또는 장비 매개변수를 개별적으로 최적화할 수 있다. 전술한 바와 같이, 다른 실시예에서 다른 구성을 사용할 수 있다. 예를 들어, 일부 실시예에서, 단일 카메라는 적외선 및 (백색 광) 컬러 영상 모두를 캡처하는 데 사용될 수 있다. 단일 카메라를 사용하는 이점은 적외선 영상과 컬러 영상이 자동으로 정렬되고 서로 연관된다는 점이다.
제1 단계 160에서, 제1 영상의 제1 시퀀스가 적외선 카메라에 의해 캡처된다. 상기 제1 시퀀스는 원시 스펙클 영상 시퀀스로 영상 프로세서에 의해 저장될 수 있다. 제2 단계 161에서, 제2 영상의 제2 시퀀스가 컬러 카메라에 의해 캡처된다. 상기 제2 시퀀스는 보정 영상 시퀀스로서 저장(164)될 수 있다. 각각의 원시 스펙클 영상은 하나 이상의 보정 영상과 연관될 수 있다. 바람직하게는, 각각의 원시 스펙클 영상은 원시 스펙클 영상과 동시에, 가장 가까운 시간에 캡처된 보정 영상과 적어도 연관된다. 바람직하게는, 제1 및 제2 카메라의 프레임 속도는 선택될 수 있어서, 예를 들어 하나의 프레임 레이트를 다른 프레임 레이트의 정수배로 선택하는 것과 같은, 간단한 관련성을 허용한다.
각각의 원시 스펙클 영상에 기초하여, 스펙클 대조 영상이 계산될 수 있다(166). 사전 결정된 컨볼루션 커널을 사용한 컨볼루션에 의해 또는 슬라이딩 윈도우에서 화소 값 강도의 상대 표준 편차를 결정하는 것과 같은 적절한 방법으로 스펙클 대조가 결정될 수 있다. 스펙클 대조는 관류와 상관 관계가 있으므로, 제1 스펙클 대조 영상의 스펙클 대조 값을 기초하여 관류 단위 가중치를 결정할 수 있다.
각각의 보정 영상에서 (즉, 본 실시예에서, 각각의 백색 광 영상에서), 사전 결정된 객체 특징의 위치가 결정될 수 있다(170). 하나 이상의 보정 영상에 있는 사전 결정된 객체 특징의 위치에 기반하여, 표적 영역의 움직임을 식별하는 변위 벡터가 예를 들어 광학 흐름 알고리즘을 사용하여 결정될 수 있다. 이러한 점은 도 5 및 도 6을 참조하여 더 상세히 설명될 것이다. 선택된 특징에 기초하여 변위 벡터를 결정하기 위해 (희소) 광학 흐름 알고리즘이 사용될 수 있다. 다른 실시예는 예를 들어 조밀 광학 흐름 알고리즘이 사용될 수 있으며; 이 경우에, 특징을 결정할 필요가 없다.
변위 벡터에 기초하여, 보정 영상 시퀀스에 영상을 정합하기 위한 변환이 결정될 수 있다. 바람직하게는, 변환은 호모그래피 클래스, 투영 변환 클래스 또는 아핀 변환 클래스로부터 선택된다. 선택적으로 광학 흐름 가중치는 변위 벡터 또는 변환을 정의하는 매개변수에 따라 결정될 수 있다.
결정된 변환은 보정 영상과 연관된 제1 스펙클 대조 영상을 정합(174)하거나 기하학적으로 정렬하는 데 사용될 수 있다. 본 실시예에서는 두 대의 카메라가 사용되기 때문에 두 대의 카메라는 뷰 필드와 기준 프레임을 공유하지 않는다. 결과적으로, 보정 영상을 사용하여 결정된 변환 매개변수에 기초하여 스펙클 대조 영상을 정합하는 단계는 기준 프레임의 이러한 변화를 고려하기 위해 변환 매개변수에 변환을 적용하는 단계를 포함할 수 있다. 카메라가 서로에 대해 상대적으로 고정된 위치에 있는 경우에 이 변환은 사전 결정될 수 있다. 그렇지 않으면, 변환은 예를 들어 보정 영상 또는 마커의 영상 처리에 기반하여 결정될 수 있다. 마커는 자연적이거나 인공적일 수 있다.
이어서, 정합된 제1 스펙클 대조 영상은 시간 필터를 사용하여 결합될 수 있다(176). 시간 필터는 복수의 제1 스펙클 대조 영상을 평균화하는 단계를 포함할 수 있다. 평균화는 가중 평균화일 수 있으며, 가중치는 광학 흐름 가중치 및/또는 관류 단위 가중치를 기반으로 한다.
최종 단계 178에서, 결합된 제1 원시 스펙클 영상은 관류 값으로 변환되고, 관류가 높거나 낮은 영역을 나타내도록 임계값이 지정되고, 표적 영역의 백색 광 영상 위에 중첩되는 등의 후처리가 수행될 수 있다. 후처리는 처리 장치(110) 또는 컴퓨터(112)에 의해 수행될 수 있다.
일 실시예에서, 본 명세서에 기술된 방법의 단계는 간섭성 광을 내시경 시스템과 결합하는 장치의 프로세서에 의해 실행될 수 있다. 이러한 장치는 광원과 내시경 시스템의 비디오 프로세서, 및 내시경 시스템의 복강경 사이에 결합될 수 있다. 따라서 결합 장치는 내시경 시스템에 레이저 스펙클 영상화 기능을 추가할 수 있다. 이러한 결합 장치가 네덜란드 특허 출원 NL 2026240에 더 자세히 설명되어 있으며, 이는 본 명세서에 참조로 포함된다.
대안적인 실시예에서, 본 발명에 서술된 방법의 단계는 가능하게는 기존의 영상화 시스템과 결합하여, 개복 수술 세팅에 적용될 수 있다.
도 2a는 저 관류를 갖는 표적 및 고 관류를 갖는 표적의, 원시 스펙클 영상, 및 원시 스펙클 영상에 기초한 레이저 스펙클 대조 영상을 도시한다. 영상(202 및 204)는 손톱 베드(bed)를 포함하는 인간 손가락 끝의 원시 스펙클 영상이다. 영상(202)를 획득할 때, 손가락을 통한 혈류가 제한되어 손가락의 낮은 혈액 관류(인공 허혈)가 발생했다. 영상(204)를 획득할 때, 혈류가 제한되지 않아 이전 상황에 비해 훨씬 더 높은 혈액 관류를 나타냈다. 육안 관찰자의 경우, 관류의 차이와 관련된 스펙클 패턴의 차이를 확인하기는 어렵다. 영상(204)의 확대된 부분(210)도 도시되어 있으며, 스펙클 구조를 더 자세하게 표시하고 있다.
영상(206 및 208)는 각각 영상(202 및 204)에 기초한 스펙클 대조 영상이다. 밝은 색상은 낮은 대조이며 고 관류를 나타내고, 반면에 어두운 색상은 높은 대조이며 저 관류를 나타낸다. 이 영상에서 관류의 차이가 즉각적으로 명확하며, 특히 혈류가 표면에 비교적 가깝게 발생하는 손톱 베드에서 명확하다.
도 2b는 본 발명의 실시예에 따른 움직임 보정 전 및 움직임 보정 후, 움직임을 나타내는 저 관류 표적의 일련의 레이저 스펙클 대조 영상을 도시한다. 영상(2201-5)는 손톱 베드를 포함하는 인간 손가락 끝의 스펙클 대조 영상이다. 영상(2202-4)를 수집하는 동안에 손가락이 움직여서 손가락 움직임으로 인해 대조의 손실을 가져온다. 사용자가 혈류에 관심이 있는 경우, 밝은 색상으로 표시되는 영상(2202-4)의 낮은 스펙클 대조는 움직임 아티팩트로 간주될 수 있다. 영상(2221-5)는 영상(2201-5)와 각각 동일한 원시 스펙클 영상을 기반으로 하지만, 본 발명의 실시예에 따른 움직임 보정 알고리즘에 의해 보정되었다.
도 2c는 일련의 스펙클 대조 영상으로부터의 스펙클 대조 영상을 도시하고 그래프는 일련의 스펙클 대조 영상에 기초한 관류 수준을 나타내고 있다. 그래프(230)에는 손톱 베드의 관류 측정값을 도시하는데, 무 보정된 측정값에 기초하여 결정된 관류를 나타내는 제1 곡선(232) 및 본 명세서에 기술된 바와 같이 움직임 보정 알고리즘으로 보정된 측정값에 기초하여 결정된 관류를 나타내는 제2 곡선(234)이 도시되어 있다. 약 10초 근처에서 손가락으로 가는 혈류가 인위적으로 제한되고 약 30초 후에 제한이 해제된다. 특히 23초에서 38초 사이의 시간 범위에서, 보정되지 않은 관류 측정값은 다수의 움직임 아티팩트를 보이고, 관류가 급격하게 상승했다가 다시 하강하는 것처럼 보인다.
상기 도면은 3개의 예시적인 스펙클 대조 영상을 추가로 보여주며, 이는 단일 파장을 기반으로 하는 움직임 보정 및 보정 알고리즘을 사용하여 처리하기 전(영상 2361-3) 및 처리 후(영상 2381-3)를 도시한다. 이 영상에서 밝은 색상은 낮은 스펙클 대조이어서 고 관류를 나타내고, 반면에 어두운 색은 높은 스펙클 대조이어서 저 관류를 나타낸다. 3개의 보정되지 않은 영상은 거의 동일하게 나타나 사용자가 관류가 낮거나 높은 시간(또는 다른 응용분야에서는 지역)을 인식하기 어렵게 만든다. 이와 대조적으로, 움직임이 보정된 영상은 혈류가 제한된 상태에서 획득한 (가운데) 영상과 혈류가 제한되지 않은 상태에서 획득한 영상의 차이가 뚜렷하여 사용자가 관류가 높은 시간이나 장소를 선택할 수 있다.
또한, 손가락 가장자리와 손톱 베트와 같은 해부학적 구조가 움직임 보정 영상에서 더 쉽게 인식할 수 있는 반면, 보정되지 않은 영상에서는 거친 특성으로 인해 세부 사항을 인식하기 어려울 수 있다. 본 발명은 사용자가 영상 해석을 더욱 용이하게 할 수 있도록 한다.
도 3a는 본 발명의 실시예에 따른 레이저 스펙클 대조 영상화를 위한 흐름도를 도시한다. 제1 단계 302에서, 제1 원시 스펙클 영상은 제1 시점 t = t1에서 획득될 수 있다. 광원은 사전 결정된 파장의 간섭성(coherent) 광으로 표적 영역을 조명할 수 있고, 영상 센서는 사전 결정된 파장에 기초하여 제1 원시 스펙클 영상을 캡처할 수 있다. 제1 원시 스펙클 영상에 기초하여, 제1 레이저 스펙클 대조 영상이 연산될 수 있다(304). 레이저 스펙클 대조 영상은 예를 들어 슬라이딩 윈도우(예: 3×3 윈도우, 5×5 윈도우 또는 7×7 윈도우)에서 화소 값의 상대 표준 편차를 연산하여 결정할 수 있다. 일반적으로 자연수 n에 대해 스펙클의 크기에 따라 (2n+1)×(2n+1) 윈도우가 선택될 수 있다. 대안적으로, 커널을 가진 콘볼루션이 사용될 수 있으며, 여기서 커널의 크기는 스펙클 크기에 기초하여 선택될 수 있다. 상대 표준 편차는 영역의 화소 강도 값을 영역의 평균 화소 강도 값으로 나눈 값의 표준 편차를 계산하여 결정할 수 있다. 대안적으로, 레이저 스펙클 대조 값은 다른 적절한 방법으로 결정될 수 있다.
다음 단계 308에서, 프로세서는 제1 원시 스펙클 영상에서 복수의 제1 특징을 결정할 수 있다. 대안적으로, 복수의 제1 특징은 제1 스펙클 대조 영상에서 결정될 수 있다. 바람직하게는, 가장 명확하게 정의된 해부학적 특징을 구비한 영상이 사용되며; 해부학적 특징이 원시 스펙클 영상 또는 스펙클 대조 영상에서 더 높은 시각적 구별성을 갖는지 여부가 파장 및 노출 시간과 같은 영상화 매개변수에 따라 달라질 수 있다. 도 3a 설명의 잔여 부분에서, '스펙클 영상'라는 용어는 원시 스펙클 영상 또는 스펙클 대조 영상을 지칭할 수 있다. 특징 탐지와 관련된 단계는 도 5-6을 참조하여 아래에서 자세히 설명한다.
단계 312~318은 각각 단계 302~308과 유사하며, 제2 시점 t = t2에서 실행된다. 따라서, 제2 시점 t = t2에서 제2 원시 스펙클 영상이 획득될 수 있다(312). 광원은 사전 결정된 파장의 간섭성 광으로 표적 영역을 조명할 수 있고, 영상 센서는 사전 결정된 파장에 기초하여 제2 원시 스펙클 영상을 캡처할 수 있다. 제2 원시 스펙클 영상에 기초하여, 제2 레이저 스펙클 대조 영상이 연산될 수 있다(314).
다음 단계 318에서, 프로세서는 제2 스펙클 영상에서 복수의 제2 특징을 결정할 수 있다. 복수의 제2 특징의 적어도 일부는 복수의 제1 특징의 적어도 일부에 대응해야 한다. 일반적으로, 제2 스펙클 영상은 일반적인 응용분야에서 처럼, 제1 스펙클 영상과 유사하며 표적 영역은 t = t1과 t = t2 사이에서 많이 변경되지 않다. 따라서, 특징을 감지하기 위해 결정론적 알고리즘이 사용되는 경우, 영상에서 검출된 특징이 영상화된 표적에서 동일하거나 실질적으로 동일한 해부학적 특징을 나타낸다는 관점에서, 제2 스펙클 영상에서 검출된 대부분의 특징은 일반적으로 제1 스펙클 영상에서 검출된 특징과 일치한다. 따라서, 복수의 제2 특징은 복수의 제1 특징과 연관될 수 있다.
다음 단계 320에서, 프로세서는 제1 특징 및 대응하는 제2 특징에 기초하여 복수의 변위 벡터를 결정하며, 변위 벡터는 영상에 대한 상대적인 특징의 변위를 설명한다. 예를 들어, 프로세서는 하나의 제1 특징 및 하나의 제2 특징을 포함하는 특징 쌍을 결정할 수 있고, 제1 스펙클 영상에 대한 제1 특징의 제1 위치를 결정하고, 제2 스펙클 영상에 대한 제2 특징의 제2 위치를 결정할 수 있고, 그리고 제1 및 제2 위치 사이의 차이를 결정한다. 일반적으로, 상응하는 특징의 쌍은 동일한 해부학적 특징을 나타내는 제1 특징 및 연관된 제2 특징의 쌍일 수 있다.
다음 단계 322에서, 프로세서는 복수의 변위 벡터를 기반으로, 서로 대응하는 특징을 정합하기 위해 아핀 변환 또는 보다 일반적인 호모그래피와 같은 변환을 결정할 수 있다. 변환은 예를 들어 대응하는 특징 쌍 사이의 거리를 최소화하는 변환을 변환 클래스로부터 선택하여 찾을 수 있다. 변환에 기초하여, 프로세서는 제1 및/또는 제2 레이저 스펙클 대조 영상을 변환함으로써, 제1 레이저 스펙클 대조 영상과 제2 레이저 스펙클 대조 영상을 서로 정합 또는 정렬할 수 있다(324). 일반적으로 이전 영상은 새로운 영상에 정합되도록 변환될 수 있다.
다른 실시예에서, 단계 308 및 318는 생략될 수 있고, 변위 벡터는 제1 및 제2 스펙클 영상에 기초하여 결정될 수 있다. 예를 들어, 변위 벡터를 결정하기 위해 Pyramid Lucas-Kanade 알고리즘 또는 Farneback 알고리즘과 같은, 조밀 광학 흐름 알고리즘이 사용될 수 있다. 이러한 종류의 알고리즘은 일반적으로 제1 스펙클 영상으로부터의 화소 근처를 제2 스펙클 영상의 일부 또는 전체와 컨볼루션하여, 제1 스펙클 영상의 각 화소에 대한 근처를 제2 스펙클 영상의 근처와 매칭시킨다. 이러한 방법은 또한 제1 및 제2 스펙클 영상에서 화소 이웃의 화소 값을 모델링하기 위해 다항식 전개를 결정하고, 전개 계수를 비교하고, 비교에 기초하여 변위 벡터를 결정하는 단계를 포함할 수 있다.
이러한 방식으로, 변위 벡터는 결정될 수 있는데, 예를 들면, 스펙클 영상의 화소 그룹의 화소 값에 기반하여, 개별 화소 또는 화소 그룹이 결정된다.
일부 실시예에서, 단계 320는 생략될 수 있고, 변환은 예를 들어 훈련된 신경망을 사용하여 제1 스펙클 영상의 화소 그룹의 화소 값 및 제2 스펙클 영상의 연관된 화소 그룹의 화소 값에 기초하여 결정될 수 있으며, 이는 입력으로서 제1 영상 및 제2 영상을 수신하고 출력으로서 변환을 제공하여 제1 영상을 제2 영상에 정합시키거나 또는 대안적으로 제2 영상을 제1 영상에 정합시킨다.
그 다음 프로세서는 정합된 제1 및 제2 레이저 스펙클 대조 영상을 기반으로 레이저 스펙클 대조 영상을 결합(326), 즉 평균화한다. 결합된 영상을 계산하는 단계는 가중 평균을 계산하는 것을 포함할 수 있으며, 가중치는 바람직하게는 스펙클 대조의 정규화된 양, 스펙클 대조의 상대적인 변화, 결정된 변위 벡터 및/또는 결정된 변환과 관련된 매개변수에 기초한다. 결합된 영상을 계산하는 단계는 중앙값 필터 또는 분리(outlier) 필터와 같은 하나 이상의 필터를 적용하는 단계를 더 포함할 수 있다.
다른 실시예에서, 상기 단계는 다른 순서로 수행될 수 있다. 예를 들어, 원시 스펙클 영상이 정합된 이후에 레이저 스펙클 대조 영상이 계산될 수 있다. 이러한 방식으로, 시간 또는 시간-공간 스펙클 대조 영상을 계산할 수 있다. 그러나 변환이 병진 및 회전보다 더 일반적인 경우(예: 스케일링 또는 변형(shearing) 포함), 변환은 스펙클 패턴을 변형하여 잡음 소스를 도입할 수 있다. 일부 실시예에서, 단일 레이저 대조 원시 스펙클 영상은 결합된, 즉 평균화된 원시 스펙클 영상에 기초하여 계산될 수 있다. 이 경우에 영상은 바람직하게는 화소단위보다 더 작은 정확도로 정합된다.
도 3b는 본 발명의 실시예에 따른 레이저 스펙클 대조 영상화를 위한 흐름도를 도시한다. 제1 단계 332에서, 제1 원시 스펙클 영상은 제1 시점 t = t1에서 획득될 수 있다. 제1 광원은 제1 파장의 간섭성 광으로 표적 영역을 조명할 수 있고, 제1 영상 센서는 제1 파장에 기초하여 제1 원시 스펙클 영상을 캡처할 수 있다. 제1 원시 스펙클 영상에 기초하여, 제1 레이저 스펙클 대조 영상이 계산될 수 있다(334). 레이저 스펙클 대조 영상은 단계 304를 참조하여 전술한 바와 같이 결정될 수 있다.
다음 단계 336에서, 제1 스펙클 영상과 연관된 제1 보정 영상이 제1 시점 t = t1에서 획득될 수 있다. 제1 보정 영상은 화소 값 및 화소 좌표를 갖는 화소를 포함할 수 있고, 화소 좌표는 영상에서 화소의 위치를 식별한다. 제1 보정 영상은 바람직하게는 제1 원시 스펙클 영상과 동시에 얻어지지만, 대안적인 실시예에서, 제1 보정 영상은 예를 들어, 제1 원시 스펙클 영상 전 또는 후에 획득될 수 있다.
제2 광원은 제1 파장과 상이한 적어도 제2 파장의 광으로 표적 영역을 조명할 수 있고, 제2 영상 센서는 적어도 제2 파장에 기초하여 제1 보정 영상을 캡처할 수 있다. 제2 광원은 간섭성 광 또는 비간섭성 광을 사용할 수 있다. 제2 광원은 단색 광 또는 다색 광, 예를 들어 백색 광을 생성할 수 있다. 제2 영상 센서는 제1 영상 센서와 동일한 센서일 수도 있고, 또는 다른 센서일 수도 있다.
도 3a를 참조하여 전술한 실시예에서, 제2 파장은 제1 파장과 동일하고, 제1 보정 영상은 제1 원시 스펙클 영상과 동일한 영상이다.
다음 단계 338에서, 프로세서는 제1 보정 영상에서 복수의 제1 특징을 결정할 수 있다. 특징 탐지와 관련된 단계는 도 5-6을 참조하여 자세히 설명하다.
단계 342~348은 제2 시점 t = t2에서 각각 실행되는 단계 332~338과 유사하다. 따라서, 제2 시점 t = t2에서 제2 원시 스펙클 영상이 획득될 수 있다(342). 제1 광원은 제1 파장의 간섭성 광으로 표적 영역을 조명할 수 있고, 제1 영상 센서는 제1 파장에 기초하여 제2 원시 스펙클 영상을 캡처할 수 있다. 제2 원시 스펙클 영상에 기초하여, 제2 레이저 스펙클 대조 영상은 계산될 수 있다(344).
다음 단계 346에서, 제2 원시 스펙클 영상과 연관된 제2 보정 영상은 제2 시점 t = t2에서 획득될 수 있다. 제2 광원은 적어도 제2 파장의 광으로 표적 영역을 조명할 수 있고, 제2 영상 센서는 적어도 제2 파장에 기초하여 제2 보정 영상을 캡처할 수 있다.
다음 단계 348에서, 프로세서는 제2 보정 영상에서 복수의 제2 특징을 결정할 수 있다. 복수의 제2 특징의 적어도 일부는 복수의 제1 특징의 적어도 일부에 대응해야 한다. 일반적으로 제2 보정 영상은 일반적인 응용분야와 같이 제1 보정 영상과 유사하며 표적 영역은 t = t1과 t = t2 사이에서 많이 변경되지 않다. 따라서, 특징을 감지하기 위해 결정론적 알고리즘이 사용되는 경우, 영상에서 검출된 특징이 영상화된 표적에서 동일하거나 실질적으로 동일한 해부학적 특징을 나타낸다는 관점에서, 제2 보정 영상에서 검출된 대부분의 특징은 일반적으로 제1 보정 영상에서 검출된 특징과 일치한다. 따라서, 복수의 제2 특징은 복수의 제1 특징과 연관될 수 있다.
다음 단계 350에서, 프로세서는 제1 특징 및 대응하는 제2 특징에 기초하여 복수의 변위 벡터를 결정할 수 있으며, 변위 벡터는 영상에 대한 특징의 변위를 설명한다. 예를 들어, 프로세서는 하나의 제1 특징 및 하나의 제2 특징을 포함하는 특징 쌍을 결정할 수 있고, 제1 보정 영상에 대한 제1 특징의 제1 위치를 결정하고, 제2 보정 영상에 대한 제2 특징의 제2 위치를 결정하고, 그리고 제1 위치와 제2 위치의 차이를 결정한다. 전형적으로, 상응하는 특징의 쌍은 동일한 해부학적 특징을 나타내는 제1 특징 및 연관된 제2 특징의 쌍일 수 있다.
다음 단계 352에서, 프로세서는 복수의 변위 벡터를 기반으로, 서로 대응하는 특징을 정합하기 위해 아핀 변환 또는 보다 일반적인 호모그래피와 같은 변환을 결정할 수 있다. 변환은 예를 들어 대응하는 특징 쌍 사이의 거리를 최소화하는 변환을 변환 클래스로부터 선택할 수 있다. 변환에 기초하여, 프로세서는 제1 및/또는 제2 레이저 스펙클 대조 영상을 변환함으로써, 제1 레이저 스펙클 대조 영상과 제2 레이저 스펙클 대조 영상을 서로 정합 또는 정렬할 수 있다(354). 일반적으로 이전 영상은 새로운 영상에 정합되도록 변환될 수 있다. 하나 이상의 영상 센서를 갖는 실시예에서, 보정 영상에 기초하여 결정된 변환 매개변수는 하나 이상의 영상 센서의 시야 사이의 차이를 고려하도록 조정될 수 있다.
다른 실시예에서, 단계 338 및 348은 생략될 수 있고, 변위 벡터는 제1 및 제2 보정 영상에 기초하여 결정될 수 있다. 예를 들어, 변위 벡터를 결정하기 위해 Pyramid Lucas-Kanade 알고리즘 또는 Farneback 알고리즘과 같은 조밀 광학 흐름 알고리즘이 사용될 수 있다. 이러한 종류의 알고리즘은 일반적으로 제1 보정 영상의 화소 근처와 제2 보정 영상의 일부 또는 전체의 컨볼루션을 수행하여 제1 보정 영상의 각 화소에 대한 근처를 제2 보정 영상의 근처와 일치시킨다. 이러한 방법은 또한 제1 및 제2 보정 영상에서 화소 근처의 화소 값을 모델링하기 위해 다항식 전개(expansion)를 결정하고, 전개 계수를 비교하고, 비교에 기초하여 변위 벡터를 결정하는 단계를 포함할 수 있다.
이러한 방식으로, 변위 벡터는 결정될 수 있는데, 예를 들면, 제1 보정 영상의 화소 그룹의 화소 값과 상응하는 제2 보정 영상의 화소 그룹의 화소 값에 기반하여, 개별 화소 또는 화소 그룹이 결정된다.
일부 실시예에서, 단계 350는 생략될 수 있고, 변환은 예를 들어 훈련된 신경망을 사용하여 제1 보정 영상의 화소 그룹의 화소 값 및 제2 보정 영상의 연관된 화소 그룹의 화소 값에 기초하여 결정될 수 있으며, 이는 입력으로서 제1 영상 및 제2 영상을 수신하고 출력으로서 변환을 제공하여 제1 영상을 제2 영상에 정합시키거나 또는 대안적으로 제2 영상을 제1 영상에 정합시킨다.
그 다음 프로세서는, 단계 326을 참조하여 전술한 바와 같이, 정합된 제1 및 제2 레이저 스펙클 대조 영상을 기반으로 레이저 스펙클 대조 영상을 결합(356), 즉 평균화 한다.
다른 실시예에서, 상기 단계는 다른 순서로 수행될 수 있다. 예를 들어, 원시 스펙클 영상이 정합된 이후에 레이저 스펙클 대조 영상이 연산될 수 있다. 이러한 방식으로, 시간 또는 시간-공간 스펙클 대조 영상이 연산될 수 있다. 그러나 변환이 병진 및 회전보다 더 일반적인 경우(예: 스케일링 또는 변형 포함), 변환은 스펙클 패턴을 변형하여 잡음 소스를 도입할 수 있다. 이것은 특히 하나 이상의 카메라를 구비하는 실시예에 해당된다. 일부 실시예에서, 단일 레이저 대조 원시 스펙클 영상은 원시 스펙클 영상을 평균화하는 것과 같은 결합에 기초하여 계산될 수 있다. 이 경우에, 영상은 바람직하게는 화소단위보다 더 작은 정확도로 정합된다.
도 4a는 본 발명의 실시예에 따른 움직임이 보정된 스펙클 대조 영상화 방법에 대한 흐름도를 도시한다. 제1 단계 402에서, 본 방법은 사전 결정된 파장의 간섭성 광에 표적 영역을 노출시키는 것을 포함할 수 있고, 표적 영역은 생체 조직을 포함한다. 바람직하게는, 표적 영역은 살아있는 조직, 예를 들어 피부, 화상 또는 장과 같은 내부 장기 또는 뇌 조직을 포함한다. 바람직하게는, 살아있는 조직은 관류되고 및/또는 혈관 및/또는 림프관을 포함한다. 사전 결정된 파장은 가시 스펙트럼의 파장, 예를 들어 가시 스펙트럼의 적색, 녹색 또는 청색 부분에서의 파장일 수 있으며, 또한 사전 결정된 파장은 스펙트럼의 적외선 부분, 바람직하게는 근적외선 부분의 파장일 수 있다.
다음 단계 404에서, 본 방법은 영상 센서에 의해, 적어도 하나의 영상 시퀀스를 캡처하는 단계를 포함할 수 있으며, 적어도 하나의 영상 시퀀스는 (원시) 스펙클 영상을 포함하고, (원시) 스펙클 영상은 제1 광으로 노출되는 동안에 캡처된다.
각각의 원시 스펙클 영상은 화소를 포함할 수 있고, 화소는 화소 좌표에 의해 정의되고 화소 값을 갖는다. 화소 좌표는 영상에 관한 화소의 위치를 정의할 수 있으며, 일반적으로 영상 센서의 센서 요소와 연관된다. 화소 값은 광의 강도를 나타낼 수 있다.
영상 센서는 예를 들어 흑백 카메라 또는 컬러 카메라와 같은 CCD인, 2D 영상 센서를 포함할 수 있다. 영상 시퀀스에 있는 영상은 비디오 스트림 또는 다중 프레임 스냅샷의 프레임일 수 있다.
다음 단계 406에서, 본 방법은 스펙클 영상을 서로 정합하기 위한 영상 정합 알고리즘의 하나 이상의 변환 매개변수를 결정하는 단계를 더 포함할 수 있다. 변환 매개변수는 적어도 하나의 영상 시퀀스의 복수의 영상에 있는 화소 그룹의 화소 값의 유사성 정도에 기초할 수 있으며, 복수의 영상에 있는 영상은 스펙클 영상으로부터 선택된다. 대안적으로, 복수의 영상 내의 영상은 원시 스펙클 영상과 연관된 원시 스펙클 영상 이외의 다른 영상을 포함할 수 있다. 변환 매개변수는 바람직하게는 호모그래피, 투영 변환 또는 아핀 변환의 그룹 중의 하나 이상의 변환을 정의한다.
화소 그룹에 기초한 변환 매개변수의 결정은, 이 실시예에서 (원시) 스펙클 영상이 보정 영상으로 사용된다는 것을 이해하면서 단계 416을 참조하여 아래에서 더 자세히 설명된다.
본 방법은 단계 408 또는 단계 410을 사용하여, 제1 스펙클 영상 시퀀스의 적어도 일부 및 하나 이상의 결정된 변환 매개변수에 기초하여 결합된 레이저 스펙클 대조 영상을 결정하는 단계를 더 포함할 수 있다.
단계 408에서, 본 방법은 하나 이상의 변환 매개변수 및 영상 정합 알고리즘에 기초하여 스펙클 영상을 정합함으로써 정합된 스펙클 영상을 결정하는 단계 및 정합된 스펙클 영상에 기초하여 결합된 스펙클 대조 영상을 결정하는 단계를 더 포함할 수 있다. 이러한 실시예에서, 알고리즘은 먼저 결정된 변환을 사용하여 원시 스펙클 영상 시퀀스를 정합할 수 있고, 그 다음, 스펙클 대조 영상 시퀀스를 계산하고, 그 다음에 정합된 스펙클 대조 영상을 결합할 수 있다.
대안적인 단계 410에서, 본 방법은 스펙클 영상에 기초하여 스펙클 대조 영상을 결정하는 단계, 하나 이상의 변환 매개변수 및 영상 정합 알고리즘에 기초하여 스펙클 대조 영상을 정합함으로써 정합된 스펙클 대조 영상을 결정하는 단계, 및 정합된 스펙클 대조 영상에 기초하여 결합된 스펙클 대조 영상을 결정하는 단계를 더 포함할 수 있다. 달리 말하면, 알고리즘은 먼저 스펙클 대조 영상 시퀀스를 연산한 다음, 결정된 변환을 사용하여 스펙클 대조 영상을 정합하고, 그 다음에 정합된 스펙클 대조 영상을 결합할 수 있다.
추가적인 대안은 단계 418 및 420을 참조하여 아래에서 논의된다.
도 4b는 본 발명의 실시예에 따른 움직임이 보정된 스펙클 대조 영상화 방법에 대한 흐름도를 도시한다. 제1 단계 412에서, 본 방법은 제1 파장의 간섭성 제1 광 및 바람직하게는 제1 파장과 적어도 부분적으로 상이한 하나 이상의 제2 파장을 갖는 제2 광에 표적 영역을 교대로 또는 동시에 노출시키는 단계를 포함할 수 있다. 제2 광은, 예를 들어, 제2 파장의 간섭성 광, 협대역 광, 또는 가시 스펙트럼의 복수의 제2 파장, 예를 들어 백색 광을 포함하는 광일 수 있다. 바람직하게는, 표적 영역은 살아있는 조직, 예를 들어 피부, 화상 또는 장과 같은 내부 장기 또는 뇌 조직을 포함할 수 있다. 바람직하게는, 살아있는 조직은 관류되고 및/또는 혈관 및/또는 림프관을 포함한다.
다음 단계 414에서, 본 방법은 예를 들어 서로에 대해 고정된 관계를 갖는 하나 이상의 영상 센서를 구비한 영상 센서 시스템에 의해, 제1 광으로 노출되는 동안 제1 (원시) 스펙클 영상 시퀀스를, 및 제2 광으로 노출되는 동안 제2 (보정) 영상 시퀀스를 캡처하는 단계를 포함할 수 있다. 제1 스펙클 영상 시퀀스의 스펙클 영상은 제2 영상 시퀀스의 영상과 연관될 수 있다.
동시 노출하여 수집하는 경우에, 각각의 제2 영상은 동시에 획득된 제1 스펙클 영상과 연관될 수 있다. 제2 영상은 제1 스펙클 영상과 동일한 영상인 실시예에서, 각각의 영상은 그 자체와 연관된 것으로 간주될 수 있고, 영상은 알고리즘(예: 변환 매개변수 결정 또는 관류 정보 제공)의 그 기능에 따라, 제1 스펙클 영상 또는 제2 영상으로 간주될 수 있다.
교대로 수집하는 경우에, 제1 스펙클 영상은 예를 들어 제1 스펙클 영상 바로 이전 또는 이후에 획득된 제2 영상, 또는 둘 모두와 연관될 수 있다. 제1 스펙클 영상은 제2 영상보다 높은 속도로 수집되는 경우, 여러 개의 제1 스펙클 영상이 하나의 제2 영상과 연관될 수 있다.
따라서, 표적 영역의 제1 원시 스펙클 영상 시퀀스 및 표적 영역의 보정 영상 시퀀스가 획득될 수 있으며, 각각의 보정 영상은 하나 이상의 제1 원시 스펙클 영상과 연관된다. 각각의 보정 영상은 화소를 포함할 수 있고, 화소는 화소 좌표에 의해 정의되고 화소 값을 갖는다. 화소 좌표는 영상에 관한 화소의 위치를 정의할 수 있으며 일반적으로 영상 센서의 센서 요소와 연관되다. 화소 값은 광의 강도를 나타낼 수 있다.
영상 센서 시스템은 예를 들어 CCD와 같은 하나 이상의 2D 영상 센서를 포함할 수 있다. 제1 원시 스펙클 영상 및 보정 영상은 하나 이상의 영상 센서, 예를 들어 그레이스케일 카메라 또는 컬러(RGB) 카메라를 사용하여 획득될 수 있다. 영상 시퀀스에 있는 영상은 예를 들어 비디오 스트림 또는 다중 프레임 스냅샷의 프레임일 수 있다.
다음 단계 416에서, 본 방법은 제1 스펙클 영상과 관련된 제2 영상 시퀀스의 적어도 일부의 화소 그룹의 화소 값의 유사성 정도에 기초하여 제1 스펙클 영상 시퀀스의 적어도 일부를 정합하기 위한 정합 알고리즘의 하나 이상의 변환 매개변수를 결정하는 단계를 더 포함할 수 있다. 변환 매개변수는 바람직하게는 호모그래픽, 투영 변환 또는 아핀 변환의 그룹 중의 하나 이상의 변환을 정의한다.
변환 매개변수를 결정하는 것은 보정 영상 시퀀스의 적어도 일부로부터 제1 보정 영상을 선택하는 단계 및 제1 보정 영상에서 복수의 제1 화소 그룹을 결정하는 단계를 포함할 수 있다. 제1 보정 영상은 기준 보정 영상일 수 있다. 일 실시예에서, 제1 보정 영상은 예를 들어 사용자의 입력에 따라 단일 출력 영상이 생성되는 경우에, 제1 영상일 수 있다. 다른 실시예에서, 제1 보정 영상은, 출력 영상의 연속적인 스트림이 생성되는 경우에. 가장 최근의 보정 영상일 수 있다.
제1 화소 그룹은 예를 들어 가장자리 또는 모서리와 같은 제1 보정 영상의 특징과 연관될 수 있다. 바람직하게는, 특징은 예를 들어 혈관, 특히 혈관의 날카로운 모서리 또는 분기점과 같은 물리적 또는 해부학적 특징과 연관된다. 과다 노출된 영상 부분 또는 스펙클의 가장자리와 같은 물리적 특징과 관련되지 않은 영상 특징은 프레임 간 편차가 클 수 있으므로 영상을 정합하는 데 덜 유용할 수 있다. 상기 특징은 미리 결정된 특징일 수 있으며, 특징은 모서리나 강도 차이가 큰 영역과 같은 특징 클래스에 속한다. 특징은 예를 들어 품질 메트릭, 특징 간의 상호 거리에 대한 제한 등에 의해 추가로 결정될 수 있다.
대안적으로, 화소 그룹은, 예를 들어 영상 내의 모든 화소 또는 영상 전체에 균등하게 분포된 화소과 같은 사전 결정된 화소 세트의 근처(neighbourhood)와 같은 제1 보정 영상의 영역과 연관될 수 있다.
변환 매개변수를 결정하는 단계는 제1 보정 영상과 다른, 하나 이상의 제2 보정 영상을 선택하는 단계를 더 포함할 수 있다. 선택된 하나 이상의 제2 보정 영상 각각에 대해, 복수의 제2 화소 그룹이 결정될 수 있다. 제2 화소 그룹은 제2 보정 영상의 특징과 연관될 수 있다. 특징-기반(영상) 정합이 예를 들어 희소 광학 흐름 알고리즘을 사용한 경우, 바람직하게는 동일한 알고리즘이 제1 화소 그룹 및 제2 화소 그룹을 결정하는 데 사용된다.
제1 화소 그룹이 화소 좌표에 기초하여 결정된다면, 제2 화소 그룹은 제1 화소 그룹을 제2 보정 영상과 컨볼루션 또는 상호-상관(cross-correlating)함으로써 결정될 수 있다. 즉, 적절한 유사성 메트릭을 기반으로, 제1 화소 그룹과 가장 유사한 화소 그룹을 선택한다. 컨볼루션은 제1 화소 그룹의 위치에 가까운 일치하는 제2 화소 그룹만 검색함으로써 공간에서 제한될 수 있다. 대안적으로 또는 부가적으로, 제2 화소 그룹은 해부학적으로 불가능한 결합을 방지하기 위해 제1 화소 그룹의 상호 배향(mutual orientation)을 보존하도록 제한될 수 있다.
제2 화소 그룹은 적어도 화소 값의 유사성에 기초하여, 제1 화소 그룹과 연관될 수 있다. 제2 화소 그룹이 제1 화소 그룹과의 매칭 또는 컨볼루션에 의해 결정되는 실시예에서, 이러한 연관은 제2 화소 그룹을 결정하는 부분으로서 수행될 수 있다. 특징-기반 정합이 사용되는 경우, 제2 화소 그룹은 제2 화소 그룹과 연관된 특징 및 제1 화소 그룹과 연관된 특징의 유사성에 기초하여 제2 화소 그룹과 연관될 수 있다.
제2 보정 영상 및 제1 보정 영상을 정합하기 위한 변환, 따라서 연관된 제1 스펙클 영상 또는 유도된 제1 스펙클 대조 영상을 정합하기 위한 변환은 연관된 제1 및 제2 화소 그룹 내 화소의 화소 좌표에 기초하여 결정될 수 있다. 변환을 결정하는 단계는 표적 영역에 상대적인 영상 센서 시스템의 3D 움직임을 결정하는 단계를 포함할 수 있으며, 또는 획득한 영상에 상기 3D 움직임이 미치는 효과가 알려질 수 있다.
중간 단계로서, 제1 및 관련 제2 화소 그룹의 위치, 예를 들면 제1 및 제2 보정 영상 내의 특징 위치에 기반하여 변위 벡터가 결정될 수 있다. 변위 벡터는 영상 센서 또는 영상 캡처 장치에 대한 표적 영역의 움직임을 표현할 수 있다. 일부 실시예에서, 하나 이상의 결정된 객체 특징의 근처는 변위 벡터 및/또는 변환을 결정하는 데 사용될 수 있다.
변위 벡터의 결정 및/또는 변환의 결정은 임의의 적합한 희소 또는 조밀 광학 흐름 알고리즘을 사용하여, 광학 흐름 매개변수에 기초하여 결정될 수 있다. 변위 벡터를 결정하는 단계는 대응하는 또는 일치하는 특징의 쌍을 결정하는 단계를 포함할 수 있고, 한 쌍의 특징 중 하나의 특징은 제1 시점과 연관된 보정 영상에서 결정되고, 특징 쌍의 다른 특징은 후속 시점과 연관되는 보정 영상 스퀀스의 후속 보정 영상에서 결정된다.
변환 매개변수 및 선택적으로 특징을 결정하는 방법은 도 5 및 6을 참조하여 아래에서 더 자세히 설명한다.
본 방법은 단계 418 또는 단계 420을 사용하여, 제1 스펙클 영상 시퀀스의 적어도 일부 및 하나 이상의 결정된 변환 매개변수에 기초하여 결합된 레이저 스펙클 대조 영상을 결정하는 단계를 더 포함할 수 있다.
단계 418에서, 본 방법은 하나 이상의 변환 매개변수 및 정합 알고리즘에 기초하여 제1 스펙클 영상 시퀀스의 적어도 일부를 정합함으로써 정합된 제1 스펙클 영상을 결정하고, 정합된 제1 스펙클 영상에 기초하여 결합된 스펙클 대조 영상을 결정한다. 이러한 실시예에서, 알고리즘은 먼저 결정된 변환을 사용하여 원시 스펙클 영상 시퀀스를 정합한 다음, 스펙클 대조 영상 시퀀스를 계산하고, 그 다음 정합된 스펙클 대조 영상을 결합할 수 있다.
대안적인 단계 420에서, 본 방법은 제1 스펙클 영상 시퀀스의 적어도 일부에 기초하여 제1 스펙클 대조 영상을 결정하는 단계, 하나 이상의 변환 매개변수 및 정합 알고리즘에 기초하여 제1 스펙클 대조 영상을 정합함으로써 정합된 스펙클 대조 영상을 결정하는 단계, 및 정합된 제1 스펙클 대조 영상에 기초하여 결합된 스펙클 대조 영상을 결정하는 단계를 더 포함할 수 있다. 즉, 알고리즘은 먼저 스펙클 대조 영상 시퀀스를 계산한 다음, 결정된 변환을 사용하여 스펙클 대조 영상을 정합한 다음에, 정합된 스펙클 대조 영상을 결합할 수 있다.
다른 대안에서, 결합된 레이저 스펙클 대조 영상을 결정하는 단계는 제1 원시 스펙클 영상 및 결정된 변환에 기초하여 정합된 제1 원시 스펙클 영상 시퀀스를 결정하는 단계, 정합된 제1 원시 스펙클 영상 시퀀스의 둘 이상의 정합된 제1 원시 스펙클에 기초하여 결합된 스펙클 대조 영상을 결정하는 단계, 및 결합된 원시 스펙클 영상에 기초하여 결합된 스펙클 대조 영상을 결정하는 단계를 포함한다. 이러한 실시예에서, 알고리즘은 먼저 결정된 변환을 사용하여 원시 스펙클 영상 시퀀스를 정합하고, 그 다음 정합된 스펙클 대조 영상을 결합하고, 그 다음에 스펙클 대조 영상을 연산할 수 있다.
또 다른 대안에서, 스펙클 대조의 결합 및 연산은 단일 단계일 수 있다. 즉, 정합된 제1 원시 스펙클 영상 시퀀스를 기반으로 시간 또는 시간-공간 스펙클 대조를 연산한다.
원시 스펙클 영상 또는 스펙클 대조 영상을 결합하는 단계는 평균화, 가중 평균화, 중간값 필터와 같은 필터링 등을 포함할 수 있다. 가중 평균에 대한 가중치는 스펙클 대조에서 파생되거나 변환 매개변수에서 파생되거나, 또는 변위 벡터에서 파생되는 양에 기반할 수 있다. 원시 스펙클 영상 또는 스펙클 대조 영상을 결합하는 방법은 도 9를 참조하여 아래에서 더 자세히 논의된다.
도 5는 본 발명의 실시예에 따른 변환을 결정하기 위한 방법을 도시한다. 제1 시점 t = t1에서 획득된 제1 보정 영상(502)에서 복수의 제1 특징(5061-3)이 결정될 수 있다. 복수의 제1 특징 각각은 제1 보정 영상의 화소 그룹과 연관될 수 있다. 바람직하게는, 제1 특징은 혈관 5041-2과 같은 해부학적 구조, 또는 후속 프레임 사이에서 이동하지 않는 것으로 가정할 수 있는 기타 안정적인 특징과 연관된다. 따라서 이러한 해부학적 구조를 선명하게 볼 수 있는 빛을 이용하여 제1 보정 영상을 획득하는 것이 바람직하다. 예를 들어, 혈관에는 강하게 흡수되지만 대부분의 다른 조직에는 흡수되지 않는 녹색 광이 사용될 수 있다. 따라서 혈관은 밝은 빛 환경에서 어두운 구조로 나타나서 결국 시각적 식별력이 높아질 수 있다. 그러나, 다른 실시예는 청색 광 또는 백색 광과 같은 하나 이상의 다른 파장의 빛이 사용될 수 있다.
특징(5061-3)은 예를 들어 OpenCV 라이브러리의 goodFeaturesToTrack과 같은 Harris 검출기 또는 Shi-Tomasi 검출기에 기반한 특징 검출기와 같은 적절한 특징 검출 알고리즘을 사용하여 결정될 수 있다. 적절한 특징 검출기 및 설명자(descriptors)의 다른 예에는 SURF(Speed-Up Robust Features), FAST(Features from Accelerated Segment Test), BRIEF(Binary Robust Independent Elementary Feature) 및 ORB와 같은 이들의 조합이 포함된다. OpenCV와 같은 일반적으로 사용 가능한 영상 처리 라이브러리에서 다양하고 적절한 알고리즘이 구현되었다. 바람직하게는, 응용 분야에 따라, 알고리즘은 실시간 영상 처리가 가능하도록 충분히 빨라야 한다.
일반적으로 날카로운 모서리(예: 특징 5061,3)와 분기(예: 특징 5062)는 좋은 특징이다. 바람직하게는, 결정론적 특징 검출 알고리즘, 즉 동일한 영상에서 동일한 특징을 검출하는 특징 검출 알고리즘을 사용한다. 바람직하게는 특징은 영상 영역의 넓은 부분에 걸쳐 분산되어야 하다. 선택된 특징점 사이의 최소 거리를 요구함으로써 영상에 걸쳐진 특징점의 좋은 분포를 얻을 수 있다. 예를 들어 BRIEF 또는 ORB의 구현에 기반한 일부 실시예에서, 특징들은 특성 속성을 식별하는 설명자가 할당되어 특징 구별 및 특징 일치를 용이하게 할 수 있다.
특징 점의 최소 수는 변환 유형에 따라 다르다; 예를 들어 아핀 변환은 6 자유도를 가지고, 반면에 호모그래피는 8 자유도를 가진다. 따라서, 복수의 제1 특징은 적어도 5개의 특징, 바람직하게는 적어도 25, 더 바람직하게는 적어도 250, 훨씬 더 바람직하게는 적어도 1000의 특징을 포함할 수 있다. 특징의 수는 영상 내의 화소의 양에 따라 달라질 수 있으며, 더 많은 화소가 있는 영상을 위해 더 많은 특징이 사용된다. 일반적으로 특징 수가 많을수록 랜덤 오류가 평균화될 수 있으므로 변환이 더 정확해질 수 있다.
그러나 특징의 수가 제한될 수 있는 여러 가지 이유가 있다. 예를 들어, 지역적(local) 대조의 크기 또는 모서리의 선명도와 같은 사전 결정된 품질 지표를 만족하는 제한된 수의 특징만 있을 수 있다. 또한, 특징의 수에 따라 계산 시간이 증가하므로 50fps 비디오 피드와 같은 실시간 영상 정합을 위해 특징의 수를 제한할 수 있으며, 전체 알고리즘은 바람직하게는 프레임당 20ms 미만이어야 한다.
제2 화소 그룹과 연관된 복수의 제2 특징(5161-3)은 제2 시점 t = t2에서 획득된 제2 보정 영상(512)에서 결정될 수 있다. 바람직하게는, 제2 보정 영상 시야는 제1 보정 영상 시야와 충분하게, 바람직하게는 절반 이상 중첩된다. 바람직하게는, 제2 특징은 제1 특징과 같은 동일한 해부학적 구조, 예를 들어 혈관 5141-2와 관련된다. 바람직하게는, 동일한 특징 검출 알고리즘이 제1 및 제2 보정 영상 모두에서 특징을 검출하는데 사용된다.
결정된 제1 및 제2 특징은 각각의 제1 및 제2 보정 영상에 대한 위치 정보를 포함할 수 있다. 복수의 제1 특징(5061-3) 및 복수의 제2 특징(5161-3)에 기초하여, 복수의 변위 벡터(5241-2)가 결정될 수 있으며, 변위 벡터는 영상에 대한 특징의 변위를 설명한다. 중간 단계에서, 대응하는 특징의 쌍이 결정될 수 있다. 즉, 특징(5061)은 특징(5161)과 연관될 수 있고, 특징(5062)은 특징(5162)과 연관될 수 있으며, 특징(5063)은 특징(5163)과 연관될 수 있다. 대응하는 특징의 쌍은 지역적 대조 또는 모서리의 선명도와 같은 특징 매개변수에 기반하여, 또는 제1 및 제2 보정 영상의 특징 간 거리에 기반하여 결정된다. 일부 실시예에서, 제1 보정 영상의 모든 특징이 제2 보정 영상의 특징과 쌍을 이루는 것은 아니다. 일부 실시예에서, 변위 벡터(5241-3)를 결정하는 단계 및 대응하는 특징의 쌍을 결정하는 단계는 단일 단계에서 수행될 수 있다.
예를 들어, 특징 사이의 최소 거리가 부과되고 변위가 최소 거리보다 작다고 가정하면, 제1 특징과 제2 특징 각각에 의해 형성된 포인트 클라우드 사이의 거리를 최소화하는 알고리즘은 암시적으로 대응하는 쌍 및 해당 특징의 각 쌍에 대한 변위 벡터를 결정할 수 있다. 전형적인 실시예에서, 전형적인 프레임간 변위는 단지 몇 개의 화소이다. 일 실시예에서, 복수의 변위 벡터는, 예를 들어 근처의 특징에서 발생하는 변위 벡터에서 사전 결정된 양보다 많이 벗어나는 변위 벡터와 같은 잠재적 분리물(outliers)을 위해 필터링될 수 있다.
다른 실시예에서, 연관된 화소 그룹에 기초하여, 제1 및 제2 보정 영상의 화소 값에 기초하여 변위 벡터를 결정할 수 있다. 도 3을 참조하여 전술한 바와 같이, 이러한 실시예에서 특징 검출은 생략될 수 있다. 대신에, 변위 벡터는 예를 들어 Pyramid Lucas-Kanade 알고리즘 또는 Farneback 알고리즘과 같은 조밀 광학 흐름 알고리즘을 사용하여 결정될 수 있다. 원칙적으로, 대응하는 화소 그룹의 화소 값에 기초하여 변위 벡터를 결정하는 임의의 방법이 사용될 수 있다.
복수의 변위 벡터(5241-3)에 기초하여 변환이 결정될 수 있다. 실시예에서, 변환은 평균 또는 중간값 변위 벡터에 의해, 또는 복수의 변위 벡터를 통계적으로 표현하는 다른 변위 벡터에 의해 정의될 수 있다. 다른 실시예에서, 변환은 병진, 회전, 스케일링 및 변형(shearing) 변환을 조합하는, 아핀 변환, 투영 변환 또는 호모그래피일 수 있다. 바람직하게는, 변환은 제1 보정 영상으로부터의 특징을 제2 보정 영상의 대응하는 특징으로 표시한다. 그 다음에 변환이 제1 윈시 스펙클 영상에 적용되어 제1 원시 스펙클 영상을 제2 원시 스펙클 영상과 정합할 수 있다.
일 실시예에서, 제1 및 제2 보정 영상은 특징을 결정하기 전에 전처리될 수 있다. 예를 들어, 과다 노출 및/또는 노출 부족 영역은 화소 값에 기초하여 식별될 수 있다. 결과적으로 이러한 영역은 마스킹될 수 있으므로 해당 영역에서는 특징이 감지되지 않을 수 있다. 마스크는, 식별된 영역을 미리 결정된 수의 화소로 키움으로써, 노출 과다 또는 노출 부족 영역보다 약간 더 클 수 있다. 과다 노출 및/또는 노출 부족 영역을 마스킹하면, 특징의 품질이 향상될 수 있는데, 이는 과다하게 노출된 영역의 가장자리 또는 모서리와 관련된 특징을 방지하기 때문이다.
도 6a는 본 발명의 실시예에 따라 변환을 결정하는 예를 표시하며, 결정된 변환은 병진(translation)이다. 도 5를 참조하여 설명된 바와 같이, t = t1에서 획득된 제1 보정 영상에서 복수의 제1 특징(6021-3)이 결정될 수 있고, t = t2에서 획득된 제2 보정 영상에서 복수의 제2 특징(6041-3)이 결정될 수 있다. 대응하는 특징 쌍에 기초하여, 복수의 변위 벡터(6061-3)가 결정될 수 있다. 명확성을 위해, 특징과 변위 벡터만 보여지고, (해부학적) 구조는 표시되지 않았다.
전형적인 상황에서, 결정된 변위 벡터(6061-3)는 모두 정확히 동일하지 않을 것이다. 도시된 예에서, 변위 벡터(6061)는 평균보다 약간 짧은 반면, 변위 벡터(6063)는 평균보다 약간 크다. 유사하게, 변위 벡터의 방향은 약간의 변동을 보인다. 변위 벡터에 기초하여, 평균 변위 벡터(608)가 결정될 수 있다. 병진은 단일 벡터로 정의될 수 있다. 예를 들어, t = t1에서 획득된 제1 원시 스펙클 영상의 모든 화소는 평균 변위 벡터와 동일한 양으로 이동될 수 있다. 원칙적으로 병진은 단일 변위 벡터를 기반으로 결정될 수 있다. 그러나, 복수의 변위 벡터를 결정함으로써, 변환의 정확도가 향상될 수 있다.
일 실시예에서, 평균 변위 벡터(608)와 결정된 변위 벡터(6061-3) 사이의 유사성은 예를 들어 변위 벡터의 변동에 기초하여 계산될 수 있다. 이러한 방식으로, 변환이 개별 특징 쌍의 검출된 변위를 얼마나 잘 보정하는지 표시가 얻어질 수 있다. 대안적으로, 변환 후의 제1 보정 영상의 특징과 제2 보정 영상의 대응하는 특징 사이의 평균 거리가 결정될 수 있다.
도 6b는 본 발명의 실시예에 따른 변환을 결정하는 예를 표시하며, 결정된 변환이 아핀 변환이다. 도 6a와 유사하게, 복수의 제1 특징(6121-3), 복수의 제2 특징(6141-3) 및 복수의 변위 벡터(6161-3)가 결정될 수 있다. 그러나 이 예에서, 길이가 거의 0인 평균 변위 벡터(618)는 일반적으로 더 길고 다른 방향을 가리키는 결정된 변위 벡터를 표현하지 않다.
따라서 이러한 종류의 움직임을 보정하기 위해서는, 보다 일반적인 변환, 예를 들어 아핀 변환이 필요하다. 아핀 변환은 병진, 회전, 미러링, 스케일링 및 변형 변환 및 이들의 조합이 포함된다. 변환 매개변수 값을 제한함으로써 변환을 선택적으로 제외시킬 수 있다. 예를 들어 미러링은 일반적으로 물리적으로 가능하지 않기 때문에, 가능한 변환에서 제외될 수 있다.
일반적으로 아핀 변환은 방정식(1)에 표현된 6 자유도의 변환 행렬을 사용하여 계산될 수 있으며, 동차(homogeneous) 좌표로 표시된 점에 작용한다. 아핀 변환 행렬의 잠재적인 값을 제한함으로써, 아핀 변환은 오직 미리 정의된 연산으로만 제한될 수 있다. 예를 들어, 보다 구체적인 변환 행렬은 다음과 같이 제한되고, 특정 응용 분야에 더 적합할 수 있는 회전 행렬을 얻을 수 있다.
여기서 A는 변환 행렬이고, 일반적으로 화소 좌표에서 좌표 x 및 y를 갖는 점 p를 좌표 x' 및 y'를 갖는 변환된 점 p'로 변환한다. 행렬 A는 6개의 자유 매개변수를 포함하며 그 중 tx 및 ty는 병진을 정의하고, 반면에 부분 행렬 
은 반사, 회전, 스케일링 및/또는 변형을 정의할 수 있다. 이 경우에, 변환 크기는 예를 들어 변환 행렬 A의 놈(norm) 또는 행렬 A-I의 놈을 기반으로 할 수 있으며, 여기서 I는 항등 행렬이다.
방정식(1)을 풀기 위해, 적어도 3개의 변위 벡터를 사용하여 6개의 방정식과 6개의 미지수로 구성된 풀 수 있는(solvable) 시스템을 제공할 수 있다. 이러한 선형 시스템은 당업계에 공지된 바와 같이 결정론적 방식으로 풀 수 있다. 전형적인 실시예에서, 많은 변위 벡터가 결정될 수 있으며, 이들 각각은 작은 오차를 포함할 수 있다. 따라서, 보다 강인한 접근 방식이 사용될 수 있는데, 이는 다수의 변위 벡터를 사용하고 적절한 피팅 알고리즘(즉, 방정식(2)에 표시된 최소 제곱 피팅)을 사용하는 방법이다.
결정된 변환의 신뢰도는 도 6a를 참조하여 위에서 설명한 바와 같이 다시 결정될 수 있다.
도 6c는 본 발명의 실시예에 따른 변환을 결정하는 예를 표시하며, 결정된 변환이 투영 변환이다. 투사 변환에는 아핀 변환이 포함되며 보다 일반적이다. 투영 변환은 예를 들어 스큐(skewing) 변환을 포함한다. 이러한 변환은 카메라와 표적 영역 사이의 각도 변화를 보정하기 위해 필요할 수 있다.
도 6a 및 6b와 유사하게, 복수의 제1 특징(6221-3), 복수의 제2 특징(6241-3) 및 복수의 변위 벡터(6261-3)가 결정될 수 있다. 이 예에서 영상 왼쪽의 병진은 영상 오른쪽보다 훨씬 작다. 따라서 평균 병진을 적용하면 왼쪽의 화소는 너무 많이 변환되고 오른쪽의 화소는 충분하지 않게 변환된다. 이러한 종류의 변위는 투영 변환에 의해 보정될 수 있다. 4개 이상의 변위 벡터에 기초하여 투영 변환을 결정하는 다양한 방법이 당업계에 알려져 있다.
일반적으로 비동차 좌표 (x1, y1, z1) 및 (x2, y2, z2)를 사용하여 방정식(3)과 같은 투영 행렬을 사용하여 투영 변환을 계산할 수 있다.
비동차 좌표 (x1, y1, z1)는 x1=x, y1=y 및 z1=1을 통해 특징의 화소 좌표(x, y)와 관련될 수 있으며, 반면에 변환된 화소 좌표(x', y')는 x'=x2/z2 및 y'=y2/z2를 통해 비동차 좌표로부터 얻을 수 있다. 일부 실시예에서, 변위 벡터는 (x'-x, y'-y)에 의해 결정될 수 있다. 다른 실시예에서, 변위 벡터는 명시적으로 구성되지 않는다.
따라서 방정식(3)은 방정식(4)와 보인 바와 같이 두 개의 독립적인 식으로 다시 쓰여질 수 있다.
H에 대해 풀면, 방정식(4)는 방정식(5)로 다시 쓸 수 있다.
여기서,
N 개의 특징점 세트를 사용하여, 시스템 식은 방정식(7)에 보인 바와 같이 정리될 수 있다.
여기서,
정의에 의해 행렬 H는 균일하고 임의의 상수로 크기를 조정할 수 있으므로, 투영 변환 행렬에는 8개의 자유도가 포함된다. 따라서 방정식(7)은 4개의 특징에 의해 제공되는 4개의 좌표 세트만을 사용하여 풀 수 있다. 투영 변환 행렬 H는 예를 들어 방정식(9)를 사용하여,
또는 방정식(10)을 사용하여 정규화될 수 있다.
방정식(7)은 최소 4개의 점을 사용하여 결정론적으로 풀 수 있지만, 더 많은 점을 사용하면 아핀 변환과 관련하여 위에서 설명한 것과 유사하게 더 강인한 결과를 얻을 수 있다. 투영 변환 또는 호모그래피의 경우에, SVD(singular value decomposition)를 사용하여 수행할 수 있다. 일부 실시예에서, 변위 벡터 또는 점의 쌍을 결정하는 단계는 가장 정확한 투영 변환을 찾기 위해 호모그래피 단계의 결정과 결합되며, 이것은 RANSAC과 같은 알고리즘으로 수행될 수 있다.
일 실시예에서, 알고리즘은 먼저 비교적 간단한 변환, 예를 들어 병진을 계산할 수 있다. 그런 다음, 알고리즘은 계산된 변환이 충분한 정확도를 갖는 결정된 변위 벡터를 재생하는지 여부를 결정할 수 있다. 재생하지 않는 경우 알고리즘은 아핀 변환과 같은 보다 일반적인 변환을 시도하고, 동일한 절차를 반복할 수 있다. 충분히 많은 경우에 병진이 충분하다면 필요한 계산 시간을 줄일 수 있다. 다른 실시예에서, 알고리즘은 항상 일반적인 호모그래피와 같은 항상 일반적인 변환을 계산할 수 있다. 이로 인해 원시 스펙클 영상 또는 스펙클 대조 영상은 더 정확하게 정합될 수 있다.
도 6d는 본 발명의 실시예에 따른 복수의 변환을 결정하는 예를 도시한다. 일련의 보정 영상에 있는 각각의 보정 영상(650)은 복수의 영역(6521-n), 바람직하게는 예를 들어 직사각형 그리드와 같이 전체 영상을 공동으로 커버하는 복수의 분리된 영역으로 분할될 수 있다. 이어서, 변환(6541, 6542, …, 654n)이 각 영역(6541, 6542, …, 654n)에 대해 각각 결정될 수 있으며, 바람직하게는 전체 영상에 대해 도 6a-c를 참조하여 위에서 설명한 것과 동일한 방식으로 수행된다. 이어서, 각 영역은 해당 영역에 대해 결정된 변환을 사용하여 변환될 수 있다. 대안적으로, 결정된 변환은 예를 들어 영역의 중앙 화소에 할당될 수 있으며, 잔여 화소는 화소를 포함하는 영역의 변환 및 주변 영역의 변환을 기반으로 하여 보간 방식에 따라 변환된다.
일 실시예에서 각 영역은 하나의 화소일 수 있다. 이러한 실시예에서, 변환은 화소 값에 기초하여 그리고 화소를 둘러싼 영역 내의 화소들의 화소 값들에 기초하여 결정될 수 있다.
도 7a 및 7b는 본 발명의 실시예에 따른 2개 이상의 원시 스펙클 영상을 결합하는 레이저 스펙클 대조 영상화를 위한 흐름도를 도시한다. 제1 시점 t = t1에서, 제1 파장의 광에 기초한 제1 원시 스펙클 영상(7021)이 획득될 수 있고, 제1 레이저 스펙클 대조 영상(7041)을 계산하는 데 사용될 수 있다. 적어도 제2 파장의 광에 기초하고 제1 원시 스펙클 영상과 연관된 제1 보정 영상(7061)이 획득될 수 있고 복수의 제1 특징이 제1 보정 영상에서 검출될 수 있다(7081). 요소 7021-7081은 단계 7101을 수행함으로써 획득될 수 있으며, 이는 도 3을 참조하여 설명된 단계 302-308과 유사할 수 있다. 일부 실시예에서, 제1 보정 영상 및 제1 원시 스펙클 영상은 동일한 영상일 수 있다.
제2 시점 t = t2에서, 단계 7101은 단계 7102로서 반복될 수 있고, 그 결과 제1 파장의 광에 기초한 제2 원시 스펙클 영상(7022), 제2 레이저 스펙클 대조 영상(7042), 제2 파장의 광에 기초한 제2 보정 영상(7062), 및 복수의 제2 특징(7082)을 획득할 수 있다. 복수의 제1 특징(7081) 및 복수의 제2 특징(7082)에 기초하여, 복수의 제1 변위 벡터(7121)가 계산될 수 있다. 복수의 제1 변위 벡터에 기초하여, 제1 변환(7141)이 결정될 수 있으며, 이는 제1 레이저 스펙클 대조 영상(7041)을 변환하여 제1 레이저 스펙클 대조 영상을 제2 레이저 스펙클 대조 영상(7042)에 정합하고, 결과적으로 제1 정합된 레이저 스펙클 대조 영상(7181)을 생성하는 데 사용될 수 있다. 위에서 논의된 바와 같이, 일부 실시예에서, 특징 및/또는 변위 벡터를 명시적으로 검출하지 않고 변환이 결정될 수 있다.
선택적으로, 제1 가중치(7161)는 복수의 제1 변위 벡터(7121)에 기초하여 결정될 수 있다. 가중치는 예를 들어 최대, 평균 또는 중간 변위 벡터와 같은 대표 변위 벡터의 길이, 또는 복수의 제1 변위 벡터의 평균 또는 중간 길이에 상관될 수 있으며, 바람직하게는 역상관될 수 있다. 도 6d를 참조하여 전술한 바와 같이, 영상을 복수의 영역으로 분할하고 각 영역에 대한 변환을 결정하며, 해당 영역과 관련된 변환 매개변수에 기초하여 각 영역에 대한 가중치가 결정될 수 있으며, 또한. 단일 가중치는 전체 영상에 대해 결정될 수 있는데, 이는 예를 들어 최대, 평균 또는 중간 변위와 같은 대표 매개변수를 기반으로 결정된다. 가중 평균의 결정은 도 9를 참조하여 아래에서 보다 상세히 논의된다.
제1 정합된 레이저 스펙클 대조 영상(7181)은 제2 레이저 스펙클 대조 영상(7042)과 결합되어 제1 결합 레이저 스펙클 대조 영상(7201)을 생성할 수 있다. 결합 레이저 스펙클 대조 영상은 예를 들어, 제1 정합 레이저 스펙클 대조 영상(7181) 및 제2 레이저 스펙클 대조 영상(7042)의 화소별 평균 또는 최대 값일 수 있다. 선택적으로, 제1 가중치(7161) 및/또는 제2 가중치(7162)는 가중 평균을 결정하기 위해 사용될 수 있다.
제3 시점 t = t3에서, 단계 7101은 단계 7103과 같이 반복될 수 있고, 제1 파장의 광에 기초한 제3 원시 스펙클 영상(7023), 제3 레이저 스펙클 대조 영상(7043), 적어도 제2 파장의 광에 기초한 제3 보정 영상(7063), 및 복수의 제2 특징(7082)을 생성할 수 있다. 복수의 제2 특징(7082) 및 복수의 제3 특징(7083)에 기초하여, 복수의 제2 변위 벡터(7122)가 계산될 수 있다. 복수의 제2 변위 벡터에 기초하여, 제2 변환(7142)이 결정될 수 있다. 제2 변환은 제1 결합 레이저 스펙클 대조 영상(7201)을 변환하여 제1 결합 레이저 스펙클 대조 영상을 제3 레이저 스펙클 대조 영상(7043)과 정합하여 제1 정합된 결합 레이저 스펙클 대조 영상(7221)을 생성하는 데 사용될 수 있다. 제1 정합 레이저 스펙클 대조 영상(7181)은 제2 레이저 스펙클 대조 영상(7042)과 결합되어 제1 결합 레이저 스펙클 대조 영상(7201)을 생성할 수 있다.
제1 정합된 결합 레이저 스펙클 대조 영상(7201)은 제3 레이저 스펙클 대조 영상(7043)고 결합될 수 있고, 결과적으로 제2 결합 레이저 스펙클 대조 영상(7202)이 생성된다. 따라서, 제2 결합 레이저 스펙클 대조 영상은 제1 레이저 스펙클 대조 영상(7041), 제2 레이저 스펙클 대조 영상(7042) 및 제3 레이저 스펙클 대조 영상(7043)으로부터의 정보를 포함할 수 있다. 이러한 단계들을 반복함으로써 n 번째 영상은 모든 이전 n-1 영상의 정보를 포함할 수 있다. 바람직하게는, 최근 영상에 이전 영상보다 더 높은 가중치를 부여하기 위해 가중치가 스큐(skew)될 수 있다. 이 실시예는 각각의 캡처된 프레임이 최소한의 지연으로 처리되고 출력되는 스트리밍 비디오에 특히 유용하다. 이 방법의 또 다른 장점은 두 개의 연속 프레임 사이에서, 움직임이 상대적으로 작은 것으로 가정할 수 있어 처리 속도가 빨라지고 더 넓은 범위의 알고리즘을 사용할 수 있다는 것이다. 일부 알고리즘은 큰 움직임에 대해 덜 잘 작동할 수 있기 때문이다. 일반적으로 특징-기반 알고리즘은 상대적으로 큰 변위에 대해 더 신뢰성이 있다.
도 7b는 본 발명의 실시예에 따른 2개 이상의 원시 스펙클 영상을 결합하는 레이저 스펙클 대조 영상화를 위한 대안적인 방법에 대한 흐름도를 도시한다. 본 실시예에서, 사전 결정된 수의 영상은 하나의 결합 영상으로 결합된다. 단계 7521-n-7601-n 는 영상 획득, 스펙클 대조 영상 연산 및 특징 결정에 관한 것으로, 도 7a를 참조하여 전술한 단계 7021-n-7101-n 와 동일할 수 있다.
그러나, 도 7a에 도시된 방법과 다르게, 모든 변위 벡터(7621,2)는 단일 참조 영상( 예를 들어 n개의 영상 시퀀스에서 첫 번째 또는 마지막 영상)에 대해 결정된다. 도시된 예에서, 영상은 n번째 영상에 정합된다. 따라서, 변환(7641,2)을 제1 및 제2 스펙클 대조 영상에 각각 적용함으로써, 제1 및 제2 스펙클 대조 영상은 n번째 스펙클 대조 영상에 정합된다. 결과적으로 가중치(7661,2)는 변환 매개변수(예: n번째 영상에 상대적인 평균 변위)에 기초하여 결정된다. 최종 단계에서, 모든 n개의 정합된 스펙클 대조 영상은 하나의 결합된 스펙클 대조 영상(770)으로 결합될 수 있다.
도 7b에 도시된 방법은 도 7a에 도시된 방법보다 더 높은 영상 품질을 갖는 결합된 영상을 생성할 수 있지만, 영상 캡처와 영상 표시 사이에 더 큰 지연이 발생한다. 따라서 이 방법은 스냅 샷을 녹화하는 데 특히 유리하다.
실시예에서, 도 7b에 도시된 방법은 영상의 슬라이딩 그룹(예:비디오 피드의 마지막 n개 영상)에 적용될 수 있다. 이 경우, 시간 지연을 낮게 유지하려면 n이 너무 크지 않아야 하는데, 예를 들어 프레임 속도가 50~60fps인 경우 n은 약 5-20일 수 있다. 물론 처리할 수 있는 프레임의 수는 하드웨어와 알고리즘에 따라 다르므로, 더 많은 양의 프레임이 여전히 가능할 수 있다. 따라서 두 방법의 장점 중 일부가 결합될 수 있다. 상대적으로 적은 수의 프레임을 사용하는 이점은 심장 박동의 효과와 같은 동적 현상이 영상화될 수 있는 것이다. 더 많은 양의 프레임의 장점은, 특히 심장 박동 및/또는 호흡 주기의 정수배를 커버하도록 프레임 수가 선택되면, 이러한 일시적인 효과가 걸러질 수 있다는 것이다.
도 8은 본 발명의 실시예에 따른 보정된 레이저 스펙클 대조 영상을 계산하기 위한 흐름도를 도시한다. 일반적으로, 표적 영역에 있는 하나 이상의 다른 객체에 대한 표적 영역에 있는 하나 이상의 객체의 상대 운동에 관심이 있을 수 있다(예를 들면, 조직에 대한 체액 또는 적혈구의 상대적 움직임). 이러한 경우, 움직이는 객체로부터 유도된 신호(원하는 신호)의 잡음은 기준 객체로부터 유도된 신호(기준 신호)에 의해 보정될 수 있다. 기본 원리는 기준 객체에 대한 관심 양의 움직임에 기반하는 제1 성분 및 카메라에 대한 전체 표적 영역의 움직임에 기반한 제2 성분을 원하는 신호가 포함할 수 있다는 것이다. 기준 신호는 카메라에 대한 전체 표적 영역의 움직임에 기반한 성분만을 포함하거나 주로 포함할 수 있다. 따라서 기준 신호는 원하는 신호의 제2 성분과 상관될 수 있다. 이 상관 관계는 원하는 신호를 보정하거나 보정하는 데 사용될 수 있다. 예를 들어, 기준 신호의 신호 강도에 기반한 보정 조항이 원하는 신호에 추가될 수 있다.
도 8에 도시된 실시예에서, 표적 영역은 적색 광 또는 적외선과 같은 제1 파장(802)의 간섭성 광으로 조명되고, 녹색 또는 청색 광과 같은 제2 파장(812)의 간섭성 광으로 조명된다. 바람직하게는, 제1 파장의 광은 혈액과 같은 관심 객체 또는 관심 유체에 의해 대부분 산란된다. 바람직하게는, 제2 파장의 광은 대부분 표적 영역의 표면에 의해 산란되고 및/또는 관심 객체 또는 유체에 의해 대부분 흡수된다. 바람직하게는, 제2 파장은 혈액에 의한 제2 파장의 반사가 조직에 의한 반사보다 적어도 25%, 적어도 50% 또는 적어도 75% 더 적도록 선택된다. 바람직하게는, 표적 영역은 제1 및 제2 파장의 광으로 동시에 조명된다.
제1 파장의 산란광은 제1 영상 센서에 의해 캡처(804)될 수 있고, 제1 원시 스펙클 영상을 생성할 수 있다. 제2 원시 스펙클 영상의 산란광은, 바람직하게는 제1 영상 센서와 다른 제2 영상 센서에 의해 캡처될 수 있다(814). 제1 원시 스펙클 영상은 원하는 신호 원시 스펙클 영상이라 하고, 제2 원시 스펙클 영상은 기준 신호 영상 또는 보정 신호 영상이라 할 수 있다.
제1 원시 스펙클 영상에 기초하여, 제1 스펙클 대조 영상은 계산될 수 있다(806). 제2 원시 스펙클 영상에 기초하여, 제2 스펙클 대조 영상은 계산될 수 있다(806). 바람직하게는, 제1 및 제2 원시 스펙클 영상에 대해 동일한 방식으로 스펙클 대조가 계산된다. 스펙클 대조는 예를 들어 도 1 및 도 3a의 단계 304를 참조하여 전술한 방식으로 계산될 수 있다.
다음 단계 808에서, 보정된 스펙클 대조 영상은 제1 및 제2 스펙클 대조 영상에 기초하여 계산될 수 있다. 보정된 스펙클 대조 영상을 계산하는 단계는 예를 들어 보정 조항을 추가하거나 보정 계수를 곱하는 단계를 포함한다. 보정 조항은 스펙클 대조의 기준량과 비교하여 스펙클 대조 영상의 결정된 스펙클 대조의 양에 기초할 수 있다. 스펙클 대조의 기준량은 사전 결정되거나 또는 다수의 앞선 제2 대조 영상의 스페클 대조의 양에 기초하거나, 또는 움직임이 거의 없는 스페클 대조 영상(움직임 보정 알고리즘은 위에서 설명한 바와 같음)에 기초하여 동적으로 결정될 수 있다.
보정된 스펙클 대조 영상은 추가 처리(재정합 또는 재정렬 및 시간 평균화는 도 3a 및 도 3b를 참조하여 설명)를 위해 저장될 수 있다(810). 제2 원시 스펙클 영상 및/또는 제2 스펙클 대조 영상은 또한 추가 처리(동시에 캡처된 복수의 보정된 스펙클 대조 영상을 재정합 또는 재정렬하기 위해 복수의 제2 원시 스펙클 영상에서 변위 벡터를 결정)를 위해 저장될 수 있다(818). 실시예에서, 단계 802-818은 도 3b의 단계 332-336을 대체할 수 있다.
따라서, 제2 파장 영상은 도 8을 참조하여 설명된 바와 같은 멀티-스펙트럼 간섭 보정(또는 '이중 레이저 보정')과, 도 3a 및 b를 참조하여 설명된 바와 같은 스펙클 대조 영상을 정합하는 단계 모두에 대해 사용될 수 있다는 것이 본 발명의 방법의 이점이다.
도 9는 본 발명의 실시예에 따른 가중 평균에 기초하여 움직임 보정 스펙클 대조 영상을 결정하는 단계를 개략적으로 도시한다. 각각의 보정 영상(9021-N)에 대해, 결정된 변환을 정의하는 매개변수 및/또는 복수의 변위 벡터에 기초하여 변환 크기가 결정될 수 있다. 예를 들어, 변환 크기는 복수의 변위 벡터의 길이 또는 9041-N 의 평균과 같은 통계적 표현, 또는 변환을 표현하는 행렬의 행렬 놈에 기반한다.
결합된 스펙클 대조 영상(906)은 정합된 스펙클 대조 영상 시퀀스에서의 스펙클 대조 영상의 가중 평균일 수 있고, 각각의 영상은 가중 매개변수 w'로 가중된다.
가중 매개변수 w'는 방정식(11)에 정의되며, 변위 벡터 
에 기초하여 결정될 수 있으며, 높은 변위는 작은 가중치에 대응하고 그 반대도 마찬가지다.
여기서, 변위 벡터는 기준 영상 상의 좌표 (xi', yi')로 정의되는 점 pi' 및 참조 영상에 정합되도록 변환될 영상 상의 좌표 (xi, yi)로 정의되는 포인트 pi의 총 P 개로 정의될 수 있다.
가중 매개변수 w'는 또한 제1 영상( 일반적으로 기준 영상)과 제2 영상 사이의 광학 흐름을 정의하는 조밀 또는 희소 광학 흐름 매개변수에 기초하여 결정될 수 있다. 방정식(12)에 정의된 바와 같이, 가중치는 영상의 모든 화소 또는 영상의 관심 영역의 화소에 대한 평균 광학 흐름과 역으로 상관될 수 있다.
여기서, vij'는 광학 흐름의 x 및 y 성분을 포함하는 화소(i, j)의 광학 흐름이고, W 및 H는 각각 기준 영상 또는 기준 관심 영역의 화소 단위 폭 및 높이이다.
대안적으로, 가중 매개변수는 방정식(13)에서 정의된 바와 같이 화소당 광학 흐름에 기초하여 각 화소에 대해 결정될 수 있다:
각 화소 또는 영상에 대한 가중 매개변수를 결정하는 대신에, 직사각형 또는 삼각형 메시와 같은 영상의 사전 정의된 영역에 대해 가중 매개변수를 결정할 수도 있다. 예를 들어, 가중 매개변수는 해당하는 사전 정의된 영역의 평균 광학 흐름을 기반으로 할 수 있다.
가중 매개변수는 또한 스펙클 대조 값 sij'에 기초하여 결정될 수 있으며, 바람직하게는 가중 매개변수는 방정식(14)에 정의된 바와 같이 스펙클 대조 크기에 비례한다.
여기서 sij'는 참조 영상의 스펙클 대조이고 W와 H는 각각 참조 영상 또는 참조 관심 영역의 화소 단위 폭 및 높이이다. 스펙클 대조를 사용하는 이점은 스펙클 대조의 작은 임시 창에서 발생하는 모든 잡음이 스펙클 대조를 흐리게 한다는 것이다. 이러한 잡음은 예를 들어 영상 개체 또는 카메라의 움직임, 또는 느슨한 광섬유 연결과 같은 기타 소스에 기인한 것일 수 있다. 변위 벡터 또는 광학 흐름에 기반한 가중치를 사용하는 이점은 LSCI에 대해 더 높은 시간 해상도를 가질 수 있는 반면, 스펙클 대조-기반 가중치는 특히 관류가 증가할 때 뒤쳐질 수 있다는 것이다.
대안적으로, 가중 매개변수는 화소당 스펙클 대조를 기반으로 결정될 수 있다.
대안적으로, 가중 매개변수는 정사각형 그리드 또는 삼각형 메쉬와 같은 사전 정의된 영역의 평균 스펙클 대조를 기반으로 결정될 수 있다. 가중 매개변수는 또한 동적으로 결정된 영역에 대해 결정될 수 있으며, 여기서 영역은 예를 들어 감지된 움직임에 따라 결정된다.
일 실시예에서, 이러한 다양한 가중치가 결합될 수 있다. 예를 들어 가중치는 정규화하고 더해지거나 곱해지거나 비교되거나, 가장 낮은 가중치가 선택될 수 있다. 대안적으로, 제1 가중치(예를 들어 스펙클 대조 값을 기반으로 하는)는 사전 정의된 품질 표준을 충족하지 않는 영상을 필터링하는 데 사용될 수 있는데, 사전 결정된 임계값을 초과하는 대조 크기 감소가 있는 영상은 가중치 0을 받고 다른 모든 영상은 가중치 1을 받는다. 계속해서, 광학 흐름 또는 변위 기반 가중치를 사용하여 필터링되지 않은 영상의 가중 평균을 결정할 수 있다.
N 영상 Imgk의 버퍼 및 대응하는 N 가중치 요소 wk의 버퍼를 사용하여 영상당 단일 가중치 계수를 사용하여 가중 평균이 결정될 수 있다(k = 1, 2…, N). 획득되는 모든 새 영상에 대해 다음 단계가 수행될 수 있다.
1) 참조 영상으로 선택될 수 있는 새로운 영상을 ImgN +1로서 버퍼에 추가하는 단계;
2) 버퍼에서 제1 가중치 w1 및 제1 영상 Img1을 제거하는 단계;
3) 버퍼의 다른 영상 Img2, Img3, …, ImgN에 기하학적(geometrical) 변환을 적용하여 이들을 참조 영상 ImgN +1에 정합하는 단계; 만일 영상이 이전 참조 영상에 정합된 경우. 모든 영상 Img2 -N에 동일한 변환이 적용될 수 있다. 만일 정합되지 않은 영상이 버퍼에 저장되어 있으면, 버퍼의 각 영상에 대해 별도로 변환이 결정되고 적용될 수 있다.
4) 전술한 바와 같이 가중 계수 wN + 1를 계산하고 그것을 버퍼에 추가하는 단계;
5) 방정식(16)과 같이, 가중치 계수 w2를 wN +1로 정규화하는 단계,
또는 방정식(17)과 같은 정규화하는 단계:
여기서 β1은 양수 또는 음수일 수 있는 상수이고, wmin은 버퍼의 최소 가중치로 정의되며 β2는 0보다 커야 하는 상수이다. 음수 가중치 및 0으로 나누어지는 것을 방지하기 위해 음수 또는 0인 가중치를 작은 양수로 설정할 수 있다. wmin이 포함된 제2 정규화를 사용하는 이점은 가중치 계수의 영향을 증가시키는 것이다. β1 또는 β2를 늘리면 가중치 계수의 영향이 줄어들고 알고리즘이 평균화 알고리즘처럼 작동하게 되는 반면 β1 또는 β2를 낮추면 가중 계수의 영향이 증가하다. 이러한 상수는 응용 분야에 따라 사전 결정될 수 있다.
6) 이전에 계산된 가중치를 사용하여 가중 평균을 계산하여 고품질의 결합 영상 ImgN +1'을 방정식(18)에 정의된 바와 같이 계산한다.
여기서 i와 j는 영상의 화소를 인덱싱하는 데 사용된다.
대안적인 실시예에서, 영상 버퍼는 오직 결합된 영상만을 포함할 수 있다. 이러한 실시예에서, 가중 평균은 가장 최근 N 개 영상에 대응하는, N 개 가중 인자 wk의 버퍼를 사용함으로써 결정될 수 있으며(k = 1, 2..., N), 가장 최근 N 개 영상에 기초한 결합된 영상 ImgN'가 결정될 수 있다. 모든 새 영상 ImgN +1에 대해 다음 단계가 수행될 수 있다.
1) 참조 영상으로 선택될 수 있는 새로운 영상을 버퍼에 ImgN +1로서 추가하는 단계;
2) 버퍼에서 제1 가중 계수 w1을 제거하는 단계;
3) 저장된 영상 ImgN'에 기하학적 변환을 적용하여 이를 참조 영상 ImgN+1에 정합하는 단계;
4) 전술한 바와 같이 가중 계수 wN + 1를 계산하고 그것을 버퍼에 추가하는 단계;
5) 방정식(16) 또는 (17)에 따라 가중 계수 w2를 wN +1로 정규화하는 단계;
6) 저장된 영상 ImgN'와 참조 영상 ImgN +1의 가중 평균을 계산하여 고품질 결합 영상 ImgN +1'을 방정식(19)에 정의된 바와 같이 계산하는 단계;
여기서 i와 j는 영상의 화소를 인덱싱하는 데 사용된다. 그리고
7) 버퍼에서 ImgN'을 제거하고 버퍼에 ImgN +1'을 추가하는 단계.
이 알고리즘의 장점은 하나의 기하학적 변환만 적용하면 되고 처리 단계의 양이 적기 때문에 계산이 훨씬 빠르다는 것이다. 가중 계수가 저장되는 버퍼의 크기는 히스토리 영상의 영향이 새 영상의 영향과 비교하여 얼마나 큰지를 결정한다. 버퍼가 작으면 새 영상은 최종 영상에 더 많이 표시되는 반면에, 버퍼가 크면 새 영상은 덜 존재하고 가중 계수가 높은 영상은 더 많이 표시된다.
위에서 설명한 바와 같이, 가중치는 영상 전체에 대해, 영상의 각 화소에 대해, 또는 영상에서 사전 결정되거나 동적으로 결정된 영역에 대해 결정될 수 있다. 유사하게, 단일 변환이 각 영상에 전체적으로 적용될 수 있고, 각 화소가 개별적으로 변환될 수 있거나, 변환이 사전 결정되거나 동적으로 결정된 영역에 적용되도록 결정될 수 있다. 따라서 가중치는 스칼라, 행렬 또는 다른 형식으로 정의될 수 있다.
직사각형 또는 삼각형 메쉬에 기반한 기하학적 변환을 사용하고, 메쉬 세그먼트별로 결정된 가중치를 사용하는 알고리즘의 장점은, 이러한 알고리즘이 지역적 움직임과 같은 잡음에 대해 지역적으로 보정할 수 있는 동시에 정합 오류에 대해 더 강인할 수 있다는 것이다.
변위량 또는 변환량에 기초한 가중치는 다른 영상과 독립적으로 각 영상에 대해 신속하게 결정될 수 있다. 변위량이 많은 영상은 일반적으로 잡음이 더 많으므로 가중치를 낮게 할당하여 결합된 영상의 품질을 높일 수 있다.
대안적으로 또는 추가적으로, 제1 스펙클 대조 영상 시퀀스에서 하나 이상의 이전 및/또는 후속 영상에 대한 스펙클 대조의 정규화된 양 또는 스펙클 대조의 변화량이 각각의 제1 원시 스펙클 영상에 대해 결정될 수 있다. 이 경우, 가중 평균은 각각의 제1 스펙클 대조 영상과 관련된 스펙클 대조의 결정된 정규화 양 또는 결정된 스펙클 대조 변화에 기초한 가중치를 사용하여 결정될 수 있다.
스펙클 대조의 차이 또는 변화, 특히 급격한 변화에 기반한 가중치는 영상 품질을 나타낼 수 있다. 일반적으로 스펙클 대조, 및 따라서 이러한 가중치는 전체 시스템의 다양한 요인에 의해 영향을 받을 수 있다. 즉, 표적 영역에 대한 카메라의 움직임, 광 경로에 영향을 미치는 섬유 또는 기타 요인의 움직임, 느슨한 연결 또는 변동하는 조명의 상태에 영향을 받을 수 있다. 따라서, 스펙클 대조에 기초한 가중치를 이용하면 더 좋은 품질의 결합 영상을 얻을 수 있다. 일반적으로 스펙클 대조는 상대적인 단위로 결정되므로, 가중치는 원시 스펙클 영상 시퀀스를 분석하여 결정될 수 있다. 스펙클 대조는 관류와 역의 상관 관계이며, 스펙클 대조-기반 관류 장치는 유사하게 사용될 수 있다.
바람직하게는, 스펙클 대조와 가중치 사이의 관계가 상수를 갖는 선형이 되도록 영상은 정규화될 수 있다. 이 경우, 영상 시간 윈도우를 참조하지 않고 각 영상은 직접적으로 정규화될 수 있기 때문에, 스펙클 대조-기반 보정이 더 실시간일 수 있다. 대안적으로, 증분 평균을 사용될 수 있다.
도 10은 본 발명의 설명에 따른 데이터 처리 시스템을 나타내는 블록도를 도시한다. 데이터 처리 시스템(1000)은 시스템 버스(1006)를 통해 메모리 요소(1004)에 연결되는 적어도 하나의 프로세서(1002)를 포함할 수 있다. 이와 같이, 데이터 처리 시스템은 메모리 요소(1004) 내에 프로그램 코드를 저장할 수 있다. 또한 프로세서(1002)는 시스템 버스(1006)를 통해 메모리 요소(1004)로부터 획득하는 프로그램 코드를 실행할 수 있다. 일 양태에서, 데이터 처리 시스템은 프로그램 코드를 저장 및/또는 실행하기에 적합한 컴퓨터로 구현될 수 있다. 그러나, 데이터 처리 시스템(1000)은 본 명세서에서 설명하는 기능을 수행할 수 있는 프로세서 및 메모리를 포함하는 임의의 시스템 형태로 구현될 수 있음을 이해해야 한다.
메모리 요소(1004)는 예를 들어 로컬 메모리(1008) 및 하나 이상의 대용량 저장 장치(1010)와 같은 하나 이상의 물리적 메모리 장치를 포함할 수 있다. 로컬 메모리는 일반적으로 프로그램 코드의 실제 실행 중에 사용되는 랜덤 액세스 메모리 또는 다른 비영구적 메모리 장치(들)를 지칭할 수 있다. 대용량 저장 장치는 하드 드라이브 또는 기타 영구 데이터 저장 장치로 구현될 수 있다. 처리 시스템(1000)은 또한 프로그램 코드가 실행 동안 대용량 저장 장치(1010)로부터 검색되어야 하는 횟수를 줄이기 위해 적어도 일부 프로그램 코드의 임시 저장을 제공하는 하나 이상의 캐시 메모리(미도시)를 포함할 수 있다.
키 장치(1012) 및 출력 장치(1014)로 도시된 입력/출력(I/O) 장치는 선택적으로 데이터 처리 시스템에 결합될 수 있다. 입력 장치의 예로는 키보드, 마우스와 같은 포인팅 장치, 터치-감지 표시장치 등을 포함할 수 있지만 이에 제한되지 않는다. 출력 장치의 예로는 모니터 또는 표시장치, 확성기 또는 이와 유사한 것 등을 포함할 수 있지만 이에 제한되지 않는다. 입력 및/또는 출력 장치는 직접 또는 중간 I/O 제어기를 통해 데이터 처리 시스템에 연결될 수 있다. 네트워크 어댑터(1016)는 또한 데이터 처리 시스템에 결합되어 사설 또는 공중 네트워크를 매개로 하여 다른 시스템, 컴퓨터 시스템, 원격 네트워크 장치 및/또는 원격 저장 장치에 연결될 수 있다. 네트워크 어댑터는 상기 시스템, 장치 및/또는 네트워크에 의해 데이터 처리 시스템(1000)으로 전송되는 데이터를 수신하기 위한 데이터 수신기, 및 데이터 처리 시스템(1000)으로부터 상기 시스템, 장치 및/또는 네트워크로 데이터를 전송하기 위한 데이터 송신기를 포함할 수 있다. 모뎀, 케이블 모뎀 및 이더넷 카드는 데이터 처리 시스템(1000)과 함께 사용될 수 있는 다양한 유형의 네트워크 어댑터의 예이다.
도 10에 도시된 바와 같이, 메모리 요소(1004)는 애플리케이션(1018)을 저장할 수 있다. 데이터 처리 시스템(1000)은 애플리케이션의 실행을 용이하게 할 수 있는 운영 체제(미도시)를 더 실행할 수 있다는 점을 이해해야 한다. 실행 가능한 프로그램 코드의 형태로 구현되는 애플리케이션은 데이터 처리 시스템(1000), 예를 들어 프로세서(1002)에 의해 실행될 수 있다. 애플리케이션 실행에 응답하여, 데이터 처리 시스템은 본 명세서에 설명된 하나 이상의 연산 또는 방법의 단계들을 수행하도록 구성될 수 있다.
일 양태에서, 예를 들어, 데이터 처리 시스템(1000)은 클라이언트 데이터 처리 시스템을 나타낼 수 있다. 그런 경우에는, 애플리케이션(1018)은 실행될 때 "클라이언트"를 참조하여 본 명세서에 기술된 다양한 기능을 수행하도록 데이터 처리 시스템(1000)을 구성하는 클라이언트 애플리케이션을 나타낼 수 있다. 클라이언트의 예는 개인용 컴퓨터, 휴대용 컴퓨터, 휴대 전화 등을 포함할 수 있지만, 이에 제한되지 않는다.
다른 양태에서, 데이터 처리 시스템은 서버를 나타낼 수 있다. 예를 들어, 데이터 처리 시스템은 애플리케이션(1018)이 실행될 때 (HTTP) 서버 움직임을 수행하도록 데이터 처리 시스템을 구성할 수 있는 경우에 (HTTP) 서버를 나타낼 수 있다. 다른 양태에서, 데이터 처리 시스템은 본 명세서에서 언급되는 모듈, 유닛 또는 기능을 나타낼 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 명세서에서 사용된 단수형 "a", "an" 및 "the"는, 문맥상 명백하게 다르게 나타내지 않는 한, 복수형도 포함하는 것으로 의도된다. "포함하다" 및/또는 "포함하는"이라는 용어는 본 명세서에서 사용될 때 명시된 특징, 정수, 단계, 움직임, 요소 및/또는 구성 요소의 존재를 지정하지만, 하나 이상의 다른 특징, 정수, 단계, 움직임, 요소, 구성 요소 및/또는 이들의 그룹의 추가 또는 존재를 배제하지는 않는다는 점이 더 이해될 것이다.
아래의 청구범위에 있는 모든 수단 또는 단계 플러스 기능(means or step plus funcion) 요소의 해당 구조, 재료, 작동 및 등가물은 특별히 청구된 다른 청구된 요소와 결합하여 기능을 수행하기 위한 모든 구조, 재료 또는 작동을 포함하도록 의도된다. 본 발명의 실시예에 대한 설명은 설명의 목적으로 제시되었지만, 개시된 형태의 구현으로 제한되거나 배타적이지 않다. 본 발명의 범위 및 사상을 벗어나지 않고 많은 보정 및 변형이 당업자에게 명백할 것이다. 실시예는 본 발명의 원리 및 일부 실제 적용을 가장 잘 설명하고, 당업자가 특정 용도에 적합한 다양한 변형을 갖는 다양한 실시예에 대해 본 발명을 이해할 수 있도록 선택되고 설명되었다.
Claims (18)
- 움직임이 보정된 레이저 스펙클 대조 영상화 방법으로서,
생체 조직을 포함하는 표적 영역을 제1 파장의 간섭성 제1 광에 노출시키는 단계;
적어도 하나의 영상 시퀀스를 캡처하는 단계로서, 적어도 하나의 영상 시퀀스는 제1 스펙클 영상을 포함하며, 제1 스펙클 영상은 제1 광으로 노출되는 동안에 캡처되는, 상기 영상 시퀀스를 캡처하는 단계;
제1 스펙클 영상을 서로 정합하기 위한 영상 정합 알고리즘의 하나 이상의 변환 매개변수를 결정하는 단계로서, 변환 매개변수는 적어도 하나의 영상 시퀀스의 복수의 영상에 있는 화소 그룹의 화소 값의 유사성 정도에 기초하며, 복수의 영상의 영상은 제1 스펙클 영상으로부터 선택되거나 또는 제1 스펙클 영상과 연관되는, 상기 변환 매개변수를 결정하는 단계; 및
하나 이상의 변환 매개변수 및 영상 정합 알고리즘에 기초하여 제1 스펙클 영상을 정합함으로써 정합된 제1 스펙클 영상을 결정하고, 및 정합된 제1 스펙클 영상에 기초하여 결합된 스펙클 대조 영상을 결정하는 단계; 또는
제1 스펙클 영상에 기초하여 제1 스펙클 대조 영상을 결정하고, 하나 이상의 변환 매개변수 및 영상 정합 알고리즘에 기초하여 제1 스펙클 대조 영상을 정합함으로써 정합된 스펙클 대조 영상을 결정하고, 및 정합된 제1 스펙클 대조 영상에 기초하여 결합된 스펙클 대조 영상을 결정하는 단계를 포함하여 구성되는 영상화 방법. - 제1항에 있어서, 상기 방법은,
하나 이상의 제2 파장의 제2 광, 바람직하게는 제2 파장의 간섭성 광 또는 가시 스펙트럼의 복수의 제2 파장을 포함하는 광에 표적 영역을 노출시키는 단계를 더 포함하고,
제2 광에 대한 노출이 제1 광에 대한 노출과 교대로 수행되거나 또는 제1 광에 대한 노출과 동시에 이루지며;
적어도 하나의 영상 시퀀스는 제2 영상 시퀀스를 포함하고, 제2 영상은 제2 광에 노출되는 동안 캡처되고; 및
복수의 영상은 제2 영상 시퀀스로부터 선택되며, 제2 영상 각각은 제1 스펙클 영상과 연관되는 영상화 방법. - 제2항에 있어서,
적어도 제2 파장의 광은, 바람직하게는 전자기 스펙트럼의 녹색 또는 청색 부분, 바람직하게는 380-590 nm 범위, 보다 바람직하게는 470-570 nm 범위, 더욱 바람직하게는 520-560 nm 범위의 사전 결정된 제2 파장의 간섭성 광이고, 제2 영상 시퀀스는 제2 스펙클 영상 시퀀스이며; 상기 방법은,
제2 스펙클 영상 시퀀스에 기초하여 제2 스펙클 대조 영상을 결정하는 단계; 및
제2 스펙클 대조 영상 시퀀스에서의 스펙클 대조 크기의 변화에 기초하여 제1 스펙클 대조 영상을 조정하는 단계를 더 포함하여 구성되는 영상화 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서,
제1 파장은 전자기 스펙트럼의 적색 부분, 바람직하게는 600-700 nm 범위, 보다 바람직하게는 620-660 nm 범위의 파장이거나, 또는 전자기 스펙트럼의 적외선 부분, 바람직하게는 700-1200nm 범위의 파장인 영상화 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
결합된 스펙클 대조 영상을 결정하는 단계는,
정합된 제1 스펙클 대조 영상 각각의 정합된 제1 스펙클 영상의 평균을 계산하는 단계를 더 포함하고, 평균은 바람직하게는 가중 평균이고, 영상의 가중치는 바람직하게는 변환 매개변수에 기초하거나 또는 스펙클 대조의 상대적 크기에 기초하는 영상화 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서,
화소 그룹은 복수의 영상 내의 사전 결정된 특징을 표현하고, 사전 결정된 특징은 바람직하게는 표적 영역 내의 객체, 바람직하게는 해부학적 구조와 관련되는 영상화 방법. - 제6항에 있어서,
화소 그룹이 해부학적 특징에 상응하는 특징을 표현할 확률을 증가시키도록 구성된 필터로 복수의 영상을 필터링하는 단계를 더 포함하는 영상화 방법. - 제1항 내지 제7항 중 어느 한 항에 있어서,
하나 이상의 변환 매개변수를 결정하는 단계는,
각각의 화소 그룹은 복수의 영상과 다른 영상에 속하며, 유사성 정도에 기초하여 복수의 관련 화소 그룹을 결정하는 단계;
변위 벡터는 영상 센서에 관한 표적 영역의 움직임을 표현하며, 복수의 영상으로부터 각각의 영상에 대한 화소 그룹의 위치에 기초하여 복수의 변위 벡터를 결정하는 단계; 및
복수의 변위 벡터에 기초하여 변환 매개변수를 결정하는 단계를 포함하는 영상화 방법. - 제1항 내지 제8항 중 어느 한 항에 있어서,
제1 스펙클 영상의 각각의 영상, 각각의 제1 스펙클 대조 영상, 및 복수의 영상의 각각의 영상을 복수의 영역, 바람직하게는 분리된 영역으로 분할하는 단계를 더 포함하고;
변환 매개변수를 결정하는 단계는 각각의 영역에 대한 변환 매개변수를 결정하는 단계를 포함하고; 및
정합된 제1 스펙클 영상, 각각의 제1 스펙클 대조 영상 시퀀스를 결정하는 단계는 제2 영상의 상응하는 영역에 기초한 변환에 기초하여, 제1 스펙클 영상, 각각의 제1 스펙클 대조 영상의 각각의 영역을 정합하는 단계를 포함하는 영상화 방법. - 제1항 내지 제9항 중 어느 한 항에 있어서,
표적 영역은 바람직하게는 체액에 의해 관류되고, 보다 바람직하게는 혈액 및/또는 림프액에 의해 관류되는, 관류된 장기를 포함하며, 및/또는 하나 이상의 혈관 및/또는 림프관을 포함하며, 상기 방법은,
결합된 스펙클 영상에 기초하여, 관류 강도, 바람직하게는 혈액 관류 강도 또는 림프 관류 강도를 계산하는 단계를 더 포함하는 영상화 방법. - 제1항 내지 제10항 중 어느 한 항에 있어서,
결합된 스펙클 대조 영상 또는 그 파생물을 표시하는 단계를 더 포함하는 영상화 방법. - 영상화 장치용, 바람직하게는 의료 영상화 장치용 하드웨어 모듈로서,
생체 조직을 포함하는 표적 영역을 제1 파장의 간섭성 제1 광에 노출시키기 위한 제1 광원;
적어도 하나의 영상 시퀀스를 캡처하기 위한 적어도 하나의 영상 센서 시스템으로서, 적어도 하나의 영상 시퀀스는 제1 스펙클 영상을 포함하며, 제1 스펙클 영상은 제1 광으로 노출되는 동안에 캡처되는, 상기 영상 센서 시스템;
컴퓨터 판독가능 프로그램 코드가 내장된 컴퓨터 판독가능 저장 매체, 및 컴퓨터 판독가능 저장 매체에 결합된 프로세서, 바람직하게는 마이크로프로세서, 보다 바람직하게는 그래픽 처리 장치를 포함하여 구성되고, 컴퓨터 판독가능 프로그램 코드를 실행하는 것에 응답하여, 프로세서는,
제1 스펙클 영상을 서로 정합하기 위한 영상 정합 알고리즘의 하나 이상의 변환 매개변수를 결정하고, 변환 매개변수는 복수의 영상에 있는 화소 그룹의 화소 값의 유사성 정도에 기초하며, 복수의 영상의 영상은 제1 스펙클 영상으로부터 선택되거나 또는 제1 스펙클 영상과 연관되며; 및
하나 이상의 변환 매개변수 및 영상 정합 알고리즘에 기초하여 제1 스펙클 영상을 정합함으로써 정합된 제1 스펙클 영상을 결정하고, 및 정합된 제1 스펙클 영상에 기초하여 결합된 스펙클 대조 영상을 결정하며; 또는
제1 스펙클 영상에 기초하여 제1 스펙클 대조 영상을 결정하고, 하나 이상의 변환 매개변수 및 영상 정합 알고리즘에 기초하여 제1 스펙클 대조 영상을 정합함으로써 정합된 스펙클 대조 영상을 결정하고, 및 정합된 제1 스펙클 대조 영상에 기초하여 결합된 스펙클 대조 영상을 결정하도록 구성된 하드웨어 모듈. - 제12항에 있어서,
제1 광원과 동시에 또는 교대로, 제1 파장과 상이한 적어도 제2 파장의 광으로 표적 영역을 조명하기 위한 제2 광원을 더 포함하고;
적어도 하나의 영상 센서는 제2 영상 시퀀스를 캡처하도록 추가로 구성되며, 제2 영상은 제2 광에 노출되는 동안에 캡처되며; 및
복수의 영상은 제2 영상 시퀀스로부터 선택되며, 제2 영상 각각은 제1 스펙클 영상과 연관되는 하드웨어 모듈. - 제12항 또는 제13항에 있어서,
결합된 스펙클 영상 및/또는 그 파생물, 바람직하게는 관류 강도 영상을 표시하기 위한 표시장치를 더 포함하는 하드웨어 모듈. - 제12항 내지 제14항 중 어느 한 항에 따른 하드웨어 모듈을 포함하는 의료 영상화 장치로서, 상기 장치는 바람직하게는 내시경, 복강경, 수술 로봇, 핸드헬드 레이저 스펙클 대조 영상화 장치 또는 개복 수술 레이저 스펙클 대조 영상화 시스템 중 하나인 의료 영상화 장치.
- 레이저 스펙클 영상화 시스템용 계산 모듈로서,
컴퓨터 판독가능 프로그램 코드가 내장된 컴퓨터 판독가능 저장 매체, 및 컴퓨터 판독가능 저장 매체에 결합된 프로세서, 바람직하게는 마이크로프로세서, 보다 바람직하게는 그래픽 처리 장치를 포함하여 구성되고, 컴퓨터 판독가능 프로그램 코드를 실행하는 것에 응답하여, 프로세서는 실행 가능한 연산을 수행하도록 구성되고, 실행 가능한 연산은,
적어도 하나의 영상 시퀀스를 수신하고, 적어도 하나의 영상 시퀀스는 제1 스펙클 영상을 포함하고, 제1 스펙클 영상은 제1 파장의 간섭성 제1 광에 표적 영역을 노출하는 동안에 캡처되며, 표적 영역은 생체 조직을 포함하고;
제1 스펙클 영상을 서로 정합하기 위한 영상 정합 알고리즘의 하나 이상의 변환 매개변수를 결정하며, 변환 매개변수는 적어도 하나의 영상 시퀀스의 복수의 영상에 있는 화소 그룹의 화소 값의 유사성 정도에 기초하며, 복수의 영상의 영상은 제1 스펙클 영상으로부터 선택되거나 또는 제1 스펙클 영상과 연관되고; 및
하나 이상의 변환 매개변수 및 영상 정합 알고리즘에 기초하여 제1 스펙클 영상을 정합함으로써 정합된 제1 스펙클 영상을 결정하고, 및 정합된 제1 스펙클 영상에 기초하여 결합된 스펙클 대조 영상을 결정하며; 또는
제1 스펙클 영상에 기초하여 제1 스펙클 대조 영상을 결정하고, 하나 이상의 변환 매개변수 및 영상 정합 알고리즘에 기초하여 제1 스펙클 대조 영상을 정합함으로써 정합된 스펙클 대조 영상을 결정하고, 및 정합된 제1 스펙클 대조 영상에 기초하여 결합된 스펙클 대조 영상을 결정하는 계산 모듈. - 제16항에 있어서,
적어도 하나의 영상 시퀀스는 제2 영상 시퀀스를 포함하고, 제2 영상은 제2 광에 노출되는 동안에 캡처되며, 제2 광은 하나 이상의 제2 파장을 갖고, 바람직하게는 제2 광은 제2 파장의 간섭성 광이거나 또는 제2 광은 가시 스펙트럼의 복수의 제2 파장을 포함하며, 제2 광에 대한 노출은 제1 광에 대한 노출과 교대로 되거나 또는 제1 광에 대한 노출과 동시에 이루어지며; 및
복수의 영상은 제2 영상 시퀀스로부터 선택되며, 제2 영상 각각은 제1 스펙클 영상과 연관되는 계산 모듈. - 적어도 하나의 소프트웨어 코드 부분 또는 적어도 하나의 소프트웨어 코드 부분을 저장하는 컴퓨터 프로그램 제품을 포함하는 컴퓨터 프로그램 또는 컴퓨터 프로그램 모음으로서, 소프트웨어 코드 부분이 컴퓨터 시스템에서 실행될 때, 제1항 내지 제11항 중 어느 한 항에 따른 방법을 실행하도록 구성된 컴퓨터 프로그램.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| NL2026505 | 2020-09-18 | ||
| NL2026505A NL2026505B1 (en) | 2020-09-18 | 2020-09-18 | Motion-compensated laser speckle contrast imaging |
| PCT/EP2021/075620 WO2022058499A1 (en) | 2020-09-18 | 2021-09-17 | Motion-compensated laser speckle contrast imaging |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230069196A true KR20230069196A (ko) | 2023-05-18 |
Family
ID=74125608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237012761A KR20230069196A (ko) | 2020-09-18 | 2021-09-17 | 움직임이 보정된 레이저 스펙클 대조 영상화 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US20230359057A1 (ko) |
| EP (1) | EP4213705A1 (ko) |
| JP (1) | JP2023543172A (ko) |
| KR (1) | KR20230069196A (ko) |
| CN (1) | CN116456897A (ko) |
| CA (1) | CA3192536A1 (ko) |
| IL (1) | IL301395B1 (ko) |
| NL (1) | NL2026505B1 (ko) |
| WO (1) | WO2022058499A1 (ko) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3824621A4 (en) | 2018-07-19 | 2022-04-27 | Activ Surgical, Inc. | SYSTEMS AND METHODS FOR MULTIMODAL DETECTION OF DEPTH IN VISION SYSTEMS FOR AUTOMATED SURGICAL ROBOTS |
| WO2020081651A1 (en) | 2018-10-16 | 2020-04-23 | Activ Surgical, Inc. | Autonomous methods and systems for tying surgical knots |
| KR20220021920A (ko) | 2019-04-08 | 2022-02-22 | 액티브 서지컬, 인크. | 의료 이미징을 위한 시스템 및 방법 |
| WO2021035094A1 (en) | 2019-08-21 | 2021-02-25 | Activ Surgical, Inc. | Systems and methods for medical imaging |
| WO2023177281A1 (en) * | 2022-03-17 | 2023-09-21 | Limis Development B.V. | Motion-compensated laser speckle contrast imaging |
| US20230401747A1 (en) * | 2022-06-10 | 2023-12-14 | Rockley Photonics Limited | System and method for calibrating speckle-based sensor |
| CN114943661B (zh) * | 2022-07-26 | 2022-11-04 | 中国科学院武汉岩土力学研究所 | 基于双目相机的无标靶岩石表面变形场观测装置与方法 |
| CN116418976B (zh) * | 2022-11-24 | 2023-12-12 | 北京的卢铭视科技有限公司 | 结构光相机的产测sdk授权方法、电子设备及存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1324051A1 (en) * | 2001-12-26 | 2003-07-02 | Kevin R. Forrester | Motion measuring device |
| WO2011029086A2 (en) * | 2009-09-04 | 2011-03-10 | The Johns Hopkins University | Multimodal laser speckle imaging |
| EP3145397A4 (en) * | 2014-05-23 | 2018-01-17 | Covidien LP | Systems for imaging of blood flow in laparoscopy |
| CA2985224A1 (en) * | 2015-05-07 | 2016-11-10 | Novadaq Technologies Inc. | Methods and systems for laser speckle imaging of tissue using a color image sensor |
| WO2017138210A1 (ja) * | 2016-02-12 | 2017-08-17 | ソニー株式会社 | 撮像装置、撮像方法及び撮像システム |
| WO2017168984A1 (ja) * | 2016-03-28 | 2017-10-05 | ソニー株式会社 | 撮像装置、撮像方法 |
| US11202652B2 (en) * | 2017-08-11 | 2021-12-21 | Canon U.S.A., Inc. | Registration and motion compensation for patient-mounted needle guide |
| US20210321887A1 (en) | 2018-08-28 | 2021-10-21 | Sony Corporation | Medical system, information processing apparatus, and information processing method |
-
2020
- 2020-09-18 NL NL2026505A patent/NL2026505B1/en active
-
2021
- 2021-09-17 KR KR1020237012761A patent/KR20230069196A/ko unknown
- 2021-09-17 JP JP2023517650A patent/JP2023543172A/ja active Pending
- 2021-09-17 CA CA3192536A patent/CA3192536A1/en active Pending
- 2021-09-17 US US18/245,419 patent/US20230359057A1/en active Pending
- 2021-09-17 EP EP21773845.9A patent/EP4213705A1/en active Pending
- 2021-09-17 CN CN202180077846.3A patent/CN116456897A/zh active Pending
- 2021-09-17 WO PCT/EP2021/075620 patent/WO2022058499A1/en active Application Filing
- 2021-09-17 IL IL301395A patent/IL301395B1/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| CA3192536A1 (en) | 2022-03-24 |
| WO2022058499A1 (en) | 2022-03-24 |
| US20230359057A1 (en) | 2023-11-09 |
| JP2023543172A (ja) | 2023-10-13 |
| IL301395A (en) | 2023-05-01 |
| EP4213705A1 (en) | 2023-07-26 |
| NL2026505B1 (en) | 2022-05-23 |
| CN116456897A (zh) | 2023-07-18 |
| IL301395B1 (en) | 2024-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20230069196A (ko) | 움직임이 보정된 레이저 스펙클 대조 영상화 | |
| US11170258B2 (en) | Reducing noise in an image | |
| EP3676797B1 (en) | Speckle contrast analysis using machine learning for visualizing flow | |
| US7801405B2 (en) | Method and device for generating a structure-free fiberscopic picture | |
| US7349564B2 (en) | Imaging internal structures | |
| US20150374210A1 (en) | Photometric stereo endoscopy | |
| JP2007167656A (ja) | 対象の運動の解析方法および断層撮影装置 | |
| EP2486543A1 (en) | Formation of a time-varying signal representative of at least variations in a value based on pixel values | |
| KR101652641B1 (ko) | Ecg 신호를 이용한 영상 정합 장치 및 그 방법 | |
| US11206991B2 (en) | Systems and methods for processing laser speckle signals | |
| CN110111386B (zh) | 一种肌肉组织中结构性角度的自动测量方法及*** | |
| US20200240934A1 (en) | Tomography apparatus and controlling method for the same | |
| WO2021163603A1 (en) | Systems and methods for processing laser speckle signals | |
| JP5051025B2 (ja) | 画像生成装置、プログラム、および画像生成方法 | |
| WO2023177281A1 (en) | Motion-compensated laser speckle contrast imaging | |
| JP2021168914A (ja) | 断層画像撮影システムにおけるゲーティング方法 | |
| JP2013505779A (ja) | 運動情報を用いて医用画像の質を改善するコンピュータ可読媒体、システム、および方法 | |
| JP7446494B2 (ja) | 断層画像撮影システムにおけるゲーティング方法 | |
| JP7379409B2 (ja) | 断層画像撮影システムにおけるゲーティング方法 | |
| Jones et al. | Deblurring multispectral laparoscopic images | |
| CN116964620A (zh) | 内窥镜手术中干扰相减的图像增强的方法 |