CZ306066B6 - Hyperspectral imaging system for medicinal dermatology or endoscopy, method of scanning by the hyperspectral imaging system and use thereof - Google Patents
Hyperspectral imaging system for medicinal dermatology or endoscopy, method of scanning by the hyperspectral imaging system and use thereof Download PDFInfo
- Publication number
- CZ306066B6 CZ306066B6 CZ2015-343A CZ2015343A CZ306066B6 CZ 306066 B6 CZ306066 B6 CZ 306066B6 CZ 2015343 A CZ2015343 A CZ 2015343A CZ 306066 B6 CZ306066 B6 CZ 306066B6
- Authority
- CZ
- Czechia
- Prior art keywords
- image
- sensor
- sensors
- hyperspectral
- output
- Prior art date
Links
Landscapes
- Endoscopes (AREA)
Abstract
Description
Hyperspektrální zobrazovací systém pro lékařskou dermatologii nebo endoskopii, způsob snímání obrazu hyperspektrálním zobrazovacím systémem a jeho použitíHyperspectral imaging system for medical dermatology or endoscopy, method of image acquisition by hyperspectral imaging system and its use
Oblast technikyField of technology
Vynález se týká způsobu snímání obrazu hyperspektrálním zobrazovacím systémem, hyperspektrálního zobrazovacího systému a jeho použití, zejména pro lékařskou endoskopii.The invention relates to a method of imaging an image by a hyperspectral imaging system, a hyperspectral imaging system and its use, in particular for medical endoscopy.
Dosavadní stav technikyPrior art
Pro lékařskou endoskopii se v dnešní době používají převážně systémy pracující ve viditelném spektru elektromagnetického záření. Snímaná scéna je nasvícena zdrojem světla se spektrálním rozsahem pokrývajícím viditelný rozsah a tato scéna je dále sejmuta obrazovým snímačem pracujícím v rozsahu viditelných vlnových délek. Používaný obrazový snímač je většinou tříkanálový, mající pásmové spektrální propusti odpovídající červené (R), zelené (G) a modré (B) barvě. Touto konfigurací obrazový snímač imituje princip funkce barevného vidění lidského oka, které má také senzory s citlivostmi odpovídajícími červené, zelené a modré barvě.Today, systems operating in the visible spectrum of electromagnetic radiation are mainly used for medical endoscopy. The captured scene is illuminated by a light source with a spectral range covering the visible range, and this scene is further captured by an image sensor operating in the visible wavelength range. The image sensor used is usually three-channel, having band spectral transmissions corresponding to red (R), green (G) and blue (B). With this configuration, the image sensor imitates the principle of the color vision function of the human eye, which also has sensors with sensitivities corresponding to red, green and blue.
Použití viditelného spektra pro lékařské endoskopy využívající obrazové senzory ovšem limituje dostupnou obrazovou informaci ve výstupu takového systému pouze na charakteristiky snímané scény detekovatelné v tomto viditelném spektru. Mnoho charakteristik snímané scény ovšem ve viditelném spektru detekovatelných není a je tedy uživateli takovéhoto systému skryto.However, the use of visible spectrum for medical endoscopes using image sensors limits the available image information at the output of such a system to only the characteristics of the scanned scene detectable in this visible spectrum. However, many characteristics of the captured scene are not detectable in the visible spectrum and are therefore hidden from the user of such a system.
Z dostupné literatury plyne, že mimo viditelný rozsah je pro navigaci během lékařských zákroků velmi relevantní mimo jiné oblast blízkého infračerveného záření, zejména v rozsahu vlnových délek 600 až 1000 nm. V tomto spektrálním rozsahu je možné detekovat řadu charakteristik vhodných pro diagnostiku a/nebo navigaci během lékařských zákroků, například okysličení tkáně, přítomnost NIR (Near Infra-Red) fluorescenčních barviv, je umožněno lepší rozlišení různých druhů tkání a podobně. V tomto rozsahu je také přítomno tzv. NIR okno, tedy oblast záření, které je složkami biologických tkání pohlcováno nejméně a dosahuje tedy velké penetrační hloubky.From the available literature it follows that outside the visible range, the area of near-infrared radiation, especially in the wavelength range 600 to 1000 nm, is very relevant for navigation during medical procedures. In this spectral range, a number of characteristics suitable for diagnosis and / or navigation during medical procedures can be detected, for example tissue oxygenation, the presence of NIR (Near Infra-Red) fluorescent dyes, better differentiation of different tissue types and the like. In this range, there is also a so-called NIR window, ie the area of radiation that is least absorbed by the components of biological tissues and thus reaches a large penetration depth.
Souvisejícím řešením je například technologie Narrow Band Imaging společnosti Olympus [EP 2 433 522 Bl], využívající obrazové senzory pracující ve viditelném spektru společně se světelným zdrojem s nastavitelnou spektrální charakteristikou. Systém využívá různých penetračních hloubek záření o různých vlnových délkách ke zvýšení užitečné obrazové informace ve výstupu systému, nicméně zachovává spektrální rozsah na viditelných vlnových délkách.A related solution is, for example, Olympus' Narrow Band Imaging technology [EP 2 433 522 B1], which uses image sensors operating in the visible spectrum together with a light source with an adjustable spectral characteristic. The system uses different penetration depths of radiation at different wavelengths to increase the useful image information at the output of the system, however, it maintains the spectral range at visible wavelengths.
Dalším souvisejícím řešením je technologie pro multispektrální snímání popsaná v patentové přihlášce WO/2011 113 162 AI. Tento systém využívá světelný zdroj s nastavitelnou spektrální charakteristikou pro střídavé osvětlování snímané scény světlem s různou spektrální charakteristikou pro získání spektrálních profilů snímané scény. Vzhledem k tomu, že je scéna osvětlována jednotlivými spektry v různých časových intervalech, dochází k nežádoucím artefaktům ve výstupu systému způsobeným nesynchronizovaným snímáním jednotlivých dílčích spektrálních charakteristik.Another related solution is the technology for multispectral scanning described in patent application WO / 2011 113 162 A1. This system uses a light source with an adjustable spectral characteristic to alternately illuminate the captured scene with light with different spectral characteristics to obtain spectral profiles of the captured scene. Due to the fact that the scene is illuminated by individual spectra in different time intervals, undesirable artifacts occur in the output of the system caused by unsynchronized scanning of individual partial spectral characteristics.
Souvisejícím technickým řešením je také patent US 8 115 825 B2 Electronic device with two image sensors společnosti Apple. Principem technického řešení je použití dvou obrazových senzorů, černobílého pro jasovou složku a barevného pro barevnou složku a následné digitální zpracování obrazových dat. Toto technické řešení se týká způsobu zachycení klasických RGB barevných obrázků senzory pracujícími v oblasti viditelného světla. Tyto senzory nejsou určeny pro práci mimo viditelnou oblast a popisovaný senzor barevné složky má pouze tři spektrální kanály.A related technical solution is also U.S. Pat. No. 8,115,825 B2 Electronic device with two image sensors from Apple. The principle of the technical solution is the use of two image sensors, black and white for the luminance component and color for the color component and subsequent digital processing of image data. This technical solution concerns the method of capturing classic RGB color images by sensors working in the field of visible light. These sensors are not designed to work outside the visible range and the described color component sensor has only three spectral channels.
- 1 CZ 306066 B6- 1 CZ 306066 B6
Pro zjištění spektrálních charakteristik oblasti zájmu lze v lékařství využít specializované přístroje, které ovšem zatím nedosahují parametrů výstupního videosignálu vhodných pro navigaci během chirurgických zákroků. Tyto systémy bývají limitovány především rozlišením spektrálního profilu scény a/nebo rychlostí sejmutí této informace (obnovovací frekvencí).To determine the spectral characteristics of the area of interest, it is possible to use specialized devices in medicine, which, however, do not yet reach the parameters of the output video signal suitable for navigation during surgical procedures. These systems tend to be limited mainly by the resolution of the spectral profile of the scene and / or the rate at which this information is taken (refresh rate).
Hyperspektrální snímání leží z pohledu spektrálního rozlišení mezi standardními RGB obrazovými snímači a specializovanými spektrometry. Pro označení daného snímaní jako hyperspektrálního se obvykle používá hranice 10 a více spektrálních pásem, pokrývajících spojitě spektrální pracovní rozsah senzoru. Snímání využívající senzorů s menším počtem pásem bývá zpravidla označováno jako multispektrální. Znalost spektrálních charakteristik jednotlivých pixelů pak umožňuje komplexní určení vlastností snímané scény. Hyperspektrální obrazové snímače umožňují určit prostorové rozložení jednotlivých spekter, což umožňuje lepší segmentaci a klasifikaci výsledného obrazu.Hyperspectral scanning lies in terms of spectral resolution between standard RGB image sensors and specialized spectrometers. To mark a given scan as hyperspectral, a boundary of 10 or more spectral bands covering the spectral working range of the sensor continuously is used. Sensing using sensors with a smaller number of bands is usually referred to as multispectral. Knowledge of the spectral characteristics of individual pixels then allows a comprehensive determination of the properties of the captured scene. Hyperspectral image sensors make it possible to determine the spatial distribution of individual spectra, which allows better segmentation and classification of the resulting image.
Použití hyperspektrálního snímání v medicíně je zatím omezeno na případové studie a výzkumné prototypy. Limitujícím faktorem je absence zařízení schopného snímat a vyhodnocovat obrazová spektrální data v reálném čase. Tento parametr je nutný pro použití těchto systémů in vivo, tedy zejména pro navigaci během invazivních chirurgických zákroků.The use of hyperspectral imaging in medicine is currently limited to case studies and research prototypes. The limiting factor is the absence of equipment capable of capturing and evaluating image spectral data in real time. This parameter is necessary for the use of these systems in vivo, especially for navigation during invasive surgery.
Nově dostupné jsou hyperspektrální obrazové senzory založené na standardní technologii výroby obrazových CMOS snímačů. Jsou schopny pracovat v reálném čase, nevýhodou je ovšem nízké prostorové rozlišení z důvodu vyššího spektrálního rozlišení. Obdobně jako standardní tříkanálový obrazový snímač má před fotocitlivými elementy barevnou masku opakující se v blocích 2x2 pixely, má hyperspektrální senzor masku s velikostí bloku například 5x5. Tedy prostorové rozlišení je výrazně nižší než u obdobného senzoru s menším počtem spektrálních (barevných) pásem.Newly available are hyperspectral image sensors based on standard CMOS image sensor manufacturing technology. They are able to work in real time, but the disadvantage is the low spatial resolution due to the higher spectral resolution. Similar to a standard three-channel image sensor, it has a color mask in front of the photosensitive elements repeating in blocks of 2x2 pixels, the hyperspectral sensor has a mask with a block size of, for example, 5x5. Thus, the spatial resolution is significantly lower than with a similar sensor with a smaller number of spectral (color) bands.
Hyperspektrální endoskopický systém podle předkládaného vynálezu řeší problémy dosavadního stavu techniky tím, že umožňuje integraci vhodně vizualizovaných spektrálních charakteristik snímané scény do obrazového výstupu zobrazovacího systému, při zachování použitelnosti tohoto obrazového výstupu, např. pro navigaci během lékařských zákroků a zároveň se zachováním vysokého prostorového i spektrálního rozlišení tohoto obrazového výstupu.The hyperspectral endoscopic system according to the present invention solves the problems of the prior art by enabling the integration of suitably visualized spectral characteristics of the scanned scene into the image output of the imaging system, while maintaining the usability of this image output, e.g. for navigation during medical procedures and while maintaining high spatial and spectral resolution of this video output.
Podstata vynálezuThe essence of the invention
Předmětem předkládaného vynálezu je hyperspektrální zobrazovací systém pro snímání obrazu v reálném čase pro lékařskou dermatologii nebo endoskopii, obsahující objektiv, obrazový senzor a obrazový výstup, který dále obsahuje alespoň jeden další hyperspektrální obrazový senzor a rozdělovač optického signálu uspořádaný mezi objektivem a obrazovými senzory, a blok digitálního zpracování obrazových dat, přičemž hyperspektrální obrazový senzor umožňuje snímání v oblasti vlnových délek blízkého infračerveného světla, má malé prostorové a vysoké spektrální rozlišení, obrazový senzor umožňuje snímání v oblasti vlnových délek viditelného světla, má vysoké prostorové a malé spektrální rozlišení, a blok digitálního zpracování obrazových dat umožňuje zpracování obrazové informace z hyperspektrálního obrazového senzoru do barevné složky obrazového výstupu systému a obrazové informace z obrazového senzoru do jasové složky obrazového výstupu systému. Rozdělovač optického toku nemusí mít shodnou spektrální charakteristiku pro oba výstupní optické toky.The present invention relates to a real-time hyperspectral imaging system for medical dermatology or endoscopy, comprising a lens, an image sensor and an image output, further comprising at least one further hyperspectral image sensor and an optical signal splitter arranged between the objective and the image sensors, and a block digital image data processing, wherein the hyperspectral image sensor allows near infrared light wavelength sensing, has low spatial and high spectral resolution, the image sensor allows visible light wavelength sensing, has high spatial and low spectral resolution, and a digital processing block The image data allows processing of image information from the hyperspectral image sensor into the color component of the system's image output and image information from the image sensor to the luminance component of the system's image output. The optical flux splitter may not have the same spectral characteristic for both output optical fluxes.
Ve výhodném provedení je senzor s vysokým prostorovým a nízkým spektrálním rozlišením RGB obrazový senzor nebo monochromatický senzor. Použitím RGB obrazového senzoru je umožněn provoz systému v režimu standardních viditelných vlnových délek imitující vnímání lidského oka. Použitím monochromatického obrazového senzoru je dosaženo vyššího efektivního rozlišení systému v porovnání s použitím barevného senzoru díky absenci dopočítávání monochromatických hodnot jednotlivých pixelů z Bayerovy masky senzoru barevného. Protože se barevná složka výsledného obrazu může s výhodou získat ze zpracovaných hyperspektrálníchIn a preferred embodiment, the high spatial and low spectral resolution sensor is an RGB image sensor or a monochrome sensor. The use of an RGB image sensor allows the system to operate in standard visible wavelength mode mimicking the perception of the human eye. By using a monochrome image sensor, a higher effective resolution of the system is achieved compared to using a color sensor due to the absence of counting the monochrome values of individual pixels from the Bayer mask of the color sensor. Because the color component of the resulting image can be advantageously obtained from the processed hyperspectral ones
-2CZ 306066 B6 dat, je možné použít jako senzor s vysokým prostorovým a nízkým spektrálním rozlišením standardní monochromatický obrazový senzor.-2GB 306066 B6 data, a standard monochrome image sensor can be used as a high spatial and low spectral resolution sensor.
V jiném provedení hyperspektrální zobrazovací systém podle vynálezu dále obsahuje zdroj světla s vhodnou spektrální charakteristikou pokrývající pracovní rozsahy použitých obrazových senzorů. Tento je použit zejména při zdravotnických aplikacích systému vyžadujících přesné spektrální pokrytí snímaného rozsahu, s výhodou může být založen na halogenovém zdroji světla případně na solid-state zdrojích.In another embodiment, the hyperspectral imaging system of the invention further comprises a light source with suitable spectral characteristics covering the operating ranges of the image sensors used. This is used in particular in medical applications of the system requiring accurate spectral coverage of the scanned range, it can advantageously be based on a halogen light source or on solid-state sources.
Předmětem předkládaného vynálezu je rovněž způsob snímání obrazu v reálném čase hyperspektrálním zobrazovacím systémem, který obsahuje objektiv, rozdělovač optického svazku, hyperspektrální obrazový senzor, pracující v oblasti vlnových délek blízkého infračerveného světla, který má malé prostorové a vysoké spektrální rozlišení a po následném digitálním zpracování tvoří tato obrazová informace barevnou složku obrazového výstupu systému, obrazový senzor pracující v oblasti vlnových délek viditelného světla, který má vysoké prostorové a malé spektrální rozlišení a po následném digitálním zpracování tvoří tato obrazová informace jasovou složku obrazového výstupu systému, a blok digitálního zpracování obrazových dat, a který zahrnuje následující kroky:The present invention also relates to a method for capturing a real-time image by a hyperspectral imaging system comprising a lens, an optical beam splitter, a hyperspectral image sensor operating in the near-infrared wavelength range having low spatial and high spectral resolution and subsequent digital processing. this image information comprises the color component of the system's image output, an image sensor operating in the visible light wavelength region having high spatial and low spectral resolution and subsequent digital processing to form the luminance component of the system's image output, and a digital image data processing block; which includes the following steps:
a) optický svazek projde objektivem a rozdělovačem optického svazku, kde se obrazová informace zaostří do alespoň dvou výsledných obrazových rovin, přičemž spektrální charakteristika objektivu a rozdělovače optického svazku umožňuje propuštění vlnových délek v oblastech citlivosti použitých obrazových senzorů;a) the optical beam passes through an objective and an optical beam splitter, where the image information is focused on at least two resulting image planes, the spectral characteristics of the lens and the optical beam splitter allowing wavelengths to be transmitted in the sensitivity regions of the image sensors used;
b) takto upravené obrazové informace se vedou do jednotlivých obrazových senzorů;b) the image information thus modified is fed to the individual image sensors;
c) senzory se synchronizované exponují, přičemž časové periody všech senzorů jsou shodné, čímž se zajistí výrazné potlačení artefaktů vznikajících při integraci dvou videosignálů s různým časováním;c) the sensors are exposed in synchronism, the time periods of all sensors being identical, thus ensuring a significant suppression of artifacts arising from the integration of two video signals with different timings;
d) senzory se vyčtou synchronizované v číslicové formě, čímž se zajistí výrazné potlačení artefaktů vznikajících při integraci dvou videosignálů s různým časováním;d) the sensors are read synchronized in digital form, thus ensuring a significant suppression of artifacts arising from the integration of two video signals with different timings;
e) výstupní data jednotlivých obrazových senzorů se přenesou do bloku digitálního zpracování obrazových dat, který může být s výhodou tvořen programovatelným hradlovým polem (FPGA); f) jednotlivé videosignály se zpracují v bloku digitálního zpracování obrazových dat do výstupního videosignálů nebo videosignálů;e) the output data of the individual image sensors is transferred to a digital image data processing block, which may preferably be formed by a programmable gate array (FPGA); f) the individual video signals are processed in a digital image data processing block into output video signals or video signals;
přičemž s výhodou se samostatně zpracuje obrazová informace ze senzoru pracujícího v oblasti viditelného světla, která po zpracování tvoří jasovou složku obrazového výstupu systému, s výhodou v rozmezí vlnových délek od 400 do 700 nm, a obrazová informace z hyperspektrálního senzoru z oblasti blízkého infračerveného spektra (s výhodou v rozmezí od 600 do 1000 nm), která po zpracování tvoří barevnou složku obrazového výstupu systému, se s výhodou zpracuje kombinovaně, a to společně s obrazovou informací ze senzoru viditelného světla. Kombinované zpracování dat obou senzorů umožňuje vyšší spektrální rozlišení systému díky kombinaci spektrálních rozsahů obou použitých senzorů. Při slučování dat z obou senzorů do kombinovaného obrazového výstupu systému je využito faktu, že u lidského vidění je pro dojem ostrosti primární složka jasová a sekundární složka barevná, tedy ze senzoru s vysokým prostorovým rozlišením je použita (po zpracování) složka jasová a ze senzoru s vysokým spektrálním rozlišením je použita (po zpracování) složka barevná. Kombinovaný obrazový výstup systému tedy umožňuje podstatně zvýšit obsah užitečné informace použitím více senzorů při zachování prostorového i spektrálního rozlišení.preferably, image information from a sensor operating in the visible light region is processed separately, which after processing forms the luminance component of the system's image output, preferably in the wavelength range 400 to 700 nm, and image information from a hyperspectral sensor from the near infrared spectrum ( preferably in the range from 600 to 1000 nm), which after processing forms the color component of the image output of the system, is preferably processed in combination, together with the image information from the visible light sensor. The combined data processing of both sensors allows a higher spectral resolution of the system thanks to the combination of the spectral ranges of both used sensors. When combining data from both sensors into the combined image output of the system, the fact that in human vision the primary component is luminance and the secondary component is colored for the impression of sharpness, ie the luminance component is used (after processing) and the sensor the high component is used (after processing) the color component. Thus, the combined video output of the system makes it possible to substantially increase the content of useful information by using multiple sensors while maintaining both spatial and spectral resolution.
V systému lze s výhodou použít objektiv s rozšířeným spektrálním rozsahem, především s ohledem na možné barevné chyby a nutnost zaostření více vlnových délek do společných obrazových rovin.A lens with an extended spectral range can be advantageously used in the system, especially with regard to possible color errors and the need to focus multiple wavelengths into common image planes.
Obrazové senzory pracují v různých oblastech vlnových délek snímaného záření. Tímto řešením dochází k pokrytí většího rozsahu vlnových délek, a tedy je dosaženo zvýšení přesnosti použitýchImage sensors work in different regions of the wavelengths of the scanned radiation. This solution covers a larger range of wavelengths, and thus increases the accuracy of the ones used
-3 CZ 306066 B6 analytických a/nebo klasifikačních algoritmů. Použití senzoru pracujícího v oblasti viditelného světla zároveň se senzorem pracujícím v oblasti blízkého infračerveného záření umožňuje kombinovaný provoz systému. Tedy lze systém provozovat jako standardní kamerový systém s výstupním obrazem odpovídajícím barevnému vidění lidského oka i jako specializované vizualizační zařízení při kombinaci těchto viditelných dat společně s daty ze senzoru pracujícího v oblasti blízkého infračerveného záření.-3 CZ 306066 B6 analytical and / or classification algorithms. The use of a sensor operating in the visible light area at the same time as a sensor operating in the near-infrared range enables combined operation of the system. Thus, the system can be operated as a standard camera system with an output image corresponding to the color vision of the human eye as well as a specialized visualization device by combining this visible data together with data from a sensor operating in the near-infrared range.
V jiném provedení je obrazovým výstupem systému jeden sloučený videosignál. V minimální konfiguraci je výstupem systému jeden obrazový signál, který lze pomocí uživatelského rozhraní systému nastavit do požadovaného způsobu zobrazení.In another embodiment, the video output of the system is a single combined video signal. In the minimal configuration, the output of the system is one video signal, which can be set to the desired display mode using the system's user interface.
V dalším provedení jsou obrazovými výstupy jednotlivé oddělené videosignály. Ve standardní konfiguraci systém obsahuje oddělené obrazové výstupy, tedy výstup s obrazovou informací z viditelného spektra a výstup s kombinovanou a zpracovanou informací ze všech obsažených obrazových senzorů.In another embodiment, the video outputs are individual separate video signals. In the standard configuration, the system includes separate image outputs, i.e. an output with image information from the visible spectrum and an output with combined and processed information from all contained image sensors.
V jiném provedení je obrazovým výstupem sloučený videosignál i jednotlivé oddělené videosignály. V plné konfiguraci obsahuje systém různý počet obrazových (a jiných datových, zejména například síťových) rozhraní, které lze nezávisle konfigurovat pomocí uživatelského rozhraní systému do požadované konfigurace obrazových výstupů systému.In another embodiment, the video output is a combined video signal as well as individual separate video signals. In a full configuration, the system includes a variety of video (and other data, particularly, for example, network) interfaces that can be independently configured using the system's user interface to the desired configuration of the system's video outputs.
V jednom provedení způsobu snímání hyperspektrálním zobrazovacím systémem podle vynálezu se v kroku f) digitálního zpracování obrazových dat z obrazového senzoru pracujícího v oblasti viditelného spektra použije jasová složka signálu a ze senzoru pracujícího v oblasti blízkého infračerveného záření se použije složka barevná, přičemž barevná složka se nepoužije přímo, ale až po zpracování, kdy se spektra nejprve dopočítají, ohodnotí se dle podobnosti s referenčním spektrem a tato podobnost se následně použije jako index do palety barev pro obarvení výsledného snímku. S výhodou se v kroku f) digitálního zpracování obrazová data ze senzoru pracujícího v oblasti blízkého infračerveného záření porovnají a ohodnotí dle nalezené podobnosti s předdefinovaným spektrálním profilem. Výsledný obrazový výstup se zkombinuje s obrazovým výstupem senzoru pracujícího ve viditelné oblasti. Jasová složka signálu z obrazového senzoru pracujícího v oblasti viditelného spektra se tedy dobarví podle spektrální podobnosti jednotlivých pixelů, složených kombinací výstupů z viditelného a NIR senzoru, s referenčním spektrem. S výhodou může blok pro digitální zpracování obrazových dat dále obsahovat bloky pro transformace obrazových dat, tedy translaci, rotaci a změnu měřítka pro optimální zarovnání obrazových dat z obou senzorů.In one embodiment of the method of scanning with a hyperspectral imaging system according to the invention, in step f) digital processing of image data from an image sensor operating in the visible spectrum region, the luminance component of the signal is used and from the sensor operating in the near infrared region a color component is used. directly, but only after processing, when the spectra are first calculated, it is evaluated according to the similarity with the reference spectrum and this similarity is then used as an index in the color palette to color the resulting image. Preferably, in step f) of the digital processing, the image data from the sensor operating in the near-infrared region are compared and evaluated according to the similarity found with a predefined spectral profile. The resulting image output is combined with the image output of a sensor operating in the visible area. The luminance component of the signal from the image sensor operating in the visible spectrum is thus colored according to the spectral similarity of the individual pixels, composed of a combination of the outputs from the visible and NIR sensors, with the reference spectrum. Advantageously, the block for digital image data processing may further comprise blocks for image data transformations, i.e. translation, rotation and scaling for optimal alignment of image data from both sensors.
Blok pro digitální zpracování obrazových dat zajišťuje především zpracování, vizualizaci a integraci vstupních obrazových dat z obrazového senzoru pracujícího ve viditelném spektru a vstupních obrazových dat z obrazového senzoru pracujícího v oblasti blízkého infračerveného záření. Kromě těchto funkcí blok pro digitální zpracování obrazových dat může a nemusí obsahovat další funkce, mimo jiné například systémové řídicí a komunikační funkce.The block for digital image data processing mainly provides processing, visualization and integration of input image data from an image sensor operating in the visible spectrum and input image data from an image sensor operating in the near-infrared range. In addition to these functions, the digital image data processing block may or may not include other functions, such as system control and communication functions, among others.
Princip vhodné vizualizace obrazových dat ze senzoru pracujícího v oblasti blízkého infračerveného záření spočívá především (ale ne pouze) v klasifikaci obrazových elementů scény (pixelů) dle podobnosti s předdefinovaným spektrálním profilem, následné barevné vizualizaci dané nalezené podobnosti a integraci tohoto snímku do obrazového výstupu systému společně s obrazovými daty senzoru pracujícího ve viditelné oblasti. Dále blok pro digitální zpracování obrazových dat může obsahovat bloky pro transformace obrazových dat, tedy translaci, rotaci a změnu měřítka pro optimální zarovnání obrazových dat z obou senzorů.The principle of suitable visualization of image data from a sensor operating in the near infrared radiation consists primarily (but not only) in classifying the image elements of the scene (pixels) according to similarity with a predefined spectral profile, subsequent color visualization of the similarity and integration of this image into the system image output together with image data of a sensor operating in the visible area. Furthermore, the block for digital image data processing may contain blocks for image data transformations, i.e. translation, rotation and scaling for optimal alignment of image data from both sensors.
Pro integraci zpracovaných obrazových dat ze senzoru pracujícího v oblasti blízkého infračerveného záření do obrazových dat ze senzoru pracujícího v oblasti viditelného spektra lze s výhodou využít faktu, že pro lidské oko je pro určení subjektivního dojmu ostrosti obrazové informace primární jasová složka a až sekundární složka barevná. Obrazová data z obou senzorů lze tedyTo integrate the processed image data from the near-infrared sensor into the image data from the visible spectrum sensor, the fact that for the human eye the primary luminance component and even the secondary component are color is used to determine the subjective impression of sharpness of the image information. Image data from both sensors is therefore possible
-4CZ 306066 B6 například integrovat tak, že z obrazového senzoru pracujícího ve viditelném spektru se použije jasová složka signálu a ze senzoru pracujícího v oblasti blízkého infračerveného záření se (po zpracování a vizualizaci) použije složka barevná. Tedy ve výsledném obrazovém signálu je zachován dojem ostrosti zároveň s barevnou vizualizaci spektrálních charakteristik snímané scény.-4GB 306066 B6 for example, to integrate the luminance component of the signal from the image sensor operating in the visible spectrum and the color component (after processing and visualization) to use the color component from the sensor operating in the near-infrared region. Thus, in the resulting image signal, the impression of sharpness is preserved at the same time as the color visualization of the spectral characteristics of the captured scene.
Data z použitých senzorů lze ohodnotit na podobnost s předdefinovaným spektrálním profilem pomocí standardních algoritmů pro určení podobnosti dvou spektrálních profilů, jako je například metoda nejmenších čtverců. Systém u každého bodu (pixelu) určí míru podobnosti s předdefinovaným spektrálním profilem a tato hodnota je použita pro obarvení výsledného snímku.The data from the sensors used can be evaluated for similarity to a predefined spectral profile using standard algorithms for determining the similarity of two spectral profiles, such as the least squares method. The system determines the degree of similarity with a predefined spectral profile at each point (pixel) and this value is used to color the resulting image.
U pokročilejších implementací je možné použít náročnější algoritmy pro zpracování spektrálních dat, například lineární spektrální unmixing buďto s použitím předdefinovaných hlavních složek (tzv. endmembers), nebo používající analýzu hlavních komponent pro dynamickou analýzu snímané scény. V závislosti na implementaci lze i u těchto algoritmů dosáhnout provozu v reálném čase, zejména díky výrazně nižšímu počtu spektrálních pásem použitých senzorů ve srovnání se zpracováním dat z obvyklých spektrálních senzorů s řádkovým snímáním (line-scan). Určitá nižší přesnost systému je vyvážena nižšími výpočetními nároky na zpracování výstupních dat a tedy i možností zpracování v reálném čase.For more advanced implementations, it is possible to use more sophisticated algorithms for processing spectral data, such as linear spectral unmixing, either using predefined endmembers or using principal component analysis for dynamic analysis of the captured scene. Depending on the implementation, real-time operation can also be achieved with these algorithms, mainly due to the significantly lower number of spectral bands of the sensors used compared to data processing from conventional spectral sensors with line-scan. Some lower accuracy of the system is balanced by lower computational demands on the processing of output data and thus also the possibility of real-time processing.
Dermatologie jako zdravotnický obor zabývající se stavem a nemocemi kůže je vhodným oborem použití systému dle předkládaného vynálezu. Diagnostika stavu pokožky nebo zvýšení viditelnosti podkožních útvarů (např. žil) díky provozu systému dle předkládaného vynálezu v oblasti blízkého infračerveného světla využívající optické okno v tomto rozsahu jsou vhodné příklady využití tohoto systému.Dermatology as a medical field dealing with the condition and diseases of the skin is a suitable field of application of the system according to the present invention. Diagnosis of the skin condition or increased visibility of subcutaneous structures (e.g. veins) due to the operation of the system according to the present invention in the near infrared light region using an optical window in this range are suitable examples of the use of this system.
Během invazivních chirurgických (případně minimálně invazivních laparoskopických) zákroků se využívají endoskopické kamery, které poskytují operujícímu personálu informace o stavu těla pacienta v oblasti zákroku a tyto systémy jsou ve velké míře využívány i pro navigaci během těchto zákroků. Systém dle předkládaného vynálezu lze s výhodou využít právě pro zdravotnické zákroky, jelikož umožňuje podstatně zvýšit objem užitečné informace v obrazovém výstupu a tím zvýšit přesnost a úspěšnost takto prováděných zdravotnických zákroků.During invasive surgical (or minimally invasive laparoscopic) procedures, endoscopic cameras are used, which provide the operating staff with information about the condition of the patient's body in the area of the procedure, and these systems are widely used for navigation during these procedures. The system according to the present invention can be advantageously used for medical procedures, as it makes it possible to substantially increase the volume of useful information in the image output and thus to increase the accuracy and success of the medical procedures performed in this way.
Dalším provedením systému dle předkládaného vynálezu je aplikace v mobilních zařízeních, kde jsou použité obrazové senzory integrovány společně s optickými komponentami systému v přenosném mobilním zařízení (chytrý telefon, tablet, ...) a uživatel tohoto zařízení má přístup k tomuto integrovanému hardware pomocí dedikované aplikace. Toto podstatně zvýší možnosti použití takovéhoto zařízení, mimo jiné jako osobního zdravotního asistenta pro diagnostiku dermatologických útvarů, zjištění stavu ovoce a zeleniny v obchodě a jiné aplikace benefítující z vyššího spektrálního rozlišení systému dle předkládaného vynálezu.Another embodiment of the system according to the present invention is an application in mobile devices, where the used image sensors are integrated together with optical components of the system in a portable mobile device (smartphone, tablet, ...) and the user of this device has access to this integrated hardware using a dedicated application. . This will substantially increase the possibilities of using such a device, inter alia as a personal health assistant for the diagnosis of dermatological formations, the detection of fruit and vegetables in the store and other applications benefiting from the higher spectral resolution of the system of the present invention.
Jiným provedením vynálezu může být použití v oblasti bezpečnostních kamer, kde jsou použité senzory i optické komponenty integrovány ve formě standardní bezpečnostní kamery. Toto řešení umožňuje zvýšit detekční schopnosti systému díky vyššímu spektrálnímu rozsahu oproti standardním systémům pracujícím v oblasti viditelného světla a dále díky hyperspektrálnímu snímači, který zajišťuje vyšší klasifikační schopnosti pomocí vyššího počtu obsažených spektrálních pásem oproti standardním RGB systémům.Another embodiment of the invention can be used in the field of security cameras, where the used sensors and optical components are integrated in the form of a standard security camera. This solution allows to increase the detection capabilities of the system due to the higher spectral range compared to standard systems operating in the field of visible light and also thanks to the hyperspectral sensor, which provides higher classification capabilities through a higher number of spectral bands contained compared to standard RGB systems.
Objasnění výkresůExplanation of drawings
Obr. 1: Blokové schéma hyperspektrálního zobrazovacího systému, kde £je objektiv, 2 je rozdělovač optického svazku, 3 značí obrazový senzor pro viditelné spektrum, 4 je obrazový senzor pro oblast blízkého infračerveného záření, 5 značí blok digitálního zpracování obrazových dat a 6 je obrazový výstup systému.Giant. 1: Block diagram of a hyperspectral imaging system, where £ is a lens, 2 is an optical beam splitter, 3 is an image sensor for the visible spectrum, 4 is an image sensor for the near-infrared region, 5 is a digital image processing block and 6 is an image output of the system. .
-5CZ 306066 B6-5GB 306066 B6
Příklady uskutečnění vynálezuExamples of embodiments of the invention
Systém zdravotnické endoskopické kamery sestávající ze dvou podsystémů, tedy kamerové hlavy a hlavní jednotky. Tento systém využívá pro nasvícení snímané scény světelný zdroj s vhodnou spektrální charakteristikou pokrývající spektrální pracovní rozsahy všech použitých obrazových senzorů. Světelný zdroj není součástí předkládaného vynálezu.Medical endoscopic camera system consisting of two subsystems, ie the camera head and the main unit. This system uses a light source with a suitable spectral characteristic covering the spectral working ranges of all used image sensors to illuminate the captured scene. The light source is not part of the present invention.
Podsystém kamerové hlavy obsahuje objektiv 1 umožňující připojení standardních endoskopických nástavců, mající propustnost v pásmech spektrální citlivosti obou použitých senzorů 3, 4 zároveň s optimalizovaným spektrálním rozsahem pro zaostření různých vlnových délek do jedné obrazové roviny. V optické cestě je dále umístěn rozdělovač 2 optického svazku, který jedinou výslednou obrazovou rovinu objektivu 1 systému rozdělí na dvě obrazové roviny. Rozdělovač 2 optického svazku je nepolarizující a nemusí mít stejnou spektrální charakteristiku pro obě dvě výsledné optické cesty. V takto vzniklých dvou obrazových rovinách jsou umístěny obrazové senzory 3, 4 systému, senzor 3 s vysokým prostorovým rozlišením a nízkým spektrálním rozlišením pracující v oblasti viditelného světla (400 až 700 nm) a senzor 4 s vysokým spektrálním a nízkým prostorovým rozlišením pracující v oblasti blízkého infračerveného záření (600 až 1000 nm).The camera head subsystem comprises a lens 1 enabling the connection of standard endoscopic extensions having transmittance in the spectral sensitivity bands of the two sensors 3, 4 used, together with an optimized spectral range for focusing different wavelengths in one image plane. Further located in the optical path is an optical beam splitter 2, which divides the only resulting image plane of the lens 1 of the system into two image planes. The optical beam splitter 2 is non-polarizing and may not have the same spectral characteristics for the two resulting optical paths. In the two image planes thus formed, the image sensors 3, 4 of the system, the sensor 3 with high spatial resolution and low spectral resolution operating in the visible light region (400 to 700 nm) and the sensor 4 with high spectral and low spatial resolution operating in the near region are located. infrared radiation (600 to 1000 nm).
Data z obou senzorů 3, 4 jsou vyčítána synchronně, tedy referenční hodinový signál pro oba senzory je generován ze stejného zdroje s případnou úpravou kmitočtů těchto dvou hodinových signálů pomocí obvodu fázového závěsu. Tedy hodinové zdroje zachovávají stále stejnou fázi. Na základě těchto hodinových signálů jsou pro oba senzory 3, 4 generovány referenční časovači signály (horizontální synchronizace, vertikální synchronizace a další), jejichž časové periody jsou shodné, a tedy obě tato časování zůstávají také ve stejné fázi. Je tedy možné započít vyčítání obrazové informace z prvního senzoru vždy ve stejný čas ve vztahu k vyčítání dat z druhého senzoru. Je vhodné použít stejný typ vyčítání obou senzorů, preferovaná je globální závěrka pro minimalizaci obrazových artefaktů vznikajících pohybem objektů během expozice obrazovým senzorem. Použití senzorů s různým typem závěrky je možné také, v takovém případě jsou referenční časování pro použité obrazové senzory vzájemně posunutá v takové fázi, aby expozice jednotlivých snímků u obou senzorů začala a skončila ve stejném čase, případně u kratších expozičních časů tak, aby expozice senzoru s globální závěrkou probíhala v době expozice střední části senzoru s typem závěrky „rolling shutter“.The data from both sensors 3, 4 are read synchronously, i.e. the reference clock signal for both sensors is generated from the same source with possible adjustment of the frequencies of these two clock signals by means of a phase-locked loop circuit. Thus, the clock resources still maintain the same phase. Based on these clock signals, reference timing signals (horizontal synchronization, vertical synchronization, etc.) are generated for both sensors 3, 4, whose time periods are identical, and thus both of these timings also remain in the same phase. Thus, it is possible to start reading the image information from the first sensor at the same time in relation to reading the data from the second sensor. It is advisable to use the same type of reading of both sensors, the global shutter is preferred to minimize image artifacts caused by the movement of objects during exposure by the image sensor. The use of sensors with different shutter types is also possible, in which case the reference timings for the image sensors used are shifted to each other so that the exposure of individual images for both sensors begins and ends at the same time, or for shorter exposure times so that the sensor exposure with the global shutter took place at the time of exposure of the middle part of the sensor with the type of shutter "rolling shutter".
Data z těchto senzorů 3 a 4 umístěných v kamerové hlavě systému jsou konvertována do formy vhodné pro přenos a jsou přenesena do hlavní jednotky systému obsahující bloky 5 pro zpracování obrazových a hyperspektrálních dat. Data mohou být s výhodou přenášena v tzv. RA W formě, tedy bez dopočítaných chybějících hodnot jednotlivých spektrálních pásem použitých senzorů.The data from these sensors 3 and 4 located in the camera head of the system are converted into a form suitable for transmission and are transferred to the main unit of the system containing blocks 5 for processing image and hyperspectral data. The data can advantageously be transmitted in the so-called RA W form, ie without the calculated missing values of the individual spectral bands of the sensors used.
V hlavní jednotce jsou na vstupních datech provedeny základní obrazové transformace, jako zejména kalibrace spektrální citlivosti obou senzorů, odstranění barevného prokladu (Bayer demosaicing), vyvážení bílé, mapování barevného prostoru u obrazového senzoru 3 pracujícího v oblasti viditelného světla a další. Takto standardně upravená data z obrazového senzoru 3 pracujícího v oblasti viditelného světla jsou použita jako standardní, neupravený obrazový výstup systému.In the main unit, basic image transformations are performed on the input data, such as calibration of the spectral sensitivity of both sensors, Bayer demosaicing, white balance, color space mapping of the image sensor 3 operating in the visible light area and more. Thus, the standard data from the image sensor 3 operating in the visible light area is used as a standard, unmodified image output of the system.
Obrazová data ze senzoru s vysokým spektrálním a nízkým prostorovým rozlišením jsou zarovnána na obrazová data senzoru s vysokým prostorovým a nízkým spektrálním rozlišením. Toto je implementováno pomocí standardních geometrických obrazových transformací, tedy translace, rotace a změny měřítka. Jednotlivé elementy (pixely) takto vzniklého hyperspektrálního snímku jsou vyhodnoceny na podobnost s předdefinovaným spektrálním profilem pomocí standardních algoritmů. Pro ohodnocení podobnosti mohou být jednotlivé spektrální n-tice normalizovány do vhodného tvaru. Ohodnocením vzniklá obrazová rovina je namapována do barevného prostoru pomocí vhodné převodní funkce, např. takzvané heat-map. Takto vzniklý RGB snímek je použit jako hlavní, zpracovaný výstup 6 systému.The image data from the high spectral and low spatial resolution sensor is aligned to the image data of the high spatial and low spectral resolution sensor. This is implemented using standard geometric image transformations, ie translation, rotation and scaling. The individual elements (pixels) of the resulting hyperspectral image are evaluated for similarity to the predefined spectral profile using standard algorithms. To assess similarity, individual spectral n-tuples can be normalized to a suitable shape. The resulting image plane is mapped to the color space using a suitable conversion function, such as the so-called heat-map. The resulting RGB image is used as the main, processed output 6 of the system.
-6CZ 306066 B6-6GB 306066 B6
Systém může implementovat i funkci rozdělení obrazu, kde jsou na jednom obrazovém výstupu zobrazeny zároveň neupravený obraz ze senzoru 3 pracujícím ve viditelném spektru a upravený obraz ze zpracovaných dat obou senzorů 3 a 4. S výhodou lze využít rozdělení obrazu na levou a pravou polovinu, tzv. rozložení side-by-side.The system can also implement an image division function, where an unadjusted image from sensor 3 operating in the visible spectrum and a modified image from processed data of both sensors 3 and 4 are displayed on one image output. Advantageously, image division into left and right halves, so-called .side-by-side layout.
Spektrální profil, vůči kterému je v datech obrazových senzorů určována podobnost může být předem definovaný nebo získaný během provozu zařízení. Předem definovaný může být například z databází spektrálních profilů tkání a jiných oblastí zájmu, například nádorových buněk. Spektrální profil získaný při provozu zařízení je získán dotykem na oblast zájmu na dotykovém senzoru v režimu zařízení, kdy je na LCD displeji pod dotykovým senzorem zobrazeno živé video z jednoho nebo obou senzorů systému. Tím je uživateli umožněno velmi rychle vybrat cílovou oblast zájmu, kterou systém použije jako referenční a bude ji ve snímané scéně zvýrazňovat.The spectral profile to which the similarity is determined in the image sensor data can be predefined or obtained during operation of the device. It can be predefined, for example, from databases of spectral profiles of tissues and other areas of interest, such as tumor cells. The spectral profile obtained during device operation is obtained by touching the area of interest on the touch sensor in device mode, where live video from one or both sensors of the system is displayed on the LCD display below the touch sensor. This allows the user to very quickly select a target area of interest that the system will use as a reference and highlight in the captured scene.
Průmyslová využitelnostIndustrial applicability
Předkládaný vynález lze využít mimo jiné v lékařské endoskopii pro zvýšení přesnosti a úspěšnosti invazivních chirurgických zákroků. Systém umožňuje jednak provoz ve standardním režimu s použitím obrazových dat pouze z obrazového senzoru pracujícího v oblasti viditelného spektra, tak i kombinovaný (hybridní) provoz v režimu s použitím dat z obou obrazových senzorů a jejich vhodnou vizualizaci a integrací. Tímto lze dosáhnout podstatného zvýšení užitečné informace ve výstupu systému vhodné pro navigaci během lékařských zákroků a tedy i zvýšení přesnosti a úspěšnosti těchto zákroků. Systém lze využít i mimo lékařskou endoskopii, především v potravinářském průmyslu, zemědělství, archeologii, vojenství a dalších oborech.The present invention can be used, inter alia, in medical endoscopy to increase the accuracy and success of invasive surgery. The system allows both operation in standard mode using image data only from the image sensor operating in the visible spectrum, as well as combined (hybrid) operation in mode using data from both image sensors and their appropriate visualization and integration. This makes it possible to achieve a substantial increase in the useful information in the output of the system suitable for navigation during medical procedures and thus also an increase in the accuracy and success of these procedures. The system can also be used outside of medical endoscopy, especially in the food industry, agriculture, archeology, the military and other fields.
Claims (8)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CZ2015-343A CZ2015343A3 (en) | 2015-05-20 | 2015-05-20 | Hyperspectral display system for medicinal dermatology or endoscopy, method of scanning images by the hyperspectral display system and use thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CZ2015-343A CZ2015343A3 (en) | 2015-05-20 | 2015-05-20 | Hyperspectral display system for medicinal dermatology or endoscopy, method of scanning images by the hyperspectral display system and use thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CZ306066B6 true CZ306066B6 (en) | 2016-07-20 |
| CZ2015343A3 CZ2015343A3 (en) | 2016-07-20 |
Family
ID=56611784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CZ2015-343A CZ2015343A3 (en) | 2015-05-20 | 2015-05-20 | Hyperspectral display system for medicinal dermatology or endoscopy, method of scanning images by the hyperspectral display system and use thereof |
Country Status (1)
| Country | Link |
|---|---|
| CZ (1) | CZ2015343A3 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5311018A (en) * | 1993-02-11 | 1994-05-10 | The United States Of America As Represented By The Secretary Of The Air Force | Optical system for obtaining separate and simultaneous near-infrared and visible light images |
| US20110279698A1 (en) * | 2010-05-12 | 2011-11-17 | Sony Corporation | Image processing apparatus, image processing method, and program |
-
2015
- 2015-05-20 CZ CZ2015-343A patent/CZ2015343A3/en not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5311018A (en) * | 1993-02-11 | 1994-05-10 | The United States Of America As Represented By The Secretary Of The Air Force | Optical system for obtaining separate and simultaneous near-infrared and visible light images |
| US20110279698A1 (en) * | 2010-05-12 | 2011-11-17 | Sony Corporation | Image processing apparatus, image processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| CZ2015343A3 (en) | 2016-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11900623B2 (en) | Hyperspectral imaging with tool tracking in a light deficient environment | |
| US11778340B2 (en) | Multi-function imaging | |
| US20160086380A1 (en) | Hyperspectral imager | |
| US9727962B2 (en) | System for visualizing tissue in a surgical region | |
| CN107735015A (en) | The method and system being imaged using the laser speckle for tissue of color image sensor | |
| CA2979384C (en) | Systems and methods for measuring tissue oxygenation | |
| RU2011128383A (en) | EQUIPMENT FOR INFRARED OBSERVATION OF ANATOMIC STRUCTURES AND METHOD OF PROCESSING SIGNALS FROM Mentioned STRUCTURES | |
| WO2015143417A1 (en) | Systems and methods for measuring tissue oxygenation | |
| JP7063604B2 (en) | Electronic microscope | |
| JP2021035549A (en) | Endoscope system | |
| US20200088580A1 (en) | Hyperspectral imaging method and device | |
| CN109561808A (en) | Analytical equipment | |
| CZ306066B6 (en) | Hyperspectral imaging system for medicinal dermatology or endoscopy, method of scanning by the hyperspectral imaging system and use thereof | |
| EP4275577A1 (en) | Method, processor, and medical fluorescence observation device using two color images and color cameras for fluorescence and white-light | |
| KR102372603B1 (en) | Medical system providing functional image | |
| Pfahl et al. | A laparoscopic multispectral system to visualize tissue oxygenation | |
| Gao | Bio-Inspired Multi-Spectral Imaging Sensors and Algorithms for Image Guided Surgery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Patent lapsed due to non-payment of fee |
Effective date: 20220520 |