JP6999597B2 - Processor device and its operation method and endoscopic system - Google Patents
Processor device and its operation method and endoscopic system Download PDFInfo
- Publication number
- JP6999597B2 JP6999597B2 JP2019059812A JP2019059812A JP6999597B2 JP 6999597 B2 JP6999597 B2 JP 6999597B2 JP 2019059812 A JP2019059812 A JP 2019059812A JP 2019059812 A JP2019059812 A JP 2019059812A JP 6999597 B2 JP6999597 B2 JP 6999597B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- oxygen saturation
- reliability
- rel
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Description
本発明は、観察対象の酸素飽和度を求めるプロセッサ装置及びその作動方法並びに内視鏡システムに関する。 The present invention relates to a processor device for determining the oxygen saturation of an observation target, an operation method thereof, and an endoscope system.
医療分野において、生体内の観察対象を撮影する内視鏡システムが広く利用されている。内視鏡システムには、生体内の観察対象に白色の通常光を照射して、生体組織の表面の全体的な性状を観察する通常モードと、観察対象に特殊光を照射して観察を行う特殊モードを備えるものがある。特殊モードでは、特殊光として、例えば波長が制限された挟帯域の光を患部に照射することにより、観察対象の酸素飽和度を算出し、酸素飽和度を画像化した酸素飽和度画像をモニタに表示することにより、観察対象の酸素飽和度を把握することが可能である。 In the medical field, an endoscope system for photographing an observation target in a living body is widely used. The endoscope system has a normal mode in which an observation target in a living body is irradiated with white normal light to observe the overall properties of the surface of the living tissue, and a normal mode in which the observation target is irradiated with special light for observation. Some have a special mode. In the special mode, the oxygen saturation of the observation target is calculated by irradiating the affected area with, for example, light in a narrow band having a limited wavelength as special light, and the oxygen saturation image that images the oxygen saturation is used as a monitor. By displaying it, it is possible to grasp the oxygen saturation of the observation target.
酸素飽和度画像においては、血液等の付着物がある領域では、酸素飽和度の算出が正確に行われず、高酸素又は低酸素のアーチファクトが発生することがある。これに対して、特許文献1では、酸素飽和度の信頼度を算出し、信頼度に応じて酸素飽和度の彩度を変えることによって、付着物領域などの酸素飽和度の算出精度が低い領域を把握できるようにしている。
In the oxygen saturation image, the oxygen saturation is not calculated accurately in the region where there are deposits such as blood, and high oxygen or low oxygen artifacts may occur. On the other hand, in
しかしながら、特許文献1のように、酸素飽和度の信頼度が低いと判定された領域であっても、診断上重要な領域である場合がある。例えば、病変等によって、粘膜内に増生された腫瘍血管の領域を、酸素飽和度の算出精度が低い出血領域と認識した場合には、酸素飽和度画像上で腫瘍血管の領域が低彩度の領域として表示され、酸素飽和度の情報が正確に表示されなくなる。このような場合に備えて、事後的に、酸素飽和度画像を検証することができるように、酸素飽和度画像の作成に用いた信頼度に関する情報を残しておくことが求められていた。
However, even a region determined to have low reliability of oxygen saturation as in
本発明は、酸素飽和度とその信頼度に基づいて酸素飽和度画像を作成した場合おいて、酸素飽和度画像を事後的に検証できるようにするために、酸素飽和度の信頼度に関する情報を残すことができるプロセッサ装置及びその作動方法並びに内視鏡システムを提供することを目的とする。 In the present invention, when an oxygen saturation image is created based on the oxygen saturation and its reliability, information on the reliability of the oxygen saturation is provided so that the oxygen saturation image can be verified ex post facto. It is an object of the present invention to provide a processor device which can be left, a method of operating the same, and an endoscopic system.
本発明のプロセッサ装置は、観察対象を撮像して得られる分光画像を複数取得する画像取得部と、複数の分光画像に基づいて、観察対象の酸素飽和度を算出する酸素飽和度算出部と、複数の分光画像に基づいて、酸素飽和度の信頼度を算出する信頼度算出部と、複数の分光画像に基づく観察用画像、酸素飽和度及び信頼度に基づく酸素飽和度画像、及び、信頼度の分布を画像化した信頼度画像を作成する画像作成部と、静止画取得指示が行われた場合に、観察用画像の静止画、酸素飽和度画像の静止画、及び信頼度画像を静止画保存部に保存する静止画保存制御部とを備える。 The processor device of the present invention includes an image acquisition unit that acquires a plurality of spectral images obtained by imaging an observation target, an oxygen saturation calculation unit that calculates the oxygen saturation of the observation target based on the plurality of spectral images, and a unit. A reliability calculation unit that calculates the reliability of oxygen saturation based on multiple spectral images, an observation image based on multiple spectral images, an oxygen saturation image based on oxygen saturation and reliability, and reliability. An image creation unit that creates a reliability image that visualizes the distribution of It is provided with a still image storage control unit for storing in the storage unit.
信頼度算出部は、複数の分光画像から得られ、酸素飽和度の算出精度に影響を与える複数の信頼度用係数に基づいて、信頼度を算出する。複数の信頼度用係数には、酸素飽和度の算出に用いる画像の画素値の大きさに関する第1信頼度用係数Rel_1、酸素飽和度の算出に影響を与える血液量に関する第2信頼度用係数Rel_2、及び、酸素飽和度の算出に影響を与える残渣又は残液に関する第3信頼度用係数Rel_3が含まれる。 The reliability calculation unit calculates the reliability based on a plurality of reliability coefficients obtained from a plurality of spectroscopic images and affecting the calculation accuracy of the oxygen saturation. The multiple reliability coefficients include the first reliability coefficient Rel_1 for the size of the pixel value of the image used to calculate the oxygen saturation and the second reliability coefficient for the blood volume that affects the calculation of the oxygen saturation. Includes Rel_2 and a third reliability factor Rel_3 for residues or residual liquids that affect the calculation of oxygen saturation.
酸素飽和度画像は、酸素飽和度に対応する色調情報が、画素毎に、信頼度によって変化することが好ましい。信頼度画像は、信頼度によって画素値の大きさが変化するグレースケール画像であることが好ましい。信頼度画像は、信頼度によって色調情報が変化するカラー画像であることが好ましい。 In the oxygen saturation image, it is preferable that the color tone information corresponding to the oxygen saturation changes for each pixel depending on the reliability. The reliability image is preferably a grayscale image in which the size of the pixel value changes depending on the reliability. The reliability image is preferably a color image whose color tone information changes depending on the reliability.
本発明の内視鏡システムは、白色光と酸素飽和度用照明光を発する内視鏡と、上記記載の本発明のプロセッサ装置とを備え、複数の分光画像は、白色光によって照明された観察対象を撮像して得られる第1画像と、酸素飽和度用照明光によって照明された観察対象を撮像して得られる第2画像を含む。 The endoscope system of the present invention comprises an endoscope that emits white light and illumination light for oxygen saturation, and the processor device of the present invention described above, wherein a plurality of spectroscopic images are observed illuminated by white light. It includes a first image obtained by imaging an object and a second image obtained by imaging an observation object illuminated by an illumination light for oxygen saturation.
観察用画像は、第1画像に基づく通常画像であることが好ましい。第2画像には、中心波長が470nm±10nmである第2青色光の成分を含むB2画像が含まれることが好ましい The observation image is preferably a normal image based on the first image. The second image preferably includes a B2 image containing a component of the second blue light having a center wavelength of 470 nm ± 10 nm.
本発明のプロセッサ装置の作動方法は、画像取得部は、観察対象を撮像して得られる分光画像を複数取得するステップと、酸素飽和度算出部が、複数の分光画像に基づいて、観察対象の酸素飽和度を算出するステップと、信頼度算出部が、複数の分光画像に基づいて、酸素飽和度の信頼度を算出するステップと、静止画取得指示が行われた場合に、画像作成部が、酸素飽和度及び信頼度に基づく酸素飽和度画像、及び、信頼度の分布を画像化した信頼度画像を作成し、静止画保存制御部が、酸素飽和度画像の静止画、及び信頼度画像を静止画保存部に保存するステップとを有する。 In the operation method of the processor device of the present invention, the image acquisition unit has a step of acquiring a plurality of spectral images obtained by imaging the observation target, and the oxygen saturation calculation unit has the oxygen saturation calculation unit based on the plurality of spectral images. The step of calculating the oxygen saturation, the step of calculating the reliability of the oxygen saturation based on a plurality of spectral images by the reliability calculation unit, and the image creation unit when a still image acquisition instruction is given. , An oxygen saturation image based on oxygen saturation and reliability, and a reliability image that images the distribution of reliability, and the still image storage control unit creates a still image of the oxygen saturation image and a reliability image. It has a step of storing the image in the still image storage unit.
本発明によれば、酸素飽和度の信頼度に関する情報を残すことができるため、酸素飽和度画像を事後的に検証することができる。 According to the present invention, since information on the reliability of oxygen saturation can be left, the oxygen saturation image can be verified ex post facto.
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、表示部であるモニタ18と、ユーザーインターフェース19とを有する。内視鏡12は、光源装置14と光学的に接続するとともに、プロセッサ装置16に電気的に接続する。内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12cと、先端部12dとを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cが湾曲する。この湾曲部12cが湾曲した結果、先端部12dが所望の方向に向く。なお、先端部12dには、観察対象に向けて空気や水等を噴射する噴射口(図示しない)が設けられている。
As shown in FIG. 1, the
また、操作部12bには、アングルノブ12eの他、モード切替スイッチ13a、フリーズスイッチ13b、ズーム操作部13cが設けられている。モード切替スイッチ13aは、観察モードの切り替え操作に用いる。内視鏡システム10は、通常モードと特殊モードを有する。通常モードは、照明光に白色光を用いて観察対象を撮影して得る自然な色合いの画像(以下、通常画像という)をモニタ18に表示する観察モードである。
In addition to the
特殊モードは、観察対象の酸素飽和度を算出して表示する酸素飽和度観察モードである。酸素飽和度観察モードでは、観察対象を撮像して得る複数の分光画像を用いて観察対象の酸素飽和度を算出し、算出した酸素飽和度の値を、疑似カラーを用いて示す画像(以下、酸素飽和度画像という)を生成してモニタ18に表示する。
The special mode is an oxygen saturation observation mode in which the oxygen saturation of the observation target is calculated and displayed. In the oxygen saturation observation mode, the oxygen saturation of the observation target is calculated using a plurality of spectral images obtained by imaging the observation target, and the calculated oxygen saturation value is shown by using pseudo color (hereinafter referred to as an image). An oxygen saturation image) is generated and displayed on the
フリーズスイッチ13bは、プロセッサ装置16に対して静止画取得指示を行うためのスイッチであり、プロセッサ装置16は、静止画取得指示に従って、静止画画像を保存する。静止画取得に関しては、通常モードに設定されている場合には、静止画取得指示が行われたタイミングにて、通常画像の静止画を少なくとも1フレーム分保存する。一方、酸素飽和度モードに設定されている場合には、静止画取得指示が行われたタイミングにて、酸素飽和度画像の静止画を少なくとも1フレーム分取得する第1フリーズモードと、静止画取得指示が行われたタイミングにて、通常画像の静止画、酸素飽和度画像の静止画、及び、信頼度画像をそれぞれ少なくとも1フレーム分ずつ取得する第2フリーズモードがある。第1フリーズモード又は第2フリーズモードのいずれを用いるかについては、ユーザーインターフェース19によって設定される。ズーム操作部13cは、観察対象を拡大または縮小して表示する操作に用いる。なお、第2フリーズモードにおいては、通常画像の静止画、及び、信頼度画像を保存するようにしてもよい。
The
プロセッサ装置16は、モニタ18及びユーザーインターフェース19と電気的に接続する。モニタ18は、各観察モードの画像や画像に付帯する画像情報等を出力表示する。ユーザーインターフェース19は、キーボードなどを有し、機能設定等の入力操作を受け付ける。ユーザーインターフェース19としては、キーボードの他に、マウスなどを設けてもよい。なお、プロセッサ装置16には、画像や画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
The
図2に示すように、光源装置14は、照明光を発光する光源部20と、光源部20の駆動を制御する光源制御部22と、を備えている。
As shown in FIG. 2, the
光源部20は、BS光源20a、BL光源20b、G光源20c、及び、R光源20dの4個の光源を備える。本実施形態においては、BS光源20a、BL光源20b、G光源20c、及び、R光源20dはいずれもLED(Light Emitting Diode)である。光源部20には、これらのLEDの代わりに、LD(Laser Diode)と蛍光体と帯域制限フィルタとの組み合わせや、キセノンランプ等のランプと帯域制限フィルタの組み合わせ等を用いることができる。
The
BS光源20aは、中心波長が約450±10nm、波長帯域が約420nm~500nmの第1青色光BSを発光する青色光源である。BL光源20bは、中心波長及び波長帯域が約470nm±10nmであり、青色のいわゆる狭帯域光(以下、第2青色光BLという)を発光する青色光源である。G光源20cは、中心波長が約540±20nm、波長帯域が約480nm~600nmに及ぶ緑色光Gを発光する緑色光源である。R光源20dは、中心波長が約640±20nm、波長帯域が約600nm~650nmに及ぶ赤色光Rを発光する赤色光源である。
The BS
光源制御部22は、光源部20を構成する各光源20a~20dの点灯や消灯のタイミング、及び点灯時の発光量等をそれぞれ独立に制御する。この光源制御部22の制御により、光源部20は、通常モードにおいて使用する通常観察用照明光と、酸素飽和度観察モードにおいて使用する酸素飽和度観察用照明光とを発光する。
The light
通常モードの場合、光源制御部22は、BS光源20a、G光源20c、及びR光源20dを同時に点灯する。このため、通常観察用照明光は、第1青色光BSと、緑色光Gと、赤色光Rとを含む白色光である。本実施形態においては、通常モードの場合、光源部20は上記白色光を常時発光するが、観察対象の撮影タイミング(以下、撮影フレームという)に合わせて、白色光を発光しても良い。
In the normal mode, the light
酸素飽和度観察モードの場合、光源制御部22は、第1パターンと第2パターンで各光源20a~20dの点灯または消灯を交互に繰り返す。第1パターンは、BS光源20aと、G光源20cと、R光源20dを同時に点灯するパターンである。第1パターンの際には、第1青色光BSと、緑色光Gと、赤色光Rとを含む白色光が照明光になる。一方、第2パターンは、BL光源20bと、G光源20cと、R光源20dを同時に点灯するパターンである。このため、第2パターンの際には、第2青色光BLと、緑色光Gと、赤色光Rとを含む酸素飽和度用照明光になる。酸素飽和度観察モードでは、図3に示すように、白色光と酸素飽和度用照明光とが撮影フレームに合わせて、例えば、1撮影フレーム毎に交互に繰り返し発光する。以上のとおり、第1照明光と第2照明光とでは、分光特性が異なる。
In the oxygen saturation observation mode, the light
光源部20が発光した照明光は、ライトガイド41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用できる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3~0.5mmの細径なファイバケーブルを使用できる。
The illumination light emitted by the
内視鏡12の先端部12dには、照明光学系30aと撮影光学系30bが設けられている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が観察対象に照射される。撮影光学系30bは、対物レンズ46、ズームレンズ47、及びイメージセンサ48を有している。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、観察対象から戻る照明光の反射光等(散乱光、観察対象が発する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む)を用いて観察対象を撮影する。なお、ズームレンズ47は、ズーム操作部13cの操作をすることで移動し、イメージセンサ48を用いて撮影する観察対象を拡大または縮小する。
The
イメージセンサ48は、原色系のカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。図4に示すように、青色カラーフィルタは、主として青色帯域の光、具体的には波長帯域が380~560nmの波長帯域の光を透過する。青色カラーフィルタBFの透過率は、波長460~470nm付近においてピークになる。緑色カラーフィルタはGF、主として緑色帯域の光、具体的には、460~470nmの波長帯域の光を透過する。赤色カラーフィルタRFは、主として赤色帯域の光、具体的には、580~760nmの波長帯域の光を透過する。
The
イメージセンサ48を用いて観察対象を撮影すると、1回の撮影において最大で、B画素において撮影して得るB画像(青色画像)、G画素において撮像して得るG画像(緑色画像)、及び、R画素において撮影して得るR画像(赤色画像)の3種類の画像を得ることができる。通常モードの場合、使用する通常観察用照明光は白色光なので、Bc画像、Gc画像、及びRc画像が得られる。Bc画像は、主に通常観察用照明光が含む第1青色光BSの反射光等を用いて観察対象を撮影した画像であり、Gc画像は、主に通常観察用照明光が含む緑色光Gの反射光等を用いて観察対象を撮影した画像である。同様に、Rc画像は、主に通常観察用照明光が含む赤色光Rの反射光等を用いて観察対象を撮影した画像である。
When an observation target is photographed using the
一方、酸素飽和度観察モードでは、照明光は、撮影フレームに合わせて交互に白色光と酸素飽和度用照明光とで切り替わる。このため、白色光を用いてB1画像、G1画像、及びR1画像を取得し(第1画像)、酸素飽和度用照明光を用いて、B2画像、G2画像、及びR2画像を得る(第2画像)。B2画像は、主に酸素飽和度用照明光が含む第2青色光BLの反射光等を用いて観察対象を撮影した画像であり、第2青色光の成分を含んでいる。G2画像は、主に酸素飽和度用照明光が含む緑色光Gの反射光等を用いて観察対象を撮影した画像である。同様に、R2画像は、主に酸素飽和度用照明光が含む赤色光Rの反射光等を用いて観察対象を撮影した画像である。したがって、酸素飽和度観察モードにおいて白色光を照明光に使用する撮影フレームにおいて得る各分光画像は、B1画像、G1画像、及びR2画像であり、酸素飽和度用照明光を照明光に使用する撮影フレームにおいて得る各分光画像は、B2画像、G2画像、及びR2画像である。 On the other hand, in the oxygen saturation observation mode, the illumination light is alternately switched between white light and oxygen saturation illumination light according to the shooting frame. Therefore, white light is used to acquire B1 images, G1 images, and R1 images (first image), and oxygen saturation illumination light is used to obtain B2 images, G2 images, and R2 images (second image). image). The B2 image is an image obtained by taking an observation target mainly by using the reflected light of the second blue light BL contained in the illumination light for oxygen saturation, and includes the component of the second blue light. The G2 image is an image obtained by taking an observation target mainly by using the reflected light of the green light G contained in the illumination light for oxygen saturation. Similarly, the R2 image is an image obtained by photographing the observation target mainly by using the reflected light of the red light R included in the illumination light for oxygen saturation. Therefore, the spectroscopic images obtained in the imaging frame in which the white light is used as the illumination light in the oxygen saturation observation mode are the B1 image, the G1 image, and the R2 image, and the imaging using the oxygen saturation illumination light as the illumination light. Each spectroscopic image obtained in the frame is a B2 image, a G2 image, and an R2 image.
イメージセンサ48としては、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色-原色色変換をすれば、B画像、G画像、及びR画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ48として使用できる。この場合、BGR等各色の照明光を用いて観察対象を順次撮影することにより、上記各色の画像を得ることができる。
As the
図2に示すように、プロセッサ装置16は、統括制御部52と、画像取得部54と、画像処理部61と、静止画保存制御部64と、静止画保存部65と、表示制御部66とを有する。
As shown in FIG. 2, the
統括制御部52は、プロセッサ装置16内の各部を制御する。統括制御部52は、モード切替スイッチ13aからのモード切替信号に基づいて、各モードに対応する制御を行う。また、統括制御部52は、内視鏡12及び光源装置14を制御する。統括制御部52は、光源装置14の光源制御部22を制御することにより、照明光の照射タイミングを制御する。また、統括制御部52は、内視鏡12のイメージセンサ48を制御することにより、撮影のタイミングを制御する。
The
画像取得部54は、イメージセンサ48から観察対象の画像を取得する。通常モードの場合、画像取得部54は、撮影フレーム毎にBc画像、Gc画像、及びRc画像を取得する。酸素飽和度観察モードの場合、画像取得部54は、照明光に白色光を使用する撮影フレームにおいては、B1画像、G1画像、及びR1画像を取得し、照明光に酸素飽和度用照明光を使用する撮影フレームにおいては、B2画像、G2画像、及びR2画像を取得する。
The
また、画像取得部54は、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59と、を有し、これらを用いて、取得した画像に各種処理を施す。
Further, the
DSP56は、取得した画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種処理を施す。
The
欠陥補正処理は、イメージセンサ48の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。デモザイク処理(等方化処理や同時化処理とも言う)は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列のため、イメージセンサ48において他の色の画素を配置しているために、画素値がない画素である。例えば、B画像はB画素において観察対象を撮影して得る画像なので、イメージセンサ48のG画素やR画素に対応する位置の画素には画素値がない。デモザイク処理は、B画像を補間して、イメージセンサ48のG画素及びR画素の位置にある画素の画素値を生成する。YC変換処理は、デモザイク処理後の画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrに変換する処理である。
The defect correction process is a process of correcting the pixel value of the pixel corresponding to the defective pixel of the
ノイズ低減部58は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色の画像に再変換する。
The
画像処理部61は、通常処理部62と、特殊処理部63とを有する。通常処理部62は、通常モード時に作動し、上記各種処理を施した1撮影フレーム分のBc画像、Gc画像、及びRc画像に対して、色変換処理、色彩強調処理、及び構造強調処理を施し、通常画像を生成する。色変換処理は、BGR各色の画像に対して3×3のマトリクス処理、階調変換処理、3次元LUT(ルックアップテーブル)処理等を行う。色彩強調処理は、画像の色彩を強調する処理であり、構造強調処理は、例えば、血管やピットパターン等の観察対象の組織や構造を強調する処理である。表示制御部66は、通常処理部62から通常画像を順次取得し、取得した通常画像を表示に適した形式に変換してモニタ18に順次出力表示する。これにより、通常モードの場合、医師等は、通常画像の動画を用いて観察対象を観察できる。
The
特殊処理部63は酸素飽和度モード時に作動し、B1画像、G1画像、R1画像、B2画像に基づいて、酸素飽和度を算出し、酸素飽和度画像を作成する。特殊処理部63は、図5に示すように、酸素飽和度算出部70、データ記憶部71、信頼度算出部72、及び、画像作成部73を備える。
The
酸素飽和度算出部70は、画像取得部54から酸素飽和度観察モードにおいて得る撮影画像を取得し、これらの撮影画像を用いて演算値を得て酸素飽和度を算出する。より具体的には、酸素飽和度算出部70は、酸素飽和度観察モード時に画像取得部54から分光画像として、B1画像、G1画像及びR1画像、並びに、B2画像、G2画像及びR2画像を取得する。そして、B1画像とG1画像との和に対するB2画像の比B2/(B1+G1)と、G1画像に対するR1画像の比R1/G1と、をそれぞれ画素ごとに算出する。これらの比(信号比)B2/(B1+G1)、及び、比R1/G1が、酸素飽和度の算出に用いる演算値である。
The oxygen saturation calculation unit 70 acquires captured images obtained in the oxygen saturation observation mode from the
データ記憶部71は、酸素飽和度算出部70が算出する上記演算値と酸素飽和度との相関関係を、LUT等の形式で記憶している。図6に示すように、この相関関係を、縦軸Log(B2/B1+G2)及び横軸Log(R2/G2)を用いて形成する特徴空間において表すと、酸素飽和度が同じ値の点を結ぶ等値線が、ほぼ横方向に沿って形成される。また、等値線は、酸素飽和度が大きくなるほど縦軸方向の下方に位置する。例えば、酸素飽和度が100%の等値線75は、酸素飽和度が0%の等値線76よりも下方に位置する。
The data storage unit 71 stores the correlation between the calculated value calculated by the oxygen saturation calculation unit 70 and the oxygen saturation in a format such as a LUT. As shown in FIG. 6, when this correlation is expressed in a feature space formed by using the vertical axis Log (B2 / B1 + G2) and the horizontal axis Log (R2 / G2), points having the same oxygen saturation are connected. Isolation lines are formed approximately along the lateral direction. Further, the contour line is located lower in the vertical axis direction as the oxygen saturation increases. For example, the
上記相関関係は、図7に示す酸化ヘモグロビン(グラフ77)及び還元ヘモグロビン(グラフ78)の吸光特性と密接に関連している。具体的には、第2青色光BLの波長(約470±10nm)は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差が大きいので、ヘモグロビンの酸素飽和度に起因して吸光量が変化する。すなわち、第2青色光BLの波長は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる異吸光波長光である。このため、第2青色光BLは、酸素飽和度の情報を取り扱いやすい。したがって、照度ムラ等の補正のためにB1画像及びG1画像を用いてB2画像を規格化した比B2/(B1+G1)を用いれば、酸素飽和度を算出できる。 The above correlation is closely related to the absorbance characteristics of oxidized hemoglobin (graph 77) and reduced hemoglobin (graph 78) shown in FIG. 7. Specifically, since the wavelength of the second blue light BL (about 470 ± 10 nm) has a large difference in the absorption coefficients of the oxidized hemoglobin and the reduced hemoglobin, the amount of the absorption changes due to the oxygen saturation of the hemoglobin. That is, the wavelength of the second blue light BL is different absorption wavelength light having different extinction coefficients between oxidized hemoglobin and reduced hemoglobin. Therefore, the second blue light BL can easily handle information on oxygen saturation. Therefore, the oxygen saturation can be calculated by using the ratio B2 / (B1 + G1) in which the B2 image is normalized by using the B1 image and the G1 image for the correction of the uneven illuminance and the like.
しかし、比B2/(B1+G1)は酸素飽和度だけでなく、血液量にも依存する。そこで、比B2/(B1+G1)に加えて、主として血液量に依存して変化する比R1/G1を用いることで、血液量に影響されることなく、酸素飽和度を算出できるようにしている。なお、G1画像に含まれる緑色光Gの波長(約540±20nm)は、ヘモグロビンの吸光係数が比較的高いので、血液量に起因して吸光係数が変化しやすい波長である。なお、上記特徴空間における等値線の位置及び形状は、光散乱の物理的なシミュレーションをした結果として予め得られる。 However, the ratio B2 / (B1 + G1) depends not only on the oxygen saturation but also on the blood volume. Therefore, by using the ratio R1 / G1 that changes mainly depending on the blood volume in addition to the ratio B2 / (B1 + G1), the oxygen saturation can be calculated without being affected by the blood volume. The wavelength of green light G included in the G1 image (about 540 ± 20 nm) has a relatively high extinction coefficient of hemoglobin, so that the extinction coefficient is likely to change depending on the blood volume. The positions and shapes of the contour lines in the feature space are obtained in advance as a result of a physical simulation of light scattering.
酸素飽和度算出部70は、データ記憶部71が記憶するデータを参照し、酸素飽和度を算出する。本実施形態では、具体的には、酸素飽和度算出部70は、データ記憶部71が記憶する相関関係を参照し、比B2/(B1+G1)及び比R1/G1に対応する酸素飽和度を画素ごとに算出する。例えば、特定画素の比B2*/(B1*+G1*)及び比R1*/G1*に対応する酸素飽和度は、データ記憶部71が記憶する相関関係を参照すると「40%」である(図6参照)。したがって、酸素飽和度算出部70は、この特定画素の酸素飽和度を「40%」と算出する。 The oxygen saturation calculation unit 70 calculates the oxygen saturation by referring to the data stored in the data storage unit 71. In the present embodiment, specifically, the oxygen saturation calculation unit 70 refers to the correlation stored in the data storage unit 71, and calculates the oxygen saturation corresponding to the ratio B2 / (B1 + G1) and the ratio R1 / G1. Calculated for each. For example, the oxygen saturation corresponding to the ratio B2 * / (B1 * + G1 * ) and the ratio R1 * / G1 * of a specific pixel is "40%" when referring to the correlation stored in the data storage unit 71 (Fig.). 6). Therefore, the oxygen saturation calculation unit 70 calculates the oxygen saturation of this specific pixel as “40%”.
なお、比B2/(B1+G1)及び比R1/G1が極めて大きくなったり、極めて小さくなったりすることはほとんどない。すなわち、比B2/(B1+G1)及び比R1/G1の各値の組み合わせが、酸素飽和度100%の上限の等値線75(図6参照)よりも下方に分布したり、反対に、酸素飽和度0%の下限の等値線76(図6参照)よりも上方に分布したりすることはほとんどない。万が一、比B2/(B1+G1)及び比R1/G1の各値の組み合わせが、上限の等値線75より下方に分布する場合には、酸素飽和度算出部70はその画素の酸素飽和度を100%と算出する。同様に、比B2/(B1+G1)及び比R1/G1の各値の組み合わせが、下限の等値線76より上方に分布する場合には、酸素飽和度算出部70は、その画素の酸素飽和度を0%と算出する。また、比B2/(B1+G1)及びR1/G1に対応する点が上限の等値線75と下限の等値線76との間に分布しない場合には、その画素における酸素飽和度の信頼度が低いことを表示しても良いし、酸素飽和度を算出しないようにしても良い。
The ratio B2 / (B1 + G1) and the ratio R1 / G1 are rarely extremely large or extremely small. That is, the combination of the ratio B2 / (B1 + G1) and the ratio R1 / G1 is distributed below the contour line 75 (see FIG. 6), which is the upper limit of the oxygen saturation of 100%, or conversely, the oxygen saturation. It is rarely distributed above the contour line 76 (see FIG. 6), which is the lower limit of 0%. In the unlikely event that the combination of the ratio B2 / (B1 + G1) and the ratio R1 / G1 is distributed below the upper
信頼度算出部72は、酸素飽和度算出部70にて求めた酸素飽和度の正確性を数値化した信頼度を算出する。信頼度は「0」以上「1」以下の間の値であり、酸素飽和度の算出精度に影響を与える複数の信頼度用係数に基づいて算出される。複数の信頼度用係数には、酸素飽和度の算出に用いる画像の画素値の大きさに関する第1信頼度用係数Rel_1、酸素飽和度の算出に影響を与える血液量に関する第2信頼度用係数Rel_2、及び、酸素飽和度の算出に影響を与える残渣又は残液に関する第3信頼度用係数Rel_3が含まれる。 The reliability calculation unit 72 calculates the reliability obtained by quantifying the accuracy of the oxygen saturation degree obtained by the oxygen saturation calculation unit 70. The reliability is a value between "0" and "1", and is calculated based on a plurality of reliability coefficients that affect the calculation accuracy of oxygen saturation. The multiple reliability coefficients include the first reliability coefficient Rel_1 for the size of the pixel value of the image used to calculate the oxygen saturation and the second reliability coefficient for the blood volume that affects the calculation of the oxygen saturation. Includes Rel_2 and a third reliability factor Rel_3 for residues or residual liquids that affect the calculation of oxygen saturation.
第1信頼度用係数Rel_1は「0」以上「1」以下の間の値であり、酸素飽和度の算出に用いるB1画像の画素値、B2画像の画素値、G1画像の画素値、及び、R1画像の画素値に関する信頼度用係数Rel_B1、Rel_B2、Rel_G1、及び、Rel_R1に基づいて算出する。信頼度用係数Rel_B1については、図8に示すように、B1画像の画素値が閾値Th1と閾値Th2の間にある場合には、「1」とする。一方、信頼度用係数Rel_B1については、B1画像の画素値が閾値Th1を下回る場合には、「1」よりも小さくし、B1画像の画素値が小さくなる程、値を小さくする。また、信頼度用係数Rel_B1については、B1画像の画素値が閾値Th2を超える場合には、「1」よりも小さくし、B1画像の画素値が大きくなる程、値を小さくする。以上のように、B1画像の画素値が閾値Th1を下回る、又は、閾値Th2を超えるように、暗すぎる又は明る過ぎる領域については、酸素飽和度の算出精度が低くなるため、信頼度用係数Rel_B1を低くしている。 The first reliability coefficient Rel_1 is a value between “0” and “1”, and is the pixel value of the B1 image, the pixel value of the B2 image, the pixel value of the G1 image, and the pixel value of the G1 image used for calculating the oxygen saturation. It is calculated based on the reliability coefficients Rel_B1, Rel_B2, Rel_G1 and Rel_R1 regarding the pixel value of the R1 image. As shown in FIG. 8, the reliability coefficient Rel_B1 is set to “1” when the pixel value of the B1 image is between the threshold value Th1 and the threshold value Th2. On the other hand, the reliability coefficient Rel_B1 is made smaller than "1" when the pixel value of the B1 image is lower than the threshold value Th1, and the value is made smaller as the pixel value of the B1 image becomes smaller. Further, the reliability coefficient Rel_B1 is made smaller than "1" when the pixel value of the B1 image exceeds the threshold value Th2, and the value is made smaller as the pixel value of the B1 image becomes larger. As described above, in the region where the pixel value of the B1 image is below the threshold value Th1 or exceeds the threshold value Th2 and is too dark or too bright, the calculation accuracy of the oxygen saturation is low, so that the reliability coefficient Rel_B1 Is low.
信頼度用係数Rel_B2、Rel_G1、及び、Rel_R1についても、信頼度用係数Rel_B1と同様に、B2画像の画素値、G1画像の画素値、及び、R1画像の画素値について閾値Th1、Th2を用いて、値を定める。そして、第1信頼度用係数Rel_1について、下記式(1)によって、算出する。
Rel_1=Rel_B1×Rel_B2×Rel_G1×Rel_R1・・・(1)
For the reliability coefficients Rel_B2, Rel_G1, and Rel_R1, the thresholds Th1 and Th2 are used for the pixel value of the B2 image, the pixel value of the G1 image, and the pixel value of the R1 image, as in the case of the reliability coefficient Rel_B1. , Set the value. Then, the first reliability coefficient Rel_1 is calculated by the following equation (1).
Rel_1 = Rel_B1 x Rel_B2 x Rel_G1 x Rel_R1 ... (1)
第2信頼度用係数Rel_2は「0」以上「1」以下の間の値であり、血液量が適正である領域については、値を「1」とする一方、血液量が低すぎる、または、血液量が高すぎる領域については、値を「1」よりも小さくする。血液量の分布については、図9に示すように、縦軸X=Log(R1/G1)、横軸Y=Log(B1/G1)の二次元空間にて定義することができる。二次元空間において、原点に近い領域Rg1、R1/G1が大きい領域Rg2、及び、B1/G1が大きい領域Rg3については、血液量が適正でないとして、第2信頼度用係数Rel_2を「0」又は「0」に近い値とする。特に、領域Rg1は、出血等で表面に血液が付着しており、酸素飽和度を正確に算出できない領域と考えられる。 The second reliability coefficient Rel_2 is a value between "0" and "1", and in the region where the blood volume is appropriate, the value is set to "1", while the blood volume is too low or For areas where the blood volume is too high, the value should be less than "1". As shown in FIG. 9, the blood volume distribution can be defined in a two-dimensional space with a vertical axis X = Log (R1 / G1) and a horizontal axis Y = Log (B1 / G1). In the two-dimensional space, for the region Rg1 near the origin, the region Rg2 with a large R1 / G1, and the region Rg3 with a large B1 / G1, the second reliability coefficient Rel_2 is set to "0" or "0" because the blood volume is not appropriate. The value is close to "0". In particular, the region Rg1 is considered to be a region in which blood is attached to the surface due to bleeding or the like and the oxygen saturation cannot be calculated accurately.
これに対して、二次元空間において、領域Rg1よりもR1/G1、及びB1/G1が大きい領域Rg4については、領域Rg1から離れるほど、血液量の影響が小さくなって酸素飽和度の算出精度が向上する。したがって、領域Rg4については、領域Rg1から離れるほど、第2信頼度用係数Rel_2を大きくする。そして、二次元空間において、領域Rg1、領域Rg2、領域Rg3、及び領域Rg4以外の領域Rxについては、血液量の影響がほとんどなく酸素飽和度を正確に算出することができる領域であり、第2信頼度用係数Rel_2を「1」又は「1」に近い値とする。 On the other hand, in the two-dimensional space, for the region Rg4 in which R1 / G1 and B1 / G1 are larger than the region Rg1, the farther away from the region Rg1, the smaller the influence of the blood volume and the accuracy of calculating the oxygen saturation. improves. Therefore, for the region Rg4, the second reliability coefficient Rel_2 is increased as the distance from the region Rg1 increases. Then, in the two-dimensional space, the region Rx other than the region Rg1, the region Rg2, the region Rg3, and the region Rg4 is a region in which the oxygen saturation can be accurately calculated with almost no influence of the blood volume, and the second region. The reliability coefficient Rel_1 is set to "1" or a value close to "1".
第3信頼度用係数Rel_3は「0」以上「1」以下の間の値であり、残渣又は残液が
無い領域については値を「1」にし、残渣又は残液の影響が大きい領域については、値を「1」よりも小さくする。残渣又は残液については、図10に示すように、Log(B2/G1)によって表すことができ、Log(B2/G1)が小さいほど、残渣又は残液の影響が大きくなっている。そこで、Log(B2/G1)が閾値Th3以上の場合には、第3信頼度用係数Rel_3を「1」とし、Log(B2/G1)が閾値Th3を下回った場合には、第3信頼度用係数Rel_3を「1」よりも小さくする。そして、Log(B2/G1)が閾値Th4以下の場合には、第3信頼度用係数Rel_3を「0」とする。
The third reliability coefficient Rel_3 is a value between "0" and "1", and the value is set to "1" in the region where there is no residue or residual liquid, and the region where the influence of the residue or residual liquid is large is set. , Make the value smaller than "1". As shown in FIG. 10, the residue or residual liquid can be represented by Log (B2 / G1), and the smaller the Log (B2 / G1), the greater the influence of the residue or residual liquid. Therefore, when the Log (B2 / G1) is the threshold value Th3 or more, the third reliability coefficient Rel_3 is set to "1", and when the Log (B2 / G1) is lower than the threshold value Th3, the third reliability factor is set. The coefficient Rel_3 is made smaller than "1". When the Log (B2 / G1) is the threshold value Th4 or less, the third reliability coefficient Rel_3 is set to “0”.
信頼度算出部72は、第1信頼度用係数Rel_1、第2信頼度用係数Rel_2、第3信頼度用係数Rel_3が求まると、下記式(2)により、信頼度Relを算出する。
Rel=Rel_1×Rel_2×Rel_3・・・(2)
なお、式(2)については、第1信頼度用係数Rel_1、第2信頼度用係数Rel_2、第3信頼度用係数Rel_3に対して、それぞれ重み付け係数α1、α2、α3(いずれも「0」より大きく、且つ「1」よりも小さい。α1+α2+α3=1)を掛け合わせてもよい。例えば、酸素飽和度の算出精度に大きく影響を与える信頼度用係数の重み付け係数を大きくする一方で、酸素飽和度の算出精度にそれほど影響を与えない信頼度用係数の重み付け係数は小さくすることが好ましい。
When the first reliability coefficient Rel_1, the second reliability coefficient Rel_1, and the third reliability coefficient Rel_3 are obtained, the reliability calculation unit 72 calculates the reliability Rel by the following equation (2).
Rel = Rel_1 × Rel_2 × Rel_3 ... (2)
Regarding the equation (2), the weighting coefficients α1, α2, and α3 (all are “0”) with respect to the first reliability coefficient Rel_1, the second reliability coefficient Rel_1, and the third reliability coefficient Rel_3, respectively. It is larger and smaller than "1". It may be multiplied by α1 + α2 + α3 = 1). For example, it is possible to increase the weighting coefficient of the reliability coefficient, which greatly affects the calculation accuracy of oxygen saturation, while decrease the weighting coefficient of the reliability coefficient, which does not significantly affect the calculation accuracy of oxygen saturation. preferable.
画像作成部73は、静止画取得指示が無い場合には、通常画像及び酸素飽和度画像を作成する。この場合は、作成された通常画像及び酸素飽和度画像は、表示制御部66によって、モニタ18に連続的に表示される。即ち、通常画像及び酸素飽和度画像が動画表示される。
The
一方、画像作成部73は、静止画取得指示が有る場合には、通常画像、酸素飽和度画像、及び、信頼度画像を作成する。作成された通常画像、酸素飽和度画像、及び、信頼度画像は、静止画保存制御部64によって、静止画保存部65に保存される。また、通常画像、酸素飽和度画像、及び、信頼度画像は、図11に示すように、表示制御部66によって、一定時間の間、モニタ18に表示される。一定時間経過後は、通常画像及び酸素飽和度画像の動画表示に復帰する。なお、通常画像を、観察対象の観察に用いる観察用画像として静止画保存部65に保存するようにしているが、その他の画像を観察用画像として静止画保存部65に保存するようにしてもよい。例えば、酸素飽和度モードにおいて、白色光を発光するフレームにて、白色光に加えて、中心波長405nmのような紫色光を合わせた特殊光を照明し、特殊光によって照明された観察対象を撮像して得られる特殊光画像を観察用画像として保存してもよい。また、静止画保存部65には、信頼度画像に加えて又は代えて、信頼度の算出に用いた画像(B1画像、B2画像、G1画像、R1画像)を保存するようにしてもよい。
On the other hand, the
なお、内視鏡システム10が、内視鏡画像の管理等を行うための外部の医療用の情報管理システム(図示しない)に接続されている場合には、静止画取得指示のタイミングで得られる通常画像、酸素飽和度画像、及び、信頼度画像は、内視鏡システム10からネットワーク等を介して医療用の情報管理システムに転送される。また、静止画保存部65は、プロセッサ装置16の内部に設けているが、プロセッサ装置16の外部に接続された外部接続メモリに設けてもよい。
When the
以下、画像作成部73にて作成する通常画像、酸素飽和度画像、信頼度画像の作成方法について、説明する。通常画像については、B1画像、G1画像、及びR1画像に基づいて作成される。通常画像については、通常処理部62で行う処理と同様の方法で作成される。酸素飽和度画像については、酸素飽和度算出部70にて求めた酸素飽和度と信頼度算出部72にて求めた信頼度Relに基づいて、作成を行う。具体的には、酸素飽和度画像は、酸素飽和度に対応する色調情報が、画素毎に、信頼度Relによって変化する。
Hereinafter, a method of creating a normal image, an oxygen saturation image, and a reliability image created by the
酸素飽和度画像は、輝度Yと、色調情報としての色差信号Cr、Cbで構成される。輝度Yには、酸素飽和度モードの時に得られる画像のうち観察対象の明るさを的確に表すG1画像が割り当てられる。色差信号Cr、Cbは、酸素飽和度と信頼度Relに応じて決められる。まず、酸素飽和度と色差信号Cr、Cbとを関連付けたカラーテーブル73aに従って、酸素飽和度に対応する色差信号Cr、Cbを決定する。 The oxygen saturation image is composed of a luminance Y and color difference signals Cr and Cb as color tone information. The brightness Y is assigned a G1 image that accurately represents the brightness of the observation target among the images obtained in the oxygen saturation mode. The color difference signals Cr and Cb are determined according to the oxygen saturation and the reliability Rel. First, the color difference signals Cr and Cb corresponding to the oxygen saturation are determined according to the color table 73a in which the oxygen saturation and the color difference signals Cr and Cb are associated with each other.
カラーテーブル73aは、図12に示すように、酸素飽和度が「60%」を超えるような、高酸素飽和度下では色差信号Crの信号値が正、色差信号Cbの信号値が負となるように定義される。一方、酸素飽和度が「40%」を下回るような、低酸素飽和度下では、色差信号Crの信号値が負、色差信号Cbの信号値が正となるように定義されている。そして、中酸素飽和度において、色差信号Crの信号値と色差信号Cbの信号値の大小関係が逆転するように定義されている。したがって、酸素飽和度が低い方から高い方に大きくなるにつれて、酸素飽和度画像の色味は青→水色→緑→黄色→橙→赤と変化するようになっている。 As shown in FIG. 12, in the color table 73a, the signal value of the color difference signal Cr is positive and the signal value of the color difference signal Cb is negative under high oxygen saturation such that the oxygen saturation exceeds “60%”. Is defined as. On the other hand, under a low oxygen saturation where the oxygen saturation is lower than "40%", the signal value of the color difference signal Cr is negative and the signal value of the color difference signal Cb is positive. Then, in the medium oxygen saturation, the magnitude relationship between the signal value of the color difference signal Cr and the signal value of the color difference signal Cb is defined to be reversed. Therefore, as the oxygen saturation increases from low to high, the color of the oxygen saturation image changes in the order of blue → light blue → green → yellow → orange → red.
次に、酸素飽和度に対応する色差信号Cr、Cbを決めた後は、下記式(3)により、信頼度Relによって信号値を変化させた色差信号Cr*、Cb*を得る。
Cr*=Cr×Rel、Cb*=Cb×Rel・・・(3)
以上の輝度Yと色差信号Cr*、Cb*とに基づいて、酸素飽和度画像が作成される。酸素飽和度画像においては、信頼度Relが大きい場合には、酸素飽和度に対応する色差信号が信頼度Relによって低下することなく維持されるため、彩度が高い鮮やかな疑似カラーで酸素飽和度が表示される。一方、信頼度Relが小さい場合には色差信号が「0」に近づくので、酸素飽和度画像の彩度は低下、即ちモノクロに近づく。以上のように、酸素飽和度画像において、信頼度Relに応じて彩度が変化して表示されることにより、ユーザーは酸素飽和度画像上で信頼度を把握することができる。
Next, after the color difference signals Cr and Cb corresponding to the oxygen saturation are determined, the color difference signals Cr * and Cb * whose signal values are changed by the reliability Rel are obtained by the following equation (3).
Cr * = Cr × Rel, Cb * = Cb × Rel ... (3)
An oxygen saturation image is created based on the above luminance Y and the color difference signals Cr * and Cb * . In the oxygen saturation image, when the reliability Rel is large, the color difference signal corresponding to the oxygen saturation is maintained without being lowered by the reliability Rel, so that the oxygen saturation is a vivid pseudo color with high saturation. Is displayed. On the other hand, when the reliability Rel is small, the color difference signal approaches "0", so that the saturation of the oxygen saturation image decreases, that is, it approaches monochrome. As described above, in the oxygen saturation image, the saturation is changed and displayed according to the reliability Rel, so that the user can grasp the reliability on the oxygen saturation image.
信頼度画像は信頼度の空間的な分布を画像化した画像であり、信頼度算出部72で求めた信頼度Relに基づいて作成される。信頼度Relは「0」と「1」の間の値であり、信頼度Relと画素値とを関連付けた信頼度画像用テーブル73bを用いて、信頼度画像が作成される。信頼度画像用テーブル73bは、図13に示すように、信頼度Relが大きいほど、大きい画素値を割り当てている。したがって、信頼度画像は信頼度によって画素値の大きさが変化するグレースケール画像であり、画素値が大きい領域、即ち白色の領域ほど、信頼度が高いことを表している。 The reliability image is an image of the spatial distribution of reliability, and is created based on the reliability Rel obtained by the reliability calculation unit 72. The reliability Rel is a value between "0" and "1", and a reliability image is created using the reliability image table 73b in which the reliability Rel and the pixel value are associated with each other. As shown in FIG. 13, the reliability image table 73b assigns a larger pixel value as the reliability Rel is larger. Therefore, the reliability image is a grayscale image in which the size of the pixel value changes depending on the reliability, and the region having a large pixel value, that is, the white region, indicates that the reliability is higher.
なお、信頼度画像用テーブル73bについては、信頼度Relと画素値とを関連付ける代わりに、信頼度Relと色調情報とを関連付けてもよい。この場合には、色調情報として色差信号Cr、Cbを用いる場合には、信頼度Relが大きい場合には、第1の色相で表すようにし、信頼度Relが小さい場合には、第1色相と色相が大きく異なる第2の色相で表すようにする。即ち、信頼度画像は、信頼度によって、色調情報の一つである色相が変化するカラー画像となる。信頼度Relと色差信号Cr、Cbとを関連付けた信頼度画像用テーブル73bを用いる場合には、輝度Yについては例えばG1画像とすることが好ましい。 Regarding the reliability image table 73b, instead of associating the reliability Rel with the pixel value, the reliability Rel may be associated with the color tone information. In this case, when the color difference signals Cr and Cb are used as the color tone information, the first hue is used when the reliability Rel is large, and the first hue is used when the reliability Rel is small. It is represented by a second hue in which the hue is significantly different. That is, the reliability image is a color image in which the hue, which is one of the color tone information, changes depending on the reliability. When the reliability image table 73b in which the reliability Rel and the color difference signals Cr and Cb are associated with each other is used, it is preferable that the luminance Y is, for example, a G1 image.
次に、本発明の一連の流れについて、図14に示すフローチャートに沿って説明する。モード切替スイッチ13aによって、酸素飽和度モードに切り替えられると、白色光と酸素飽和度用照明光とが交互に観察対象に照射される。白色光で照明された観察対象をイメージセンサ48によって撮像することにより、B1画像、G1画像、及び、R1画像が得られる。酸素飽和度用照明光で照明された観察対象をイメージセンサ48によって撮像することにより、B2画像、G2画像、及び、R2画像が得られる。
Next, a series of flows of the present invention will be described with reference to the flowchart shown in FIG. When the
画像作成部73は、B1画像、G1画像、及び、R1画像に基づいて、通常画像を作成する。また、酸素飽和度算出部70は、B1画像、B2画像、G1画像、R1画像に基づいて、酸素飽和度を算出する。また、信頼度算出部72は、B1画像、B2画像、G1画像、R1画像に基づいて、信頼度Relを算出する。そして、画像作成部73は、酸素飽和度と信頼度Relに基づいて、酸素飽和度画像を作成する。以上のように、作成された通常画像と酸素飽和度画像はモニタ18に表示される。
The
フリーズスイッチ13bが操作されて、静止画取得指示が行われた場合には、第1フリーズモードの場合には、静止画取得指示のタイミングで得られる酸素飽和度画像の静止画が静止画保存部65に保存される。また、静止画保存部65に保存される酸素飽和度画像が一定時間の間、モニタ18に表示される。一方、第2フリーズモードの場合には、静止画取得指示のタイミングで得られる通常画像及び酸素飽和度画像と、酸素飽和度画像の作成に用いた信頼度に基づいて得られる信頼度画像とが静止画保存部65に保存される。また、静止画保存部65に保存される通常画像、酸素飽和度画像、及び信頼度画像が、一定時間の間、モニタ18に表示される。一定時間が経過すると、通常画像と酸素飽和度の画像の表示に復帰する。以上の一連の処理等については、酸素飽和度モードが継続している限り繰り返し行われる。
When the
上記のように、静止画取得指示に伴って、静止画保存部65に保存された通常画像、酸素飽和度画像、及び、信頼度画像については、事後的に酸素飽和度画像の内容を検証する場合に、静止画保存部65から読み出してモニタ18に表示できるようにすることが好ましい。この場合、ユーザーは、モニタ18に表示された通常画像、酸素飽和度画像、及び、信頼度画像をそれぞれ比較して、酸素飽和度の内容を検証する。例えば、適切に酸素飽和度を表示するために、第1信頼度用係数Rel_1の算出に用いる閾値Th1、Th2を変更し、第2信頼度用係数Rel_2の算出に用いる二次元空間の領域の境界を変更し、第3信頼度用係数Rel_3の算出に用いる閾値Th3、Th4を変更することが好ましい。以上の変更については、ユーザーインターフェース19を操作して行うことが好ましい。
As described above, with respect to the normal image, the oxygen saturation image, and the reliability image stored in the still
また、静止画保存部65に保存した通常画像、酸素飽和度画像、及び、信頼度画像信頼度をモニタ18に表示する場合には、各画像の領域を指定できるようにし、指定した部分の信頼度を数値で表示することが好ましい。この場合には、通常画像で腫瘍血管が表示されているにも関わらず、酸素飽和度画像において低彩度で表示されている場合には、腫瘍血管の部分を指定して信頼度の数値を表示したときに、信頼度が低く表示される。これにより、信頼度が誤って算出されているために、酸素飽和度画像が低彩度で表示されていることが分かる。
Further, when displaying the normal image, the oxygen saturation image, and the reliability image reliability stored in the still
なお、上記実施形態では、本発明の内視鏡システムとして、軟性鏡内視鏡である内視鏡12を用いる管腔用内視鏡システムの例を説明しているが、本発明の内視鏡システムは、外科用の硬性内視鏡を用いる腹腔用内視鏡システムに対しても適用が可能である。
In the above embodiment, as the endoscope system of the present invention, an example of an endoscope system for a lumen using an
上記において、画像取得部54、画像処理部61、通常処理部62、特殊処理部63、表示制御部66、酸素飽和度算出部70、データ記憶部71、信頼度算出部72、画像作成部73等といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路(Graphical Processing Unit:GPU)などが含まれる。
In the above, the
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ、GPUとCPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。 One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs, a combination of a CPU and an FPGA, a GPU, and the like. It may be configured by a combination of CPUs). Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units. Second, as typified by System On Chip (SoC), there is a form that uses a processor that realizes the functions of the entire system including multiple processing units with one IC (Integrated Circuit) chip. be. As described above, the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。 Further, the hardware-like structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13a モード切替スイッチ
13b フリーズスイッチ
13c ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 ユーザーインターフェース
20 光源部
20a BS光源
20b BL光源
20c G光源
20d R光源
22 光源制御部
30a 照明光学系
30b 撮像光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
47 ズームレンズ
48 イメージセンサ
52 制御部
54 画像取得部
56 DSP
58 ノイズ低減部
59 変換部
61 画像処理部
62 通常処理部
63 特殊処理部
64 静止画保存制御部
65 静止画保存部
66 表示制御部
70 酸素飽和度算出部
71 データ記憶部
72 信頼度算出部
73 画像作成部
73a カラーテーブル
73b 信頼度画像用テーブル
75 100%の等値線
76 0%の等値線
77 酸化ヘモグロビンの吸光特性
78 還元ヘモグロビンの吸光特性
10
58
Claims (10)
複数の前記分光画像に基づいて、前記観察対象の酸素飽和度を算出する酸素飽和度算出部と、
複数の前記分光画像に基づいて、前記酸素飽和度の信頼度を算出する信頼度算出部と、
前記複数の分光画像に基づく観察用画像、前記酸素飽和度及び前記信頼度に基づく酸素飽和度画像、及び、前記信頼度の分布を画像化した信頼度画像を作成する画像作成部と、
静止画取得指示が行われた場合に、前記観察用画像の静止画、前記酸素飽和度画像の静止画、及び前記信頼度画像を静止画保存部に保存する静止画保存制御部とを備えるプロセッサ装置。 An image acquisition unit that acquires a plurality of spectral images obtained by imaging an observation target, and
An oxygen saturation calculation unit that calculates the oxygen saturation of the observation target based on the plurality of spectroscopic images, and an oxygen saturation calculation unit.
A reliability calculation unit that calculates the reliability of the oxygen saturation based on the plurality of spectroscopic images, and a reliability calculation unit.
An image creation unit that creates an observation image based on the plurality of spectral images, an oxygen saturation image based on the oxygen saturation and the oxygen saturation image, and a reliability image that images the distribution of the reliability.
A processor including a still image of the observation image, a still image of the oxygen saturation image, and a still image storage control unit that stores the reliability image in the still image storage unit when a still image acquisition instruction is given. Device.
請求項1ないし6いずれか1項記載のプロセッサ装置とを備え、
複数の前記分光画像は、前記白色光によって照明された観察対象を撮像して得られる第1画像と、前記酸素飽和度用照明光によって照明された観察対象を撮像して得られる第2画像を含む内視鏡システム。 An endoscope that emits white light and illumination light for oxygen saturation,
The processor device according to any one of claims 1 to 6 is provided.
The plurality of spectroscopic images include a first image obtained by imaging an observation object illuminated by the white light and a second image obtained by imaging an observation object illuminated by the oxygen saturation illumination light. Endoscope system including.
酸素飽和度算出部が、複数の前記分光画像に基づいて、前記観察対象の酸素飽和度を算出するステップと、
信頼度算出部が、複数の前記分光画像に基づいて、前記酸素飽和度の信頼度を算出するステップと、
静止画取得指示が行われた場合に、画像作成部が、前記酸素飽和度及び前記信頼度に基づく酸素飽和度画像、及び、前記信頼度の分布を画像化した信頼度画像を作成し、静止画保存制御部が、前記酸素飽和度画像の静止画、及び前記信頼度画像を静止画保存部に保存するステップとを有するプロセッサ装置の作動方法。
The image acquisition unit has a step of acquiring a plurality of spectroscopic images obtained by imaging an observation target, and
A step in which the oxygen saturation calculation unit calculates the oxygen saturation of the observation target based on the plurality of spectroscopic images, and
A step in which the reliability calculation unit calculates the reliability of the oxygen saturation based on the plurality of the spectroscopic images, and
When a still image acquisition instruction is given, the image creation unit creates an oxygen saturation image based on the oxygen saturation and the reliability, and a reliability image in which the distribution of the reliability is imaged, and is still. A method of operating a processor device in which an image storage control unit includes a still image of the oxygen saturation image and a step of storing the reliability image in the still image storage unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019059812A JP6999597B2 (en) | 2019-03-27 | 2019-03-27 | Processor device and its operation method and endoscopic system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019059812A JP6999597B2 (en) | 2019-03-27 | 2019-03-27 | Processor device and its operation method and endoscopic system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020156789A JP2020156789A (en) | 2020-10-01 |
JP6999597B2 true JP6999597B2 (en) | 2022-01-18 |
Family
ID=72640582
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019059812A Active JP6999597B2 (en) | 2019-03-27 | 2019-03-27 | Processor device and its operation method and endoscopic system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6999597B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020016533A1 (en) | 2000-05-03 | 2002-02-07 | Marchitto Kevin S. | Optical imaging of subsurface anatomical structures and biomolecules |
JP2012143399A (en) | 2011-01-12 | 2012-08-02 | Fujifilm Corp | Endoscope system, processor apparatus thereof, and image generating method |
WO2016136698A1 (en) | 2015-02-27 | 2016-09-01 | Hoya株式会社 | Image processing device |
JP2017108982A (en) | 2015-12-17 | 2017-06-22 | 富士フイルム株式会社 | Endoscope system, processor device, and operation method of endoscope system |
JP2017158782A (en) | 2016-03-09 | 2017-09-14 | 富士フイルム株式会社 | Endoscope system and operation method of the same |
WO2018043726A1 (en) | 2016-09-02 | 2018-03-08 | Hoya株式会社 | Endoscope system |
-
2019
- 2019-03-27 JP JP2019059812A patent/JP6999597B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020016533A1 (en) | 2000-05-03 | 2002-02-07 | Marchitto Kevin S. | Optical imaging of subsurface anatomical structures and biomolecules |
JP2012143399A (en) | 2011-01-12 | 2012-08-02 | Fujifilm Corp | Endoscope system, processor apparatus thereof, and image generating method |
WO2016136698A1 (en) | 2015-02-27 | 2016-09-01 | Hoya株式会社 | Image processing device |
JP2017108982A (en) | 2015-12-17 | 2017-06-22 | 富士フイルム株式会社 | Endoscope system, processor device, and operation method of endoscope system |
US20180228347A1 (en) | 2015-12-17 | 2018-08-16 | Fujifilm Corporation | Endoscope system, processor device, and operation method of endoscope system |
JP2017158782A (en) | 2016-03-09 | 2017-09-14 | 富士フイルム株式会社 | Endoscope system and operation method of the same |
US20180317754A1 (en) | 2016-03-09 | 2018-11-08 | Fujifilm Corporation | Endoscopic system and endoscopic system operating method |
WO2018043726A1 (en) | 2016-09-02 | 2018-03-08 | Hoya株式会社 | Endoscope system |
Also Published As
Publication number | Publication date |
---|---|
JP2020156789A (en) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7021183B2 (en) | Endoscope system, processor device, and how to operate the endoscope system | |
JP6917518B2 (en) | Endoscope system | |
US20190183315A1 (en) | Processor device, endoscope system, and method of operating processor device | |
US10939856B2 (en) | Processor device, endoscope system, and image processing method | |
JP6752958B2 (en) | Endoscope system, processor device, and how to operate the endoscope system | |
JP7335399B2 (en) | MEDICAL IMAGE PROCESSING APPARATUS, ENDOSCOPE SYSTEM, AND METHOD OF OPERATION OF MEDICAL IMAGE PROCESSING APPARATUS | |
JP2020065685A (en) | Endoscope system | |
US20230027950A1 (en) | Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium | |
JP6774550B2 (en) | Endoscope system, processor device, and how to operate the endoscope system | |
JP7130043B2 (en) | MEDICAL IMAGE PROCESSING APPARATUS, ENDOSCOPE SYSTEM, AND METHOD OF OPERATION OF MEDICAL IMAGE PROCESSING APPARATUS | |
CN111107778A (en) | Medical image processing system, endoscope system, diagnosis support device, and medical service support device | |
US11627864B2 (en) | Medical image processing apparatus, endoscope system, and method for emphasizing region of interest | |
JPWO2020039932A1 (en) | Endoscope system | |
US11363943B2 (en) | Endoscope system and operating method thereof | |
US20230029239A1 (en) | Medical image processing system and method for operating medical image processing system | |
JP6999597B2 (en) | Processor device and its operation method and endoscopic system | |
US12020350B2 (en) | Image processing apparatus | |
JP2020116147A (en) | Endoscope system | |
JP7196196B2 (en) | endoscope system | |
JP2017108983A (en) | Endoscope system, processor device, and operation method of endoscope system | |
WO2021065939A1 (en) | Endoscope system and method for operating same | |
JP7386266B2 (en) | Endoscope system and its operating method | |
JP2020178738A (en) | Processor device, endoscope system, and calibration method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6999597 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |