JP6461760B2 - Image processing apparatus, method of operating image processing apparatus, and endoscope system - Google Patents

Image processing apparatus, method of operating image processing apparatus, and endoscope system Download PDF

Info

Publication number
JP6461760B2
JP6461760B2 JP2015188970A JP2015188970A JP6461760B2 JP 6461760 B2 JP6461760 B2 JP 6461760B2 JP 2015188970 A JP2015188970 A JP 2015188970A JP 2015188970 A JP2015188970 A JP 2015188970A JP 6461760 B2 JP6461760 B2 JP 6461760B2
Authority
JP
Japan
Prior art keywords
blood vessel
image
blood
vessel
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015188970A
Other languages
Japanese (ja)
Other versions
JP2017060682A (en
Inventor
睦朗 今井
睦朗 今井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2015188970A priority Critical patent/JP6461760B2/en
Publication of JP2017060682A publication Critical patent/JP2017060682A/en
Application granted granted Critical
Publication of JP6461760B2 publication Critical patent/JP6461760B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures

Description

本発明は、観察対象を内視鏡で撮影して得た内視鏡画像を画像処理する画像処理装置、及び画像処理装置の作動方法、並びに内視鏡システムに関する。   The present invention relates to an image processing apparatus that performs image processing on an endoscopic image obtained by photographing an observation target with an endoscope, an operating method of the image processing apparatus, and an endoscope system.

医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムは、光源装置が発する照明光を、内視鏡を介して観察対象に照射し、その照明光で照明中の観察対象を撮像して得た画像信号に基づいて、プロセッサ装置が観察対象の画像を生成する。この画像をモニタに表示することにより、医師は、モニタ上の画像を見ながら診断を行うことができる。   In the medical field, diagnosis using an endoscope system including a light source device, an endoscope, and a processor device is widely performed. The endoscope system irradiates illumination light emitted from a light source device to an observation target via the endoscope, and a processor device based on an image signal obtained by imaging the observation target under illumination with the illumination light. An image to be observed is generated. By displaying this image on the monitor, the doctor can make a diagnosis while viewing the image on the monitor.

また、内視鏡システムを用いた診断では、白色の照明光を用いて観察対象を観察する通常観察の他、例えば、特許文献１に示すような、観察対象が発する蛍光を観察する蛍光観察や、観察対象の血管の深さや太さ、密度等の血管に関する情報（以下、血管情報という）を用いて観察対象の状態を把握する生体情報観察も行われている。   In the diagnosis using the endoscope system, in addition to the normal observation in which the observation target is observed using white illumination light, for example, as shown in Patent Document 1, the fluorescence observation for observing the fluorescence emitted from the observation target is performed. Biological information observation is also performed in which the state of an observation target is grasped using information on the blood vessel such as the depth, thickness, and density of the blood vessel to be observed (hereinafter referred to as blood vessel information).

上記特許文献１では、蛍光画像を通常観察画像に合成して合成画像を生成し、モニタに表示している。この合成画像を生成する際に、蛍光画像に写っている特定の深さにある血管の輝度をフレーム毎に変更している。   In Patent Document 1, a fluorescent image is combined with a normal observation image to generate a combined image, which is displayed on a monitor. When generating this synthesized image, the luminance of the blood vessel at a specific depth shown in the fluorescence image is changed for each frame.

特開２０１１−０８７９０６JP2011-087906

上記のような血管情報は、医師が診断を行う際の有用な情報である。しかし、医師は、複数の血管の各血管情報を総合的に考慮して診断をすることが多い。これに対して、上記特許文献１は、モニタ上の合成画像に写った特定の深さの血管のみを点滅表示するので、他の血管に関する血管情報を得ることは難しい。また、複数の血管に関する血管情報ごとに画像を生成し、各画像をモニタに並べて表示することも考えられるが、この場合には、各画像の大きさが小さくなるので血管自体が見えにくくなり、また、医師は画像間で視線を移動しなければならないので、血管情報の一覧性が低下することがあり、血管情報を容易かつ正確に得ることが困難である。   The blood vessel information as described above is useful information when a doctor makes a diagnosis. However, doctors often make diagnoses by comprehensively considering each blood vessel information of a plurality of blood vessels. On the other hand, since the above-mentioned patent document 1 blinks and displays only a blood vessel having a specific depth in a composite image on a monitor, it is difficult to obtain blood vessel information related to other blood vessels. In addition, it is conceivable to generate images for each blood vessel information related to a plurality of blood vessels and display the images side by side on a monitor, but in this case, the size of each image becomes small, so that the blood vessels themselves are difficult to see, In addition, since the doctor has to move the line of sight between images, the listability of blood vessel information may be reduced, and it is difficult to obtain blood vessel information easily and accurately.

本発明は、複数の血管に関する情報を容易かつ正確に取得できる画像処理装置、及び画像処理装置の作動方法、並びに内視鏡システムを提供することを目的とする。   An object of the present invention is to provide an image processing apparatus, an operation method of the image processing apparatus, and an endoscope system that can easily and accurately acquire information on a plurality of blood vessels.

本発明の画像処理装置は、画像を表示する表示部と接続可能な画像処理装置において、内視鏡によって観察対象を撮像して得た内視鏡画像を取得する画像取得部と、表示部を制御して、表示部において、第１血管の強調表示と第１血管と少なくとも一部が異なる第２血管の強調表示を順に切り替え、且つ、第１血管の強調表示と第２血管の強調表示の切替を繰り返し行う血管強調表示切替制御を行う表示制御部とを備え、第１血管及び第２血管は、観察対象の血管に含まれる複数の血管情報のうち、同じ種類の血管情報をそれぞれ有しており、第１血管の血管情報の値は、第２血管の血管情報の値と異なっている。 An image processing apparatus according to the present invention is an image processing apparatus that can be connected to a display unit that displays an image. An image acquisition unit that acquires an endoscopic image obtained by imaging an observation target with an endoscope, and a display unit In control, the display unit sequentially switches the highlighting of the first blood vessel and the highlighting of the second blood vessel that is at least partially different from the first blood vessel , and the highlighting of the first blood vessel and the highlighting of the second blood vessel are displayed. A display control unit for performing blood vessel highlighting display switching control that repeatedly performs switching, and each of the first blood vessel and the second blood vessel has the same type of blood vessel information among a plurality of blood vessel information included in the blood vessel to be observed. The blood vessel information value of the first blood vessel is different from the blood vessel information value of the second blood vessel.

第１血管は、観察対象の血管に含まれる複数の血管情報のうちの第１血管情報を有し、第２血管は、第１血管情報と種類が異なる第２血管情報を有することが好ましい。   It is preferable that the first blood vessel has first blood vessel information among a plurality of blood vessel information included in the blood vessel to be observed, and the second blood vessel has second blood vessel information of a type different from the first blood vessel information.

内視鏡画像から、第１血管及び第２血管を含む観察対象の血管を抽出して血管抽出画像を得る血管抽出部を備え、血管強調表示切替制御は、血管抽出画像に対して第１血管を強調した第１血管強調画像と、血管抽出画像に対して第２血管を強調した第２血管強調画像とを順に切り替えて表示部に表示することが好ましい。 A blood vessel extraction unit that obtains a blood vessel extraction image by extracting a blood vessel to be observed including a first blood vessel and a second blood vessel from an endoscopic image, and the blood vessel enhancement display switching control is configured to control the first blood vessel with respect to the blood vessel extraction image. It is preferable that the first blood vessel emphasized image in which the second blood vessel is emphasized and the second blood vessel emphasized image in which the second blood vessel is emphasized with respect to the blood vessel extraction image are sequentially switched and displayed on the display unit.

第１血管強調画像は、第１血管を強調処理して得た画像、又は観察対象の血管のうち第１血管以外の血管を抑制処理して得た画像であり、第２血管強調画像は、第２血管を強調処理して得た画像、又は観察対象の血管のうち第２血管以外の血管を抑制処理して得た画像であることが好ましい。   The first blood vessel enhanced image is an image obtained by emphasizing the first blood vessel, or an image obtained by suppressing blood vessels other than the first blood vessel among the blood vessels to be observed. An image obtained by emphasizing the second blood vessel or an image obtained by suppressing blood vessels other than the second blood vessel among the blood vessels to be observed is preferable.

強調処理又は抑制処理は、第１血管又は第２血管の明度、色相、又は彩度を変更して行うことが好ましい。   The enhancement process or the suppression process is preferably performed by changing the brightness, hue, or saturation of the first blood vessel or the second blood vessel.

血管強調表示切替制御は、第１血管強調画像又は第２血管強調画像を得る毎に、第１血管強調画像と第２血管強調画像とを順に切り替えて表示部に表示することが好ましい。   In the blood vessel enhancement display switching control, it is preferable that the first blood vessel enhancement image and the second blood vessel enhancement image are sequentially switched and displayed each time the first blood vessel enhancement image or the second blood vessel enhancement image is obtained.

血管強調表示切替制御は、第１血管強調画像及び第２血管強調画像の両方を得る毎に、第１血管強調画像と第２血管強調画像とを順に切り替えて表示部に表示することが好ましい。   In the blood vessel enhancement display switching control, it is preferable that the first blood vessel enhancement image and the second blood vessel enhancement image are sequentially switched and displayed on the display unit every time both the first blood vessel enhancement image and the second blood vessel enhancement image are obtained.

観察対象の血管に含まれる複数の血管情報を用いて血管パラメータを算出する血管パラメータ算出部と、血管パラメータを用いて観察対象の粘膜の状態を判定し、判定の結果に応じて、表示制御部で血管強調表示切替制御を行うか否かを決める判定部とを有することが好ましい。   A blood vessel parameter calculation unit that calculates a blood vessel parameter using a plurality of blood vessel information included in the blood vessel to be observed, and a state of the observation target mucous membrane using the blood vessel parameter, and a display control unit according to the determination result It is preferable to include a determination unit that determines whether or not to perform blood vessel highlight display switching control.

表示制御部は、判定部による判定結果を用いて、血管強調表示切替制御を行う範囲を設定することが好ましい。   It is preferable that the display control unit sets a range in which the blood vessel highlight display switching control is performed using the determination result by the determination unit.

血管情報は、血管の本数、血管の分岐数、血管の分岐角度、分岐点間距離、血管の交差数、血管の太さ、血管の太さの変化、血管の太さの変化の複雑度、血管の長さ、血管の間隔、血管の深さ、血管の高低差、血管の傾き、血管の面積、血管の密度、血管のコントラスト、血管の色、血管の色の変化、血管の蛇行度、血管の血液濃度、血管の酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、血管の走行パターン、及び血管の血流量のうちのいずれかであることが好ましい。   Blood vessel information includes the number of blood vessels, the number of blood vessels, the branch angle of the blood vessels, the distance between branch points, the number of intersections of blood vessels, the thickness of the blood vessels, the change in the thickness of the blood vessels, the complexity of the change in the thickness of the blood vessels, Vessel length, vessel spacing, vessel depth, vessel elevation, vessel inclination, vessel area, vessel density, vessel contrast, vessel color, vessel color change, vessel meandering degree, It is preferably any one of the blood concentration of the blood vessel, the oxygen saturation of the blood vessel, the proportion of the artery, the proportion of the vein, the concentration of the administered pigment, the running pattern of the blood vessel, and the blood flow volume of the blood vessel.

本発明の画像処理装置の作動方法は、画像を表示する表示部と接続可能な画像処理装置の作動方法において、画像取得部が、内視鏡によって観察対象を撮像して得た内視鏡画像を取得するステップと、表示制御部が、表示部を制御して、表示部において、第１血管の強調表示と第１血管と少なくとも一部が異なる第２血管の強調表示を順に切り替え、且つ、第１血管の強調表示と第２血管の強調表示の切替を繰り返し行う血管強調表示切替制御を行うステップと、を備え、第１血管及び第２血管は、観察対象の血管に含まれる複数の血管情報のうち、同じ種類の血管情報をそれぞれ有しており、第１血管の血管情報の値は、第２血管の血管情報の値と異なっている。血管抽出部が、内視鏡画像から、第１血管及び第２血管を含む前記観察対象の血管を抽出して血管抽出画像を得るステップと、血管情報算出部が、血管抽出部が抽出した血管を分類する血管情報を算出するステップとを有する。 An operation method of an image processing apparatus according to the present invention is an endoscope image obtained by an image acquisition unit imaging an observation target with an endoscope in an operation method of an image processing apparatus connectable to a display unit that displays an image. The display control unit controls the display unit to sequentially switch the highlighting of the first blood vessel and the highlighting of the second blood vessel at least partially different from the first blood vessel in the display unit; and A step of performing blood vessel highlighting display switching control for repeatedly switching between highlighting of the first blood vessel and highlighting of the second blood vessel, and the first blood vessel and the second blood vessel are a plurality of blood vessels included in the blood vessel to be observed Among the information, each has the same type of blood vessel information, and the value of the blood vessel information of the first blood vessel is different from the value of the blood vessel information of the second blood vessel . A blood vessel extraction unit extracting a blood vessel extraction image by extracting the observation target blood vessel including the first blood vessel and the second blood vessel from the endoscopic image; and a blood vessel information calculation unit extracting the blood vessel extracted by the blood vessel extraction unit And calculating blood vessel information for classifying the blood vessels.

本発明の内視鏡システムは、画像を表示する表示部と接続可能な内視鏡システムにおいて、観察対象を撮像する内視鏡と、内視鏡によって観察対象を撮像して得た内視鏡画像を取得する画像取得部と、表示部を制御して、表示部において、第１血管の強調表示と第１血管と少なくとも一部が異なる第２血管の強調表示を順に切り替え、且つ、第１血管の強調表示と第２血管の強調表示の切替を繰り返し行う血管強調表示切替制御を行う表示制御部とを有するプロセッサ装置と、を備え、第１血管及び前記第２血管は、観察対象の血管に含まれる複数の血管情報のうち、同じ種類の血管情報をそれぞれ有しており、第１血管の血管情報の値は、第２血管の血管情報の値と異なっている。




An endoscope system according to the present invention is an endoscope that can be connected to a display unit that displays an image. An endoscope that images an observation target, and an endoscope obtained by imaging the observation target using the endoscope An image acquisition unit that acquires an image and a display unit are controlled, and the display unit sequentially switches the highlighting of the first blood vessel and the highlighting of the second blood vessel that is at least partially different from the first blood vessel , and the first A processor device having a display control unit for performing blood vessel emphasis display switching control that repeatedly switches between emphasis display of the blood vessel and emphasis display of the second blood vessel, and the first blood vessel and the second blood vessel are blood vessels to be observed. The blood vessel information of the first blood vessel is different from the blood vessel information value of the second blood vessel.




本発明の画像処理装置、及び画像処理装置の作動方法、並びに内視鏡システムは、複数の血管に関する情報を容易かつ正確に取得できる。   The image processing apparatus, the operation method of the image processing apparatus, and the endoscope system of the present invention can easily and accurately acquire information on a plurality of blood vessels.

第１実施形態の内視鏡システムの外観図である。1 is an external view of an endoscope system according to a first embodiment. 内視鏡システムの機能を示すブロック図である。It is a block diagram which shows the function of an endoscope system. 第１実施形態の画像処理装置の機能を示すブロック図である。It is a block diagram which shows the function of the image processing apparatus of 1st Embodiment. 第１実施形態の画像処理装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the image processing apparatus of 1st Embodiment. 血管強調表示切替制御を説明する説明図である。It is explanatory drawing explaining the blood vessel emphasis display switching control. 第２実施形態の画像処理装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the image processing apparatus of 2nd Embodiment. 血管情報の種類が異なる血管の強調表示切替制御を説明する説明図である。It is explanatory drawing explaining the highlight display switching control of the blood vessel from which the kind of blood vessel information differs. 第３実施形態の画像処理装置の機能を示すブロック図である。It is a block diagram which shows the function of the image processing apparatus of 3rd Embodiment. 血管を強調する範囲の設定方法を説明する説明図である。It is explanatory drawing explaining the setting method of the range which emphasizes the blood vessel. 血管の抑制処理を説明する説明図である。It is explanatory drawing explaining the suppression process of a blood vessel. 第４実施形態の内視鏡システムのブロック図である。It is a block diagram of the endoscope system of a 4th embodiment. 第５実施形態のカプセル内視鏡の概略図である。It is the schematic of the capsule endoscope of 5th Embodiment.

［第１実施形態］
図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９とを有する。内視鏡１２は、光源装置１４と光学的に接続し、かつ、プロセッサ装置１６と電気的に接続する。内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作によって、先端部１２ｄを所望の方向に向ける。 [First Embodiment]
As shown in FIG. 1, the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a monitor 18, and a console 19. The endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16. The endoscope 12 has an insertion portion 12a to be inserted into the subject, an operation portion 12b provided at the proximal end portion of the insertion portion 12a, a bending portion 12c and a distal end portion 12d provided at the distal end side of the insertion portion 12a. doing. By operating the angle knob 12e of the operation unit 12b, the bending unit 12c performs a bending operation. By this bending operation, the distal end portion 12d is directed in a desired direction.

また、操作部１２ｂには、アングルノブ１２ｅの他、静止画像取得指示部１３ａ、ズーム操作部１３ｂを設けている。静止画像取得指示部１３ａは、静止画像の取得指示を内視鏡システム１０に入力する。静止画像の取得指示には、モニタ１８に観察対象の静止画像を表示するフリーズ指示と、静止画像をストレージに保存するレリーズ指示がある。ズーム操作部１３ｂは、撮像倍率を変更する撮像倍率変更指示を入力する。   In addition to the angle knob 12e, the operation unit 12b is provided with a still image acquisition instruction unit 13a and a zoom operation unit 13b. The still image acquisition instruction unit 13 a inputs a still image acquisition instruction to the endoscope system 10. The still image acquisition instruction includes a freeze instruction for displaying the still image to be observed on the monitor 18 and a release instruction for saving the still image in the storage. The zoom operation unit 13b inputs an imaging magnification change instruction for changing the imaging magnification.

プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続する。モニタ１８は、観察対象の画像や、画像に付帯する情報等を出力表示する。コンソール１９は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。   The processor device 16 is electrically connected to the monitor 18 and the console 19. The monitor 18 outputs and displays an image to be observed, information attached to the image, and the like. The console 19 functions as a user interface that receives input operations such as function settings.

図２に示すように、光源装置１４は、観察対象の照明に用いる照明光を発する光源２０と、光源２０を制御する光源制御部２２とを備えている。光源２０は、例えば、複数色のＬＥＤ（Light Emitting Diode）等の半導体光源、レーザーダイオードと蛍光体の組み合わせ、又はキセノンランプ等である。また、光源２０には、ＬＥＤ等が発光した光の波長帯域を調整する光学フィルタ等が含まれる。光源制御部２２は、ＬＥＤ等のオン／オフや、ＬＥＤ等の駆動電流や駆動電圧の調整によって、照明光の光量を制御する。また、光源制御部２２は、光学フィルタの変更等によって、照明光の波長帯域を制御する。   As shown in FIG. 2, the light source device 14 includes a light source 20 that emits illumination light used for illuminating the observation target, and a light source control unit 22 that controls the light source 20. The light source 20 is, for example, a semiconductor light source such as a multi-color LED (Light Emitting Diode), a combination of a laser diode and a phosphor, or a xenon lamp. The light source 20 includes an optical filter that adjusts the wavelength band of light emitted from the LED or the like. The light source control unit 22 controls the amount of illumination light by turning on / off the LED and adjusting the drive current and drive voltage of the LED. The light source control unit 22 controls the wavelength band of the illumination light by changing the optical filter or the like.

内視鏡システム１０は、通常観察モードと、第１特殊観察モードと、第２特殊観察モードとを有している。通常観察モードでは、白色光を照明光として用いて、観察対象を撮像して得た自然な色合いの画像（以下、通常観察画像という）をモニタ１８に表示する。第１特殊観察モードでは、白色光よりも狭い特定の波長帯域を有する光（以下、狭帯域光という）を照明光として用いて、観察対象の血管を強調した血管強調画像をモニタ１８に表示する。第２特殊観察モードでは、狭帯域光を用いて、観察対象の血管を色の違いで表した特殊観察画像をモニタ１８に表示する。観察モードは、操作部１２ｂに設けたモード切り替えスイッチ（図示しない）によって切り替える。   The endoscope system 10 has a normal observation mode, a first special observation mode, and a second special observation mode. In the normal observation mode, an image having a natural color (hereinafter referred to as a normal observation image) obtained by imaging an observation target is displayed on the monitor 18 using white light as illumination light. In the first special observation mode, a blood vessel emphasized image in which a blood vessel to be observed is emphasized is displayed on the monitor 18 using light having a specific wavelength band narrower than white light (hereinafter referred to as narrow band light) as illumination light. . In the second special observation mode, a special observation image in which a blood vessel to be observed is represented by a color difference is displayed on the monitor 18 using narrowband light. The observation mode is switched by a mode switch (not shown) provided on the operation unit 12b.

光源２０が発した照明光は、挿入部１２ａ内に挿通したライトガイド２４に入射する。ライトガイド２４は、内視鏡１２及びユニバーサルコードに内蔵しており、照明光を内視鏡１２の先端部１２ｄまで伝搬する。ユニバーサルコードは、内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコードである。なお、ライトガイド２４としては、マルチモードファイバを使用することができる。一例として、ライトガイド２４には、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルを使用することができる。   The illumination light emitted from the light source 20 is incident on the light guide 24 inserted into the insertion portion 12a. The light guide 24 is built in the endoscope 12 and the universal cord, and propagates the illumination light to the distal end portion 12 d of the endoscope 12. The universal cord is a cord that connects the endoscope 12 to the light source device 14 and the processor device 16. A multimode fiber can be used as the light guide 24. As an example, for the light guide 24, a thin fiber cable having a core diameter of 105 μm, a cladding diameter of 125 μm, and a diameter including a protective layer serving as an outer shell of φ0.3 to 0.5 mm can be used.

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂとを設けている。照明光学系３０ａは、照明レンズ３２を有している。この照明レンズ３２を介して、ライトガイド２４によって伝搬した照明光により観察対象を照明する。撮像光学系３０ｂは、対物レンズ３４と、ズームレンズ３６と、撮像センサ３８とを有している。これら対物レンズ３４及びズームレンズ３６を介して、観察対象からの反射光、散乱光、及び蛍光等の各種の光が撮像センサ３８に入射する。これにより、撮像センサ３８に観察対象の像が結像する。ズームレンズ３６は、ズーム操作部１３ｂを操作することでテレ端とワイド端の間で自在に移動し、撮像センサ３８に結像する観察対象を拡大又は縮小する。   The distal end portion 12d of the endoscope 12 is provided with an illumination optical system 30a and an imaging optical system 30b. The illumination optical system 30 a has an illumination lens 32. The observation object is illuminated by the illumination light propagated by the light guide 24 through the illumination lens 32. The imaging optical system 30 b includes an objective lens 34, a zoom lens 36, and an imaging sensor 38. Various types of light such as reflected light, scattered light, and fluorescence from the observation target enter the image sensor 38 through the objective lens 34 and the zoom lens 36. As a result, an image to be observed is formed on the image sensor 38. The zoom lens 36 freely moves between the tele end and the wide end by operating the zoom operation unit 13b, and enlarges or reduces the observation target imaged on the image sensor 38.

撮像センサ３８は、画素毎にＲ（赤）、Ｇ（緑）、又はＢ（青）の原色のカラーフィルタのいずれかを設けたカラー撮像センサであり、観察対象を撮像してＲＧＢ各色の画像信号を出力する。撮像センサ３８は、出力した画像信号を、ＣＤＳ／ＡＧＣ回路４０に送信する。撮像センサ３８としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサを利用可能である。また、原色のカラーフィルタを設けた撮像センサ３８の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号を出力する。このため、補色−原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ３８と同様のＲＧＢ各色の画像信号を得ることができる。また、撮像センサ３８の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。   The imaging sensor 38 is a color imaging sensor in which any one of R (red), G (green), and B (blue) primary color filters is provided for each pixel. Output a signal. The image sensor 38 transmits the output image signal to the CDS / AGC circuit 40. As the image sensor 38, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor can be used. Further, instead of the image sensor 38 provided with the primary color filter, a complementary color image sensor having complementary color filters of C (cyan), M (magenta), Y (yellow), and G (green) may be used. When the complementary color image sensor is used, CMYG four-color image signals are output. Therefore, by converting the CMYG four-color image signals into the RGB three-color image signals by complementary color-primary color conversion, RGB image signals similar to those of the image sensor 38 can be obtained. In place of the image sensor 38, a monochrome sensor without a color filter may be used.

ＣＤＳ／ＡＧＣ回路４０は、撮像センサ３８から受信したアナログの画像信号に、相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）や自動利得制御（ＡＧＣ：Automatic Gain Control）を行う。Ａ／Ｄ（Analog to Digital）変換回路４２は、ＣＤＳ／ＡＧＣ回路４０を経たアナログ画像信号を、デジタルの画像信号に変換する。Ａ／Ｄ変換回路４２は、Ａ／Ｄ変換後のデジタル画像信号を、プロセッサ装置１６に入力する。   The CDS / AGC circuit 40 performs correlated double sampling (CDS) and automatic gain control (AGC) on the analog image signal received from the image sensor 38. An A / D (Analog to Digital) conversion circuit 42 converts an analog image signal that has passed through the CDS / AGC circuit 40 into a digital image signal. The A / D conversion circuit 42 inputs the digital image signal after A / D conversion to the processor device 16.

プロセッサ装置１６は、画像信号取得部５０と、ＤＳＰ（Digital Signal Processor）５２と、ノイズ低減部５４と、メモリ５６と、信号処理部５８と、映像信号生成部６０と、を備えている。   The processor device 16 includes an image signal acquisition unit 50, a DSP (Digital Signal Processor) 52, a noise reduction unit 54, a memory 56, a signal processing unit 58, and a video signal generation unit 60.

画像信号取得部５０は、内視鏡１２からデジタル画像信号を取得する。ＤＳＰ５２は、画像信号取得部５０が取得した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。欠陥補正処理は、撮像センサ３８の欠陥画素の信号を補正する。オフセット処理は、欠陥補正処理した画像信号から暗電流成分を除き、正確なゼロレベルを設定する。ゲイン補正処理は、オフセット処理した画像信号に特定のゲインを乗じることにより信号レベルを整える。   The image signal acquisition unit 50 acquires a digital image signal from the endoscope 12. The DSP 52 performs various signal processing such as defect correction processing, offset processing, gain correction processing, linear matrix processing, gamma conversion processing, and demosaicing processing on the image signal acquired by the image signal acquisition unit 50. In the defect correction process, the signal of the defective pixel of the image sensor 38 is corrected. In the offset process, the dark current component is removed from the image signal subjected to the defect correction process, and an accurate zero level is set. The gain correction process adjusts the signal level by multiplying the image signal subjected to the offset process by a specific gain.

リニアマトリクス処理は、ゲイン補正処理した画像信号の色再現性を高める。ガンマ変換処理は、リニアマトリクス処理した画像信号の明るさや彩度を整える。ガンマ変換処理した画像信号には、デモザイク処理（等方化処理、又は同時化処理とも言う）を施し、各画素で不足した色の信号を補間によって生成する。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ノイズ低減部５４は、ＤＳＰ５２でデモザイク処理等を施した画像信号に対して、例えば、移動平均法やメディアンフィルタ法等によるノイズ低減処理を施し、ノイズを低減する。ノイズを低減した画像信号は、メモリ５６に記憶する。   The linear matrix process improves the color reproducibility of the image signal subjected to the gain correction process. The gamma conversion process adjusts the brightness and saturation of the image signal subjected to the linear matrix process. A demosaic process (also referred to as an isotropic process or a synchronization process) is performed on the image signal subjected to the gamma conversion process, and a signal of a color lacking in each pixel is generated by interpolation. By this demosaic processing, all the pixels have RGB signals. The noise reduction unit 54 performs noise reduction processing by, for example, a moving average method or a median filter method on the image signal subjected to demosaic processing or the like by the DSP 52 to reduce noise. The image signal with reduced noise is stored in the memory 56.

信号処理部５８は、メモリ５６からノイズ低減後の画像信号を取得する。そして、取得した画像信号に対して、必要に応じて、色変換処理、色彩強調処理、及び構造強調処理等の信号処理を施し、観察対象が写ったカラーの内視鏡画像を生成する。色変換処理は、画像信号に対して３×３のマトリックス処理、階調変換処理、及び３次元ＬＵＴ（ルックアップテーブル）処理等により色の変換を行う処理である。色彩強調処理は、色変換処理した画像信号に対して行う。構造強調処理は、例えば、血管やピットパターン等の観察対象に含まれる特定の組織や構造を強調する処理であり、色彩強調処理後の画像信号に対して行う。   The signal processing unit 58 acquires the image signal after noise reduction from the memory 56. Then, the acquired image signal is subjected to signal processing such as color conversion processing, color enhancement processing, and structure enhancement processing as necessary to generate a color endoscope image in which the observation target is reflected. The color conversion process is a process of performing color conversion on an image signal by 3 × 3 matrix processing, gradation conversion processing, three-dimensional LUT (lookup table) processing, and the like. The color enhancement process is performed on the image signal subjected to the color conversion process. The structure enhancement process is a process for enhancing a specific tissue or structure included in an observation target such as a blood vessel or a pit pattern, and is performed on the image signal after the color enhancement process.

信号処理部５８が行う色変換処理、色彩強調処理、及び構造強調処理の内容は、観察モードによって異なる。通常観察モードの場合、信号処理部５８は、上記各種信号処理を行うことによって、自然な色合いの観察対象が写った通常観察画像を内視鏡画像として生成する。第１、第２特殊観察モードの場合、信号処理部５８は、通常観察モードとは異なる各種信号処理を行うことによって、観察対象の血管を色の違いで表した特殊観察画像を内視鏡画像として生成する。特殊観察画像では、粘膜の表面を基準として観察対象内の比較的浅い位置にある血管（いわゆる表層血管）は、マゼンタ系の色（例えば茶褐色）であり、粘膜の表面を基準とし観察対象内の比較的深い位置にある血管（いわゆる中深層血管）は、シアン系の色（例えば緑色）であり、粘膜はピンク系の色である。信号処理部５８は、生成した内視鏡画像を映像信号生成部６０に入力する。   The contents of the color conversion process, color enhancement process, and structure enhancement process performed by the signal processing unit 58 differ depending on the observation mode. In the normal observation mode, the signal processing unit 58 performs the above-described various signal processes to generate a normal observation image in which a natural color observation target is shown as an endoscopic image. In the case of the first and second special observation modes, the signal processing unit 58 performs various signal processing different from the normal observation mode, thereby displaying a special observation image in which the blood vessels to be observed are represented by different colors in an endoscopic image. Generate as In special observation images, the blood vessels (so-called superficial blood vessels) at a relatively shallow position in the observation target with respect to the surface of the mucosa are magenta colors (for example, brownish brown), and are in the observation target with reference to the surface of the mucosa. A blood vessel in a relatively deep position (so-called middle-deep blood vessel) has a cyan color (for example, green), and the mucous membrane has a pink color. The signal processing unit 58 inputs the generated endoscopic image to the video signal generation unit 60.

映像信号生成部６０は、内視鏡画像を、モニタ１８で出力表示が可能な映像信号に変換する。また、静止画像取得指示部１３ａの操作により、レリーズ指示を入力すると、信号処理部５８は、生成した内視鏡画像をストレージ６４に保存する。ストレージ６４は、プロセッサ装置１６にＬＡＮ（Local Area Network）等で接続した外部記憶装置である。ストレージ６４は、例えば、ＰＡＣＳ（Picture Archiving and Communication System）等の内視鏡画像をファイリングするシステムのファイルサーバや、ＮＡＳ（Network Attached Storage）等である。ストレージ６４に保存した内視鏡画像は、画像処理装置６６で使用する。   The video signal generation unit 60 converts the endoscopic image into a video signal that can be output and displayed on the monitor 18. When a release instruction is input by operating the still image acquisition instruction unit 13a, the signal processing unit 58 stores the generated endoscopic image in the storage 64. The storage 64 is an external storage device connected to the processor device 16 via a LAN (Local Area Network) or the like. The storage 64 is, for example, a file server of a system for filing endoscopic images such as PACS (Picture Archiving and Communication System), NAS (Network Attached Storage), or the like. The endoscopic image stored in the storage 64 is used by the image processing device 66.

図３に示すように、画像処理装置６６は、画像取得部７０と、血管抽出部７２と、血管情報算出部７４と、強調画像生成部７６と、表示制御部７８とを備える。また、画像処理装置６６は、関心領域（ＲＯＩ：Region Of Interest）の指定等に用いるポインティングデバイスやキーボード等を含む入力デバイス８２や、画像や血管に関する情報等を表示する表示部８４と接続している。   As illustrated in FIG. 3, the image processing device 66 includes an image acquisition unit 70, a blood vessel extraction unit 72, a blood vessel information calculation unit 74, an enhanced image generation unit 76, and a display control unit 78. In addition, the image processing device 66 is connected to an input device 82 including a pointing device and a keyboard used for designating a region of interest (ROI), a display unit 84 that displays information about images and blood vessels, and the like. Yes.

画像取得部７０は、ストレージ６４から、内視鏡１２が撮影した内視鏡画像を取得する。本実施形態では、第１特殊観察モードの場合について、以下説明をする。したがって、画像取得部７０は、特殊観察画像をストレージ６４から取得する。   The image acquisition unit 70 acquires an endoscope image captured by the endoscope 12 from the storage 64. In the present embodiment, the case of the first special observation mode will be described below. Therefore, the image acquisition unit 70 acquires a special observation image from the storage 64.

血管抽出部７２は、画像取得部７０が取得した内視鏡画像から、観察対象の血管を抽出して血管抽出画像を得る。具体的には、血管抽出部７２は、第１血管及び第１血管と少なくとも一部が異なる第２血管を含む観察対象の血管を抽出する。例えば、血管抽出部７２は、光源装置１４によって異なる波長帯域の照明光で観察対象を照明した場合には、各照明光で照明中の観察対象を撮影して得た各画像の間で差分をとることによって第１血管及び第２血管を抽出する。なお、入力デバイス８２により関心領域を指定した場合は、血管抽出部７２は、関心領域内でだけ、血管を抽出しても良い。血管の抽出方法は任意であり、上記した例の他、周波数フィルタ等によって内視鏡画像から血管を抽出しても良い。血管抽出部７２は、観察対象の血管を抽出して得た血管抽出画像を血管情報算出部７４と強調画像生成部７６に送信する。   The blood vessel extraction unit 72 extracts a blood vessel to be observed from the endoscopic image acquired by the image acquisition unit 70 to obtain a blood vessel extraction image. Specifically, the blood vessel extraction unit 72 extracts a blood vessel to be observed including a first blood vessel and a second blood vessel that is at least partially different from the first blood vessel. For example, when the light source device 14 illuminates the observation target with illumination light of different wavelength bands by the light source device 14, the blood vessel extraction unit 72 calculates a difference between the images obtained by photographing the observation target under illumination with each illumination light. The first blood vessel and the second blood vessel are extracted by taking. When a region of interest is designated by the input device 82, the blood vessel extraction unit 72 may extract a blood vessel only within the region of interest. The blood vessel extraction method is arbitrary, and in addition to the above-described example, the blood vessel may be extracted from the endoscopic image by a frequency filter or the like. The blood vessel extraction unit 72 transmits a blood vessel extraction image obtained by extracting the blood vessel to be observed to the blood vessel information calculation unit 74 and the enhanced image generation unit 76.

血管情報算出部７４は、血管抽出画像を用いて、血管抽出部７２で抽出した血管を分類する血管情報を算出する。血管情報とは、血管の性質を表す情報であり、例えば、血管の本数、血管の分岐数、血管の分岐角度、分岐点間距離、血管の交差数、血管の太さ、血管の太さの変化、血管の太さの変化の複雑度、血管の長さ、血管の間隔、血管の深さ、血管の高低差、血管の傾き、血管の面積、血管の密度、血管のコントラスト、血管の色、血管の色の変化、血管の蛇行度、血管の血液濃度、血管の酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、血管の走行パターン、及び血管の血流量等である。血管情報算出部７４は、これらの血管情報のうちのいずれかを算出する。なお、血管情報は、血管の性質を表す情報であれば良いので、その種類は上記した例のみに限定されない。   The blood vessel information calculation unit 74 calculates blood vessel information for classifying the blood vessels extracted by the blood vessel extraction unit 72 using the blood vessel extraction image. The blood vessel information is information indicating the nature of the blood vessel. For example, the number of blood vessels, the number of blood vessel branches, the blood vessel branch angle, the distance between branch points, the number of blood vessel intersections, the blood vessel thickness, and the blood vessel thickness. Change, complexity of changes in vessel thickness, vessel length, vessel spacing, vessel depth, vessel elevation, vessel inclination, vessel area, vessel density, vessel contrast, vessel color Blood vessel color change, blood vessel meandering, blood vessel blood concentration, blood vessel oxygen saturation, arterial proportion, vein proportion, administered dye concentration, blood vessel running pattern, blood flow rate of blood vessel, etc. . The blood vessel information calculation unit 74 calculates one of these blood vessel information. The blood vessel information only needs to be information indicating the nature of the blood vessel, and the type thereof is not limited to the above example.

血管の本数とは、内視鏡画像全体又は関心領域内で抽出した血管の数である。血管の本数は、例えば、抽出した血管の分岐点の個数（分岐数）や他の血管との交差点の個数（交差数）等を用いて算出する。血管の分岐角度は、２本の血管が分岐点においてなす角度である。分岐点間距離は、任意の分岐点とその隣の分岐点の直線距離、又は、任意の分岐点とその隣の分岐点までの血管に沿った長さである。   The number of blood vessels is the number of blood vessels extracted in the entire endoscopic image or in the region of interest. The number of blood vessels is calculated using, for example, the number of extracted blood vessel branch points (the number of branches), the number of intersections with other blood vessels (the number of intersections), and the like. The branch angle of a blood vessel is an angle formed by two blood vessels at a branch point. The distance between branch points is a linear distance between an arbitrary branch point and an adjacent branch point, or a length along a blood vessel between an arbitrary branch point and an adjacent branch point.

血管の交差数とは、粘膜下の深さが異なる血管が内視鏡画像上で交差する交差点の個数である。より具体的には、血管の交差数とは、相対的に粘膜下の浅い位置にある血管が、深い位置にある血管を横切る数である。   The number of blood vessel intersections is the number of intersections where blood vessels having different submucosal depths intersect on the endoscopic image. More specifically, the number of intersecting blood vessels is the number of blood vessels at a relatively shallow position below the mucosa crossing a blood vessel at a deep position.

血管の太さ（血管径）とは、血管と粘膜の境界線間の距離である。血管の太さは、例えば、抽出した血管のエッジから血管の中を通って血管の短手方向に沿って画素数を計数して得る。したがって、血管の太さは画素数であるが、内視鏡画像を撮影した際の撮影距離やズーム倍率等が既知の場合には、必要に応じて「μｍ」等の長さの単位に換算可能である。   The thickness of the blood vessel (blood vessel diameter) is the distance between the boundary line of the blood vessel and the mucous membrane. The thickness of the blood vessel is obtained, for example, by counting the number of pixels along the short direction of the blood vessel from the extracted blood vessel edge through the blood vessel. Therefore, the thickness of the blood vessel is the number of pixels, but if the shooting distance or zoom magnification when the endoscopic image is taken is known, it is converted to a unit of length such as “μm” as necessary. Is possible.

血管の太さの変化とは、血管の太さのばらつきに関する血管情報であり、口径不同度ともいう。血管の太さの変化は、例えば、血管径の変化率（拡張度ともいう）である。血管径の変化率は、血管の最も細い部分の太さ（最小径）と血管の最も太い部分の太さ（最大径）を用いて、「血管経の変化率（％）＝最小径／最大径×１００」で求める。   The change in the thickness of the blood vessel is blood vessel information related to the variation in the thickness of the blood vessel, and is also referred to as the unequal diameter. The change in the thickness of the blood vessel is, for example, a change rate of the blood vessel diameter (also referred to as a degree of expansion). The change rate of the blood vessel diameter is calculated by using the thickness of the thinnest part of the blood vessel (minimum diameter) and the thickness of the thickest part of the blood vessel (maximum diameter). It calculates | requires in diameter x100 ".

なお、過去の検査で観察対象を撮影して得た内視鏡画像と、その後の新たな検査で同じ観察対象を撮影して得た内視鏡画像と、を用いる場合、過去の検査で得た内視鏡画像から抽出した血管の太さに対して、その後の新たな検査で得た内視鏡画像から抽出した同じ血管の太さの時間的な変化を、血管の太さの変化としてもよい。   In addition, when using an endoscopic image obtained by photographing an observation object in a past examination and an endoscopic image obtained by photographing the same observation object in a subsequent new examination, it is obtained in a past examination. As a change in the thickness of the blood vessel, the temporal change in the same blood vessel thickness extracted from the endoscopic image obtained in a new examination after that was extracted from the endoscopic image. Also good.

また、血管の太さの変化として、細径部の割合、又は太径部の割合を算出しても良い。細径部とは、太さが閾値以下の部分である。太径部とは、太さが閾値よりも太い部分である。細径部の割合は、「細径部の割合（％）＝細径部の長さ／血管の長さ×１００」で求める。同様に、太径部の割合は、「太径部の割合（％）＝太径部の長さ／血管の長さ×１００」で求める。   Further, as a change in the thickness of the blood vessel, the ratio of the small diameter part or the ratio of the large diameter part may be calculated. A small diameter part is a part whose thickness is below a threshold value. The large diameter portion is a portion whose thickness is larger than a threshold value. The ratio of the small diameter portion is obtained by “the ratio (%) of the small diameter portion = the length of the small diameter portion / the length of the blood vessel × 100”. Similarly, the ratio of the large diameter portion is obtained by “the ratio (%) of the large diameter portion = the length of the large diameter portion / the length of the blood vessel × 100”.

血管の太さの変化の複雑度（以下、「太さ変化の複雑度」という）とは、血管の太さが変化している場合に、その変化がどの程度複雑であるかを表す血管情報であり、血管の太さの変化を表す血管情報（すなわち、血管径の変化率、細径部の割合、又は太径部の割合）を複数組み合わせて算出する血管情報である。太さ変化の複雑度は、例えば、血管径の変化率と細径部の割合の積で求めることができる。   The complexity of the change in the thickness of the blood vessel (hereinafter referred to as “complexity of the change in thickness”) is the blood vessel information indicating how complex the change is when the thickness of the blood vessel changes. The blood vessel information is calculated by combining a plurality of pieces of blood vessel information (that is, a blood vessel diameter change rate, a small diameter portion ratio, or a large diameter portion ratio) that represents a change in the thickness of the blood vessel. The complexity of the thickness change can be obtained, for example, by the product of the change rate of the blood vessel diameter and the ratio of the small diameter portion.

血管の長さとは、抽出した血管を長手方向に沿って計数した画素数である。   The length of the blood vessel is the number of pixels obtained by counting the extracted blood vessels along the longitudinal direction.

血管の間隔とは、抽出した血管のエッジ間にある粘膜を表す画素の画素数である。抽出した血管が１本の場合、血管の間隔は値を持たない。   The blood vessel interval is the number of pixels representing the mucous membrane between the extracted blood vessel edges. When there is one extracted blood vessel, the blood vessel interval has no value.

血管の深さは、粘膜（より具体的には粘膜の表面）を基準として測る。この粘膜を基準とした血管の深さは、例えば、血管の色に基づいて算出することができる。特殊観察画像の場合、例えば、粘膜の表面に近い位置（粘膜下の浅い位置）にある表層血管をマゼンタ系の色で表しており、粘膜の表面から遠い位置（粘膜下の深い位置）にある中深層血管をシアン系の色で表しているので、血管情報算出部７４は、血管として抽出した画素のＲ，Ｇ，Ｂ各色の信号のバランスに基づいて、粘膜を基準とした血管の深さを画素毎に算出する。   The depth of the blood vessel is measured on the basis of the mucosa (more specifically, the surface of the mucosa). The blood vessel depth based on the mucous membrane can be calculated based on the color of the blood vessel, for example. In the case of special observation images, for example, superficial blood vessels in a position close to the mucosal surface (shallow position under the mucosa) are represented by magenta color, and are located far from the mucosal surface (deep position under the mucosa) Since the middle-deep blood vessels are represented by cyan colors, the blood vessel information calculation unit 74 determines the depth of the blood vessels based on the mucous membrane based on the balance of the R, G, B color signals of the pixels extracted as blood vessels. Is calculated for each pixel.

血管の高低差とは、血管の深さの差の大きさである。例えば、注目する１本の血管の高低差は、この血管の最も深い箇所の深さ（最大深さ）と、最も浅い箇所の深さ（最小深さ）の差で求める。深さが一定の場合、高低差は零である。   The difference in height of the blood vessel is the size of the difference in the depth of the blood vessel. For example, the height difference of one blood vessel of interest is obtained by the difference between the depth (maximum depth) of the deepest portion of the blood vessel and the depth (minimum depth) of the shallowest portion. When the depth is constant, the height difference is zero.

血管の傾きとは、血管の深さの変化率であり、血管の長さと血管の深さを用いて算出する。すなわち、血管の傾きは、「血管の傾き＝血管の深さ／血管の長さ」で求める。なお、血管を複数の区間に区切り、各区間で血管の傾きを算出してもよい。   The inclination of the blood vessel is a change rate of the depth of the blood vessel, and is calculated using the length of the blood vessel and the depth of the blood vessel. That is, the inclination of the blood vessel is obtained by “the inclination of the blood vessel = the depth of the blood vessel / the length of the blood vessel”. The blood vessel may be divided into a plurality of sections, and the inclination of the blood vessels may be calculated in each section.

血管の面積は、血管として抽出した画素の画素数、又は、血管として抽出した画素の画素数に比例する値である。血管の面積は、関心領域内、関心領域外、又は、内視鏡画像全体について算出する。   The area of the blood vessel is a value proportional to the number of pixels extracted as blood vessels or the number of pixels extracted as blood vessels. The area of the blood vessel is calculated within the region of interest, outside the region of interest, or for the entire endoscopic image.

血管の密度は、単位面積中にある血管の割合である。血管の密度を算出する画素を概ね中心に含む特定の大きさの領域（例えば、単位面積の領域）を切り出し、この領域内の全画素に占める血管の割合を算出する。これを関心領域又は内視鏡画像全体の全画素に対して行うことで、各画素の血管の密度を算出することができる。   The density of blood vessels is the proportion of blood vessels in a unit area. A region having a specific size (for example, a unit area) that roughly includes the pixel for calculating the density of blood vessels is cut out, and the ratio of blood vessels to all the pixels in this region is calculated. By performing this for all the pixels of the region of interest or the entire endoscopic image, the blood vessel density of each pixel can be calculated.

血管のコントラストとは、観察対象の粘膜に対する血管の相対的なコントラストである。血管のコントラストは、血管の輝度ＹVと、粘膜の輝度ＹMと、を用いて、例えば「ＹV／ＹM」又は「（ＹV−ＹM）／（ＹV＋ＹM）」で算出する。 The contrast of the blood vessel is a relative contrast of the blood vessel with respect to the mucosa to be observed. The blood vessel contrast is calculated by using, for example, “Y V / Y M ” or “(Y V −Y M ) / (Y V + Y M )” using the luminance Y V of the blood vessel and the luminance Y M of the mucous membrane. To do.

血管の色とは、血管を表す画素のＲＧＢの各値である。そして、血管の色の変化とは、血管を表す画素のＲＧＢ各値の各々の最大値と最小値の差又は比である。例えば、血管を表す画素のＢ値の最大値と最小値の比、Ｇ値の最大値と最小値の比、又はＲ値の最大値と最小値の比は、血管の色の変化を表す。もちろん、補色に変換して、シアン、マゼンタ、イエロー、グリーン等の各値について血管の色及び血管の色の変化を算出しても良い。   The color of the blood vessel is an RGB value of a pixel representing the blood vessel. The change in the color of the blood vessel is the difference or ratio between the maximum value and the minimum value of each RGB value of the pixel representing the blood vessel. For example, the ratio between the maximum value and the minimum value of the B value of the pixel representing the blood vessel, the ratio between the maximum value and the minimum value of the G value, or the ratio between the maximum value and the minimum value of the R value represents a change in the color of the blood vessel. Of course, the color of the blood vessel and the change in the color of the blood vessel may be calculated for each value such as cyan, magenta, yellow, and green by converting to a complementary color.

血管の蛇行度とは、血管が蛇行して走行する範囲の広さを表す血管情報である。血管の蛇行度は、例えば、蛇行度を算出する血管を含む最小の長方形の面積（画素数）である。また、血管の始点と終点の直線距離に対する血管の長さの比を血管の蛇行度としても良い。   The degree of meandering of blood vessels is blood vessel information indicating the size of the range in which the blood vessels meander and travel. The meandering degree of the blood vessel is, for example, the minimum rectangular area (number of pixels) including the blood vessel for which the meandering degree is calculated. The ratio of the length of the blood vessel to the linear distance between the start point and the end point of the blood vessel may be used as the degree of meandering of the blood vessel.

血管の血液濃度とは、血管が含むヘモグロビンの量に比例する血管情報である。血管を表す画素のＲ値に対するＧ値の比（Ｇ／Ｒ）はヘモグロビンの量に比例するので、Ｇ／Ｒの値を算出することで、画素ごとに血液濃度を算出することができる。   The blood concentration of a blood vessel is blood vessel information proportional to the amount of hemoglobin contained in the blood vessel. Since the ratio (G / R) of the G value to the R value of the pixel representing the blood vessel is proportional to the amount of hemoglobin, the blood concentration can be calculated for each pixel by calculating the value of G / R.

血管の酸素飽和度とは、ヘモグロビンの総量（酸化ヘモグロビン及び還元ヘモグロビンの総量）に対する酸化ヘモグロビンの量である。酸素飽和度は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の違いが大きい特定の波長帯域の光（例えば、波長４７０±１０ｎｍ程度の青色光）で観察対象を照明した際に得た内視鏡画像を用いて算出することができる。波長４７０±１０ｎｍ程度の青色光を用いる場合、血管を表す画素のＢ値は酸素飽和度と相関があるので、Ｂ値を酸素飽和度に対応付けるテーブル等を用いることで、血管を表す各画素の酸素飽和度を算出することができる。   The oxygen saturation of the blood vessel is the amount of oxygenated hemoglobin relative to the total amount of hemoglobin (total amount of oxygenated hemoglobin and reduced hemoglobin). The oxygen saturation is obtained by observing an endoscopic image obtained when an observation target is illuminated with light of a specific wavelength band (for example, blue light having a wavelength of about 470 ± 10 nm) having a large difference in extinction coefficient between oxyhemoglobin and reduced hemoglobin. Can be used to calculate. When blue light having a wavelength of about 470 ± 10 nm is used, the B value of the pixel representing the blood vessel has a correlation with the oxygen saturation. Therefore, by using a table or the like that associates the B value with the oxygen saturation, The oxygen saturation can be calculated.

動脈の割合とは、全血管の画素数に対する動脈の画素数の割合である。同様に、静脈の割合とは、全血管の画素数に対する静脈の画素数の割合である。動脈と静脈は、酸素飽和度によって区別することができる。例えば、酸素飽和度が７０％以上の血管を動脈とし、酸素飽和度が７０％未満の血管を静脈とすれば、抽出した血管を動脈と静脈に区別できるので、上記動脈の割合及び静脈の割合を算出することができる。   The ratio of arteries is the ratio of the number of pixels in the artery to the number of pixels in all blood vessels. Similarly, the vein ratio is the ratio of the number of vein pixels to the number of pixels of all blood vessels. Arteries and veins can be distinguished by oxygen saturation. For example, if a blood vessel having an oxygen saturation of 70% or more is used as an artery and a blood vessel having an oxygen saturation of less than 70% is used as a vein, the extracted blood vessel can be distinguished from an artery and a vein. Can be calculated.

投与した色素の濃度とは、観察対象に対して散布した色素、又は静脈注射により血管に注入した色素の濃度である。投与した色素の濃度は、例えば、色素色以外の画素の画素値に対する色素色の画素値の割合で算出する。例えば、青色に着色する色素を投与した場合は、Ｂ／ＧやＢ／Ｒ等が、観察対象に定着（あるいは一時的に付着）した色素の濃度を表す。   The density | concentration of the administered pigment | dye is the density | concentration of the pigment | dye sprayed with respect to the observation object, or the pigment | dye inject | poured into the blood vessel by intravenous injection. The density | concentration of the administered pigment | dye is calculated by the ratio of the pixel value of pigment color with respect to the pixel value of pixels other than pigment color, for example. For example, when a blue coloring pigment is administered, B / G, B / R, etc. represent the concentration of the pigment fixed (or temporarily attached) to the observation target.

血管の走行パターンとは、血管の走行方向に関する血管情報である。血管の走行パターンは、例えば、任意に設定する基準線に対する血管の平均角度（走行方向）や、任意に設定する基準線に対して血管がなす角度の分散（走行方向のばらつき）等である。   The blood vessel traveling pattern is blood vessel information related to the blood vessel traveling direction. The blood vessel traveling pattern is, for example, an average angle (traveling direction) of a blood vessel with respect to an arbitrarily set reference line, dispersion of angles formed by the blood vessel with respect to an arbitrarily set reference line (variation in traveling direction), or the like.

血管の血流量（血流速度ともいう）は、単位時間あたりに赤血球が通り抜ける数である。超音波プローブを内視鏡１２の鉗子チャネル等を介して併用する場合等に、内視鏡画像の血管を表す各画素のドップラーシフト周波数を、超音波プローブで得る信号を用いて算出することによって、血管の血流量を求めるができる。   The blood flow volume of blood vessels (also called blood flow velocity) is the number of red blood cells that pass through per unit time. When the ultrasonic probe is used together via the forceps channel of the endoscope 12 or the like, by calculating the Doppler shift frequency of each pixel representing the blood vessel of the endoscopic image using a signal obtained by the ultrasonic probe The blood flow of the blood vessel can be obtained.

血管情報算出部７４は、入力デバイス８２の操作によって内視鏡画像の一部に関心領域に指定した場合には、指定した関心領域内で血管情報を算出する。関心領域を指定していない場合や、内視鏡画像の全部を関心領域に指定している場合には、血管情報算出部７４は、内視鏡画像の全体に対して血管情報を算出する。本実施形態では、血管情報算出部７４は、内視鏡画像の全体に対して血管情報を算出する。   When the region of interest is designated as a part of the endoscopic image by operating the input device 82, the blood vessel information calculation unit 74 calculates blood vessel information within the designated region of interest. When the region of interest is not designated or when the entire endoscopic image is designated as the region of interest, the blood vessel information calculation unit 74 calculates blood vessel information for the entire endoscopic image. In the present embodiment, the blood vessel information calculation unit 74 calculates blood vessel information for the entire endoscopic image.

また、上記血管情報のうち一部の血管情報については、内視鏡画像内の位置によって異なる。このため、血管情報算出部７４は、内視鏡画像内の位置によって値が異なる血管情報を算出する場合、その最大値、最小値、平均値、又は中央値等の統計量を血管情報の値とする。例えば、予め定めた範囲（例えば任意画素を中心とする９９×９９画素の範囲）の統計量を、任意画素における血管情報の値とすることによって、画素毎には算出し難い血管情報も画素毎に求めることができる。   Some of the blood vessel information is different depending on the position in the endoscopic image. For this reason, when the blood vessel information calculation unit 74 calculates blood vessel information having different values depending on the position in the endoscopic image, the blood vessel information calculation unit 74 uses the maximum value, the minimum value, the average value, or the median value as a value of the blood vessel information. And For example, by setting a statistic in a predetermined range (for example, a range of 99 × 99 pixels centered on an arbitrary pixel) as a value of blood vessel information in an arbitrary pixel, blood vessel information that is difficult to calculate for each pixel is also detected for each pixel. Can be requested.

強調画像生成部７６は、血管抽出画像に対して第１血管を強調処理した第１血管強調画像と、血管抽出画像に対して第２血管を強調処理した第２血管強調画像とを少なくとも生成する。すなわち、強調画像生成部７６は、第ｎ血管を強調処理した第ｎ血管強調画像を、ｎ＝１、ｎ＝２、ｎ＝３、・・・というようにｎを１ずつ加算しながら血管強調画像を順に生成する。強調処理は、第１血管又は第２血管の明度、色相、又は彩度を変更して行う。   The enhanced image generation unit 76 generates at least a first blood vessel enhanced image obtained by enhancing the first blood vessel with respect to the blood vessel extracted image and a second blood vessel enhanced image obtained by enhancing the second blood vessel with respect to the blood vessel extracted image. . That is, the enhanced image generating unit 76 enhances the blood vessel while adding n to the nth blood vessel enhanced image obtained by enhancing the nth blood vessel, such that n = 1, n = 2, n = 3,. Generate images in order. The enhancement process is performed by changing the brightness, hue, or saturation of the first blood vessel or the second blood vessel.

本実施形態では、強調画像生成部７６は、上記第１、第２血管強調画像に加え、血管抽出画像に対し、第３血管を強調処理して第３血管強調画像を生成する。このため、強調画像生成部７６は、まず、ｎ＝１として、第１血管を強調した第１血管強調画像を生成する。次に、強調画像生成部７６は、ｎ＝ｎ＋１、すなわちｎ＝２として、第１血管を強調した第１血管強調画像を生成する。そして、強調画像生成部７６は、ｎ＝ｎ＋１、すなわちｎ＝３として、第３血管を強調した第３血管強調画像を生成する。第３血管は、第１血管及び第２血管とは異なる血管である。なお、第３血管は、第１血管及び第２血管と少なくとも一部が異なっており、第１血管及び第２血管と同様に、血管抽出部７２によって抽出する。   In the present embodiment, the emphasized image generation unit 76 generates a third blood vessel emphasized image by enhancing the third blood vessel on the blood vessel extracted image in addition to the first and second blood vessel emphasized images. For this reason, the enhanced image generation unit 76 first generates a first blood vessel enhanced image in which the first blood vessel is enhanced with n = 1. Next, the enhanced image generation unit 76 generates a first blood vessel enhanced image in which the first blood vessel is enhanced with n = n + 1, that is, n = 2. Then, the emphasized image generation unit 76 generates a third blood vessel enhanced image in which the third blood vessel is emphasized with n = n + 1, that is, n = 3. The third blood vessel is a blood vessel different from the first blood vessel and the second blood vessel. The third blood vessel is at least partially different from the first blood vessel and the second blood vessel, and is extracted by the blood vessel extraction unit 72 in the same manner as the first blood vessel and the second blood vessel.

第１〜第３血管は、観察対象の血管に含まれる複数の血管情報のうち、血管情報の種類又は血管情報の値のいずれかが異なっている。本実施形態では、第１〜第３血管は、同じ種類の血管情報をそれぞれ有しており、その血管情報の値が互いに異なっている場合について、以下説明をする。例えば、血管情報が血管の太さ（血管径）である場合には、第１血管は、血管の太さの値が小さい血管とする。また、第２血管は、血管の太さの値が中程度の血管とする。第３血管は、血管の太さの値が大きい血管とする。   The first to third blood vessels are different in either the type of blood vessel information or the value of blood vessel information among a plurality of pieces of blood vessel information included in the blood vessel to be observed. In the present embodiment, the case where the first to third blood vessels have the same type of blood vessel information and the values of the blood vessel information are different from each other will be described below. For example, when the blood vessel information is a blood vessel thickness (blood vessel diameter), the first blood vessel is a blood vessel having a small blood vessel thickness value. In addition, the second blood vessel is a blood vessel having a medium blood vessel thickness value. The third blood vessel is a blood vessel having a large value for the thickness of the blood vessel.

第１血管強調画像では、血管抽出画像に対して第１血管の彩度を上げることによって、第１血管を、第１血管以外の血管よりも強調している。第２血管強調画像では、血管抽出画像に対して第２血管の彩度を上げることによって、第２血管を、第２血管以外の血管よりも強調している。第３血管強調画像では、血管抽出画像に対して第３血管の彩度を上げることによって、第３血管を、第３血管以外の血管よりも強調している。   In the first blood vessel enhancement image, the first blood vessel is emphasized more than the blood vessels other than the first blood vessel by increasing the saturation of the first blood vessel with respect to the blood vessel extraction image. In the second blood vessel enhancement image, the second blood vessel is emphasized more than the blood vessels other than the second blood vessel by increasing the saturation of the second blood vessel with respect to the blood vessel extraction image. In the third blood vessel emphasized image, the third blood vessel is emphasized more than the blood vessels other than the third blood vessel by increasing the saturation of the third blood vessel with respect to the blood vessel extracted image.

表示制御部７８は、表示部８４を制御して、第１血管の強調表示と第２血管の強調表示を順に切り替える血管強調表示切替制御を行う。具体的には、表示制御部７８は、第ｎ血管強調画像を、ｎ＝１、ｎ＝２、ｎ＝３、・・・というように１ずつ加算しながら順に切り替えて表示部８４に表示することによって、第ｎ血管の強調表示を順に切り替える。   The display control unit 78 controls the display unit 84 to perform blood vessel emphasis display switching control for sequentially switching the emphasis display of the first blood vessel and the emphasis display of the second blood vessel. Specifically, the display control unit 78 displays the nth blood vessel emphasized image on the display unit 84 while sequentially switching the nth blood vessel enhanced image while adding one by one such as n = 1, n = 2, n = 3,. Thus, the highlight display of the nth blood vessel is sequentially switched.

本実施形態では、強調画像生成部７６が第１〜第３血管強調画像を生成するので、表示制御部７８は、第１〜第３血管強調画像を順に切り替えて表示することによって、第１〜第３血管の強調表示を順に切り替えて表示する。このため、表示制御部７８は、ｎ＝３を満たすか否かの判定を行い、ｎ＝３を満たすと判定した場合に、強調画像生成部７６を制御して、再び、第１〜第３血管強調画像の生成を順に行わせる。   In the present embodiment, since the emphasized image generation unit 76 generates the first to third blood vessel emphasized images, the display control unit 78 switches the first to third blood vessel emphasized images in order and displays them. The highlighting of the third blood vessel is sequentially switched and displayed. For this reason, the display control unit 78 determines whether or not n = 3 is satisfied, and when it is determined that n = 3 is satisfied, the display control unit 78 controls the emphasized image generation unit 76 to perform the first to third again. The generation of the blood vessel emphasized image is sequentially performed.

なお、表示制御部７８は、各画像を切り替える場合に、画像間で、血管の表示位置を同じとする。また、表示制御部７８により画像を切り替えるタイミングは任意である。例えば、各画像を切り替える時間間隔を入力デバイス８２により入力し、入力した時間間隔に従って画像を切り替える。この場合は、画像毎に異なる時間間隔を入力しても良い。この他にも、マウス等のポインティングデバイスや操作パネルのボタン等の入力操作により、ユーザが画像を切り替えるタイミングを逐次指示できるようにしても良い。   In addition, the display control part 78 makes the display position of the blood vessel the same between images, when switching each image. Moreover, the timing which switches the image by the display control part 78 is arbitrary. For example, a time interval for switching each image is input by the input device 82, and the images are switched according to the input time interval. In this case, a different time interval may be input for each image. In addition to this, the user may be able to sequentially instruct the timing for switching images by an input operation such as a pointing device such as a mouse or a button on the operation panel.

次に、第１特殊観察モードの場合の画像処理装置６６の動作の流れを図４のフローチャートに沿って説明する。   Next, the operation flow of the image processing apparatus 66 in the first special observation mode will be described with reference to the flowchart of FIG.

画像処理装置６６は、モード切り替えスイッチの操作に従って第１特殊観察モードに設定されると（Ｓ１１）、画像取得部７０がストレージ６４から内視鏡画像を取得する（Ｓ１２）。本実施形態では、画像取得部７０は、観察対象の血管を色の違いで表した特殊観察画像をストレージ６４から取得する。   When the image processing device 66 is set to the first special observation mode according to the operation of the mode switch (S11), the image acquisition unit 70 acquires an endoscopic image from the storage 64 (S12). In the present embodiment, the image acquisition unit 70 acquires from the storage 64 a special observation image in which a blood vessel to be observed is represented by a color difference.

血管抽出部７２は、画像取得部７０が取得した内視鏡画像から、第１血管及び第２血管を含む観察対象の血管を抽出して血管抽出画像を得る（Ｓ１３）。血管情報算出部７４は、血管抽出画像を用いて、観察対象の血管の血管情報を算出する（Ｓ１４）。例えば、血管情報算出部７４は、血管情報として、血管の太さ（血管径）を算出する。   The blood vessel extraction unit 72 extracts a blood vessel to be observed including the first blood vessel and the second blood vessel from the endoscopic image acquired by the image acquisition unit 70 to obtain a blood vessel extraction image (S13). The blood vessel information calculation unit 74 calculates the blood vessel information of the blood vessel to be observed using the blood vessel extraction image (S14). For example, the blood vessel information calculation unit 74 calculates the thickness of the blood vessel (blood vessel diameter) as the blood vessel information.

次に、強調画像生成部７６が第ｎ血管を強調した第ｎ血管強調画像を生成する毎に、表示制御部７８が第ｎ血管強調画像を表示部８４に表示する。本実施形態では、強調画像生成部７６は、まず、ｎ＝１（Ｓ１５）とし、第１血管を強調した第１血管強調画像を生成する（Ｓ１６）。表示制御部７８は、強調画像生成部７６が生成した第１血管強調画像を表示部８４に表示し（Ｓ１７）、ｎ＝３を満たすか否か（Ｓ１８）を判定する。表示制御部７８がｎ＝３を満たさないと判定した場合（Ｓ１８でＮＯ）、強調画像生成部７６は、この判定結果を受け、ｎ＝ｎ＋１（Ｓ１９）とする。これにより、強調画像生成部７６が第２血管を強調した第２血管強調画像を生成し（Ｓ１６）、表示制御部７８が第２血管強調画像を表示部８４に表示する（Ｓ１７）。   Next, every time the enhanced image generation unit 76 generates an nth blood vessel enhanced image in which the nth blood vessel is enhanced, the display control unit 78 displays the nth blood vessel enhanced image on the display unit 84. In the present embodiment, the emphasized image generation unit 76 first sets n = 1 (S15), and generates a first blood vessel emphasized image in which the first blood vessel is emphasized (S16). The display control unit 78 displays the first blood vessel emphasized image generated by the emphasized image generation unit 76 on the display unit 84 (S17), and determines whether n = 3 is satisfied (S18). When the display control unit 78 determines that n = 3 is not satisfied (NO in S18), the emphasized image generation unit 76 receives this determination result and sets n = n + 1 (S19). Thereby, the emphasized image generation unit 76 generates a second blood vessel emphasized image in which the second blood vessel is emphasized (S16), and the display control unit 78 displays the second blood vessel emphasized image on the display unit 84 (S17).

その後、画像処理装置６６では、表示制御部７８がｎ＝３を満たすと判定するまで、上記Ｓ１６〜Ｓ１９を繰り返して行う。すなわち、強調画像生成部７６によって第１〜第３血管強調画像のそれぞれを得る毎に、表示制御部７８は、第１〜第３血管強調画像を順に切り替えて表示部８４に表示することによって、第１血管の強調表示、第２血管の強調表示、及び第３血管の強調表示を順に切り替える血管強調表示切替制御を行う。   Thereafter, in the image processing device 66, the above steps S16 to S19 are repeated until the display control unit 78 determines that n = 3 is satisfied. That is, every time the first to third blood vessel emphasized images are obtained by the emphasized image generation unit 76, the display control unit 78 sequentially switches the first to third blood vessel emphasized images and displays them on the display unit 84. Blood vessel emphasis display switching control for sequentially switching the emphasis display of the first blood vessel, the emphasis display of the second blood vessel, and the emphasis display of the third blood vessel is performed.

例えば、図５に示すように、表示制御部７８は、時間ｔ１に第１血管強調画像９０を表示部８４に表示し、時間ｔ１よりも後の時間ｔ２に第２血管強調画像９１を表示し、時間ｔ２よりも後の時間ｔ３に第３血管強調画像９２を表示部８４に表示する。第１血管強調画像９０は、第１血管９３を強調表示した画像である。第２血管強調画像９１は、第２血管９４を強調表示した画像である。第３血管強調画像９２は、第３血管９５を強調表示した画像である。第１血管９３は、血管の太さの値が小さい血管（細い血管）である。第２血管９４は、血管の太さの値が中程度（中程度の太さの血管）である。第３血管９５は、血管の太さの値が大きい血管（太い血管）である。また、ｔ３以降については、上記ｔ１〜ｔ３と同様に、第１〜第３血管強調画像９０〜９２の切り替え表示を繰り返して行う。これにより、表示制御部７８は、第１血管９３の強調表示と、第２血管９４の強調表示と、第３血管９５を強調表示とを順に切り替える。   For example, as shown in FIG. 5, the display control unit 78 displays the first blood vessel emphasized image 90 on the display unit 84 at time t1, and displays the second blood vessel emphasized image 91 at time t2 after the time t1. The third blood vessel emphasized image 92 is displayed on the display unit 84 at time t3 after time t2. The first blood vessel enhanced image 90 is an image in which the first blood vessel 93 is highlighted. The second blood vessel enhanced image 91 is an image in which the second blood vessel 94 is highlighted. The third blood vessel enhanced image 92 is an image in which the third blood vessel 95 is highlighted. The first blood vessel 93 is a blood vessel (thin blood vessel) having a small blood vessel thickness value. The second blood vessel 94 has a medium blood vessel thickness value (medium blood vessel). The third blood vessel 95 is a blood vessel (thick blood vessel) having a large blood vessel thickness value. Further, after t3, similarly to t1 to t3, the switching display of the first to third blood vessel emphasized images 90 to 92 is repeatedly performed. Thereby, the display control unit 78 sequentially switches the highlighted display of the first blood vessel 93, the highlighted display of the second blood vessel 94, and the highlighted display of the third blood vessel 95.

表示制御部７８は、第３血管強調画像を表示部８４に表示すると（Ｓ１７）、ｎ＝３を満たすと判定する（Ｓ１８でＹＥＳ）。その後、画像処理装置６６は、第１特殊観察モードが継続している間は（Ｓ２０でＮＯ）、上記Ｓ１２〜Ｓ１９を繰り返して行い、モード切り替えスイッチの操作に従って観察モードが切り替わった場合に第１特殊観察モードを終了する（Ｓ２０でＹＥＳ）。   When the third blood vessel emphasized image is displayed on the display unit 84 (S17), the display control unit 78 determines that n = 3 is satisfied (YES in S18). Thereafter, while the first special observation mode is continued (NO in S20), the image processing device 66 repeats the above S12 to S19, and the first is performed when the observation mode is switched according to the operation of the mode change switch. The special observation mode is terminated (YES in S20).

以上のように、本実施形態では、第１〜第３血管強調画像の各画像をそれぞれ得る毎に、第１〜第３血管強調画像を順に切り替えて表示することによって、第１血管の強調表示と、第２血管の強調表示と、第３血管の強調表示とを順に切り替えるので、血管情報の一覧性が向上し、視線を動かさずに複数の血管に関する血管情報を容易かつ正確に得ることができる。   As described above, in the present embodiment, the first blood vessel emphasized display is performed by sequentially switching and displaying the first to third blood vessel emphasized images each time the images of the first to third blood vessel emphasized images are obtained. Since the second blood vessel highlighting display and the third blood vessel highlighting display are sequentially switched, the listability of the blood vessel information is improved, and blood vessel information on a plurality of blood vessels can be obtained easily and accurately without moving the line of sight. it can.

［第２実施形態］
上記第１実施形態では、表示制御部７８は、第１〜第３血管強調画像の各画像をそれぞれ得る毎に、第１〜第３血管強調画像を順に切り替えて表示しているが、第２実施形態では、表示制御部７８は、第１〜第３血管強調画像を全て得た後に、第１〜第３血管強調画像を順に切り替えて表示する。なお、第２実施形態における画像処理装置６６の各部の構成は、第１実施形態における画像処理装置６６と同じなので、説明を省略する。 [Second Embodiment]
In the first embodiment, the display control unit 78 sequentially switches and displays the first to third blood vessel emphasized images each time the images of the first to third blood vessel emphasized images are obtained. In the embodiment, the display control unit 78 sequentially displays the first to third blood vessel emphasized images after obtaining all the first to third blood vessel emphasized images. Note that the configuration of each part of the image processing apparatus 66 in the second embodiment is the same as that of the image processing apparatus 66 in the first embodiment, and thus the description thereof is omitted.

以下、第２実施形態における画像処理装置６６の動作の流れを図６のフローチャートに沿って説明する。   Hereinafter, the operation flow of the image processing apparatus 66 according to the second embodiment will be described with reference to the flowchart of FIG.

まず、上記第１実施形態と同様に、第１特殊観察モードに設定されると（Ｓ１１）、画像取得部７０がストレージ６４から内視鏡画像を取得し（Ｓ１２）、血管抽出部７２が第１血管及び第２血管を含む血管を抽出して血管抽出画像を得て（Ｓ１３）、血管情報算出部７４が血管情報を算出する（Ｓ１４）。   First, as in the first embodiment, when the first special observation mode is set (S11), the image acquisition unit 70 acquires an endoscopic image from the storage 64 (S12), and the blood vessel extraction unit 72 performs the first operation. A blood vessel including a first blood vessel and a second blood vessel is extracted to obtain a blood vessel extraction image (S13), and the blood vessel information calculation unit 74 calculates blood vessel information (S14).

強調画像生成部７６は、まず、ｎ＝１（Ｓ１５）とし、第１血管を強調した第１血管強調画像を生成する（Ｓ１６）。強調画像生成部７６は、生成した第１血管強調画像をメモリ等（図示省略）に記憶する（Ｓ３１）。   The enhanced image generation unit 76 first sets n = 1 (S15), and generates a first blood vessel enhanced image in which the first blood vessel is enhanced (S16). The enhanced image generation unit 76 stores the generated first blood vessel enhanced image in a memory or the like (not shown) (S31).

表示制御部７８は、ｎ＝３を満たすか否か（Ｓ３２）を判定する。表示制御部７８がｎ＝３を満たさないと判定した場合（Ｓ３２でＮＯ）、強調画像生成部７６は、この判定結果を受け、ｎ＝ｎ＋１（Ｓ３３）とする。その後、画像処理装置６６では、表示制御部７８がｎ＝３を満たすと判定するまで、第ｎ血管強調画像の生成（Ｓ１６）と記憶（Ｓ３１）を繰り返して行う。   The display control unit 78 determines whether n = 3 is satisfied (S32). When the display control unit 78 determines that n = 3 is not satisfied (NO in S32), the enhanced image generation unit 76 receives this determination result and sets n = n + 1 (S33). Thereafter, the image processing device 66 repeatedly generates (S16) and stores (S31) the nth blood vessel emphasized image until the display control unit 78 determines that n = 3 is satisfied.

メモリが第３血管強調画像を記憶すると（Ｓ３１）、表示制御部７８は、ｎ＝３を満たすと判定する（Ｓ３２でＹＥＳ）する。そして、表示制御部７８は、まず、ｎ＝１（Ｓ３４）とし、メモリに記憶されている第１血管強調画像を表示部８４に表示する（Ｓ３５）。表示制御部７８は、ｎ＝３を満たすか否か（Ｓ３６）を判定し、ｎ＝３を満たさないと判定した場合（Ｓ３６でＮＯ）、ｎ＝ｎ＋１（Ｓ３７）とする。表示制御部７８は、ｎ＝３を満たすと判定するまで、上記Ｓ３５〜Ｓ３７を繰り返して行う。すなわち、強調画像生成部７６によって第１〜第３血管強調画像の３つ全ての画像を得る毎に、表示制御部７８は、第１〜第３血管強調画像を順に切り替えて表示部８４に表示することによって、第１血管の強調表示、第２血管の強調表示、及び第３血管の強調表示を順に切り替える血管強調表示切替制御を行う（図５参照）。   When the memory stores the third blood vessel emphasized image (S31), the display control unit 78 determines that n = 3 is satisfied (YES in S32). The display control unit 78 first sets n = 1 (S34), and displays the first blood vessel emphasized image stored in the memory on the display unit 84 (S35). The display control unit 78 determines whether or not n = 3 is satisfied (S36). When it is determined that n = 3 is not satisfied (NO in S36), n = n + 1 (S37) is set. The display control unit 78 repeats S35 to S37 until it is determined that n = 3 is satisfied. That is, every time the enhanced image generation unit 76 obtains all three images of the first to third blood vessel emphasized images, the display control unit 78 sequentially switches the first to third blood vessel emphasized images and displays them on the display unit 84. By doing this, blood vessel highlighting display switching control is performed for sequentially switching the highlighting display of the first blood vessel, the highlighting display of the second blood vessel, and the highlighting display of the third blood vessel (see FIG. 5).

表示制御部７８は、第３血管強調画像を表示部８４に表示すると（Ｓ３５）、ｎ＝３を満たすと判定する（Ｓ３６でＹＥＳ）。その後、画像処理装置６６は、第１特殊観察モードが継続している間は（Ｓ２０でＮＯ）、上記Ｓ１２〜Ｓ３７を繰り返して行い、観察モードが切り替わった場合に第１特殊観察モードを終了する（Ｓ２０でＹＥＳ）。   When the third blood vessel emphasized image is displayed on the display unit 84 (S35), the display control unit 78 determines that n = 3 is satisfied (YES in S36). Thereafter, while the first special observation mode is continued (NO in S20), the image processing device 66 repeats the above S12 to S37, and ends the first special observation mode when the observation mode is switched. (YES in S20).

以上のように、第２実施形態では、第１〜第３血管強調画像を全て生成し、その後、第１〜第３血管強調画像を順に切り替えて表示することによって、第１血管の強調表示と、第２血管の強調表示と、第３血管の強調表示とを順に切り替えるので、血管情報の一覧性が向上し、視線を動かさずに複数の血管に関する血管情報を容易かつ正確に得ることができる。   As described above, in the second embodiment, all of the first to third blood vessel emphasized images are generated, and then the first to third blood vessel emphasized images are sequentially switched and displayed. Since the second blood vessel highlighting and the third blood vessel highlighting are sequentially switched, the blood vessel information listability is improved, and blood vessel information on a plurality of blood vessels can be obtained easily and accurately without moving the line of sight. .

なお、上記第１、第２実施形態では、表示制御部７８は、血管強調表示切替制御として、第１血管の強調表示、第２血管の強調表示、第３血管の強調表示を順に切り替えているが、第１血管の強調表示と第２血管の強調表示を順に切り替えても良い。   In the first and second embodiments, the display control unit 78 sequentially switches the highlight display of the first blood vessel, the highlight display of the second blood vessel, and the highlight display of the third blood vessel as the blood vessel highlight display switching control. However, the highlighted display of the first blood vessel and the highlighted display of the second blood vessel may be switched in order.

例えば、表示制御部７８は、血管の深さの値が小さい第１血管（表層血管）の強調表示と、血管の深さの値が大きい第２血管（中深層血管）の強調表示とを順に切り替える血管強調表示切替制御を行う。この場合、強調画像生成部７６では、表層血管を強調した第１血管強調画像と、中深層血管を強調した第２血管強調画像とを生成する。そして、表示制御部７８が、第１血管強調画像と第２血管強調画像とを順に切り替えて表示する。なお、上記第１実施形態のように、表示制御部７８は、第１血管強調画像と第２血管強調画像とをそれぞれ得る毎に、各画像を順に切り替えて表示しても良い。また、上記第２実施形態のように、表示制御部７８は、第１血管強調画像及び第２血管強調画像の両方を得る毎に、各画像を順に切り替えて表示しても良い。更に、表示制御部７８は、４つ以上の血管の強調表示を順に切り替える血管強調表示切替制御を行っても良い。   For example, the display control unit 78 sequentially highlights a first blood vessel (surface blood vessel) having a small blood vessel depth value, and highlights a second blood vessel (medium deep blood vessel) having a large blood vessel depth value. Blood vessel emphasis display switching control is performed. In this case, the emphasized image generation unit 76 generates a first blood vessel emphasized image in which surface blood vessels are emphasized, and a second blood vessel emphasized image in which middle-layer blood vessels are emphasized. Then, the display control unit 78 sequentially switches and displays the first blood vessel emphasized image and the second blood vessel emphasized image. Note that, as in the first embodiment, the display control unit 78 may switch and display each image in turn each time the first blood vessel emphasized image and the second blood vessel emphasized image are obtained. Further, as in the second embodiment, the display control unit 78 may switch and display each image in turn each time both the first blood vessel emphasized image and the second blood vessel emphasized image are obtained. Furthermore, the display control unit 78 may perform blood vessel emphasis display switching control for sequentially switching emphasis display of four or more blood vessels.

なお、上記第１、第２実施形態では、第１血管及び第２血管は、同じ種類の血管情報をそれぞれ有し、且つ血管情報の値が互いに異なっているが、種類が異なる血管情報を有していても良い。   In the first and second embodiments, the first blood vessel and the second blood vessel have the same type of blood vessel information and have different blood vessel information values, but have different types of blood vessel information. You may do it.

具体的には、第１血管は、第１血管情報を有し、第２血管は、第１血管情報と種類が異なる第２血管情報を有する。例えば、第１血管は、血管の深さの値が小さい血管とし、第２血管は、血管の太さの値が中程度の血管とする。強調画像生成部７６は、第１血管を強調した第１血管強調画像と、第２血管を強調した第２血管強調画像を生成する。図７に示すように、表示制御部７８は、時間ｔ１に、血管の深さの値が小さい第１血管９６を強調表示した第１血管強調画像９７を表示し、時間ｔ２に、血管の太さの値が中程度の第２血管９８を強調表示した第２血管強調画像９９を表示する。時間ｔ２以降については、時間ｔ１、ｔ２と同様に、第１血管強調画像９７と第２血管強調画像９９との切り替え表示を繰り返して行う。これにより、表示制御部７８は、第１血管９６の強調表示と、第２血管９８の強調表示とを順に切り替える。   Specifically, the first blood vessel has first blood vessel information, and the second blood vessel has second blood vessel information that is different in type from the first blood vessel information. For example, the first blood vessel is a blood vessel having a small blood vessel depth value, and the second blood vessel is a blood vessel having a medium blood vessel thickness value. The enhanced image generation unit 76 generates a first blood vessel enhanced image in which the first blood vessel is enhanced and a second blood vessel enhanced image in which the second blood vessel is enhanced. As shown in FIG. 7, the display control unit 78 displays a first blood vessel emphasized image 97 in which the first blood vessel 96 having a small blood vessel depth value is highlighted at time t1, and at time t2, the blood vessel thickening is displayed. A second blood vessel emphasizing image 99 in which the second blood vessel 98 having a medium value is highlighted is displayed. After time t2, similarly to the times t1 and t2, the switching display between the first blood vessel emphasized image 97 and the second blood vessel emphasized image 99 is repeatedly performed. Thereby, the display control unit 78 sequentially switches between the highlighted display of the first blood vessel 96 and the highlighted display of the second blood vessel 98.

第１血管９６のなかには、深さの値が小さく、且つ太さの値が中程度の血管が含まれている場合がある。このように、第１血管９６が第２血管９８の一部を含み、逆に、第２血管９８が第１血管９６の一部を含む場合には、第１血管強調画像９７と第２血管強調画像９９との両方で、深さの値が小さく、且つ太さの値が中程度の血管が強調表示することになる。このように、血管情報の種類が異なる血管の強調表示を順に切り替えることによって、複数の血管情報を総合的に考慮する診断の支援ができる。   The first blood vessels 96 may include blood vessels having a small depth value and a medium thickness value. As described above, when the first blood vessel 96 includes a part of the second blood vessel 98, and conversely, when the second blood vessel 98 includes a part of the first blood vessel 96, the first blood vessel enhanced image 97 and the second blood vessel are included. In both the emphasized image 99, a blood vessel having a small depth value and a medium thickness value is highlighted. In this way, by switching the highlighting of blood vessels having different types of blood vessel information in order, it is possible to support diagnosis that comprehensively considers a plurality of blood vessel information.

［第３実施形態］
上記第１、第２実施形態では、第１特殊観察モードの場合には、一律に血管強調表示切替制御を行っているが、第３実施形態では、複数の血管情報を用いて血管パラメータを算出し、この血管パラメータを用いて血管強調表示切替制御を行うか否かを決定する。血管パラメータは、複数の血管情報を総合的に考慮して診断を行う医師の視点を模して、複数の血管情報を用いて算出した数値である。この血管パラメータは、互いに次元（単位）が異なる血管情報を加算等して算出するので、血管パラメータには物理的な意味は無いが、診断の指標として機能する。すなわち、血管パラメータは、物理的な意味がない値であることが血管情報との違いである。 [Third Embodiment]
In the first and second embodiments, the blood vessel emphasis display switching control is uniformly performed in the first special observation mode. However, in the third embodiment, blood vessel parameters are calculated using a plurality of blood vessel information. Then, using this blood vessel parameter, it is determined whether or not to perform blood vessel highlighting display switching control. The blood vessel parameter is a numerical value calculated using a plurality of blood vessel information, imitating the viewpoint of a doctor who performs diagnosis in consideration of a plurality of blood vessel information. Since the blood vessel parameter is calculated by adding blood vessel information having different dimensions (units), the blood vessel parameter has no physical meaning, but functions as a diagnostic index. That is, the blood vessel parameter is a value having no physical meaning, which is different from the blood vessel information.

第３実施形態では、図８に示すように、画像処理装置１１０には、上記第１、第２実施形態の画像処理装置６６の各部に加え、血管パラメータ算出部１１２と、判定部１１４とを設ける。なお、血管情報算出部７４では、可能な限り上記の全ての血管情報を算出する。   In the third embodiment, as shown in FIG. 8, the image processing apparatus 110 includes a blood vessel parameter calculation unit 112 and a determination unit 114 in addition to the units of the image processing apparatus 66 of the first and second embodiments. Provide. The blood vessel information calculation unit 74 calculates all the above-described blood vessel information as much as possible.

血管パラメータ算出部１１２は、観察対象の血管に含まれる複数の血管情報を用いて血管パラメータを算出する。例えば、血管パラメータ算出部１１２は、血管情報算出部７４が算出した複数の血管情報のそれぞれに重み付け係数をかけ、和をとることによって血管パラメータを算出する。各血管情報の重み付け係数は、重み付け係数テーブル（図示しない）に記憶する。重み付け係数テーブルに記憶した重み付け係数は、例えば、機械学習によって予め定めている。なお、血管パラメータの算出方法は任意である。例えば、上記のように複数の血管情報の重み付け和を血管パラメータとして算出するだけでなく、加減乗除が混在する演算をして血管パラメータを算出しても良いし、その他の関数を用いて血管パラメータを算出しても良い。   The blood vessel parameter calculation unit 112 calculates a blood vessel parameter using a plurality of pieces of blood vessel information included in a blood vessel to be observed. For example, the blood vessel parameter calculation unit 112 calculates a blood vessel parameter by multiplying each of a plurality of blood vessel information calculated by the blood vessel information calculation unit 74 by a weighting coefficient and taking the sum. The weighting coefficient of each blood vessel information is stored in a weighting coefficient table (not shown). The weighting coefficient stored in the weighting coefficient table is determined in advance by machine learning, for example. Note that the blood vessel parameter calculation method is arbitrary. For example, in addition to calculating the weighted sum of a plurality of blood vessel information as described above as a blood vessel parameter, the blood vessel parameter may be calculated by performing a calculation in which addition / subtraction / multiplication / division is mixed, or using other functions May be calculated.

判定部１１４は、血管パラメータ算出部１１２が算出した血管パラメータを用いて観察対象の粘膜の状態を判定し、この判定の結果に応じて、表示制御部７８で血管強調表示切替制御を行うか否かを決める。   The determination unit 114 determines the state of the mucous membrane to be observed using the blood vessel parameter calculated by the blood vessel parameter calculation unit 112, and determines whether or not the display control unit 78 performs the blood vessel highlight display switching control according to the determination result. Decide what.

判定部１１４は、粘膜の状態を、正常、腺腫、がんの３種類の状態に判定する。例えば、血管パラメータの算出に用いる重み付け係数として、粘膜の状態を判定可能に調整した係数を用いた場合には、判定部１１４は、血管パラメータの数値と閾値とを比較することによって粘膜の状態を判定する。具体的には、血管パラメータが第１閾値以下の場合、判定部１１４は、観察対象の粘膜が正常であると判定する。血管パラメータが第１閾値よりも大きく第２閾値以下の場合、判定部１１４は、腺腫の疑いがあると判定する。血管パラメータが第２閾値よりも大きい場合、判定部１１４は、がんに進行している可能性があると判定する。   The determination unit 114 determines the state of the mucous membrane into three types of states: normal, adenoma, and cancer. For example, when a coefficient adjusted so that the state of the mucous membrane can be determined is used as a weighting coefficient used for calculating the blood vessel parameter, the determination unit 114 compares the numerical value of the blood vessel parameter with a threshold value to determine the state of the mucosa judge. Specifically, when the blood vessel parameter is equal to or smaller than the first threshold, the determination unit 114 determines that the observation target mucous membrane is normal. When the blood vessel parameter is greater than the first threshold and less than or equal to the second threshold, the determination unit 114 determines that there is a suspicion of adenoma. When the blood vessel parameter is larger than the second threshold, the determination unit 114 determines that there is a possibility of progressing to cancer.

判定部１１４は、正常であると判定した場合には、表示制御部７８で血管強調表示切替制御を非実行とすることを決定する。判定部１１４により血管強調表示切替制御を非実行とすることを決定した場合、表示制御部７８では、例えば、第２特殊観察モードと同様に、特殊観察画像を表示する。   If the determination unit 114 determines that it is normal, the display control unit 78 determines not to execute the blood vessel highlight display switching control. When the determination unit 114 determines not to execute the blood vessel enhancement display switching control, the display control unit 78 displays a special observation image, for example, as in the second special observation mode.

一方、判定部１１４は、粘膜の状態の判定結果、腺腫又はがんであると判定した場合には、表示制御部７８で血管強調表示切替制御を実行することを決定する。判定部１１４により血管強調表示切替制御を実行することを決定した場合、表示制御部７８では、上記第１、第２実施形態と同様に、第１血管の強調表示と第２血管の強調表示を順に切り替える。この場合には、強調画像生成部７６は、例えば、血管パラメータの算出に用いた血管情報を有する血管を強調して、血管強調画像を生成する。このように、血管パラメータを用いて血管強調表示切替制御を実行するか否かを決定することによって、病変の可能性がある場合にその旨を血管強調表示切替制御の実行により医師に通知することができ、且つ病変の可能性がある部位に対する重点的な診断の支援をすることができる。   On the other hand, when the determination unit 114 determines that the adenoma or cancer is a result of the determination of the state of the mucous membrane, the display control unit 78 determines to execute the blood vessel highlight display switching control. When the determination unit 114 decides to execute the blood vessel highlight display switching control, the display control unit 78 performs the first blood vessel highlight display and the second blood vessel highlight display as in the first and second embodiments. Switch in order. In this case, for example, the enhanced image generation unit 76 enhances the blood vessel having the blood vessel information used for calculating the blood vessel parameter, and generates a blood vessel enhanced image. In this way, by determining whether or not to execute the blood vessel highlighting display switching control using the blood vessel parameter, when there is a possibility of a lesion, the fact is notified to the doctor by executing the blood vessel highlighting display switching control. It is possible to support intensive diagnosis for a site where there is a possibility of lesion.

なお、表示制御部７８は、判定部１１４の判定結果によって、血管の強調表示を切り替える時間間隔を変更しても良い。例えば、判定部１１４ががんであると判定した場合には、表示制御部７８は、第１血管の強調表示と第２血管の強調表示を切り替える時間間隔を、判定部１１４が腺腫であると判定した場合の時間間隔よりも長くする。これにより、リスクが高い病変の部位に対する重点的な診断の支援をすることができる。   Note that the display control unit 78 may change the time interval for switching the highlighted display of the blood vessel according to the determination result of the determination unit 114. For example, if the determination unit 114 determines that the cancer is present, the display control unit 78 determines a time interval for switching between the highlighting of the first blood vessel and the highlighting of the second blood vessel, and the determination unit 114 determines that it is an adenoma. Make the interval longer than the time interval. As a result, it is possible to support intensive diagnosis for a high-risk lesion site.

なお、表示制御部７８は、血管パラメータに基づいた第１血管及び第２血管の強調表示を順に切り替えても良い。例えば、第１血管及び第２血管は、同じ種類の血管情報を用いて算出した血管パラメータを有しており、且つ第１血管の血管パラメータの値は、第２血管の血管パラメータの値と異なっていても良い。なお、第１血管は、第１血管パラメータを有し、第２血管は、第１血管パラメータと異なる第２血管パラメータを有していても良い。この場合、第１血管パラメータと第２血管パラメータとは、各血管パラメータの算出に用いた血管情報の種類が互いに異なる。以上のように、血管パラメータに基づいた第１血管及び第２血管の強調表示を順に切り替えることによって、医師の視点に立った総合的な診断の支援ができる。   Note that the display control unit 78 may sequentially switch the highlighted display of the first blood vessel and the second blood vessel based on the blood vessel parameter. For example, the first blood vessel and the second blood vessel have blood vessel parameters calculated using the same type of blood vessel information, and the value of the blood vessel parameter of the first blood vessel is different from the value of the blood vessel parameter of the second blood vessel. May be. The first blood vessel may have a first blood vessel parameter, and the second blood vessel may have a second blood vessel parameter different from the first blood vessel parameter. In this case, the first blood vessel parameter and the second blood vessel parameter have different types of blood vessel information used for calculating each blood vessel parameter. As described above, by switching the highlighting of the first blood vessel and the second blood vessel based on the blood vessel parameters in order, it is possible to support comprehensive diagnosis from the viewpoint of the doctor.

なお、血管パラメータは、表示部８４に表示しても良い。表示部８４に血管パラメータの数値を表示すれば、医師が血管パラメータの数値を見て、素早くかつ正確に観察対象の状態を判断することができる。   The blood vessel parameters may be displayed on the display unit 84. If the numerical value of the blood vessel parameter is displayed on the display unit 84, the doctor can determine the state of the observation object quickly and accurately by looking at the numerical value of the blood vessel parameter.

また、表示部８４には、血管パラメータを算出する際に用いる血管情報や、重み付け係数を表示しても良い。この場合は、血管情報算出部７４が算出した血管情報と重み付け係数とを対応付けて表示することが好ましい。なお、血管情報だけ、あるいは重み付け係数だけを表示しても良い。このように、血管パラメータの算出に用いる血管情報や重み付け係数を表示することで、医師は血管パラメータの意味や判定の根拠を把握しやすくなる。   The display unit 84 may display blood vessel information used when calculating blood vessel parameters and weighting coefficients. In this case, it is preferable to display the blood vessel information calculated by the blood vessel information calculation unit 74 in association with the weighting coefficient. Note that only blood vessel information or only a weighting coefficient may be displayed. In this way, displaying the blood vessel information and the weighting coefficient used for calculating the blood vessel parameter makes it easier for the doctor to understand the meaning of the blood vessel parameter and the basis for the determination.

また、判定部１１４による判定結果は、表示部８４に表示しても良い。判定結果を表示すれば、血管パラメータの数値を表示する場合よりも、さらに直接的に診断を支援することができる。   The determination result by the determination unit 114 may be displayed on the display unit 84. If the determination result is displayed, the diagnosis can be supported more directly than the case where the numerical value of the blood vessel parameter is displayed.

なお、判定部１１４は、粘膜の状態を、正常、腺腫、及びがんを含む３種類以上の状態に判定することが望ましい。特に、大腸の粘膜の状態を判定する場合には、正常、過形成ポリープ（ＨＰ：Hyperplastic Polyp）、ＳＳＡ／Ｐ（Sessile Serrated Adenoma / Polyp）、腺腫（ＴＳＡ：Traditional Serrated Adenoma）、側方発達型腫瘍（ＬＳＴ：Laterally Spreading Tumor）、及びがんを含むいずれかの状態に判定することが好ましい。このように、判定部１１４の判定結果を細分化する場合、判定部１１４は、血管パラメータに加えて、血管情報を用いることが好ましい。   Desirably, the determination unit 114 determines the state of the mucous membrane to be at least three types including normal, adenoma, and cancer. In particular, when determining the state of the mucous membrane of the large intestine, normal, hyperplastic polyp (HP), SSA / P (Sessile Serrated Adenoma / Polyp), adenoma (TSA: Traditional Serrated Adenoma), lateral development type It is preferable to determine to any state including tumor (LST: Laterally Spreading Tumor) and cancer. Thus, when subdividing the determination result of the determination unit 114, the determination unit 114 preferably uses blood vessel information in addition to the blood vessel parameter.

従来、過形成ポリープはがん化のリスクが低く、処置の必要がないと考えられていたが、近年では、過形成ポリープに似たＳＳＡ／Ｐががん化した例も発見されているため、特に過形成ポリープとＳＳＡ／Ｐを鑑別することが重要になってきている。一方、過形成ポリープあるいはＳＳＡ／Ｐと思しき肥厚した粘膜下を中深層血管が横断していると、ＳＳＡ／Ｐが形成される可能性が高いことが分かっている。血管パラメータを用いれば判定部１１４によって過形成ポリープとＳＳＡ／Ｐを鑑別することができるが、血管パラメータと血管情報（血管の太さ及び長さ）を組み合わせて判定をすれば、より高い確率で過形成ポリープからＳＳＡ／Ｐを鑑別することができる。   Conventionally, hyperplastic polyps were considered to have a low risk of canceration and need not be treated. However, in recent years, examples of cancerous SSA / P similar to hyperplastic polyps have been discovered. In particular, it is becoming important to distinguish hyperplastic polyps from SSA / P. On the other hand, it has been found that when a mid-deep blood vessel crosses a thickened submucosa, which seems to be a hyperplastic polyp or SSA / P, there is a high possibility that SSA / P is formed. If the blood vessel parameter is used, the determination unit 114 can distinguish the hyperplastic polyp from the SSA / P. However, if the determination is performed by combining the blood vessel parameter and the blood vessel information (the thickness and length of the blood vessel), the probability is higher. SSA / P can be identified from hyperplastic polyps.

なお、上記第１、第２実施形態では、強調画像生成部７６は、血管パラメータの算出に用いた血管情報の血管を、血管強調画像内で強調する血管としているが、第３実施形態の判定部１１４の判定結果を用いて、強調する血管を変更しても良い。例えば、血管パラメータ算出部１１２が血管の深さと面積との２つの血管情報を用いて血管パラメータを算出し、判定部１１４が血管パラメータを用いて過形成ポリープあるいはＳＳＡ／Ｐの可能性があると判定した場合に、強調画像生成部７６は、血管強調画像内で強調する血管を、血管の太さに関する血管情報を有する血管と、血管の長さに関する血管情報を有する血管に変更する。   In the first and second embodiments, the enhanced image generation unit 76 uses the blood vessel of the blood vessel information used for calculating the blood vessel parameter as a blood vessel to be emphasized in the blood vessel enhanced image. The blood vessel to be emphasized may be changed using the determination result of the unit 114. For example, the blood vessel parameter calculation unit 112 calculates blood vessel parameters using two pieces of blood vessel information of the depth and area of the blood vessel, and the determination unit 114 uses the blood vessel parameters to determine whether there is a hyperplastic polyp or SSA / P. When the determination is made, the emphasized image generation unit 76 changes the blood vessel to be emphasized in the blood vessel emphasized image into a blood vessel having blood vessel information relating to the thickness of the blood vessel and a blood vessel having blood vessel information relating to the length of the blood vessel.

また、観察対象の粘膜の状態ががんであると判定した場合、判定部１１４は、血管パラメータを用いて、さらに、がんのステージを判定することが好ましい。そして、表示制御部７８では、判定部１１４が判定したがんのステージを表示部８４に表示することが好ましい。このように、観察対象の粘膜の状態をがんと判定した場合にさらにステージを判定して、その結果を表示部８４に表示すれば、さらに細やかに診断を支援することができる。   When it is determined that the state of the mucous membrane to be observed is cancer, it is preferable that the determination unit 114 further determines the cancer stage using the blood vessel parameter. The display control unit 78 preferably displays the cancer stage determined by the determination unit 114 on the display unit 84. As described above, when the state of the mucosa to be observed is determined to be cancer, the stage is further determined, and the result is displayed on the display unit 84, so that the diagnosis can be further supported.

なお、上記各実施形態では、表示制御部７８は、画像全体について血管強調表示切替制御を行っているが、第３実施形態の判定部１１４の判定結果を用いて、血管強調表示切替制御を行う範囲を設定しても良い。   In each of the above embodiments, the display control unit 78 performs the blood vessel enhancement display switching control for the entire image, but performs the blood vessel enhancement display switching control using the determination result of the determination unit 114 of the third embodiment. A range may be set.

この場合、表示制御部７８は、強調画像生成部７６を制御することによって、判定部１１４によってがんの可能性があると判定された範囲の血管のうち、第１〜第３血管をそれぞれ強調した第１〜第３血管強調画像を生成させる。例えば、図９に示すように、強調画像生成部７６は、第１血管強調画像１１６を生成する場合、判定部１１４によってがんの可能性があると判定された範囲１１８内の第１血管９３を強調する。なお、第２、第３血管強調画像を生成する場合についても、判定部１１４によってがんの可能性があると判定された範囲内の第２、第３血管をそれぞれ強調しても良い。そして、表示制御部７８は、第１〜第３血管強調画像を順に切り替えて表示することによって、判定部１１４によってがんの可能性があると判定された範囲内で血管強調表示切替制御を行う。このように、血管パラメータを用いて観察対象の粘膜の状態を判定し、その結果に基づく範囲の血管を優先して強調すれば、がん等の病変の可能性がある部位に対する重点的な診断の支援をすることができる。   In this case, the display control unit 78 controls the emphasized image generation unit 76 to emphasize the first to third blood vessels among the blood vessels in the range determined by the determination unit 114 as having the possibility of cancer. The first to third blood vessel enhanced images are generated. For example, as illustrated in FIG. 9, when the enhanced image generation unit 76 generates the first blood vessel enhanced image 116, the first blood vessel 93 within a range 118 that is determined by the determination unit 114 to have a possibility of cancer. To emphasize. Note that, in the case of generating the second and third blood vessel enhanced images, the second and third blood vessels within the range determined by the determination unit 114 as having the possibility of cancer may be emphasized. Then, the display control unit 78 performs the blood vessel enhancement display switching control within the range in which the determination unit 114 determines that there is a possibility of cancer by sequentially switching and displaying the first to third blood vessel enhancement images. . In this way, if the condition of the mucosa to be observed is determined using the blood vessel parameters and the blood vessels in the range based on the result are prioritized and emphasized, a focused diagnosis for a site that may have a lesion such as cancer Can help.

なお、上記各実施形態では、強調画像生成部７６は、第１、第２血管強調画像を生成する場合に、第１、第２血管をそれぞれ強調処理しているが、これに代えて、抑制処理をしても良い。抑制処理は、第１血管又は第２血管の明度、色相、又は彩度を変更して行う。   In each of the above embodiments, the enhanced image generation unit 76 performs enhancement processing on the first and second blood vessels when generating the first and second blood vessel enhanced images. It may be processed. The suppression process is performed by changing the brightness, hue, or saturation of the first blood vessel or the second blood vessel.

例えば、強調画像生成部７６は、第１血管強調画像を生成する場合は、観察対象の血管のうち第１血管以外の血管を抑制処理して、第１血管を相対的に強調する。第２血管強調画像を生成する場合は、観察対象の血管のうち第２血管以外の血管を抑制処理して、第２血管を相対的に強調する。第３血管強調画像を生成する場合は、観察対象の血管のうち第３血管以外の血管を抑制処理して、第３血管を相対的に強調する。図１０に示すように、例えば、第３血管強調画像１２０では、第１血管９３と第２血管９４と第３血管９５が写っているが、第３血管９５以外の血管が抑制されている。このため、第３血管強調画像１２０では、第３血管９５が、第３血管９５以外の血管よりも相対的に強調されている。   For example, when generating the first blood vessel emphasized image, the emphasized image generation unit 76 relatively suppresses the first blood vessel by suppressing the blood vessels other than the first blood vessel among the blood vessels to be observed. When generating the second blood vessel emphasized image, the blood vessels other than the second blood vessel among the blood vessels to be observed are subjected to suppression processing, and the second blood vessel is relatively emphasized. When generating the third blood vessel emphasized image, the blood vessels other than the third blood vessel among the blood vessels to be observed are subjected to suppression processing, and the third blood vessel is relatively emphasized. As shown in FIG. 10, for example, in the third blood vessel enhanced image 120, the first blood vessel 93, the second blood vessel 94, and the third blood vessel 95 are shown, but blood vessels other than the third blood vessel 95 are suppressed. For this reason, in the third blood vessel enhancement image 120, the third blood vessel 95 is emphasized relatively more than the blood vessels other than the third blood vessel 95.

なお、上記各実施形態では、内視鏡システム１０は、静止画像取得指示部１３ａによって信号処理部５８が静止画像取得指示を受けた場合に、内視鏡画像をストレージ６４に保存しているが、静止画像取得指示の入力の有無に関係なく、内視鏡画像の動画をモニタ１８に表示する場合に、この内視鏡画像の動画をストレージ６４に保存しても良い。   In each of the above embodiments, the endoscope system 10 stores the endoscope image in the storage 64 when the signal processing unit 58 receives a still image acquisition instruction from the still image acquisition instruction unit 13a. Regardless of whether or not a still image acquisition instruction is input, when a moving image of the endoscopic image is displayed on the monitor 18, the moving image of the endoscopic image may be stored in the storage 64.

［第４実施形態］
なお、上記各実施形態では、画像処理装置６６が、内視鏡画像から第１血管と第２血管とを含む観察対象の血管を抽出し、第１血管の強調表示と第２血管の強調表示とを順に切り替える血管強調表示切替制御を行っているが、第４実施形態では、これに代えて、プロセッサ装置１６が、上記血管強調表示切替制御を行う。この場合、図１１に示す内視鏡システム２００のように、プロセッサ装置１６に、画像取得部７０と、血管抽出部７２と、血管情報算出部７４と、強調画像生成部７６と、表示制御部７８とを設ける。内視鏡１２や光源装置１４の構成は、第１実施形態又は第２実施形態の内視鏡システム１０と同様である。 [Fourth Embodiment]
In each of the above embodiments, the image processing device 66 extracts the blood vessel to be observed including the first blood vessel and the second blood vessel from the endoscopic image, and highlights the first blood vessel and the second blood vessel. However, in the fourth embodiment, instead of this, the processor device 16 performs the blood vessel enhancement display switching control. In this case, like the endoscope system 200 shown in FIG. 11, the processor device 16 includes an image acquisition unit 70, a blood vessel extraction unit 72, a blood vessel information calculation unit 74, an enhanced image generation unit 76, and a display control unit. 78. The configurations of the endoscope 12 and the light source device 14 are the same as those of the endoscope system 10 of the first embodiment or the second embodiment.

このように、プロセッサ装置１６に画像処理装置６６の各部を設ける場合、画像取得部７０は、信号処理部５８から内視鏡画像を直接取得する。血管抽出部７２は、画像取得部７０が取得した内視鏡画像から血管を抽出して血管抽出画像を得る。血管情報算出部７４は、血管抽出部７２が抽出した血管に関する血管情報を算出する。   As described above, when each unit of the image processing device 66 is provided in the processor device 16, the image acquisition unit 70 directly acquires an endoscopic image from the signal processing unit 58. The blood vessel extraction unit 72 extracts blood vessels from the endoscopic image acquired by the image acquisition unit 70 to obtain a blood vessel extraction image. The blood vessel information calculation unit 74 calculates blood vessel information regarding the blood vessels extracted by the blood vessel extraction unit 72.

強調画像生成部７６は、血管抽出画像に対して第１血管を強調した第１血管強調画像と、血管抽出画像に対して第２血管を強調した第２血管強調画像とを少なくとも生成する。表示制御部７８は、表示部８４を制御して、第１血管の強調表示と第２血管の強調表示を順に切り替える血管強調表示切替制御を行う。この場合には、モニタ１８は、本発明の「表示部」に対応する。   The enhanced image generation unit 76 generates at least a first blood vessel enhanced image in which the first blood vessel is enhanced with respect to the blood vessel extracted image and a second blood vessel enhanced image in which the second blood vessel is enhanced with respect to the blood vessel extracted image. The display control unit 78 controls the display unit 84 to perform blood vessel emphasis display switching control for sequentially switching the emphasis display of the first blood vessel and the emphasis display of the second blood vessel. In this case, the monitor 18 corresponds to the “display unit” of the present invention.

上記のように、プロセッサ装置１６に、画像処理装置６６を構成する画像取得部７０と、血管抽出部７２と、血管情報算出部７４と、強調画像生成部７６と、表示制御部７８とを設ければ、プロセッサ装置１６が、上記第１、第２実施形態の画像処理装置６６として機能する。このため、内視鏡システム２００では、観察対象の観察しながら内視鏡画像に画像処理を施して、強調する血管を切り替えるので、リアルタイムに診断を支援することができる。   As described above, the processor device 16 includes the image acquisition unit 70, the blood vessel extraction unit 72, the blood vessel information calculation unit 74, the enhanced image generation unit 76, and the display control unit 78 that constitute the image processing device 66. Then, the processor device 16 functions as the image processing device 66 of the first and second embodiments. Therefore, in the endoscope system 200, the endoscopic image is subjected to image processing while observing the observation target, and the blood vessel to be emphasized is switched. Therefore, diagnosis can be supported in real time.

なお、内視鏡１２は、例えば、時間ｔ１、ｔ２、ｔ３・・・の各撮像タイミングに観察対象を撮像して内視鏡画像を得ている。強調画像生成部７６は、時間ｔ１に得た１つの内視鏡画像を基に第１、第２血管強調画像を生成し、時間ｔ２以降についても、１つの内視鏡画像を基に第１、第２血管強調画像を生成する。この場合、表示制御部７８が血管強調表示切替制御を行う場合に、第１血管強調画像は、基となっている内視鏡画像を得た時間ｔ１に表示するが、第２血管強調画像は、基となっている内視鏡画像を得た時間よりも後の時間に表示することになる。このように画像を表示する際の時間的なずれは、時間の経過によって大きくなるため、第１特殊観察モードでは、内視鏡１２の移動を停止した状態で観察をすることが好ましい。第１特殊観察モード中に内視鏡１２が移動した場合には、例えば、モニタ１８に警告表示等を表示しても良い。   Note that the endoscope 12 obtains an endoscope image by imaging an observation target at each imaging timing of times t1, t2, t3,. The enhanced image generation unit 76 generates first and second blood vessel enhanced images based on one endoscopic image obtained at time t1, and the first and second blood vessel enhanced images are also generated based on one endoscopic image after time t2. Then, a second blood vessel enhanced image is generated. In this case, when the display control unit 78 performs the blood vessel emphasis display switching control, the first blood vessel emphasis image is displayed at the time t1 when the underlying endoscopic image is obtained. The display is performed at a time later than the time when the endoscopic image as a base is obtained. As described above, the time lag in displaying an image increases with the passage of time. Therefore, in the first special observation mode, it is preferable to perform observation while the movement of the endoscope 12 is stopped. When the endoscope 12 moves during the first special observation mode, for example, a warning display or the like may be displayed on the monitor 18.

なお、強調画像生成部７６は、あるタイミングに内視鏡１２が得た１つの内視鏡画像を基に、第１、第２血管強調画像のうちの一方の血管強調画像を生成し、次のタイミングに内視鏡１２が得た１つの内視鏡画像を基に、他方の血管強調画像を生成しても良い。具体的には、強調画像生成部７６は、内視鏡１２が時間ｔ１に得た内視鏡画像を基に第１血管強調画像を生成し、内視鏡１２が時間ｔ１の後の時間ｔ２に得た内視鏡画像を基に第２血管強調画像を生成する。この場合、表示制御部７８は、第１血管強調画像を時間ｔ１に表示し、第２血管強調画像を時間ｔ２に表示する。これにより、２つの血管強調画像を切り替えて表示することによる時間的なずれを低減することができる。   The emphasized image generation unit 76 generates one blood vessel emphasized image of the first and second blood vessel emphasized images based on one endoscopic image obtained by the endoscope 12 at a certain timing. The other blood vessel emphasized image may be generated based on one endoscope image obtained by the endoscope 12 at this timing. Specifically, the enhanced image generation unit 76 generates a first blood vessel enhanced image based on the endoscope image obtained by the endoscope 12 at time t1, and the endoscope 12 performs time t2 after time t1. A second blood vessel emphasized image is generated based on the endoscopic image obtained in step (b). In this case, the display control unit 78 displays the first blood vessel emphasized image at time t1 and the second blood vessel emphasized image at time t2. Thereby, the time shift | offset | difference by switching and displaying two blood vessel emphasis images can be reduced.

［第５実施形態］
上記各実施形態では、撮像センサ３８が設けられた内視鏡１２を被検体内に挿入して観察を行う内視鏡システム１０、２００によって本発明を実施しているが、第５実施形態では、カプセル内視鏡システムにおいて本発明を実施する。カプセル内視鏡システムは、例えば、図１２に示すカプセル内視鏡３００と、プロセッサ装置（図示しない）とを少なくとも有する。カプセル内視鏡３００は、光源３０２と、光源制御部３０３と、撮像センサ３０４と、画像信号取得処理部３０６と、送受信アンテナ３０８とを備えている。光源３０２は、内視鏡システム１０の光源２０と同様に構成され、光源制御部３０３の制御によって、照明光を発光する。画像信号取得処理部３０６は、画像信号取得部５０、ＤＳＰ５２、ノイズ低減部５４、信号処理部５８として機能する。カプセル内視鏡システムのプロセッサ装置は、内視鏡システム２００のプロセッサ装置１６と同様に構成され、画像処理装置６６としても機能する。画像信号取得処理部３０６が生成する内視鏡画像は、送受信アンテナ３０８を介してプロセッサ装置に送信される。そして、プロセッサ装置では、受信した内視鏡画像に対して、上記各実施形態と同様に画像処理を施して、強調する血管を切り替える。 [Fifth Embodiment]
In each of the above embodiments, the present invention is implemented by the endoscope systems 10 and 200 that perform observation by inserting the endoscope 12 provided with the imaging sensor 38 into the subject. In the fifth embodiment, The present invention is implemented in a capsule endoscope system. The capsule endoscope system includes, for example, at least a capsule endoscope 300 illustrated in FIG. 12 and a processor device (not shown). The capsule endoscope 300 includes a light source 302, a light source control unit 303, an image sensor 304, an image signal acquisition processing unit 306, and a transmission / reception antenna 308. The light source 302 is configured similarly to the light source 20 of the endoscope system 10, and emits illumination light under the control of the light source control unit 303. The image signal acquisition processing unit 306 functions as the image signal acquisition unit 50, the DSP 52, the noise reduction unit 54, and the signal processing unit 58. The processor device of the capsule endoscope system is configured similarly to the processor device 16 of the endoscope system 200, and also functions as the image processing device 66. The endoscopic image generated by the image signal acquisition processing unit 306 is transmitted to the processor device via the transmission / reception antenna 308. Then, in the processor device, the received endoscopic image is subjected to image processing in the same manner as in each of the above embodiments, and the blood vessel to be emphasized is switched.

１０，２００ 内視鏡システム
１２ 内視鏡
１４ 光源装置
１６ プロセッサ装置
６６、１１０ 画像処理装置
７０ 画像取得部
７２ 血管抽出部
７４ 血管情報算出部
７６ 強調画像生成部
７８ 表示制御部
１１２ 血管パラメータ算出部
１１４ 判定部 DESCRIPTION OF SYMBOLS 10,200 Endoscope system 12 Endoscope 14 Light source apparatus 16 Processor apparatus 66,110 Image processing apparatus 70 Image acquisition part 72 Blood vessel extraction part 74 Blood vessel information calculation part 76 Enhanced image generation part 78 Display control part 112 Blood vessel parameter calculation part 114 determination unit

Claims (13)

画像を表示する表示部と接続可能な画像処理装置において、
内視鏡によって観察対象を撮像して得た内視鏡画像を取得する画像取得部と、
前記表示部を制御して、前記表示部において、第１血管の強調表示と前記第１血管と少なくとも一部が異なる第２血管の強調表示を順に切り替え、且つ、前記第１血管の強調表示と前記第２血管の強調表示の切替を繰り返し行う血管強調表示切替制御を行う表示制御部とを備え、
前記第１血管及び前記第２血管は、前記観察対象の血管に含まれる複数の血管情報のうち、同じ種類の血管情報をそれぞれ有しており、前記第１血管の血管情報の値は、前記第２血管の血管情報の値と異なっている画像処理装置。 In an image processing apparatus connectable to a display unit that displays an image,
An image acquisition unit for acquiring an endoscopic image obtained by imaging an observation target with an endoscope;
And controls the display unit in the display unit sequentially switches the highlighting of at least partially different from the second vessel and highlighting the first vessel of the first vessel, and a highlight of the first vessel A display control unit for performing blood vessel highlight display switching control for repeatedly switching the highlight display of the second blood vessel ,
The first blood vessel and the second blood vessel each have the same type of blood vessel information among the plurality of blood vessel information included in the blood vessel to be observed, and the value of the blood vessel information of the first blood vessel is An image processing apparatus different from the value of blood vessel information of the second blood vessel . 前記第１血管は、前記観察対象の血管に含まれる複数の血管情報のうちの第１血管情報を有し、前記第２血管は、前記第１血管情報と種類が異なる第２血管情報を有する請求項１記載の画像処理装置。   The first blood vessel has first blood vessel information among a plurality of blood vessel information included in the blood vessel to be observed, and the second blood vessel has second blood vessel information of a type different from the first blood vessel information. The image processing apparatus according to claim 1. 前記内視鏡画像から、前記第１血管及び前記第２血管を含む前記観察対象の血管を抽出して血管抽出画像を得る血管抽出部を備え、
前記血管強調表示切替制御は、前記血管抽出画像に対して前記第１血管を強調した第１血管強調画像と、前記血管抽出画像に対して前記第２血管を強調した第２血管強調画像とを順に切り替えて前記表示部に表示する請求項１または２記載の画像処理装置。 A blood vessel extraction unit that obtains a blood vessel extraction image by extracting the blood vessel to be observed including the first blood vessel and the second blood vessel from the endoscopic image;
The blood vessel emphasis display switching control includes: a first blood vessel emphasis image in which the first blood vessel is emphasized with respect to the blood vessel extraction image; and a second blood vessel emphasis image in which the second blood vessel is emphasized with respect to the blood vessel extraction image. the image processing apparatus according to claim 1, wherein displaying on the display unit is switched sequentially. 前記第１血管強調画像は、前記第１血管を強調処理して得た画像、又は前記観察対象の血管のうち前記第１血管以外の血管を抑制処理して得た画像であり、
前記第２血管強調画像は、前記第２血管を強調処理して得た画像、又は前記観察対象の血管のうち前記第２血管以外の血管を抑制処理して得た画像である請求項３記載の画像処理装置。 The first blood vessel enhanced image is an image obtained by emphasizing the first blood vessel, or an image obtained by suppressing blood vessels other than the first blood vessel among the blood vessels to be observed,
The second blood vessel emphasized image, the second vessel was a obtained by enhancement image, or the an image obtained by suppressing process vessels other than the second vessel of the observation target vascular claim 3, wherein Image processing apparatus. 前記強調処理又は前記抑制処理は、前記第１血管又は前記第２血管の明度、色相、又は彩度を変更して行う請求項４記載の画像処理装置。 The image processing apparatus according to claim 4 , wherein the enhancement process or the suppression process is performed by changing brightness, hue, or saturation of the first blood vessel or the second blood vessel. 前記血管強調表示切替制御は、前記第１血管強調画像又は前記第２血管強調画像を得る毎に、前記第１血管強調画像と前記第２血管強調画像とを順に切り替えて前記表示部に表示する請求項３ないし５いずれか１項記載の画像処理装置。 The blood vessel emphasis display switching control switches the first blood vessel emphasis image and the second blood vessel emphasis image in order and displays them on the display unit every time the first blood vessel emphasis image or the second blood vessel emphasis image is obtained. the image processing apparatus according to any one of claims 3 to 5. 前記血管強調表示切替制御は、前記第１血管強調画像及び前記第２血管強調画像の両方を得る毎に、前記第１血管強調画像と前記第２血管強調画像とを順に切り替えて前記表示部に表示する請求項３ないし５いずれか１項記載の画像処理装置。 The blood vessel emphasis display switching control switches between the first blood vessel emphasis image and the second blood vessel emphasis image in order each time the first blood vessel emphasis image and the second blood vessel emphasis image are obtained. the image processing apparatus according to any one the preceding claims 3 to display 5. 前記観察対象の血管に含まれる複数の血管情報を用いて血管パラメータを算出する血管パラメータ算出部と、
前記血管パラメータを用いて前記観察対象の粘膜の状態を判定し、前記判定の結果に応じて、前記表示制御部で前記血管強調表示切替制御を行うか否かを決める判定部とを有する請求項１ないし７いずれか１項記載の画像処理装置。 A blood vessel parameter calculation unit that calculates blood vessel parameters using a plurality of blood vessel information included in the blood vessel to be observed;
A determination unit that determines a state of the mucous membrane to be observed using the blood vessel parameter and determines whether or not the blood vessel highlight display switching control is performed by the display control unit according to the determination result. The image processing apparatus according to any one of 1 to 7 . 前記表示制御部は、前記判定部による判定結果を用いて、前記血管強調表示切替制御を行う範囲を設定する請求項８記載の画像処理装置。 The image processing apparatus according to claim 8 , wherein the display control unit sets a range in which the blood vessel enhancement display switching control is performed using a determination result by the determination unit. 前記血管情報は、血管の本数、血管の分岐数、血管の分岐角度、分岐点間距離、血管の交差数、血管の太さ、血管の太さの変化、血管の太さの変化の複雑度、血管の長さ、血管の間隔、血管の深さ、血管の高低差、血管の傾き、血管の面積、血管の密度、血管のコントラスト、血管の色、血管の色の変化、血管の蛇行度、血管の血液濃度、血管の酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、血管の走行パターン、及び血管の血流量のうちのいずれかである請求項２、８、９のうちいずれか１項記載の画像処理装置。 The blood vessel information includes the number of blood vessels, the number of blood vessels, the angle of branching of the blood vessels, the distance between branch points, the number of intersections of blood vessels, the thickness of the blood vessels, changes in the thickness of the blood vessels, and the complexity of changes in the thickness of the blood vessels , Vessel length, vessel spacing, vessel depth, vessel elevation, vessel inclination, vessel area, vessel density, vessel contrast, vessel color, vessel color change, vessel meandering degree , blood concentration of the blood vessel, the oxygen saturation of the blood vessel, the proportion of the artery, the ratio of the vein, the concentration of the dye was administered, according to claim 2 is one of a blood flow running pattern, and vascular blood vessel, 8,9 The image processing device according to claim 1. 画像を表示する表示部と接続可能な画像処理装置の作動方法において、
画像取得部が、内視鏡によって観察対象を撮像して得た内視鏡画像を取得するステップと、
表示制御部が、前記表示部を制御して、前記表示部において、第１血管の強調表示と前記第１血管と少なくとも一部が異なる第２血管の強調表示を順に切り替え、且つ、前記第１血管の強調表示と前記第２血管の強調表示の切替を繰り返し行う血管強調表示切替制御を行うステップと、を備え、
前記第１血管及び前記第２血管は、前記観察対象の血管に含まれる複数の血管情報のうち、同じ種類の血管情報をそれぞれ有しており、前記第１血管の血管情報の値は、前記第２血管の血管情報の値と異なっている画像処理装置の作動方法。 In an operation method of an image processing apparatus connectable to a display unit that displays an image,
An image acquisition unit acquiring an endoscopic image obtained by imaging an observation target with an endoscope; and
The display control unit controls the display unit in the display unit sequentially switches the highlighting of at least partially different from the second vessel and highlighting the first vessel of the first vessel, and the first Performing blood vessel highlighting display switching control for repeatedly switching between the blood vessel highlighting display and the second blood vessel highlighting display,
The first blood vessel and the second blood vessel each have the same type of blood vessel information among the plurality of blood vessel information included in the blood vessel to be observed, and the value of the blood vessel information of the first blood vessel is The operation method of the image processing apparatus different from the value of the blood vessel information of the second blood vessel . 血管抽出部が、前記内視鏡画像から、前記第１血管及び前記第２血管を含む前記観察対象の血管を抽出して血管抽出画像を得るステップと、A blood vessel extraction unit extracting the blood vessel to be observed including the first blood vessel and the second blood vessel from the endoscopic image to obtain a blood vessel extraction image;
血管情報算出部が、前記血管抽出部が抽出した血管を分類する血管情報を算出するステップとを有する請求項１１記載の画像処理装置の作動方法。  The method according to claim 11, wherein the blood vessel information calculation unit includes calculating blood vessel information for classifying the blood vessels extracted by the blood vessel extraction unit. 画像を表示する表示部と接続可能な内視鏡システムにおいて、
観察対象を撮像する内視鏡と、
前記内視鏡によって前記観察対象を撮像して得た内視鏡画像を取得する画像取得部と、前記表示部を制御して、前記表示部において、第１血管の強調表示と前記第１血管と少なくとも一部が異なる第２血管の強調表示を順に切り替え、且つ、前記第１血管の強調表示と前記第２血管の強調表示の切替を繰り返し行う血管強調表示切替制御を行う表示制御部とを有するプロセッサ装置と、を備え、
前記第１血管及び前記第２血管は、前記観察対象の血管に含まれる複数の血管情報のうち、同じ種類の血管情報をそれぞれ有しており、前記第１血管の血管情報の値は、前記第２血管の血管情報の値と異なっている内視鏡システム。 In an endoscope system that can be connected to a display unit that displays an image,
An endoscope for imaging an observation target;
An image acquisition unit that acquires an endoscopic image obtained by imaging the observation target with the endoscope , and the display unit, and the display unit highlights the first blood vessel and the first blood vessel. And a display control unit for performing blood vessel emphasis display switching control for sequentially switching the emphasis display of the second blood vessel , which is at least partially different from the first blood vessel , and repeatedly switching between the emphasis display of the first blood vessel and the emphasis display of the second blood vessel. And a processor device having
The first blood vessel and the second blood vessel each have the same type of blood vessel information among the plurality of blood vessel information included in the blood vessel to be observed, and the value of the blood vessel information of the first blood vessel is An endoscope system that is different from the value of the blood vessel information of the second blood vessel .
JP2015188970A 2015-09-25 2015-09-25 Image processing apparatus, method of operating image processing apparatus, and endoscope system Active JP6461760B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015188970A JP6461760B2 (en) 2015-09-25 2015-09-25 Image processing apparatus, method of operating image processing apparatus, and endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015188970A JP6461760B2 (en) 2015-09-25 2015-09-25 Image processing apparatus, method of operating image processing apparatus, and endoscope system

Publications (2)

Publication Number Publication Date
JP2017060682A JP2017060682A (en) 2017-03-30
JP6461760B2 true JP6461760B2 (en) 2019-01-30

Family

ID=58430379

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015188970A Active JP6461760B2 (en) 2015-09-25 2015-09-25 Image processing apparatus, method of operating image processing apparatus, and endoscope system

Country Status (1)

Country Link
JP (1) JP6461760B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3673787A4 (en) * 2017-08-23 2020-08-19 FUJIFILM Corporation Light source device and endoscope system
JP6995889B2 (en) * 2018-01-30 2022-01-17 富士フイルム株式会社 Endoscope system and how to operate it
WO2019163540A1 (en) 2018-02-20 2019-08-29 富士フイルム株式会社 Endoscope system
WO2020183770A1 (en) 2019-03-08 2020-09-17 富士フイルム株式会社 Medical image processing device, processor device, endoscopic system, medical image processing method, and program
KR102425857B1 (en) * 2021-07-01 2022-07-29 주식회사 메디픽셀 Method and apparatus for processing vascular image based on blood vessel segmentation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5395725B2 (en) * 2010-04-05 2014-01-22 富士フイルム株式会社 Electronic endoscope system
JP5274591B2 (en) * 2011-01-27 2013-08-28 富士フイルム株式会社 Endoscope system, processor device for endoscope system, and method for operating endoscope system
JP5587932B2 (en) * 2012-03-14 2014-09-10 富士フイルム株式会社 Endoscope system, processor device for endoscope system, and method for operating endoscope system
CN105101862B (en) * 2013-03-27 2017-04-12 富士胶片株式会社 Image processing device and method for operating endoscope system

Also Published As

Publication number Publication date
JP2017060682A (en) 2017-03-30

Similar Documents

Publication Publication Date Title
JP6577088B2 (en) Endoscope system
JP6633641B2 (en) Image processing apparatus, endoscope system, and image processing method
JP6768871B2 (en) Endoscope system and how to operate the endoscope system
US10426318B2 (en) Image processing apparatus, endoscope system, and image processing method
JP6420492B2 (en) Image processing apparatus, endoscope system, and method of operating image processing apparatus
JP6640866B2 (en) Image processing apparatus, endoscope system, and image processing method
JP6469558B2 (en) Endoscope system and method for operating endoscope system
JP6461760B2 (en) Image processing apparatus, method of operating image processing apparatus, and endoscope system
JP6823072B2 (en) Processor device and endoscopic system
WO2016121811A1 (en) Image processing device, image processing method, and endoscope system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181226

R150 Certificate of patent or registration of utility model

Ref document number: 6461760

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250