JP7455716B2 - Endoscope processor and endoscope system - Google Patents

Endoscope processor and endoscope system Download PDF

Info

Publication number
JP7455716B2
JP7455716B2 JP2020160703A JP2020160703A JP7455716B2 JP 7455716 B2 JP7455716 B2 JP 7455716B2 JP 2020160703 A JP2020160703 A JP 2020160703A JP 2020160703 A JP2020160703 A JP 2020160703A JP 7455716 B2 JP7455716 B2 JP 7455716B2
Authority
JP
Japan
Prior art keywords
value
image
severity
lesion
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020160703A
Other languages
Japanese (ja)
Other versions
JP2022053845A (en
Inventor
貴雄 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2020160703A priority Critical patent/JP7455716B2/en
Priority to PCT/JP2021/032170 priority patent/WO2022064987A1/en
Priority to EP21872118.1A priority patent/EP4218535A1/en
Priority to CN202180017682.5A priority patent/CN115190775A/en
Priority to DE112021005012.5T priority patent/DE112021005012T5/en
Priority to US17/912,725 priority patent/US20230142219A1/en
Publication of JP2022053845A publication Critical patent/JP2022053845A/en
Application granted granted Critical
Publication of JP7455716B2 publication Critical patent/JP7455716B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Endoscopes (AREA)

Description

本発明は、体腔内の生体組織の画像を画像処理する内視鏡用プロセッサ及び内視鏡システムに関する。 The present invention relates to an endoscope processor and an endoscope system that process images of living tissue within a body cavity.

生体組織における病変部は、生体組織の粘膜層が薄くなって荒れて赤色を示す炎症から、粘膜層及びその下層まで部分的に欠落する潰瘍まで、種々のレベルの重症度が存在する。例えば、潰瘍性大腸炎の病変の潰瘍部では、白苔や膿様粘液を含み白色になり、また、炎症部では、浮腫部や易出血性部を含んで赤色を帯びる。このような病変部を、内視鏡システムで撮像して観察することができる。 Lesions in biological tissues have various levels of severity, ranging from inflammation in which the mucosal layer of the biological tissue becomes thin and rough and turns red, to ulcers in which the mucosal layer and its underlying layers are partially missing. For example, the ulcerated part of a lesion of ulcerative colitis is white, containing white moss and pus-like mucus, and the inflamed part, including edema and easily bleeding parts, is reddish. Such a lesion can be imaged and observed using an endoscope system.

しかし、術者が内視鏡の画像内に含まれる色の相違によって健常部と病変部とを識別できるようになるためには、熟練者の指導下で長期間のトレーニングを受ける必要がある。また、熟練した術者であっても僅かな色の違いから病変部を識別することは容易ではなく、慎重な作業が要求される。したがって、内視鏡システムは、病変部における病変の進行の程度を客観的に数値化した評価結果を提供することが好ましい。 However, in order for an operator to be able to distinguish between a healthy area and a diseased area based on the difference in color contained in an image of an endoscope, it is necessary to undergo long-term training under the guidance of an expert. Further, even for a skilled surgeon, it is not easy to identify a lesion based on slight differences in color, and careful work is required. Therefore, it is preferable that the endoscope system provides an evaluation result that objectively quantifies the degree of progression of the lesion at the lesion site.

これに対して、生体組織の病変部における病変の進行の程度を精度よく評価することができる内視鏡システムが知られている（特許文献１）。 On the other hand, an endoscope system is known that can accurately evaluate the degree of progression of a lesion in a lesioned part of a living tissue (Patent Document 1).

国際公開第２０１９／１５９７７０号International Publication No. 2019/159770

上記内視鏡システムは、体腔内の生体組織を撮像して得られる生体組織の画像から、生体組織の病変の進行の程度を数値化した病変の重症度を求める画像処理ユニットを含む。この画像処理ユニットは、特徴量算出部と、代表値算出部と、統合部と、を備える。
特徴量算出部は、複数の外観の特徴のそれぞれを、病変部が示す色成分あるいは形状により生体組織の健常部の特徴と区別できる、前記複数の外観の特徴に対応した複数の画素評価値であって、病変部が示す色成分、あるいは色成分及び形状に関する、複数の特徴それぞれの程度を示す複数の画素評価値を画素毎に算出する。
代表算出部は、算出した画素評価値のそれぞれを、複数の特徴毎に統合することにより撮像した生体組織の前記複数の特徴それぞれに対応した代表評価値を算出する。
統合部は、算出した代表評価値のうち少なくとも２つの代表評価値を演算して統合した１つの数値を病変の重症度として算出する。
これにより、生体組織の病変部における病変の進行の程度を精度よく評価することができる。 The endoscope system includes an image processing unit that calculates the severity of a lesion, which is a numerical representation of the degree of progression of a lesion in a living tissue, from an image of the living tissue obtained by imaging the living tissue within a body cavity. This image processing unit includes a feature value calculation section, a representative value calculation section, and an integration section.
The feature amount calculation unit calculates each of the plurality of appearance features by using a plurality of pixel evaluation values corresponding to the plurality of appearance features, which can be distinguished from the features of a healthy part of the biological tissue by the color components or shape indicated by the diseased part. Then, a plurality of pixel evaluation values indicating the degree of each of a plurality of characteristics regarding the color component or the color component and shape of the lesion are calculated for each pixel.
The representative calculation unit calculates representative evaluation values corresponding to each of the plurality of features of the imaged biological tissue by integrating each of the calculated pixel evaluation values for each of the plurality of features.
The integrating unit calculates one numerical value obtained by calculating and integrating at least two of the calculated representative evaluation values as the severity of the lesion.
Thereby, it is possible to accurately evaluate the degree of progression of a lesion in a lesioned part of a living tissue.

しかし、大腸のような長い管状の臓器に内視鏡を挿入する場合、内視鏡を挿入する入り口側の部分と、奥行方向の奥側の部分とでは、粘膜の色や血管の見た目が異なっており、算出する代表評価値は、同じ健常部であっても異なる。このため、入り口側の部分と、奥行方向の奥側の部分とでは、同じ程度の病変の進行であっても、代表評価値は互いに異なる。このように、代表評価値は、同じ程度の病変の進行であっても、撮像位置に依存して変化する。また、長い臓器の奥行方向の各撮像位置で、代表評価値から計算式を用いて重症度を算出する場合、撮像位置によらず同じ計算式を用いて重症度を計算すると、実際に健常な臓器であっても、上記代表評価値の変化に起因して、撮像位置に依存して重症度の値が大きくなる場合がある。この場合、重症度の値が大きい部分には、病変部が存在するといった誤った判断を行い易い。このように、算出される代表評価値あるいは重症度の値が、撮像位置に依存して変化することにより、実際の病変の進行の程度の評価結果と乖離する、といった問題がある。実際の病変の進行の程度の評価結果とは、例えば医師による主観評価結果（例えば、MAYO endoscopic subscore）、あるいは組織学的な評価結果である。 However, when inserting an endoscope into a long tubular organ such as the large intestine, the color of the mucous membrane and the appearance of blood vessels differ between the entrance side where the endoscope is inserted and the part deeper in the depth direction. Therefore, the calculated representative evaluation values differ even for the same healthy area. Therefore, even if the lesion progresses to the same degree, the representative evaluation values differ between the entrance side part and the back side part in the depth direction. In this way, the representative evaluation value changes depending on the imaging position even if the lesion progresses to the same degree. In addition, when calculating the severity using a formula from the representative evaluation value at each imaging position in the depth direction of a long organ, if the severity is calculated using the same formula regardless of the imaging position, it may actually be difficult to calculate the severity of the disease in a healthy person. Even for an organ, the severity value may increase depending on the imaging position due to the change in the representative evaluation value. In this case, it is easy to make an erroneous judgment that a lesion exists in a portion with a large severity value. In this way, the calculated representative evaluation value or severity value changes depending on the imaging position, which causes a problem that it deviates from the evaluation result of the actual degree of progression of the lesion. The actual evaluation result of the degree of progression of a lesion is, for example, a subjective evaluation result by a doctor (for example, MAYO endoscopic subscore) or a histological evaluation result.

そこで、本発明は、病変の進行の程度を評価しようとするとき、評価対象画像の撮像位置によらず、病変の進行の程度を安定して精度よく評価することができる内視鏡用プロセッサ及び内視鏡システムを提供することを目的とする。 SUMMARY OF THE INVENTION Therefore, the present invention provides an endoscope processor and an endoscope processor capable of stably and accurately evaluating the degree of progression of a lesion, regardless of the imaging position of the image to be evaluated. The purpose is to provide an endoscope system.

本発明の一態様は、内視鏡用プロセッサである。前記内視鏡用プロセッサは、電子内視鏡で得られた生体組織の病変部の画像から、前記画像の情報を少なくとも用いて、前記生体組織の病変の進行の程度を１つの値で表した病変の重症度の値を求めるように構成された画像処理ユニットを備える。
前記画像処理ユニットは、
前記病変部に現れる複数の外観の特徴を、前記病変部が示す色成分、あるいは前記病変部の形状により前記生体組織の健常部の特徴と区別できる、前記外観の特徴それぞれに対応した評価値であって、前記色成分、あるいは前記病変部の形状に関する、前記複数の特徴それぞれの程度を画素毎に示す画素評価値を、前記画像から算出するように構成された特徴量算出部と、
前記画像における各画素の前記画素評価値を纏めることにより前記生体組織の前記複数の特徴それぞれの代表評価値を前記画像１つに対して１つ算出するように構成された代表値算出部と、
前記画像を撮像したときの前記体腔内の撮像位置の情報を前記画像と対応付ける撮像位置情報処理部と、
前記電子内視鏡で撮像した評価対象画像について、前記複数の特徴それぞれの前記代表評価値に基づいて前記病変の重症度の値を算出し、前記重症度の値を算出する際に、前記評価対象画像に対応した前記撮像位置の前記情報に応じて調整した前記重症度の計算処理を設定する統合部と、を備える。 One aspect of the present invention is a processor for an endoscope. The endoscope processor expresses the degree of progression of the lesion in the living tissue using at least the information of the image from the image of the lesion in the living tissue obtained with an electronic endoscope. An image processing unit configured to determine a severity value of the lesion is provided.
The image processing unit includes:
A plurality of external appearance characteristics appearing in the lesioned area are evaluated by evaluation values corresponding to each of the external appearance characteristics, which can be distinguished from characteristics of a healthy area of the biological tissue by the color components exhibited by the lesioned area or the shape of the lesioned area. a feature value calculation unit configured to calculate, from the image, a pixel evaluation value indicating the degree of each of the plurality of features for each pixel regarding the color component or the shape of the lesion;
a representative value calculation unit configured to calculate one representative evaluation value for each of the plurality of features of the biological tissue for each image by summing up the pixel evaluation values of each pixel in the image;
an imaging position information processing unit that associates information about an imaging position in the body cavity when the image is taken with the image;
For the evaluation target image captured by the electronic endoscope, a severity value of the lesion is calculated based on the representative evaluation value of each of the plurality of features, and when calculating the severity value, the evaluation and an integrating unit that sets the calculation process of the severity adjusted according to the information of the imaging position corresponding to the target image.

前記統合部は、前記重症度と前記複数の特徴それぞれの前記代表評価値とを関連付けた関係式に従って前記重症度の値を計算し、
前記関係式において、前記代表評価値に係る係数には、前記撮像位置の前記情報に応じた値が設定される、ことが好ましい。 The integrating unit calculates the severity value according to a relational expression that associates the severity level with the representative evaluation value of each of the plurality of features,
In the relational expression, it is preferable that the coefficient related to the representative evaluation value is set to a value corresponding to the information on the imaging position.

前記内視鏡用プロセッサは、病変の進行の程度が異なる複数の病変部を前記電子内視鏡で撮像した複数の参照画像に基づいて設定された前記代表評価値に関する２つの基準値を、前記参照画像の前記撮像位置の前記情報に応じて定まる値として前記電子内視鏡の撮像位置毎に保持する記憶部をさらに備える。この場合、前記統合部は、前記電子内視鏡で撮像した参照画像の前記撮像位置の前記情報に応じた前記２つの基準値により前記参照画像の前記代表評価値を正規化した正規化評価値と前記重症度とを事前に関連付けた関係式を用いて、前記重症度の値を計算し、前記重症度の値は、前記評価対象画像の前記代表評価値を前記評価対象画像の前記撮像位置の前記情報に応じて定まる前記２つの基準値により正規化した前記正規化評価値を前記関係式に入力することにより計算する、ことが好ましい。 The endoscope processor calculates two reference values regarding the representative evaluation value set based on a plurality of reference images obtained by capturing a plurality of lesion parts with different degrees of progression using the electronic endoscope. The electronic endoscope further includes a storage unit that stores a value determined according to the information on the imaging position of the reference image for each imaging position of the electronic endoscope. In this case, the integrating unit includes a normalized evaluation value obtained by normalizing the representative evaluation value of the reference image using the two reference values according to the information of the imaging position of the reference image imaged with the electronic endoscope. The severity value is calculated using a relational expression in which the and the severity are associated in advance, and the severity value is determined by determining the representative evaluation value of the evaluation target image from the imaging position of the evaluation target image. It is preferable that the calculation is performed by inputting the normalized evaluation value normalized by the two reference values determined according to the information on the relational expression.

前記内視鏡用プロセッサは、病変の進行の程度が異なる複数の病変部を前記電子内視鏡で撮像した複数の参照画像に基づいて設定された前記重症度に関する２つの基準値を、前記参照画像の前記撮像位置に応じて定まる値として前記電子内視鏡の撮像位置毎に保持する記憶部をさらに備える。この場合、前記統合部は、前記評価対象画像の前記代表評価値と前記重症度とを事前に関連付けた関係式を用いて前記重症度の計算をし、計算結果の値を、前記評価対象画像の前記撮像位置の情報に対応して定まる前記２つの基準値により正規化した正規化値を前記重症度の値として算出する、ことが好ましい。 The endoscope processor converts the two reference values regarding the severity, which are set based on a plurality of reference images captured by the electronic endoscope, of a plurality of lesion parts having different degrees of progression into the reference values. The electronic endoscope further includes a storage unit that stores a value determined according to the imaging position of the image for each imaging position of the electronic endoscope. In this case, the integrating unit calculates the severity using a relational expression in which the representative evaluation value of the evaluation target image and the severity are associated in advance, and uses the value of the calculation result as a value for the evaluation target image. It is preferable that a normalized value normalized by the two reference values determined corresponding to the information on the imaging position is calculated as the severity value.

前記関係式は、事前に用意されている前記病変の進行の程度の評価結果が定まっている参照画像の前記評価結果に、前記複数の特徴それぞれの前記代表評価値から算出される前記重症度の値が対応するように重回帰分析を行って抽出された多項式の回帰式である、ことが好ましい。 The relational expression is based on the evaluation result of a reference image in which the evaluation result of the degree of progression of the lesion is determined in advance, and the evaluation result of the severity calculated from the representative evaluation value of each of the plurality of features. Preferably, it is a regression equation of a polynomial extracted by performing multiple regression analysis so that the values correspond.

前記撮像位置の情報は、管状の臓器の奥行方向の領域を複数の区域に区分けしたときの１つの区域の位置情報である、ことが好ましい。 It is preferable that the information on the imaging position is position information of one area when the area in the depth direction of the tubular organ is divided into a plurality of areas.

本発明の他の一態様は、体腔内の生体組織を撮像するように構成された電子内視鏡と、
前記電子内視鏡に接続される、前記内視鏡用プロセッサと、を備える内視鏡システムである。 Another aspect of the present invention is an electronic endoscope configured to image biological tissue within a body cavity;
An endoscope system including the endoscope processor connected to the electronic endoscope.

上述の内視鏡用プロセッサ及び内視鏡システムによれば、病変の進行の程度を評価しようとするとき、評価対象画像の撮像位置によらず、病変の進行の程度を安定して精度よく評価することができる。 According to the endoscopic processor and endoscope system described above, when trying to evaluate the degree of progression of a lesion, the degree of progression of the lesion can be stably and accurately evaluated regardless of the imaging position of the evaluation target image. can do.

一実施形態の内視鏡用プロセッサで行う重症度の計算処理の一例を説明する図である。FIG. 3 is a diagram illustrating an example of a severity calculation process performed by an endoscope processor according to an embodiment. 一実施形態の内視鏡システムの構成を示すブロック図である。FIG. 1 is a block diagram showing the configuration of an endoscope system according to an embodiment. 一実施形態の内視鏡用プロセッサ内の重症度の計算を行う画像処理ユニットの構成を説明する図である。FIG. 2 is a diagram illustrating the configuration of an image processing unit that calculates severity within an endoscope processor according to an embodiment. 一実施形態の内視鏡用プロセッサで用いる色空間内における基準軸の例を説明する図である。FIG. 3 is a diagram illustrating an example of a reference axis in a color space used in an endoscope processor according to an embodiment. 一実施形態の内視鏡用プロセッサで用いる生体組織赤色度を計算するためのずれ角度を計算する方法を説明する図である。FIG. 3 is a diagram illustrating a method of calculating a deviation angle for calculating the redness of living tissue used in an endoscope processor according to an embodiment. （ａ），（ｂ）は、生体組織の画像の一例と、従来の方法で得られるカラーマップ画像の一例を模式的に説明する図である。(a) and (b) are diagrams schematically explaining an example of an image of a living tissue and an example of a color map image obtained by a conventional method. 一実施形態の内視鏡用プロセッサで行う血管領域の抽出方法の一例を説明する図である。FIG. 3 is a diagram illustrating an example of a method for extracting a blood vessel region performed by an endoscope processor according to an embodiment. 一実施形態の内視鏡用プロセッサで用いるテンプレートを空間フィルタとして用いる場合のフィルタ係数の一例を示す図である。It is a figure which shows an example of a filter coefficient when the template used by the processor for endoscopes of one embodiment is used as a spatial filter. 一実施形態の内視鏡用プロセッサで行われる重症度の計算方法のフローの一例を示す図である。FIG. 2 is a diagram illustrating an example of a flow of a severity calculation method performed by an endoscope processor according to an embodiment. （ａ）～（ｂ）は、一実施形態の内視鏡用プロセッサで行われる重症度の計算方法のフローの例を示す図である。(a) to (b) are diagrams illustrating an example of a flow of a severity calculation method performed by an endoscope processor according to an embodiment.

以下、本発明の実施形態の内視鏡用プロセッサ及び内視鏡システムについて図面を参照しながら説明する前に、まず、一実施形態の内視鏡用プロセッサの重症度の計算を説明する。 Hereinafter, before describing an endoscope processor and an endoscope system according to an embodiment of the present invention with reference to the drawings, first, calculation of severity of an endoscope processor according to an embodiment will be explained.

（重症度の計算）
生体組織における病変部は、病変の進行の程度によって、炎症から潰瘍まで種々存在する。例えば、従来の内視鏡システムは、病変部に現れる複数の外観の特徴のそれぞれを、病変部が示す色成分、あるいは病変部の形状により生体組織の健常部の特徴と区別できる、複数の外観の特徴に対応した複数の画素評価値を、生体組織の画像から画素毎に算出する。さらに、従来の内視鏡システムは、算出した各画素の画素評価値を複数の外観の特徴毎に統合することにより複数の代表評価値を算出し、算出した複数の代表評価値のうち少なくとも２つの代表評価値を演算して統合した１つの数値を病変の重症度の値とする。上記演算は、事前に重症度と複数の代表評価値との間の関係を表した関係式に従って行われる。しかし、この関係式は、撮像した位置が異なっても同じものを用いる場合、管状の細長い臓器の入り口側の部分と、奥行方向の奥側の部分とでは、同じ程度の病変の進行であっても、算出した代表評価値は互いに異なり、重症度の値が変わるといった不都合が生じる場合がある。 (Calculation of severity)
Lesions in living tissues vary from inflammation to ulcers, depending on the degree of progression of the lesions. For example, a conventional endoscope system uses a plurality of external appearance features that can be distinguished from those of a healthy part of living tissue based on the color components exhibited by the lesion or the shape of the lesion. A plurality of pixel evaluation values corresponding to the characteristics are calculated for each pixel from the image of the biological tissue. Furthermore, conventional endoscope systems calculate a plurality of representative evaluation values by integrating the calculated pixel evaluation values of each pixel for each of a plurality of appearance characteristics, and at least two of the plurality of calculated representative evaluation values One numerical value obtained by calculating and integrating the two representative evaluation values is taken as the value of the severity of the lesion. The above calculation is performed according to a relational expression that expresses the relationship between severity and a plurality of representative evaluation values in advance. However, if the same relational expression is used even if the images are taken at different positions, the progression of the lesion will be the same in the entrance side of a long, tubular organ and in the deep side of the organ. However, the calculated representative evaluation values are different from each other, which may cause an inconvenience that the severity value changes.

これに対して、本発明の一実施形態の内視鏡用プロセッサでは、複数の代表評価値から病変の重症度の値を算出する際、評価対象画像に対応した撮像位置の情報に応じて調整した重症度の計算処理を設定して、計算を行う。すなわち、重症度の値を、撮像位置の情報に応じて調整する。これにより、評価対象画像の撮像位置によらず、病変の進行の程度を安定して精度よく評価することができる。 In contrast, in an endoscope processor according to an embodiment of the present invention, when calculating a lesion severity value from a plurality of representative evaluation values, adjustment is made according to information on the imaging position corresponding to the evaluation target image. Set the calculation process for the severity level and perform the calculation. That is, the severity value is adjusted according to the information on the imaging position. Thereby, the degree of progression of a lesion can be evaluated stably and accurately, regardless of the imaging position of the evaluation target image.

ここで、代表評価値が表す外観の特徴は、病変部が示す特定の色成分の程度を含む。例えば、炎症部が呈する赤色の程度である。この場合、この特徴の程度を数値化した画素毎の画素評価値は、例えば、赤色の程度を数値化した生体組織赤色度である。また、別の外観の特徴は、撮像した生体組織のうち、特定の形状をした部分に含まれる色成分の程度である。この場合の特徴の程度を数値化した画素毎の画素評価値は、例えば、病変部及びその周囲において、筋状に延在する血管領域に含まれる赤色の程度を数値化し血管赤色度である。また、別の外観の特徴は、潰瘍部が呈する特定の色成分、たとえば白色の程度である。
外観の特徴は、形状に関するものも含み、例えば、病変部の表面凹凸の形状の程度や表面塑造等の所定の形状の程度であってもよい。 Here, the appearance characteristics represented by the representative evaluation value include the degree of a specific color component exhibited by the lesion. For example, it is the degree of redness that an inflamed area exhibits. In this case, the pixel evaluation value for each pixel that quantifies the degree of this feature is, for example, biological tissue redness that quantifies the degree of redness. Another feature of the appearance is the degree of color components contained in a portion of the imaged biological tissue that has a specific shape. In this case, the pixel evaluation value for each pixel that quantifies the degree of the feature is, for example, blood vessel redness, which digitizes the degree of red included in a blood vessel region extending in a streaky manner in the lesion and its surroundings. Another appearance characteristic is the degree of specific color components, such as whiteness, exhibited by the ulcer.
The appearance characteristics include those related to the shape, and may be, for example, the degree of surface irregularity of the lesion, the degree of a predetermined shape such as surface molding.

図１は、一実施形態の内視鏡用プロセッサ及び内視鏡システムで行う処理の一例を説明する図である。図１に示す例では、複数の代表評価値として、生体組織の炎症の程度を示す生体組織赤色度の代表値、血管領域における赤色の程度を示す血管赤色度の代表値、及び潰瘍の程度を示す生体組織白色度の代表値が少なくとも含まれる。これらの代表評価値の算出方法については後述する。
まず、事前処理として、電子内視鏡で撮像され、病変の進行の程度（重症度）の評価結果が定まっている参照画像が複数用意され、これらの参照画像それぞれにおいて上記複数の代表評価値が事前に算出される。重症度に関する評価とは、例えば、医師による主観評価結果（例えば、MAYO endoscopic subscore）、あるいは組織学的な評価結果である。これらの３つの代表評価値を含む複数の代表評価値を組み合わせて計算される重症度が、各参照画像において定まっている病変の進行の程度（重症度）の評価結果に最良に相関するように、複数の代表評価値を用いて重症度の計算処理を最適化する。このとき、重症度の計算処理の最適化では、参照画像の撮像位置の情報を用いて撮像位置毎に行われる。
重症度の計算の最適化は、例えば、関係式における各代表評価値に係る係数の値を、撮像位置に応じて設定すること、関係式に入力する代表評価値の情報として、撮像位置に応じた代表評価値に関する２つの基準値により正規化した代表評価値（正規化評価値）を用いて重症度の値を計算すること、あるいは、関係式を用いて計算した重症度の計算結果を、撮像位置に応じて設定された重症度に関する２つの基準値により正規化した値を重症度の値とすること、を含む。こうして得られる関係式を用いた重症度の最適化された計算処理内容が、内視鏡用プロセッサにおける評価対象画像における重症度の計算の前に設定される。 FIG. 1 is a diagram illustrating an example of processing performed by an endoscope processor and an endoscope system according to an embodiment. In the example shown in FIG. 1, the plurality of representative evaluation values include a representative value of biological tissue redness indicating the degree of inflammation of the living tissue, a representative value of blood vessel redness indicating the degree of redness in the blood vessel region, and a representative value of the degree of ulcer. At least a representative value of the biological tissue whiteness shown is included. A method for calculating these representative evaluation values will be described later.
First, as pre-processing, multiple reference images are prepared that have been taken with an electronic endoscope and have fixed evaluation results for the degree of progression (severity) of the lesion, and the above-mentioned representative evaluation values are calculated for each of these reference images. Calculated in advance. The evaluation regarding severity is, for example, a subjective evaluation result by a doctor (eg, MAYO endoscopic subscore) or a histological evaluation result. The severity calculated by combining multiple representative evaluation values including these three representative evaluation values is designed to best correlate with the evaluation result of the degree of progression (severity) of the lesion determined in each reference image. , optimize the severity calculation process using multiple representative evaluation values. At this time, optimization of the severity calculation process is performed for each imaging position using information on the imaging position of the reference image.
Optimization of severity calculation can be achieved by, for example, setting the value of the coefficient related to each representative evaluation value in the relational expression according to the imaging position, and setting the value of the coefficient related to each representative evaluation value in the relational expression according to the imaging position as information on the representative evaluation value input to the relational expression. Calculating the severity value using the representative evaluation value (normalized evaluation value) normalized by two reference values regarding the representative evaluation value, or calculating the severity calculation result using the relational expression, This includes setting a value normalized by two reference values regarding severity set according to the imaging position as a severity value. The content of the optimized severity calculation process using the relational expression thus obtained is set before the endoscope processor calculates the severity of the evaluation target image.

次に、生体組織を、電子内視鏡で撮像することにより画像から得られた、生体組織赤色度の代表値、血管赤色度の代表値、及び生体組織白色度の代表値を含む複数の代表評価値を算出し、算出した複数の代表評価値を関係式に入力することにより重症度を算出する。この場合、最適化された重症度の計算処理内容にしたがって、例えば、関係式内の各代表評価値に係る係数の値を、撮像位置に応じて設定して、計算式を用いて重症度の値を計算する。あるいは、撮像位置によって変化しない関係式に入力する代表評価値の情報として、撮像位置に応じた代表評価値に関する２つの基準値により正規化した代表評価値（正規化評価値）を用いて、重症度の値を計算する。あるいは、撮像位置によって変化しない関係式を用いて重症度の計算をした後、この計算結果の値を、撮像位置に応じて設定された２つの基準値により正規化して重症度の値とする。 Next, a plurality of representative values including a representative value of biological tissue redness, a representative value of blood vessel redness, and a representative value of biological tissue whiteness are obtained from an image of the biological tissue by imaging it with an electronic endoscope. The severity level is calculated by calculating the evaluation value and inputting the plurality of calculated representative evaluation values into the relational expression. In this case, according to the optimized severity calculation process, for example, the value of the coefficient related to each representative evaluation value in the relational expression is set according to the imaging position, and the severity is calculated using the calculation formula. Calculate the value. Alternatively, as information on the representative evaluation value input into the relational expression that does not change depending on the imaging position, a representative evaluation value (normalized evaluation value) normalized by two reference values regarding the representative evaluation value according to the imaging position may be used. Calculate the degree value. Alternatively, after calculating the severity using a relational expression that does not change depending on the imaging position, the value of this calculation result is normalized using two reference values set according to the imaging position and used as the severity value.

このように、評価対象画像における複数の代表評価値から病変の重症度の値を算出する際、評価対象画像の撮像位置の情報に応じて調整した重症度の計算処理を設定して、計算を行うので、画像の撮像位置によらず、病変の進行の程度を安定して精度よく評価することができる。 In this way, when calculating the severity value of a lesion from multiple representative evaluation values in the evaluation target image, the severity calculation process is set and adjusted according to the information on the imaging position of the evaluation target image. Therefore, the degree of progression of the lesion can be evaluated stably and accurately, regardless of the imaging position of the image.

図２は、本発明の一実施形態の電子内視鏡システム１の構成を示すブロック図である。図２に示されるように、電子内視鏡システム１は、電子内視鏡１００、電子内視鏡用プロセッサ２００、モニタ３００及びプリンタ４００を備えている。 FIG. 2 is a block diagram showing the configuration of an electronic endoscope system 1 according to an embodiment of the present invention. As shown in FIG. 2, the electronic endoscope system 1 includes an electronic endoscope 100, an electronic endoscope processor 200, a monitor 300, and a printer 400.

電子内視鏡用プロセッサ２００は、システムコントローラ２０２やタイミングコントローラ２０６を備えている。システムコントローラ２０２は、メモリ２０４に記憶された各種プログラムを実行し、電子内視鏡システム１の全体を統括的に制御する。また、システムコントローラ２０２は、操作パネル２０８に入力されるユーザ（術者又は補助者）による指示に応じて電子内視鏡システム１の各種設定を変更する。タイミングコントローラ２０６は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。 The electronic endoscope processor 200 includes a system controller 202 and a timing controller 206. The system controller 202 executes various programs stored in the memory 204 and controls the entire electronic endoscope system 1 in an integrated manner. Further, the system controller 202 changes various settings of the electronic endoscope system 1 according to instructions input by a user (surgeon or assistant) to the operation panel 208. The timing controller 206 outputs clock pulses to each circuit in the electronic endoscope system 1 to adjust the timing of the operation of each part.

電子内視鏡用プロセッサ２００は、電子内視鏡１００に照明光を供給する光源部２３０を備えている。光源部２３０は、図示されないが、例えば、ランプ電源から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを備える。高輝度ランプから出射した照明光は、図示されない集光レンズにより集光された後、図示されない調光装置を介して電子内視鏡１００の光ファイバの束であるＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。
あるいは、光源部２３０は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子内視鏡１００のＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。発光ダイオードに代えてレーザーダイオードを用いることもできる。発光ダイオード及びレーザーダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることにより、後述する病変に関する評価値の精度を向上させることができる。
なお、図２に示す例では、光源部２３０は、電子内視鏡用プロセッサ２００に内蔵して設けられるが、電子内視鏡用プロセッサ２００とは別体の装置として電子内視鏡システム１に設けられてもよい。また、光源部２３０は、後述する電子内視鏡１００の先端部に設けられてもよい。この場合、照明光を導光するＬＣＢ１０２は不要である。
光源部２３０が射出する照明光は、白色光に限らず、所定の狭い波長帯域を波長帯域とする狭帯域光等の特殊光であってもよい。 The electronic endoscope processor 200 includes a light source section 230 that supplies illumination light to the electronic endoscope 100. Although not shown, the light source section 230 includes, for example, a high-intensity lamp that emits white illumination light by receiving drive power from a lamp power source, such as a xenon lamp, a metal halide lamp, a mercury lamp, or a halogen lamp. The illumination light emitted from the high-intensity lamp is condensed by a condensing lens (not shown), and then transferred to a light carrying bundle (LCB) 102, which is a bundle of optical fibers of the electronic endoscope 100, via a light control device (not shown). The light source section 230 is configured so that the light enters the incident end.
Alternatively, the light source section 230 includes a plurality of light emitting diodes that emit light in a wavelength band of a predetermined color. The light emitted from the light emitting diodes is combined using an optical element such as a dichroic mirror, and the combined light is collected as illumination light by a condensing lens (not shown) and then sent to the LCB (Light Carrying Bundle) of the electronic endoscope 100. ) 102. A laser diode can also be used instead of a light emitting diode. Light emitting diodes and laser diodes have characteristics such as low power consumption and low heat generation compared to other light sources, so they have the advantage of being able to obtain bright images while reducing power consumption and heat generation. By being able to acquire bright images, it is possible to improve the accuracy of evaluation values regarding lesions, which will be described later.
In the example shown in FIG. 2, the light source section 230 is provided built into the electronic endoscope processor 200, but it is provided in the electronic endoscope system 1 as a separate device from the electronic endoscope processor 200. may be provided. Furthermore, the light source section 230 may be provided at the distal end of the electronic endoscope 100, which will be described later. In this case, the LCB 102 that guides the illumination light is not necessary.
The illumination light emitted by the light source section 230 is not limited to white light, and may be special light such as narrowband light whose wavelength band is a predetermined narrow wavelength band.

入射端よりＬＣＢ１０２内に入射した照明光は、ＬＣＢ１０２内を伝播して電子内視鏡１００の先端部内に配置されたＬＣＢ１０２の射出端より射出され、配光レンズ１０４を介して被写体に照射される。被写体からの反射光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。 Illumination light that enters the LCB 102 from the input end propagates within the LCB 102, is emitted from the exit end of the LCB 102 disposed within the tip of the electronic endoscope 100, and is irradiated onto the subject via the light distribution lens 104. . The reflected light from the subject forms an optical image on the light receiving surface of the solid-state image sensor 108 via the objective lens 106.

固体撮像素子１０８は、例えば、ＩＲ（Infra Red）カットフィルタ１０８ａ、ベイヤ配列カラーフィルタ１０８ｂの各種フィルタが受光面に配置された単板式カラーＣＣＤ（Charge-Coupled Device）イメージセンサであり、受光面上で結像した光学像に応じたＲ（Red）、Ｇ（Green）、Ｂ（Blue）の各原色信号を生成する。単板式カラーＣＣＤイメージセンサの代わりに、単板式カラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いることもできる。ＣＭＯＳイメージセンサは、一般に、ＣＣＤイメージセンサと比較して画像が全体的に暗くなる傾向にある。従って、以下説明する病変の評価を行う数値化処理における、画像の明るさによる病変部の病変の重症度の変動を抑えることができるという有利な効果は、ＣＭＯＳイメージセンサを用いる場合においてより顕著である。このように、電子内視鏡１００は、固体撮像素子１０８を用いて、体腔内の生体組織を撮像する。 The solid-state image sensor 108 is a single-plate color CCD (Charge-Coupled Device) image sensor in which various filters such as an IR (Infra Red) cut filter 108a and a Bayer array color filter 108b are arranged on the light receiving surface. Each primary color signal of R (Red), G (Green), and B (Blue) is generated according to the optical image formed by the image forming apparatus. A single-plate color CMOS (Complementary Metal Oxide Semiconductor) image sensor can also be used instead of the single-plate color CCD image sensor. CMOS image sensors generally tend to produce darker images than CCD image sensors. Therefore, the advantageous effect of being able to suppress variations in the severity of lesions due to image brightness in the numerical processing for evaluating lesions described below is more pronounced when using a CMOS image sensor. be. In this manner, the electronic endoscope 100 uses the solid-state imaging device 108 to image living tissue within the body cavity.

電子内視鏡１００の接続部内には、ドライバ信号処理回路１１２が備えられている。ドライバ信号処理回路１１２は、固体撮像素子１０８より入力される原色信号に対して色補間、マトリックス演算等の所定の信号処理を施して画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）を生成し、生成された画像信号を電子内視鏡用プロセッサ２００の画像処理ユニット２２０に出力する。また、ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子内視鏡１００の固有情報を読み出す。メモリ１１４に記録される電子内視鏡１００の固有情報には、例えば固体撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４より読み出された固有情報をシステムコントローラ２０２に出力する。 A driver signal processing circuit 112 is provided within the connection section of the electronic endoscope 100. The driver signal processing circuit 112 performs predetermined signal processing such as color interpolation and matrix calculation on the primary color signals input from the solid-state image sensor 108 to generate image signals (luminance signal Y, color difference signals Cb, Cr). , outputs the generated image signal to the image processing unit 220 of the electronic endoscope processor 200. Further, the driver signal processing circuit 112 accesses the memory 114 and reads out unique information of the electronic endoscope 100. The unique information of the electronic endoscope 100 recorded in the memory 114 includes, for example, the number of pixels and sensitivity of the solid-state image sensor 108, the operable frame rate, the model number, and the like. The driver signal processing circuit 112 outputs the unique information read from the memory 114 to the system controller 202.

システムコントローラ２０２は、電子内視鏡１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、電子内視鏡用プロセッサ２００に接続中の電子内視鏡１００に適した処理がなされるように電子内視鏡用プロセッサ２００内の各回路の動作やタイミングを制御する。 The system controller 202 performs various calculations based on the unique information of the electronic endoscope 100 and generates control signals. The system controller 202 uses the generated control signals to control each circuit in the electronic endoscope processor 200 so that processing suitable for the electronic endoscope 100 connected to the electronic endoscope processor 200 is performed. control the operation and timing of

タイミングコントローラ２０６は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２、画像処理ユニット２２０、及び光源部２３０にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０６から供給されるクロックパルスに従って、固体撮像素子１０８を電子内視鏡用プロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。 The timing controller 206 supplies clock pulses to the driver signal processing circuit 112, the image processing unit 220, and the light source section 230 according to timing control by the system controller 202. The driver signal processing circuit 112 controls the driving of the solid-state image sensor 108 in accordance with the clock pulses supplied from the timing controller 206 at a timing synchronized with the frame rate of the video processed by the electronic endoscope processor 200 side.

画像処理ユニット２２０は、システムコントローラ２０２による制御の下、ドライバ信号処理回路１１２より入力した画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。さらに、画像処理ユニット２２０は、電子内視鏡１００で得られた生体組織の病変部の画像から、生体組織の病変の進行の程度を画像の色成分や形状の情報を用いて数値化した病変の重症度の値を求める。また、画像処理ユニット２２０は、重症度の計算を行う際に得られる生体組織赤色度や血管赤色度等に基づいて色を置換したカラーマップ画像を生成する。画像処理ユニット２２０は、重症度の値及びカラーマップ画像をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。これにより、術者は、モニタ３００の表示画面に表示された画像を通じて注目する生体組織の病変の重症度の情報を受けることができる。画像処理ユニット２２０は、必要に応じてプリンタ４００にカラーマップ画像及び重症度の情報を出力する。 Under the control of the system controller 202, the image processing unit 220 generates a video signal for displaying an endoscopic image or the like on a monitor based on the image signal input from the driver signal processing circuit 112, and outputs it to the monitor 300. Furthermore, the image processing unit 220 converts the degree of progress of the lesion in the biological tissue into numerical values using the color components and shape information of the image, from the image of the lesion in the biological tissue obtained by the electronic endoscope 100. Find the severity value of. Further, the image processing unit 220 generates a color map image in which colors are replaced based on biological tissue redness, blood vessel redness, etc. obtained when calculating severity. The image processing unit 220 generates a video signal for displaying the severity value and the color map image on a monitor, and outputs it to the monitor 300. Thereby, the operator can receive information on the severity of the lesion in the biological tissue of interest through the image displayed on the display screen of the monitor 300. The image processing unit 220 outputs a color map image and severity information to the printer 400 as necessary.

電子内視鏡用プロセッサ２００は、ＮＩＣ（Network Interface Card）２１０及びネットワーク５００を介してサーバ６００に接続されている。電子内視鏡用プロセッサ２００は、内視鏡検査に関する情報（例えば、患者の電子カルテ情報や術者の情報）をサーバ６００からダウンロードすることができる。ダウンロードされた情報は、例えばモニタ３００の表示画面や操作パネル２０８に表示される。また、電子内視鏡用プロセッサ２００は、内視鏡検査結果（内視鏡画像データ、検査条件、画像解析結果、術者所見等）をサーバ６００にアップロードすることにより、内視鏡検査結果をサーバ６００に保存させることができる。 The electronic endoscope processor 200 is connected to a server 600 via a NIC (Network Interface Card) 210 and a network 500. The electronic endoscope processor 200 can download information related to endoscopy (for example, patient electronic medical record information and operator information) from the server 600. The downloaded information is displayed on the display screen of the monitor 300 or the operation panel 208, for example. Further, the electronic endoscope processor 200 uploads the endoscopy results (endoscope image data, test conditions, image analysis results, operator findings, etc.) to the server 600, thereby updating the endoscopy results. It can be saved on the server 600.

図３は、生体組織の病変の重症度を計算するために、病変の特徴の程度を数値化する数値化処理を行う画像処理ユニット２２０の構成を説明する図である。 FIG. 3 is a diagram illustrating the configuration of an image processing unit 220 that performs numerical processing to quantify the degree of characteristics of a lesion in order to calculate the severity of a lesion in a living tissue.

画像処理ユニット２２０は、電子内視鏡１００で得られた生体組織の画像から、生体組織の病変の進行の程度を数値化することにより求める病変の重症度を求める部分である。画像処理ユニット２２０は、前処理部２２０ａ、特徴量算出部２２０ｂ、代表値算出部２２０ｃ、統合部２２０ｄ、及び撮像位置情報処理部２２０ｅを備える。
特徴量算出部２２０ｂは、一実施形態では、複数の代表評価値は、２つの代表評価値であり、１つの代表評価値を算出するための画素評価値として、生体組織の赤色の程度を画素毎に数値化した生体組織赤色度を計算し、もう１つの代表評価値を算出するための画素評価値として、生体組織上の筋状に延在する血管領域の赤色を数値化した血管赤色度を計算する。以下、生体組織赤色度及び血管赤色度を計算する形態を説明する。 The image processing unit 220 is a part that calculates the severity of a lesion by quantifying the degree of progression of the lesion in the biological tissue from the image of the biological tissue obtained by the electronic endoscope 100. The image processing unit 220 includes a preprocessing section 220a, a feature value calculation section 220b, a representative value calculation section 220c, an integration section 220d, and an imaging position information processing section 220e.
In one embodiment, the feature quantity calculation unit 220b calculates the degree of red color of the living tissue as a pixel evaluation value for calculating one representative evaluation value, in which the plurality of representative evaluation values are two representative evaluation values. As a pixel evaluation value for calculating another representative evaluation value, the blood vessel redness is calculated as a numerical value for the redness of the blood vessel area extending in a stripe on the living tissue. Calculate. Hereinafter, a method for calculating biological tissue redness and blood vessel redness will be described.

前処理部２２０ａは、生体組織が示す赤色の程度を評価するための画像に前処理を施す部分である。前処理部２２０ａは、一例として図示されるように、ＲＧＢ変換、色空間変換、基準軸の設定、及び色補正の各処理を行う。
前処理部２２０ａは、ドライバ信号処理回路１１２より入力した画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）を所定のマトリックス係数を用いて画像色成分（Ｒ、Ｇ、Ｂ）に変換する。
前処理部２２０ａは、さらに、画像色成分に変換された画像データをＲＧ平面に正射影する色空間変換を行う。具体的には、ＲＧＢ３原色で定義されるＲＧＢ色空間の各画素の画像色成分がＲＧの画像色成分に変換される。概念的には、ＲＧＢ色空間の各画素の画像色成分が、Ｒ、Ｇ成分の画素値に応じてＲＧ平面内（例えば、Ｒ成分の画素値＝０～２５５、Ｇ成分の画素値＝０～２５５の値を取るＲＧ平面内の区画）にプロットされる。以下、説明の便宜上、ＲＧＢ色空間の各画素の画像色成分の点及びＲＧ色空間内にプロットされた画像色成分の点を「画素対応点」と記す。ＲＧＢ色空間のＲＧＢそれぞれの画像色成分は、順番に、例えば、波長６２０～７５０ｎｍ、波長４９５～５７０ｎｍ、及び波長４５０～４９５ｎｍの色成分である。なお、色成分は、色空間（色平面も含む。）を構成するものである。色相及び彩度は、「色成分」から除かれる。
前処理部２２０ａは、生体組織赤色度及び血管赤色度を評価するために必要なＲＧ平面内の基準軸が設定される。 The preprocessing unit 220a is a part that performs preprocessing on an image for evaluating the degree of red color exhibited by living tissue. The preprocessing unit 220a performs RGB conversion, color space conversion, reference axis setting, and color correction processing, as shown in the figure as an example.
The preprocessing unit 220a converts the image signals (luminance signal Y, color difference signals Cb, Cr) input from the driver signal processing circuit 112 into image color components (R, G, B) using predetermined matrix coefficients.
The preprocessing unit 220a further performs color space conversion to orthogonally project the image data converted into image color components onto the RG plane. Specifically, the image color component of each pixel in the RGB color space defined by the RGB three primary colors is converted into an RG image color component. Conceptually, the image color components of each pixel in the RGB color space are divided into RG planes according to the pixel values of the R and G components (for example, the pixel value of the R component = 0 to 255, the pixel value of the G component = 0). 255) in the RG plane). Hereinafter, for convenience of explanation, the image color component points of each pixel in the RGB color space and the image color component points plotted in the RG color space will be referred to as "pixel corresponding points." The RGB image color components of the RGB color space are, for example, color components with wavelengths of 620 to 750 nm, 495 to 570 nm, and 450 to 495 nm, in order. Note that the color components constitute a color space (including a color plane). Hue and saturation are excluded from "color components".
In the preprocessing unit 220a, reference axes in the RG plane necessary for evaluating the redness of living tissue and the redness of blood vessels are set.

被写体となる患者の体腔内の生体組織では、ヘモグロビン色素等の影響により画像色成分のうちＲ成分が他の成分（Ｇ成分及びＢ成分）に対して支配的である。病変部の病変の進行の程度が低く、病変部が炎症部である場合、炎症が強いほど赤色（Ｒ成分）が他の色（Ｇ成分及びＢ成分）に対して強くなる。しかし、体腔内の撮像画像は、明るさに影響する撮影条件（例えば照明光の当たり具合）に応じて色が変化する。例示的には、照明光の届かない陰影部分は黒（無彩色であり、例えば、Ｒ、Ｇ、Ｂの画像色成分の値がゼロ又はゼロに近い値）となり、照明光が強く当たって正反射する部分は白（無彩色であり、例えば、Ｒ、Ｇ、Ｂの画像色成分の値が８ビット階調の場合、２５５又は２５５に近い値）となる。すなわち、炎症が起こっている同じ炎症部を撮像した場合であっても、照明光が強く当たるほどその炎症部の画素値が大きくなる。そのため、照明光の当たり具合によっては、画像の色成分の値が炎症の強さと相関の無い値を取ることがある。 In a living tissue in a body cavity of a patient serving as an object, the R component of the image color components is dominant over the other components (G component and B component) due to the influence of hemoglobin pigment and the like. When the degree of progression of the lesion is low and the lesion is an inflamed area, the stronger the inflammation, the stronger the red (R component) becomes compared to other colors (G and B components). However, the color of a captured image inside a body cavity changes depending on the imaging conditions that affect the brightness (for example, the degree of illumination light). For example, the shaded areas that the illumination light does not reach are black (an achromatic color, for example, the values of the R, G, and B image color components are zero or close to zero), and the areas that the illumination light does not reach are black (an achromatic color, for example, the values of the image color components of R, G, and B are zero or close to zero), and the areas that are strongly illuminated by the illumination light become black. The reflective portion is white (an achromatic color; for example, if the values of R, G, and B image color components are 8-bit gradation, the value is 255 or close to 255). That is, even when the same inflamed area is imaged, the stronger the illumination light is, the larger the pixel value of the inflamed area becomes. Therefore, depending on the degree of illumination light, the color component values of the image may take values that have no correlation with the intensity of inflammation.

一般に、炎症が起こっていない体腔内の健常部は十分な粘膜で覆われている。これに対し、炎症が起こっている体腔内の炎症部は十分な粘膜で覆われていない。具体的には、血管が拡張すると共に血管から血液・体液が漏出するため、相対的に粘膜が薄くなり血液の色が目に映り易くなる。粘膜は、基本的には白基調ではあるが、色としては若干黄味がかっており、その濃淡（粘膜の厚み）によって画像上に写る色（黄色）が変化する。従って、粘膜の濃淡も炎症の程度を評価する指標の一つになるものと考えられる。 Generally, healthy areas within body cavities that are not inflamed are covered with sufficient mucous membranes. On the other hand, the inflamed area within the body cavity where inflammation is occurring is not covered with sufficient mucous membrane. Specifically, as blood vessels dilate, blood and body fluids leak from them, making the mucous membrane relatively thinner and the color of blood easier to see. Although the mucous membrane is basically white, it has a slight yellowish tinge, and the color (yellow) that appears on the image changes depending on its shading (thickness of the mucous membrane). Therefore, the density of the mucous membrane is considered to be one of the indicators for evaluating the degree of inflammation.

そこで、図４に示されるように、ＲＧ色空間内において、（５０，０）及び（２５５，７６）を通る直線が基準軸の１つとして設定されると共に、（０，０）及び（２５５，１９２）を通る直線が基準軸の１つとして設定される。説明の便宜上、前者の基準軸を「ヘモグロビン変化軸ＡＸ１」と記し、後者の基準軸を「粘膜変化軸ＡＸ２」と記す。図４は、一実施形態で用いる色空間内における基準軸の例を説明する図である。 Therefore, as shown in FIG. 4, in the RG color space, a straight line passing through (50,0) and (255,76) is set as one of the reference axes, and a straight line passing through (0,0) and (255,76) is set as one of the reference axes. , 192) is set as one of the reference axes. For convenience of explanation, the former reference axis will be referred to as the "hemoglobin change axis AX1", and the latter reference axis will be referred to as the "mucosal membrane change axis AX2". FIG. 4 is a diagram illustrating an example of a reference axis in a color space used in one embodiment.

図４に示されるプロットは、体腔内の多数の参照画像を解析した結果得たものである。解析に用いられる参照画像には、炎症の程度の最も高い炎症画像例（最も重症なレベルの炎症画像例）や、炎症の程度の最も低い炎症画像例（実質的に健常部であるとみなされる画像例）など、各段階の炎症画像例が含まれる。なお、図４に示す例では、図面を明瞭化する便宜上、解析の結果得られたプロットを一部だけ示している。解析の結果実際に得られたプロットは、図４に示されるプロットの数よりも遥かに多い。 The plot shown in FIG. 4 was obtained as a result of analyzing a large number of reference images inside the body cavity. The reference images used in the analysis include an example of an inflammatory image with the highest degree of inflammation (an example of an image of inflammation at the most severe level) and an example of an inflammatory image with the lowest degree of inflammation (an example of an inflammatory image that is considered to be a substantially healthy area). Examples of inflammation images at each stage are included. Note that in the example shown in FIG. 4, only a portion of the plot obtained as a result of the analysis is shown for the sake of clarity of the drawing. The number of plots actually obtained as a result of the analysis is far greater than the number of plots shown in FIG.

上述したように、炎症が強い部分ほど画像の色成分のうちＲ成分が他の成分（Ｇ成分及びＢ成分）に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、Ｇ軸よりもＲ軸に近い方の境界線上の軸、図４に示す例では、（５０，０）及び（２５５，７６）を通る境界線上の軸が、炎症の程度が最も強い部分、すなわち炎症の程度の最も高い部位と相関の高い軸として設定される。この軸がヘモグロビン変化軸ＡＸ１である。ヘモグロビン変化軸ＡＸ１には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も高い炎症部に対応するプロットが重畳される。したがって、ヘモグロビン変化軸ＡＸ１は、生体組織の炎症の程度が高くなるほどプロットされる画素対応点が収束する軸である。 As described above, the stronger the inflammation is in the part, the stronger the R component among the color components of the image is compared to the other components (G component and B component). Therefore, in the example shown in FIG. 4, the axes on the boundary line between the area where the plot is distributed and the area where the plot is not distributed, which is closer to the R axis than the G axis, are (50,0) and (255, The axis on the boundary line passing through 76) is set as the axis that is highly correlated with the part where the degree of inflammation is the strongest, that is, the site where the degree of inflammation is the highest. This axis is the hemoglobin change axis AX1. On the hemoglobin change axis AX1, plots corresponding to the inflamed areas with the highest degree of inflammation imaged under various imaging conditions, such as illumination light exposure, are superimposed. Therefore, the hemoglobin change axis AX1 is an axis on which the plotted pixel corresponding points converge as the degree of inflammation in the living tissue increases.

一方、健常部に近いほど画像の色成分のうちＧ成分（又はＢ成分）がＲ成分に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、Ｒ軸よりもＧ軸に近い方の境界線上の軸、図４に示す例では、（０，０）及び（２５５，１９２）を通る境界線上の軸が、炎症の程度の最も低い部分、すなわち、炎症の程度の最も低い部分であって、実質的に健常部であるとみなされるものと相関の高い軸として設定される。この軸が粘膜変化軸ＡＸ２である。粘膜変化軸ＡＸ２には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も低い部分、すなわち実質的に正常部とみなされるものに対応するプロットが重畳される。したがって、粘膜変化軸ＡＸ２は、炎症の程度が低くなるほど（健常部に近いほど）プロットされる画素対応点が収束する軸である。 On the other hand, the closer the image is to a healthy area, the stronger the G component (or B component) of the color components of the image is relative to the R component. Therefore, in the example shown in FIG. 4, the axes on the boundary line between the area where the plot is distributed and the area where the plot is not distributed, which is closer to the G axis than the R axis, are (0,0) and (255, The axis on the boundary line that passes through Ru. This axis is the mucosal change axis AX2. On the mucous membrane change axis AX2, plots corresponding to parts with the lowest degree of inflammation, which are imaged under various imaging conditions, for example, illumination light exposure conditions, that is, what is considered to be a substantially normal part, are superimposed. Therefore, the mucosal change axis AX2 is an axis on which the plotted pixel corresponding points converge as the degree of inflammation decreases (closer to the healthy area).

補足すると、病変部の病変の進行の程度の最も高い部分は、出血を伴う。一方、病変の進行の程度の最も低い部分は、実質正常な健常部であるから、十分な粘膜で覆われている。そのため、図４に示されるＲＧ色空間内のプロットは、血液（ヘモグロビン色素）の色と最も相関の高い軸と、粘膜の色と最も相関の高い軸に挟まれた領域内に分布すると捉えることができる。そのため、プロットが分布する領域と分布しない領域との境界線のうち、Ｒ軸に近い（Ｒ成分が強い）方の境界線が、炎症の程度の最も高い炎症部を示す軸（ヘモグロビン変化軸ＡＸ１）に相当し、Ｇ軸に近い（Ｇ成分が強い）方の境界線が、炎症の程度の最も低い炎症部を示す軸（粘膜変化軸ＡＸ２）に相当する。 As a supplement, the most advanced part of the lesion is accompanied by bleeding. On the other hand, the part where the degree of progression of the lesion is the lowest is a substantially normal healthy part and is therefore covered with sufficient mucous membrane. Therefore, the plot in the RG color space shown in Figure 4 can be considered to be distributed within the area between the axis that has the highest correlation with the color of blood (hemoglobin pigment) and the axis that has the highest correlation with the color of mucous membranes. I can do it. Therefore, among the boundaries between the area where the plot is distributed and the area where the plot is not distributed, the boundary line that is closer to the R axis (stronger R component) is the axis that indicates the inflamed area with the highest degree of inflammation (hemoglobin change axis AX1). ), and the boundary line closer to the G axis (stronger G component) corresponds to the axis (mucosal change axis AX2) indicating the inflamed area with the lowest degree of inflammation.

このような基準軸の設定を行った後、正射影された画像の色成分に対して後述する赤色の程度を示す生体組織赤色度を算出する処理が行われる。この生体組織赤色度を算出する処理の前に、正射影された画素データに対して色補正が行われる。
図４に示す基準軸は、一例であり、疾患の種類に応じて基準軸は種々異なる。 After setting such a reference axis, a process is performed to calculate biological tissue redness indicating the degree of redness, which will be described later, for the color components of the orthogonally projected image. Before the process of calculating the biological tissue redness, color correction is performed on the orthogonally projected pixel data.
The reference axes shown in FIG. 4 are just an example, and the reference axes vary depending on the type of disease.

前処理部２２０ａは、炎症評価値の算出の前に、ＲＧ色空間で表された画像の色成分に対して色補正を行う。図示されないメモリには、補正マトリックス係数が保存されている。同一の炎症部にも拘らず、異なる電子内視鏡システムで撮像したときに後述する炎症評価値がばらつかないように（言い換えると、電子内視鏡の個体間誤差を抑えるために）、前処理部２２０ａは、各画素のＲＧ色空間内の画素対応点である画素データ（Ｒ，Ｇ）を、補正マトリックス係数を用いて下記式に示すように補正する。 The preprocessing unit 220a performs color correction on the color components of the image expressed in the RG color space before calculating the inflammation evaluation value. A memory (not shown) stores correction matrix coefficients. In order to prevent the inflammation evaluation values described below from varying when images are taken with different electronic endoscope systems (in other words, to suppress the inter-individual error of electronic endoscopes) even though the same inflamed area is imaged, The processing unit 220a corrects pixel data (R, G), which is a pixel corresponding point in the RG color space of each pixel, as shown in the following equation using a correction matrix coefficient.

Figure 0007455716000001
Ｒnew ：補正後の画素データ（Ｒ成分）
Ｇnew ：補正後の画素データ（Ｇ成分）
Ｍ00～Ｍ11：補正マトリックス係数
Ｒ ：補正前の画素データ（Ｒ成分）
Ｇ ：補正前の画素データ（Ｇ成分）
Figure 0007455716000001
R new : Pixel data after correction (R component)
G new : Pixel data after correction (G component)
M 00 to M 11 : Correction matrix coefficient R : Pixel data before correction (R component)
G: Pixel data before correction (G component)

特徴量算出部２２０ｂは、画素の中から一つの注目画素を選択し、選択した注目画素について、生体組織赤色度を、注目画素の色成分の情報に基づいて炎症の程度を計算するためのずれ角度を算出する。すなわち、画素の色成分の情報に基づいて生体組織の赤色の程度を数値化する数値化処理を行う。図５は、一実施形態で用いる生体組織赤色度を計算するためのずれ角度を計算する方法を説明する図である。具体的には、特徴量算出部２２０ｂは、図５に示すように、ヘモグロビン変化軸ＡＸ１と粘膜変化軸ＡＸ２との交点を基準点Ｏ’とし、基準点Ｏ’と注目画素の画素対応点Ｐとを結ぶ線分Ｌの向きが、基準軸ＡＸ１に対してずれるずれ角度θを算出する。なお、基準点Ｏ’は座標（－１５０，－７５）に位置する。基準点Ｏ’を座標（－１５０，－７５）にする例に挙げたが、これに限定されるものではない。上記基準点Ｏ’は、適宜変更可能であり、例えば、ＲＧ色空間のＲ軸とＧ軸の交点であってもよい。 The feature value calculation unit 220b selects one pixel of interest from among the pixels, and calculates the biological tissue redness of the selected pixel of interest based on the information of the color component of the pixel of interest. Calculate the angle. That is, a digitization process is performed to digitize the degree of redness of the living tissue based on the information on the color components of the pixels. FIG. 5 is a diagram illustrating a method of calculating a deviation angle for calculating the redness of living tissue used in one embodiment. Specifically, as shown in FIG. 5, the feature calculation unit 220b sets the intersection of the hemoglobin change axis AX1 and the mucous membrane change axis AX2 as a reference point O', and calculates the pixel corresponding point P between the reference point O' and the pixel of interest. A deviation angle θ at which the direction of the line segment L connecting the lines deviates from the reference axis AX1 is calculated. Note that the reference point O' is located at coordinates (-150, -75). Although the reference point O' is set to the coordinates (-150, -75) as an example, the present invention is not limited to this. The reference point O' can be changed as appropriate, and may be, for example, the intersection of the R and G axes of the RG color space.

基準点Ｏ’として好適な座標位置は、例えば、明るさの変動による評価結果の誤差を少なくできる位置である。具体的には、基準点Ｏ’は、暗部（輝度が所定値未満）での評価結果と非暗部（輝度が所定値以上）での評価結果との誤差を最小にする点を予め求めることで設定することが好ましい。 A suitable coordinate position for the reference point O' is, for example, a position where errors in evaluation results due to variations in brightness can be reduced. Specifically, the reference point O' is determined by determining in advance a point that minimizes the error between the evaluation results in dark areas (brightness is less than a predetermined value) and the evaluation results in non-dark areas (brightness is greater than or equal to a predetermined value). It is preferable to set

また、例えば、基準点Ｏ’を座標（－１０，－１０）から（１０，１０）の間に設定すると、座標（－１５０，－７５）等を基準点Ｏ’と設定した場合と比較して、画素対応点が変化した場合の角度θの変化量が大きくなるため、分解能が向上する。これにより、精度の高い評価結果を得ることができる。
他方、基準点Ｏ’を座標（－５０，－５０）から（－２００，－２００）の間に設定することで、炎症の程度を示す評価結果はノイズの影響を受け難い。 Also, for example, if the reference point O' is set between the coordinates (-10, -10) and (10, 10), the comparison will be made with the case where the reference point O' is set to the coordinates (-150, -75), etc. Therefore, since the amount of change in the angle θ increases when the pixel corresponding points change, the resolution improves. Thereby, highly accurate evaluation results can be obtained.
On the other hand, by setting the reference point O' between the coordinates (-50, -50) to (-200, -200), the evaluation result indicating the degree of inflammation is less susceptible to noise.

体腔内の生体組織を撮影した画像の明るさが白色光の当たり具合によって変化すると、画像の色は、個人差、撮影箇所、炎症の状態等の影響があるものの、ＲＧ色空間内において、概ね、重症度の最も高い炎症部ではヘモグロビン変化軸ＡＸ１上に沿って変化し、炎症の程度が最も低い炎症部では粘膜変化軸ＡＸ２上に沿って変化する。また、炎症の程度が中間程度である炎症部の画像の色も同じ傾向で変化するものと推定される。すなわち、炎症部に対応する画素対応点は、照明光の当たり具合によって変化すると、基準点Ｏ’を起点とした方位角方向にシフトする。言い換えると、炎症部に対応する画素対応点は、照明光の当たり具合によって変化すると、粘膜変化軸ＡＸ２に対するずれ角度θが一定のまま移動して基準点Ｏ’との距離が変わる。これは、ずれ角度θが画像の明るさの変化に実質的に影響を受けないパラメータであることを意味する。 When the brightness of an image taken of biological tissue inside a body cavity changes depending on how white light hits it, the color of the image is affected by individual differences, the location of the image, the state of inflammation, etc., but within the RG color space, the color of the image is generally the same. In the most severe inflamed area, the hemoglobin changes along the hemoglobin change axis AX1, and in the least severe inflamed area, the hemoglobin changes along the mucosal change axis AX2. Furthermore, it is estimated that the color of the image of an inflamed area with an intermediate degree of inflammation also changes with the same tendency. That is, when the pixel corresponding point corresponding to the inflamed area changes depending on the degree of illumination light, it shifts in the azimuth direction starting from the reference point O'. In other words, when the pixel corresponding point corresponding to the inflamed area changes depending on the degree of illumination light, the distance from the reference point O' changes as the deviation angle θ with respect to the mucous membrane change axis AX2 remains constant. This means that the shift angle θ is a parameter that is not substantially affected by changes in image brightness.

ずれ角度θが小さいほどＲ成分がＧ成分に対して強くなり、病変部における赤色の程度が相対的に大きいことを示す。また、ずれ角度θが大きいほどＧ成分がＲ成分に対して強くなり、赤色の程度が相対的に小さいことを示す。そこで、特徴量算出部２２０ｂは、ずれ角度θがゼロであるときに値２５５となり、ずれ角度θがθＭＡＸであるときに値ゼロとなるように、角度θを正規化する。なお、θＭＡＸは、ヘモグロビン変化軸ＡＸ１と粘膜変化軸ＡＸ２とがなす角度と等しい。すなわち、評価値算出部２２０ｂは、各注目画素について、各注目画素の色成分の情報に基づいて赤色の程度を数値化する数値化処理を行うことにより、０～２５５の範囲に収まる生体組織赤色度（第１画素評価値）を求める。
なお、注目画素は、画像の全画素について１つずつ選択される。
なお、図５に示す例では、色空間としてＲＧ色空間を用いるが、ＲＧ色空間に代えてＲＢ色空間を用いることもできる。 The smaller the deviation angle θ, the stronger the R component is with respect to the G component, indicating that the degree of red in the lesion is relatively large. Furthermore, the larger the deviation angle θ, the stronger the G component becomes relative to the R component, indicating that the degree of red color is relatively small. Therefore, the feature value calculation unit 220b normalizes the angle θ so that the value is 255 when the deviation angle θ is zero, and the value is zero when the deviation angle θ is θ MAX . Note that θ MAX is equal to the angle formed by the hemoglobin change axis AX1 and the mucous membrane change axis AX2. In other words, the evaluation value calculation unit 220b performs a numerical process to quantify the degree of redness of each pixel of interest based on the information of the color component of each pixel of interest, so that the evaluation value calculation unit 220b calculates the biological tissue red color within the range of 0 to 255. The degree (first pixel evaluation value) is calculated.
Note that one pixel of interest is selected for all pixels of the image.
Note that in the example shown in FIG. 5, the RG color space is used as the color space, but the RB color space can also be used instead of the RG color space.

特徴量算出部２２０ｂは、ずれ角度θに基づいて生体組織赤色度を画素評価値として算出するが、場合によっては、生体組織の潰瘍の特徴の程度を示す後述する生体組織白色度を算出する。例えば、生体組織の画像の各画素の各色成分の画素値に対して、線形なゲイン（利得）を与えるゲイン調整を行い、病変に特有の色域付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める、トーン強調処理を行うことにより、例えば、潰瘍性大腸炎の白苔や膿様粘液を含む潰瘍部は白色を示し、浮腫や易出血性を含む赤色を示す炎症部や黄色あるいは緑色を示す正常部と色成分によって区別することができる。生体組織白色度は、図５に示すような２つの色成分（Ｒ成分、Ｇ成分、Ｂ成分のうち２つ）あるいは３つの色成分（Ｒ成分、Ｇ成分、Ｂ成分）の座標軸とする色空間上に表した、ヘモグロビン変化軸ＡＸ１とは異なる基準軸に対するずれ角度を用いて計算することができる。なお、トーン強調処理は、前処理部２２０ａが行う。 The feature calculation unit 220b calculates the redness of the living tissue as a pixel evaluation value based on the deviation angle θ, and in some cases, calculates the whiteness of the living tissue, which will be described later, which indicates the degree of the feature of the ulcer of the living tissue. For example, gain adjustment is performed to give a linear gain to the pixel value of each color component of each pixel in an image of living tissue, and the dynamic range near the color gamut specific to a lesion is substantially widened. By performing tone enhancement processing that increases the effective resolution of expression, for example, ulcers containing white moss and pus-like mucus in ulcerative colitis appear white, while inflammation that shows red, including edema and bleeding easily. It can be distinguished from normal parts that are yellow or green by color components. Biological tissue whiteness is determined by the color coordinate axes of two color components (R component, G component, and two of B components) or three color components (R component, G component, and B component) as shown in Figure 5. It can be calculated using a deviation angle with respect to a reference axis that is expressed in space and is different from the hemoglobin change axis AX1. Note that the tone enhancement process is performed by the preprocessing section 220a.

特徴量算出部２２０ｂは、さらに、生体組織赤色度に応じて変化する表示色で生体組織の画像をモザイク化したカラーマップ画像を作成する。カラーマップ画像を表示可能とするため、画素評価値と所定の表示色とを対応付けたテーブルが図示されないメモリ等の記憶領域に記憶されている。このテーブルでは、例えば、値５刻みで異なる表示色が対応付けられている。例示的には、画素評価値が０～５の範囲では青色が対応付けられており、該画素評価値が５増える毎に色相環での色の並び順に従って異なる表示色が対応付けられており、該画素評価値が２５０～２５５の範囲では赤色が対応付けられている。表示色は、例えば、生体組織赤色度が大きいほど青色から黄色さらには赤色といったように、寒色から暖色に近づく色とする。特徴量算出部２２０ｂは、選択された注目画素の、カラーマップ画像上での表示色を、上記テーブルを参照して、注目画素の生体組織赤色度に応じて決定する。
こうして、特徴量算出部２２０ｂは、生体組織赤色度に応じて色を付与したカラーマップ画像を作成する。 The feature calculation unit 220b further creates a color map image in which the image of the living tissue is mosaiced with a display color that changes depending on the redness of the living tissue. In order to be able to display a color map image, a table that associates pixel evaluation values with predetermined display colors is stored in a storage area such as a memory (not shown). In this table, for example, different display colors are associated in increments of 5 values. For example, a pixel evaluation value in the range of 0 to 5 is associated with blue, and each time the pixel evaluation value increases by 5, a different display color is associated according to the order of colors on the hue wheel. , red color is associated with the pixel evaluation value in the range of 250 to 255. The display color is set to be a color that approaches a warm color from a cold color, such as from blue to yellow or even red, as the redness of the living tissue increases. The feature calculation unit 220b determines the display color of the selected pixel of interest on the color map image according to the biological tissue redness of the pixel of interest with reference to the table.
In this way, the feature value calculation unit 220b creates a color map image that is colored according to the redness of the living tissue.

特徴量算出部２２０ｂは、さらに、生体組織を撮像して得られる画像中の生体組織の血管領域の確からしさを、血管を特徴付ける形状に基づいて判定し、必要に応じて、求めた確からしさにより、血管領域を抽出する。
図６（ａ）に示すように、生体組織を撮像した画像には、病変部Ｘの近傍には、粘膜を通して透けて見える筋状の血管領域Ｙの像も含まれる。このような画像に対して上述の生体組織赤色度に応じて色分けした、図６（ｂ）に示すカラーマップ画像においても、血管領域Ｙは炎症部と同じ色で表示される場合がある。図６（ａ），（ｂ）は、生体組織の画像の一例と、従来の方法で得られるカラーマップ画像の一例を模式的に説明する図である。
特徴量算出部２２０ｂは、血管領域Ｙの確からしさを求め、確からしさに基づいて血管領域Ｙを抽出する。 The feature value calculation unit 220b further determines the probability of a blood vessel region of the living tissue in the image obtained by imaging the living tissue based on the shape that characterizes the blood vessel, and if necessary, calculates the probability based on the obtained certainty. , extract the blood vessel region.
As shown in FIG. 6A, the image of the biological tissue also includes an image of a streak-like blood vessel region Y that is visible through the mucous membrane near the lesion X. Even in the color map image shown in FIG. 6B, in which such an image is color-coded according to the above-mentioned biological tissue redness, the blood vessel region Y may be displayed in the same color as the inflamed area. FIGS. 6A and 6B are diagrams schematically illustrating an example of an image of a living tissue and an example of a color map image obtained by a conventional method.
The feature quantity calculation unit 220b calculates the certainty of the blood vessel region Y, and extracts the blood vessel region Y based on the certainty.

図７は、一実施形態における血管領域Ｙを抽出する方法の一例を説明する図である。
特徴量算出部２２０ｂは、生体組織の画像の一部の検査対象エリアＡＲの形状と複数のテンプレートＴＰ１～ＴＰ４の直線形状それぞれとの相関の程度を表すマッチング度を求め、複数のテンプレートＴＰ１～ＴＰ４それぞれに対応するマッチング度の中で、最も高い最高マッチング度を検査対象エリアＡＲにおける血管領域Ｙの確からしさとする。テンプレートＴＰ１～ＴＰ４は、画素で構成され、テンプレートＴＰ１～ＴＰ４は、直線の延在方向を互いに異ならせた複数の直線形状を備える。テンプレートＴＰ１～ＴＰ４は、それぞれの直線形状に合わせて各画素は画素値を有する。図７に示すように、画像の端から矢印に沿って順番に検査対象エリアＡＲをオーバーラップさせながら移動させることにより、検査対象エリアＡＲ内の画像の画素評価値とテンプレートＴＰ１～ＴＰ４それぞれの対応する画素の値との相関度を求める。一実施形態によれば、テンプレートＴＰ１～ＴＰ４は、血管を特徴付ける形状として、直線を４つの異なる延在方向に延ばした４つの直線形状を備える。検査対象エリアＡＲが血管領域を含む場合、検査対象エリアＡＲ内の画素値は、血管が筋状に延びるといった特徴形状の情報を含んでいるので、ずれ角度θに応じて設定された画素評価値を画素値とする画像を用いて、血管領域Ｙを抽出することができる。テンプレートＴＰ１～ＴＰ４は、図６に示す白領域及び黒領域に対応して画素毎に値を有する。このため、一実施形態によれば、マッチング度は、テンプレートＴＰ１～ＴＰ４の画素の値と、検査対象領域ＡＲの対応する画素評価値との相関係数である。また一実施形態によれば、マッチング度は、テンプレートＴＰ１～ＴＰ４の画素毎の値を空間フィルタのフィルタ係数として、このフィルタ係数のそれぞれと検査対象エリアＡＲの対応する画素の画像評価値を乗算して合計した値であってもよい。 FIG. 7 is a diagram illustrating an example of a method for extracting the blood vessel region Y in one embodiment.
The feature calculation unit 220b calculates a degree of matching representing the degree of correlation between the shape of the inspection target area AR of a part of the image of the living tissue and each of the linear shapes of the plurality of templates TP1 to TP4, and Among the corresponding matching degrees, the highest matching degree is determined as the probability of the blood vessel region Y in the inspection target area AR. The templates TP1 to TP4 are composed of pixels, and each of the templates TP1 to TP4 has a plurality of linear shapes having different extending directions of the straight lines. In the templates TP1 to TP4, each pixel has a pixel value according to the shape of each straight line. As shown in FIG. 7, by moving the inspection target area AR sequentially along the arrows from the edge of the image while overlapping, the correspondence between the pixel evaluation value of the image in the inspection target area AR and each of the templates TP1 to TP4 is created. Find the degree of correlation with the pixel value. According to one embodiment, templates TP1 to TP4 include four linear shapes extending in four different extending directions as shapes characterizing blood vessels. When the area to be inspected AR includes a blood vessel region, the pixel values in the area to be inspected AR include information on the characteristic shape such that the blood vessel extends in a streaky manner, so the pixel evaluation value is set according to the deviation angle θ. The blood vessel region Y can be extracted using an image whose pixel values are . The templates TP1 to TP4 have values for each pixel corresponding to the white area and black area shown in FIG. Therefore, according to one embodiment, the matching degree is a correlation coefficient between the pixel values of the templates TP1 to TP4 and the corresponding pixel evaluation values of the inspection target area AR. According to one embodiment, the matching degree is calculated by using the values for each pixel of the templates TP1 to TP4 as filter coefficients of a spatial filter, and multiplying each of these filter coefficients by the image evaluation value of the corresponding pixel in the inspection target area AR. It may be the total value.

テンプレートＴＰ１～ＴＰ４のそれぞれについて算出したマッチング度のうち値が最も高い最高マッチング度が、血管領域の確からしさを示す値として、検査対象エリアＡＲの中心画素に与えられる。 Among the matching degrees calculated for each of the templates TP1 to TP4, the highest matching degree having the highest value is given to the center pixel of the inspection target area AR as a value indicating the certainty of the blood vessel region.

図８は、テンプレートＴＰ１を空間フィルタとして用いる場合のフィルタ係数の一例を示す図である。テンプレートＴＰ１は、図８に示すように、図中の上下方向に直線が延びる形状を有する。図７では、一例として、テンプレートＴＰ１は、５×５画素の空間フィルタを構成している。この場合、直線に延びる部分の画素には、フィルタ係数として１／５が与えられ、それ以外の画素には、フィルタ係数として－１／２０が与えられている。フィルタ係数のそれぞれと検査対象エリアＡＲの対応する画素の同一の画像評価値を乗算して合計した値をマッチング度として計算するとき、検査対象エリアＡＲのいずれの画素評価値も同一の値である場合、マッチング度はゼロになる。一方、検査対象エリアＡＲに上下方向に筋状に延びる血管の像が含まれる場合、マッチング度は増大する。このマッチング度の値が大きいほど、テンプレートＴＰ１に近似する像を含んでいるといえる。したがって、テンプレートＴＰ１～ＴＰ４のそれぞれについてマッチング度を計算し、計算したマッチング度の中で値が最も高い最高マッチング度を、血管領域Ｙの確からしさとして、検査対象領域ＡＲの中心画素に与える。すなわち、血管領域Ｙの確からしさの値は、検査対象エリアＡＲの中心画素に与えられる。 FIG. 8 is a diagram showing an example of filter coefficients when template TP1 is used as a spatial filter. As shown in FIG. 8, the template TP1 has a shape in which a straight line extends in the vertical direction in the figure. In FIG. 7, as an example, template TP1 constitutes a 5×5 pixel spatial filter. In this case, 1/5 is given as a filter coefficient to pixels in the portion extending in a straight line, and -1/20 is given as a filter coefficient to other pixels. When calculating the matching degree by multiplying each of the filter coefficients by the same image evaluation value of the corresponding pixel in the inspection target area AR, all pixel evaluation values in the inspection target area AR are the same value. In this case, the degree of matching is zero. On the other hand, when the inspection target area AR includes images of blood vessels extending vertically in a striped manner, the degree of matching increases. It can be said that the larger the value of this matching degree, the more the image approximates the template TP1. Therefore, matching degrees are calculated for each of the templates TP1 to TP4, and the highest matching degree with the highest value among the calculated matching degrees is given to the center pixel of the inspection target region AR as the certainty of the blood vessel region Y. That is, the likelihood value of the blood vessel region Y is given to the center pixel of the inspection target area AR.

このようなマッチング度は、生体組織赤色度である画素評価値を、テンプレートＴＰ１～ＴＰ４のそれぞれを用いて空間フィルタリングした結果であるので、空間フィルタリングにより処理された画素評価値を各画素が有する画像の各画素の値は、テンプレートＴＰ１～ＴＰ４のいずれかにマッチングするときのマッチング度の情報を含んでおり、上記空間フィルタリングによって得られた画像は、血管領域Ｙを反映した画素値となっている。したがって、特徴量算出部２２０ｂは、各画素における血管の確からしさの値が予め定めた値より大きいか否かを判定し、画素における血管の確からしさの値が予め定めた値より大きい場合、その画素は血管領域Ｙにあると判定することにより、血管領域Ｙを抽出する。
特徴量算出部２２０ｂは、抽出した血管領域Ｙに対応する画素における生体組織赤色度を血管赤色度として定める。この場合、血管領域Ｙに対応しない領域の血管赤色度はゼロとする。また、特徴量算出部２２０ｂは、血管の確からしさを０～１の範囲に正規化した値を求め、この値が高い程値が高くなり、低い程値が低くなるように生体組織赤色度を補正した結果を血管赤色度として求めてもよい。このように、全画素に対して血管赤色度が計算される。例えば、生体組織赤色度の値に、血管の確からしさの値を乗算した結果を血管赤色度として求めてもよい。
このように、一実施形態の特徴量算出部２２０ｂは、生体組織赤色度及び血管赤色度を画素評価値として算出する。 Such matching degree is the result of spatial filtering of the pixel evaluation value, which is biological tissue redness, using each of the templates TP1 to TP4, so the image in which each pixel has a pixel evaluation value processed by spatial filtering is The value of each pixel includes information on the degree of matching when matching with any of the templates TP1 to TP4, and the image obtained by the above spatial filtering has a pixel value that reflects the blood vessel region Y. . Therefore, the feature value calculation unit 220b determines whether the blood vessel certainty value at each pixel is larger than a predetermined value, and if the blood vessel certainty value at each pixel is larger than the predetermined value, By determining that the pixel is in the blood vessel region Y, the blood vessel region Y is extracted.
The feature calculation unit 220b determines the biological tissue redness at the pixel corresponding to the extracted blood vessel region Y as the blood vessel redness. In this case, the blood vessel redness of the area that does not correspond to the blood vessel area Y is set to zero. In addition, the feature calculation unit 220b calculates a normalized value of the certainty of blood vessels in the range of 0 to 1, and adjusts the redness of the biological tissue so that the higher the value, the higher the value, and the lower the value, the lower the value. The corrected result may be obtained as blood vessel redness. In this way, blood vessel redness is calculated for all pixels. For example, the blood vessel redness may be obtained by multiplying the biological tissue redness value by the blood vessel certainty value.
In this way, the feature value calculation unit 220b of one embodiment calculates the biological tissue redness and blood vessel redness as pixel evaluation values.

代表値算出部２２０ｃは、特徴量算出部２２０ｂが算出した各画素の生体組織赤色度を統合することにより撮像した生体組織の生体組織赤色度の代表値を算出し、さらに、特徴量算出部２２０ｂが算出した各画素の血管赤色度を統合することにより撮像した血管赤色度の代表値を算出する。
画像における代表評価値である生体組織赤色度の代表値及び血管赤色度の代表値を算出する処理は、各画素の生体組織赤色度及び血管赤色度の平均値を算出する平均化処理であってもよいし、別の公知の処理、例えば、メディアン値を求める処理であってもよい。平均化処理は、単純平均値を求める処理、及び加重平均値を求める処理を含む。また、公知の処理として、画素評価値である生体組織赤色度及び血管赤色度のそれぞれを、順位のついた少なくとも２つ以上のレベルに分け、この各レベルに属する画素数に所定の重み付け係数を乗算した値の合計値Ｐを所定の式に代入して代表値を算出する処理であってもよい。この場合、所定の式は、例えば１／（１＋ｅ－Ｐ）である。この場合、重み付け係数は、医師による主観評価結果と相関を有するように、多重ロジスティック回帰分析によって得られる係数であることが好ましい。 The representative value calculation unit 220c calculates a representative value of the biological tissue redness of the imaged biological tissue by integrating the biological tissue redness of each pixel calculated by the feature calculation unit 220b, and further calculates the representative value of the biological tissue redness of the imaged biological tissue. A representative value of the imaged blood vessel redness is calculated by integrating the calculated blood vessel redness of each pixel.
The process of calculating the representative value of biological tissue redness and the representative value of blood vessel redness, which are representative evaluation values in the image, is an averaging process of calculating the average value of the biological tissue redness and blood vessel redness of each pixel. Alternatively, it may be another known process, for example, a process for calculating a median value. The averaging process includes a process of calculating a simple average value and a process of calculating a weighted average value. In addition, as a known process, each of the pixel evaluation values, biological tissue redness and blood vessel redness, is divided into at least two or more ranked levels, and a predetermined weighting coefficient is applied to the number of pixels belonging to each level. It may also be a process of calculating the representative value by substituting the total value P of the multiplied values into a predetermined formula. In this case, the predetermined formula is, for example, 1/(1+e −P ). In this case, the weighting coefficient is preferably a coefficient obtained by multiple logistic regression analysis so as to have a correlation with the subjective evaluation result by the doctor.

統合部２２０ｄは、生体組織赤色度の代表値及び血管赤色度の代表値を統合することにより、病変の重症度の値を算出する。その際、統合部２２０ｄは、撮像した画像の撮像位置の情報に応じて調整した重症度の計算処理を設定する。
撮像位置の情報は、撮像位置情報処理部２２０ｅにおいて、撮像した画像と対応付けられる。撮像位置の情報は、例えば、内視鏡システム１に設けられた位置測定システムから撮像位置情報処理部２２０ｅに送られる。 The integrating unit 220d calculates the severity value of the lesion by integrating the representative value of the biological tissue redness and the representative value of the blood vessel redness. At this time, the integrating unit 220d sets the severity calculation process adjusted according to the information on the imaging position of the captured image.
Information on the imaging position is associated with the captured image in the imaging position information processing unit 220e. Information on the imaging position is sent, for example, from a position measurement system provided in the endoscope system 1 to the imaging position information processing unit 220e.

位置測定システムは、例えば、器官内に挿入された電子内視鏡の先端部に位置する固体撮像素子１０８の位置、さらには、後続する可撓管の各位置を、センサを利用して取得するシステム、器官の開口端から挿入された電子スコープ１００の挿入長さを取得するシステム、あるいは、撮像された画像が、モニタ３００に表示され、この画像を見た術者がマニュアルで入力指示することにより、挿入された器官内の特徴となる部分を電子スコープ１００の先端部が通過したことを示す特定部分通過信号を取得するシステムが例示される。 The position measurement system uses sensors to obtain, for example, the position of the solid-state image sensor 108 located at the tip of the electronic endoscope inserted into the organ, and further the positions of the following flexible tubes. A system that obtains the insertion length of the electronic scope 100 inserted from the open end of an organ, or a captured image is displayed on the monitor 300, and the operator who views the image manually inputs instructions. exemplifies a system that acquires a specific portion passage signal indicating that the tip of the electronic scope 100 has passed through a characteristic portion within an inserted organ.

固体撮像素子１０８の位置を、センサを利用して取得するシステムでは、例えば、電子内視鏡１００の先端部の固体撮像素子１０８の近傍の位置及び先端部からプロセッサ２００の側に後続する可撓管に所定の間隔をあけて、磁気センサを複数設け、電子内視鏡１００が器官内に挿入された人体の外部から、位置によって強さが異なる磁界を付与し、上記磁気センサが磁界の強さを計測することにより、先端部に設けられた磁気センサの位置を知ることができ、さらに、複数の磁気センサの位置から可撓管の器官内における湾曲形状を知ることができる。これにより、固体撮像素子１０８の先端部の位置を知ることができ、電子内視鏡１００の器官内における形状、さらには、電子内視鏡１００の器官の開口端からの挿入長さを知ることができる。 In a system that uses a sensor to acquire the position of the solid-state image sensor 108, for example, a position near the solid-state image sensor 108 at the tip of the electronic endoscope 100 and a flexible sensor following the tip toward the processor 200 are used. A plurality of magnetic sensors are provided at predetermined intervals in the tube, and a magnetic field whose strength varies depending on the position is applied from outside the human body into which the electronic endoscope 100 is inserted into the organ. By measuring the length, it is possible to know the position of the magnetic sensor provided at the tip, and further, from the positions of the plurality of magnetic sensors, it is possible to know the curved shape of the flexible tube within the organ. This makes it possible to know the position of the tip of the solid-state image sensor 108, the shape of the electronic endoscope 100 within the organ, and further the insertion length of the electronic endoscope 100 from the open end of the organ. I can do it.

器官の開口端から挿入された電子内視鏡１００の挿入長さを取得するシステムの場合、例えば、撮像した動画における隣り合うフレーム画像間で、生体組織がどの程度移動したかに関する移動距離情報を、オプティカルフローの処理を利用して取得し、フレーム画像が変化する度に上記移動距離情報を積算して移動距離を算出することにより、現在の電子内視鏡１００の挿入長さの情報を取得することができる。また、例えば、挿入される電子内視鏡１００の先端部から後続する可撓管が器官内に向かって繰り出されている長さを計測することにより、現在の電子内視鏡１００の挿入長さの情報を取得することができる。 In the case of a system that obtains the insertion length of the electronic endoscope 100 inserted from the open end of an organ, for example, movement distance information regarding how much living tissue has moved between adjacent frame images in a captured video is collected. , information on the current insertion length of the electronic endoscope 100 is obtained by acquiring using optical flow processing and calculating the moving distance by integrating the moving distance information each time the frame image changes. can do. For example, the current inserted length of the electronic endoscope 100 can be determined by measuring the length of the subsequent flexible tube being fed out into the organ from the distal end of the electronic endoscope 100 to be inserted. information can be obtained.

器官の特定部分通過信号を取得するシステムでは、モニタ３００に表示された画像を術者が見ながら、器官内部の識別可能な特定部分が画像に現れ通過した時点で、術者が手元にあるボタンを押すことにより特定部分通過信号を生成し、撮像位置情報処理部２２０ｃはこの特定部分通過信号を取得することができる。器官内部の特定部分の位置とは、例えば、器官が大腸の場合、上行結腸が始まる位置、上行結腸が終了し大腸が曲がって横行結腸が始まる位置、横行結腸が終了し大腸が曲がって下行結腸が始まる位置、下行結腸が終了し大腸が曲がってＳ字結腸が始まる位置、Ｓ字結腸が終了し直腸が始まる位置、及び、直腸が終了し肛門に到達する位置、を含む。 In a system that acquires a signal for passing through a specific part of an organ, the operator watches the image displayed on the monitor 300 and presses a button at hand when an identifiable specific part inside the organ appears in the image and passes through. By pressing , a specific portion passing signal is generated, and the imaging position information processing unit 220c can acquire this specific portion passing signal. For example, when the organ is the large intestine, the position of a specific part inside an organ is the position where the ascending colon begins, the position where the ascending colon ends and the large intestine bends and the transverse colon begins, the position where the transverse colon ends and the large intestine bends and the descending colon , where the descending colon ends and the large intestine bends and the sigmoid colon begins, where the sigmoid colon ends and the rectum begins, and where the rectum ends and reaches the anus.

こうして得られ、画像と対応付けられた撮像位置の情報に応じて、統合部２２０ｄは、重症度の計算処理内容を設定する。統合部２２０ｄは、重症度と複数の特徴それぞれの代表評価値とを関連付けた関係式に従って重症度の値を計算する場合、一実施形態によれば、関係式において、代表評価値に係る係数には、撮像位置の情報に応じた値が設定される。このような係数は、図１に示す事前処理により、参照画像における病変の進行の程度（重症度）の評価結果の数値と、複数の重症度の計算結果との間の相関が最も高くなるように、撮像位置毎に関連式の係数の値が算出されてメモリ２０４に保持される。これにより、重症度の値が撮像位置の情報に依存して変化する程度を抑制することができる。
したがって、統合部２２０ｄは、メモリ２０４から撮像位置の情報に応じた係数の値が読みだされ、係数の値を関係式に付与する。 According to the information on the imaging position obtained in this way and associated with the image, the integrating unit 220d sets the contents of the severity calculation process. According to one embodiment, when calculating a severity value according to a relational expression that associates severity with representative evaluation values of each of a plurality of features, the integrating unit 220d calculates a severity value according to a coefficient related to the representative evaluation value in the relational expression. is set to a value according to the information on the imaging position. These coefficients are determined by pre-processing shown in Figure 1 so that the correlation between the numerical value of the evaluation result of the degree of progression (severity) of the lesion in the reference image and the calculation results of multiple degrees of severity is the highest. Then, the values of the coefficients of the related equation are calculated for each imaging position and stored in the memory 204. Thereby, it is possible to suppress the extent to which the severity value changes depending on the information on the imaging position.
Therefore, the integrating unit 220d reads the coefficient value according to the information on the imaging position from the memory 204, and adds the coefficient value to the relational expression.

一実施形態によれば、メモリ２０４は、病変の進行の程度が異なる複数の病変部を電子内視鏡で撮像した複数の参照画像（図１参照）に基づいて設定された代表評価値に関する２つの基準値を、参照画像の撮像位置の情報に応じて定まる値として撮像位置毎に保持する。この場合、統合部２２０ｄは、電子内視鏡１００で撮像した参照画像の撮像位置の情報に応じた２つの基準値により参照画像の代表評価値を正規化した正規化評価値と重症度とを事前に関連付けた関係式を用いて、統合部２２０ｄは、電子内視鏡１００で撮像した評価対象画像における重症度の計算をする。 According to one embodiment, the memory 204 stores two values related to representative evaluation values set based on a plurality of reference images (see FIG. 1) obtained by imaging a plurality of lesion parts with different degrees of progression of the lesion using an electronic endoscope. One reference value is held for each imaging position as a value determined according to information on the imaging position of the reference image. In this case, the integrating unit 220d calculates the severity and the normalized evaluation value obtained by normalizing the representative evaluation value of the reference image using two reference values according to the information on the imaging position of the reference image imaged with the electronic endoscope 100. Using the relational expression associated in advance, the integrating unit 220d calculates the severity in the evaluation target image captured by the electronic endoscope 100.

２つの基準値として、例えば、生体組織の健常部が示す代表評価値、及び病変部の病変が最も進行したときの病変部が示す代表評価値が例示される。２つの基準値は、参照画像の代表評価値が撮像位置において取り得る上限値及び下限値であることが好ましい。この基準値は、事前処理の重症度の計算処理の最適化により、関係式とともに撮像位置毎に取得される。したがって、事前処理では、２つの基準値により代表評価値を正規化した正規化評価値と重症度とを関連付けた関係式が抽出される。 Examples of the two reference values include a representative evaluation value shown by a healthy part of a biological tissue, and a representative evaluation value shown by a lesioned part when the lesion is most advanced. The two reference values are preferably an upper limit value and a lower limit value that the representative evaluation value of the reference image can take at the imaging position. This reference value is obtained for each imaging position along with the relational expression by optimizing the severity calculation process in the pre-processing. Therefore, in the pre-processing, a relational expression that associates the normalized evaluation value obtained by normalizing the representative evaluation value with the two reference values and the severity is extracted.

電子内視鏡１００により撮像した評価対象画像から重症度の計算を行うとき、統合部２２０ｄは、評価対象画像の撮像位置の情報に応じた２つの基準値をメモリ２０４から読みだして、２つの基準値により代表評価値を正規化した正規化評価値と重症度とを関連付けた上述の関係式に、正規化評価値を入力することにより重症度の値を計算する。これにより、重症度の値が撮像位置に依存して変化することを抑制することができる。なお、重症度の値が撮像位置に依存して変化する程度が依然として大きい場合、関係式に正規化評価値を用いるのに加えて、正規化評価値と重症度とを関連付けた関係式で用いる係数の値も、撮像位置に応じて設定するように構成してもよい。 When calculating the severity from the evaluation target image captured by the electronic endoscope 100, the integrating unit 220d reads two reference values from the memory 204 according to the information on the imaging position of the evaluation target image, and The severity value is calculated by inputting the normalized evaluation value into the above-mentioned relational expression that associates the normalized evaluation value obtained by normalizing the representative evaluation value with the reference value and the severity. Thereby, it is possible to suppress the severity value from changing depending on the imaging position. If the severity value still varies significantly depending on the imaging position, in addition to using the normalized evaluation value in the relational expression, use a relational expression that associates the normalized evaluation value and severity. The value of the coefficient may also be configured to be set depending on the imaging position.

一実施形態によれば、メモリ２０４は、病変の進行の程度が異なる複数の病変部を電子内視鏡１００で撮像した複数の参照画像（図１参照）に基づいて設定された重症度に関する２つの基準値を、参照画像の撮像位置に応じて定まる値として電子内視鏡１００の撮像位置毎に保持する。統合部２２０ｄは、電子内視鏡１００で撮像した評価対象画像の代表評価値と重症度とを事前に関連付けた関係式を用いて重症度の計算をし、計算結果の値を、評価対象画像の撮像位置の情報に対応して定まる２つの基準値により正規化した正規化値を重症度の値として算出する。 According to one embodiment, the memory 204 stores two levels of severity levels set based on a plurality of reference images (see FIG. 1) obtained by capturing a plurality of lesion parts with different degrees of progression of the lesion using the electronic endoscope 100. One reference value is held for each imaging position of the electronic endoscope 100 as a value determined according to the imaging position of the reference image. The integrating unit 220d calculates the severity using a relational expression that associates the representative evaluation value of the evaluation target image captured by the electronic endoscope 100 with the severity in advance, and uses the value of the calculation result as the evaluation target image. A normalized value normalized using two reference values determined corresponding to the information on the imaging position is calculated as the severity value.

ここで、２つの基準値として、例えば、生体組織の健常部が示す重症度の正規化前の値、及び病変部の病変が最も進行したときの病変部が示す重症度の正規化前の値が例示される。２つの基準値は、参照画像の重症度の値（正規化前の値）が撮像位置において取り得る上限値及び下限値であることが好ましい。この基準値は、事前処理の重症度の計算処理の最適化により、関係式とともに撮像位置毎に取得される。したがって、事前処理では、２つの基準 値と、代表評価値と重症度とを関連付けた関係式が抽出される。 Here, the two reference values are, for example, the value before normalization of the severity shown by the healthy part of the living tissue, and the value before normalization of the severity shown by the lesion when the lesion is most advanced. is exemplified. The two reference values are preferably an upper limit value and a lower limit value that the severity value (value before normalization) of the reference image can take at the imaging position. This reference value is obtained for each imaging position along with the relational expression by optimizing the severity calculation process in the pre-processing. Therefore, in the preprocessing, a relational expression that associates the two reference values, the representative evaluation value, and the severity is extracted.

したがって、統合部２２０ｄは、重症度と、複数の特徴それぞれの代表評価値とを関連付けた関係式に、評価対象画像の代表評価値を入力して計算し、計算結果の値を、メモリ２０４から撮像位置に応じて読みだした２つの基準値により正規化した正規化値を重症度の値として算出する。これにより、重症度の値が撮像位置に依存して変化する程度を抑制することができる。なお、重症度の値が撮像位置に依存して変化する程度が依然として大きい場合、重症度の値として正規化値を用いるのに加えて、関係式に用いる係数を撮像位置の情報に応じた値に設定してもよく、さらに、代表評価値を正規化した正規化評価値と重症度とを関連付けた関係式を用いた構成にしてもよい。 Therefore, the integrating unit 220d inputs and calculates the representative evaluation value of the image to be evaluated into a relational expression that associates the severity with the representative evaluation values of each of a plurality of features, and stores the value of the calculation result from the memory 204. A normalized value normalized using two reference values read according to the imaging position is calculated as a severity value. Thereby, it is possible to suppress the extent to which the severity value changes depending on the imaging position. If the severity value still varies significantly depending on the imaging position, in addition to using the normalized value as the severity value, the coefficients used in the relational expression may be changed to values according to the information on the imaging position. Further, a relational expression that associates the normalized evaluation value obtained by normalizing the representative evaluation value with the severity level may be used.

一実施形態によれば、上述の関係式は、事前に用意されて重症度に関する評価結果が定まっている参照画像の病変の進行の程度の評価結果に、複数の特徴それぞれの代表評価値から算出される重症度の値が対応するように重回帰分析を行って抽出された多項式の回帰式であることが好ましい。このような回帰式は、事前処理における重症度の計算処理の最適化において算出される。回帰式を用いることで、重症度の計算結果は、高い相関をもって重症度の評価結果に対応することができる。 According to one embodiment, the above-mentioned relational expression is calculated from the representative evaluation values of each of a plurality of features based on the evaluation result of the degree of progression of the lesion of the reference image, which is prepared in advance and the evaluation result regarding the severity is determined. It is preferable that the regression equation be a polynomial regression equation extracted by performing multiple regression analysis so that the severity values correspond to each other. Such a regression equation is calculated in optimizing the severity calculation process in pre-processing. By using the regression equation, the calculation result of severity can correspond to the evaluation result of severity with a high correlation.

また、一実施形態によれば、撮像位置の情報は、管状の臓器の奥行方向の領域を複数の区域に区分けしたときの１つの区域の位置情報である、ことが好ましい。管状の臓器では、臓器の入り口の部分と奥行き側の部分との間で、生体組織の表面の形態が異なっている部分があるため、同じ健常部であっても撮像位置の情報に応じて重症度の値は異なり、値が変化する程度は大きくなる。このため、撮像位置の情報に応じて重症度の計算処理の内容を設定することは、管状の臓器を検査対象とする場合、特に好ましい。臓器が、例えば直腸、S字結腸、下降結腸、横行結腸、及び上行結腸を含む大腸の場合、大腸の直腸～S字結腸までの区間と、S字結腸より奥側で上行結腸までの区間との２区間に分割してもよいし、直腸、S字結腸、下降結腸、横行結腸、及び上行結腸の５区間に分割してもよい。 According to one embodiment, it is preferable that the information on the imaging position is position information of one area when the area in the depth direction of the tubular organ is divided into a plurality of areas. In tubular organs, the surface morphology of the living tissue differs between the entrance part and the deeper part of the organ, so even if the same healthy part is in the same state, it may be more severe depending on the information on the imaging position. The degree values are different and the degree to which the values change is greater. Therefore, it is particularly preferable to set the content of the severity calculation process according to the information on the imaging position when a tubular organ is to be examined. For example, if the organ is the large intestine including the rectum, sigmoid colon, descending colon, transverse colon, and ascending colon, the section of the large intestine from the rectum to the sigmoid colon, and the section beyond the sigmoid colon to the ascending colon. It may be divided into two sections, or it may be divided into five sections: rectum, sigmoid colon, descending colon, transverse colon, and ascending colon.

図９は、一実施形態の内視鏡システムで行われる重症度の計算方法のフローの一例を示す図である。 FIG. 9 is a diagram illustrating an example of a flow of a severity calculation method performed by the endoscope system of one embodiment.

まず、電子内視鏡１００による評価対象画像を得るために撮像が行われ、このときの撮像位置の情報が評価対象画像と対応付けられて内視鏡用プロセッサ内の位置情報取得部で取得される（ステップＳ１０）。一方、撮像された画像がドライバ信号処理回路１１２により処理された後、システムコントローラ２０２を通して現フレームの画像を、画像処理ユニット２２０は取得する（ステップＳ１２）。
次に、前処理部２２０ａは、上述したＲＧＢ変換、色空間変換、基準軸の設定、及び色補正、必要に応じてトーン強調処理を含む前処理を行い、さらに、特徴量算出部２２０ｂは、前処理を行った画像に対して、病変部が示す色成分あるいは形状に関する複数の特徴それぞれの程度を示す複数の画素評価値、例えば生体組織赤色度及び血管赤色度度、生体組織白色度等を、画素毎に算出する（ステップＳ１４）。 First, imaging is performed to obtain an evaluation target image by the electronic endoscope 100, and information on the imaging position at this time is associated with the evaluation target image and acquired by a position information acquisition unit in the endoscope processor. (Step S10). On the other hand, after the captured image is processed by the driver signal processing circuit 112, the image processing unit 220 acquires the image of the current frame through the system controller 202 (step S12).
Next, the preprocessing unit 220a performs preprocessing including the above-mentioned RGB conversion, color space conversion, reference axis setting, color correction, and tone enhancement processing as necessary, and the feature amount calculation unit 220b further performs the following: For the preprocessed image, multiple pixel evaluation values indicating the degree of each of multiple features related to the color components or shape of the lesion, such as biological tissue redness, blood vessel redness, biological tissue whiteness, etc., are calculated. , is calculated for each pixel (step S14).

特徴量算出部２２０ｂは、画素評価値を現フレームの画像の全画素について計算するまで処理を繰り返す。この後、代表値算出部２２０ｃは、画素評価値を統合した代表値、すなわち代表評価値を算出する（ステップＳ１６）。代表値は、画素評価値の種類毎に算出される。代表評価値は、上述の例では、生体組織赤色度、血管赤色度、あるいは生体組織白色度等の代表値である。 The feature quantity calculation unit 220b repeats the process until the pixel evaluation value is calculated for all pixels of the image of the current frame. After that, the representative value calculation unit 220c calculates a representative value by integrating the pixel evaluation values, that is, a representative evaluation value (step S16). The representative value is calculated for each type of pixel evaluation value. In the above example, the representative evaluation value is a representative value of biological tissue redness, blood vessel redness, biological tissue whiteness, or the like.

統合部２２０ｄは、ステップＳ１０で取得した撮像位置の情報に応じた重症度の計算処理の内容を設定し、重症度を計算する（ステップＳ１８）。図１０（ａ）～（ｃ）は、重症度の計算処理内容のフローの例を示す図である。 The integrating unit 220d sets the content of the severity calculation process according to the information on the imaging position acquired in step S10, and calculates the severity (step S18). FIGS. 10A to 10C are diagrams illustrating an example of the flow of severity calculation processing.

図１０（ａ）は、計算処理１のフローの例を示す。計算処理１では、統合部２２０ｄは、撮像位置の情報に応じた関係式における各代表評価値に係る係数の値を設定する（ステップＳ３０）。このような係数の値は、図１に示す事前処理により、重症度の値が重症度の評価結果に最も対応するように、関係式の各係数の値が算出されてメモリ２０４に記憶保持されたものである。したがって、撮像位置の情報が取得されると、撮像位置の情報に対応した係数の値がメモリ２０４から読みだされる。
さらに、統合部２２０ｄは、設定された係数の値を、回帰式の係数に与え、この回帰式に代表評価値を入力することにより重症度の値を算出する（ステップＳ３２）。係数の値は、撮像位置の情報に応じたものであるので、撮像位置によって重症度の値が変化することを抑制することができる。したがって、画像の撮像位置によらず、病変の進行の程度を安定して精度よく重症度の値で評価することができる。 FIG. 10(a) shows an example of the flow of calculation process 1. In calculation process 1, the integrating unit 220d sets the value of the coefficient related to each representative evaluation value in the relational expression according to the information on the imaging position (step S30). The values of such coefficients are calculated and stored in the memory 204 by pre-processing shown in FIG. 1 so that the severity value most corresponds to the severity evaluation result. It is something that Therefore, when the information on the imaging position is acquired, the value of the coefficient corresponding to the information on the imaging position is read from the memory 204.
Further, the integrating unit 220d calculates the severity value by giving the set coefficient value to the coefficient of the regression equation and inputting the representative evaluation value to this regression equation (step S32). Since the value of the coefficient is based on the information on the imaging position, it is possible to suppress the severity value from changing depending on the imaging position. Therefore, it is possible to stably and accurately evaluate the degree of progression of a lesion using a severity value, regardless of the imaging position of the image.

図１０（ｂ）は、計算処理２のフローの例を示す。計算処理２では、統合部２２０ｄは、２つの基準値（第１基準値、第２基準値）を、評価対象画像の撮像位置の情報に応じて定め、この２つの基準値を用いて代表評価値を正規化した正規化評価値を算出する（ステップＳ４０）。例えば、第１基準値がＸ１であり、第２基準値がＸ２（＞Ｘ１）であり、代表評価値がＰである場合、（Ｐ－Ｘ１）／（Ｘ２－Ｘ１）である。Ｐは、Ｘ１とＸ２の間の値である必要はないが、ＰがＸ１とＸ２の間の値である場合、（Ｐ－Ｘ１）／（Ｘ２－Ｘ１）は０～１の値となる。 FIG. 10(b) shows an example of the flow of calculation process 2. In calculation process 2, the integrating unit 220d determines two reference values (a first reference value and a second reference value) according to information on the imaging position of the evaluation target image, and performs representative evaluation using these two reference values. A normalized evaluation value is calculated by normalizing the value (step S40). For example, if the first reference value is X1, the second reference value is X2 (>X1), and the representative evaluation value is P, then (P-X1)/(X2-X1). P does not have to be a value between X1 and X2, but if P is a value between X1 and X2, (P-X1)/(X2-X1) will be a value between 0 and 1.

次に、統合部２２０ｄは、正規化評価値を説明変数として表された回帰式に、正規化評価値を入力して、重症度の値を算出する（ステップＳ４２）。回帰式は、事前処理により、参照画像の正規化評価値を用いて、重症度の計算を最適化した関係式であり、この最適化により、撮像位置の情報毎に２つの基準値（第１基準値、第２基準値）が算出されてメモリ２０４に記憶されている。２つの基準値は、撮像位置の情報に応じたものであり、正規化評価値は、撮像位置によって値が変化しないように正規化されたものであるので、撮像位置によって重症度の値が変化することを抑制することができる。したがって、評価対象画像の撮像位置によらず、病変の進行の程度を安定して精度よく重症度の値で評価することができる。 Next, the integrating unit 220d inputs the normalized evaluation value into a regression equation in which the normalized evaluation value is expressed as an explanatory variable to calculate a severity value (step S42). The regression equation is a relational equation in which the severity calculation is optimized using the normalized evaluation value of the reference image through pre-processing. Through this optimization, two reference values (the first reference value, second reference value) are calculated and stored in the memory 204. The two standard values are based on information on the imaging position, and the normalized evaluation value is normalized so that the value does not change depending on the imaging position, so the severity value changes depending on the imaging position. can be restrained from doing so. Therefore, the degree of progression of a lesion can be stably and accurately evaluated using severity values, regardless of the imaging position of the evaluation target image.

図１０（ｃ）は、計算処理３のフローの例を示す。計算処理３では、統合部２２０ｄは、重症度に関する２つの基準値（第３基準値、第４基準値）を、評価対象画像の撮像位置の情報に応じて設定する（ステップＳ５０）。 FIG. 10(c) shows an example of the flow of calculation process 3. In calculation process 3, the integrating unit 220d sets two reference values (a third reference value and a fourth reference value) regarding severity according to information on the imaging position of the evaluation target image (step S50).

次に、統合部２２０ｄは、ステップＳ１６で算出した代表評価値を回帰式に入力して、重症度を計算する（ステップＳ５２）。
統合部２２０ｄは、重症度の計算結果を２つの基準値により正規化して、重症度の正規化値を、重症度の値として算出する（ステップＳ５４）。例えば、第３基準値がＸ３であり、第４基準値がＸ４であり、重症度の計算結果がＱである場合、（Ｑ－Ｘ３）／（Ｘ４－Ｘ３）である。ＱがＸ３とＸ４の間の値である必要はないが、ＱがＸ３とＸ４の間の値である場合、（Ｑ－Ｘ３）／（Ｘ４－Ｘ３）は０～１の値となる。２つの基準値は、撮像位置の情報に応じたものであり、重症度の正規化値は、撮像位置によって値が変化しないように正規化されたものであるので、撮像位置によって重症度の値が変化することを抑制することができる。したがって、画像の撮像位置によらず、病変の進行の程度を安定して精度よく重症度の値で評価することができる。 Next, the integrating unit 220d inputs the representative evaluation value calculated in step S16 into the regression equation to calculate the severity (step S52).
The integrating unit 220d normalizes the severity calculation result using two reference values, and calculates a normalized severity value as a severity value (step S54). For example, if the third reference value is X3, the fourth reference value is X4, and the calculation result of severity is Q, then (Q-X3)/(X4-X3). Although it is not necessary that Q be a value between X3 and X4, if Q is a value between X3 and X4, (Q-X3)/(X4-X3) will be a value between 0 and 1. The two standard values are based on the information on the imaging position, and the normalized severity value is normalized so that the value does not change depending on the imaging position, so the severity value varies depending on the imaging position. can be suppressed from changing. Therefore, it is possible to stably and accurately evaluate the degree of progression of a lesion using a severity value, regardless of the imaging position of the image.

このようにして重症度の値が得られた後、図９のステップＳ２０に戻り、画像処理ユニット２２０は、特徴量算出部２２０ｂにおいて画素評価値から作成された上述のカラーマップ画像とステップＳ１８で得られた重症度の値をモニタ３００の表示画面に表示するように制御する。
こうして、画像処理ユニット２２０は、評価対象画像を得るための撮像を継続して行うか否かを判定し、撮像が継続される場合、ステップＳ１０に戻り、上述の処理が繰り返される。撮像が継続されない場合、上述の処理は終了する。 After the severity value is obtained in this way, the process returns to step S20 in FIG. 9, and the image processing unit 220 uses the above-mentioned color map image created from the pixel evaluation value in the feature value calculation unit 220b and the process in step S18. The obtained severity value is controlled to be displayed on the display screen of the monitor 300.
In this way, the image processing unit 220 determines whether or not to continue imaging to obtain the evaluation target image, and if imaging is to be continued, the process returns to step S10 and the above-described process is repeated. If imaging is not continued, the above process ends.

このように算出した重症度の値をモニタ３００に画面表示するので、ユーザは、モニタ３００を見て病変の進行の程度を知ることができる。 Since the severity value calculated in this way is displayed on the monitor 300, the user can see the monitor 300 and know the degree of progression of the lesion.

以上、本発明の内視鏡用プロセッサ及び内視鏡システムについて詳細に説明したが、本発明の内視鏡システムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。 Although the endoscope processor and endoscope system of the present invention have been described in detail above, the endoscope system of the present invention is not limited to the above embodiments, and various modifications may be made without departing from the gist of the present invention. Of course, improvements and changes may be made.

１ 電子内視鏡システム
１００ 電子内視鏡
２００ 電子内視鏡用プロセッサ
２２０ 画像処理ユニット
２２０ａ 前処理部
２２０ｂ 特徴量算出部
２２０ｃ 代表値算出部
２２０ｄ 統合部
２０４ メモリ
２３０ 光源部
３００ モニタ
４００ プリンタ
６００ サーバ 1 Electronic endoscope system 100 Electronic endoscope 200 Electronic endoscope processor 220 Image processing unit 220a Preprocessing section 220b Feature value calculation section 220c Representative value calculation section 220d Integration section 204 Memory 230 Light source section 300 Monitor 400 Printer 600 Server

Claims (6)

電子内視鏡で得られた体腔内の生体組織の病変部の画像から、前記画像の情報を少なくとも用いて、前記生体組織の病変の進行の程度を１つの値で表した病変の重症度の値を求めるように構成された画像処理ユニットを備え、
前記画像処理ユニットは、
前記病変部に現れる複数の外観の特徴を、前記病変部が示す色成分、あるいは前記病変部の形状により前記生体組織の健常部の特徴と区別できる、前記外観の特徴それぞれに対応した評価値であって、前記色成分、あるいは前記病変部の形状に関する、前記複数の特徴それぞれの程度を画素毎に示す画素評価値を、前記画像から算出するように構成された特徴量算出部と、
前記画像における各画素の前記画素評価値を纏めることにより前記生体組織の前記複数の特徴それぞれの代表評価値を前記画像１つに対して１つ算出するように構成された代表値算出部と、
前記画像を撮像したときの前記体腔内の撮像位置の情報を前記画像と対応付ける撮像位置情報処理部と、
前記電子内視鏡で撮像した評価対象画像について、前記複数の特徴それぞれの前記代表評価値に基づいて前記病変の重症度の値を算出し、前記重症度の値を算出する際に、前記評価対象画像に対応した前記撮像位置の前記情報に応じて調整した前記重症度の計算処理を設定する統合部と、を備え、
前記統合部は、前記重症度と前記複数の特徴それぞれの前記代表評価値とを関連付けた関係式に従って前記重症度の値を計算し、
前記関係式において、前記代表評価値に係る係数には、前記撮像位置の前記情報に応じた値が設定される、ことを特徴とする内視鏡用プロセッサ。 an image processing unit configured to obtain a severity value of a lesion, which represents a degree of progression of a lesion in the biological tissue by using at least information of the image from an image of a lesion in the biological tissue in a body cavity obtained by an electronic endoscope;
The image processing unit includes:
a feature amount calculation unit configured to calculate, from the image, evaluation values corresponding to each of a plurality of appearance features appearing in the lesion, which can be distinguished from characteristics of a healthy part of the biological tissue based on color components exhibited by the lesion or a shape of the lesion, and which indicates the degree of each of the plurality of features relating to the color components or the shape of the lesion for each pixel;
a representative value calculation unit configured to calculate, for each of the images, one representative evaluation value for each of the plurality of features of the biological tissue by aggregating the pixel evaluation values of each pixel in the images;
an imaging position information processing unit that associates information on an imaging position inside the body cavity when the image is captured with the image;
an integration unit that calculates a severity value of the lesion based on the representative evaluation value of each of the plurality of features for an evaluation target image captured by the electronic endoscope, and sets a calculation process of the severity adjusted according to the information of the imaging position corresponding to the evaluation target image when calculating the severity value,
the integration unit calculates a value of the severity according to a relational expression that associates the severity with the representative evaluation value of each of the plurality of features;
The endoscope processor according to claim 1, wherein in the relational expression, a value corresponding to the information on the imaging position is set as a coefficient relating to the representative evaluation value . 電子内視鏡で得られた体腔内の生体組織の病変部の画像から、前記画像の情報を少なくとも用いて、前記生体組織の病変の進行の程度を１つの値で表した病変の重症度の値を求めるように構成された画像処理ユニットであって、
前記病変部に現れる複数の外観の特徴を、前記病変部が示す色成分、あるいは前記病変部の形状により前記生体組織の健常部の特徴と区別できる、前記外観の特徴それぞれに対応した評価値であって、前記色成分、あるいは前記病変部の形状に関する、前記複数の特徴それぞれの程度を画素毎に示す画素評価値を、前記画像から算出するように構成された特徴量算出部と、
前記画像における各画素の前記画素評価値を纏めることにより前記生体組織の前記複数の特徴それぞれの代表評価値を前記画像１つに対して１つ算出するように構成された代表値算出部と、
前記画像を撮像したときの前記体腔内の撮像位置の情報を前記画像と対応付ける撮像位置情報処理部と、
前記電子内視鏡で撮像した評価対象画像について、前記複数の特徴それぞれの前記代表評価値に基づいて前記病変の重症度の値を算出し、前記重症度の値を算出する際に、前記評価対象画像に対応した前記撮像位置の前記情報に応じて調整した前記重症度の計算処理を設定する統合部と、
を備える画像処理ユニットと、
病変の進行の程度が異なる複数の病変部を前記電子内視鏡で撮像した複数の参照画像に基づいて設定された前記代表評価値に関する２つの基準値を、前記参照画像の前記撮像位置の前記情報に応じて定まる値として前記電子内視鏡の撮像位置毎に保持する記憶部と、
を備え、
前記統合部は、前記電子内視鏡で撮像した参照画像の前記撮像位置の前記情報に応じた前記２つの基準値により前記参照画像の前記代表評価値を正規化した正規化評価値と前記重症度とを事前に関連付けた関係式を用いて、前記重症度の値を計算し、前記重症度の値は、前記評価対象画像の前記代表評価値を前記評価対象画像の前記撮像位置の前記情報に応じて定まる前記２つの基準値により正規化した前記正規化評価値を前記関係式に入力することにより計算する、ことを特徴とする内視鏡用プロセッサ。 From an image of a lesion in a biological tissue in a body cavity obtained with an electronic endoscope, the severity of the lesion is determined by using at least the information of the image to express the degree of progression of the lesion in the biological tissue as a single value. An image processing unit configured to determine a value,
A plurality of external appearance characteristics appearing in the lesioned area are evaluated by evaluation values corresponding to each of the external appearance characteristics, which can be distinguished from characteristics of a healthy area of the biological tissue by the color components exhibited by the lesioned area or the shape of the lesioned area. a feature value calculation unit configured to calculate, from the image, a pixel evaluation value indicating the degree of each of the plurality of features for each pixel regarding the color component or the shape of the lesion;
a representative value calculation unit configured to calculate one representative evaluation value for each of the plurality of features of the biological tissue for each image by summing up the pixel evaluation values of each pixel in the image;
an imaging position information processing unit that associates information about an imaging position in the body cavity when the image is taken with the image;
For the evaluation target image captured by the electronic endoscope, a severity value of the lesion is calculated based on the representative evaluation value of each of the plurality of features, and when calculating the severity value, the evaluation an integrating unit that sets calculation processing of the severity adjusted according to the information of the imaging position corresponding to the target image;
an image processing unit comprising;
Two reference values regarding the representative evaluation value, which are set based on a plurality of reference images obtained by imaging a plurality of lesion parts with different degrees of progression with the electronic endoscope, are set at the imaging position of the reference image. a storage unit that stores values determined according to the information for each imaging position of the electronic endoscope ;
Equipped with
The integrating unit includes a normalized evaluation value obtained by normalizing the representative evaluation value of the reference image using the two reference values according to the information of the imaging position of the reference image imaged with the electronic endoscope, and a normalized evaluation value obtained by normalizing the representative evaluation value of the reference image and the The severity value is calculated using a relational expression that associates the severity with A processor for an endoscope , characterized in that calculation is performed by inputting the normalized evaluation value normalized by the two reference values determined according to the equation into the relational expression. 電子内視鏡で得られた体腔内の生体組織の病変部の画像から、前記画像の情報を少なくとも用いて、前記生体組織の病変の進行の程度を１つの値で表した病変の重症度の値を求めるように構成された画像処理ユニットであって、
前記病変部に現れる複数の外観の特徴を、前記病変部が示す色成分、あるいは前記病変部の形状により前記生体組織の健常部の特徴と区別できる、前記外観の特徴それぞれに対応した評価値であって、前記色成分、あるいは前記病変部の形状に関する、前記複数の特徴それぞれの程度を画素毎に示す画素評価値を、前記画像から算出するように構成された特徴量算出部と、
前記画像における各画素の前記画素評価値を纏めることにより前記生体組織の前記複数の特徴それぞれの代表評価値を前記画像１つに対して１つ算出するように構成された代表値算出部と、
前記画像を撮像したときの前記体腔内の撮像位置の情報を前記画像と対応付ける撮像位置情報処理部と、
前記電子内視鏡で撮像した評価対象画像について、前記複数の特徴それぞれの前記代表評価値に基づいて前記病変の重症度の値を算出し、前記重症度の値を算出する際に、前記評価対象画像に対応した前記撮像位置の前記情報に応じて調整した前記重症度の計算処理を設定する統合部と、
を備える画像処理ユニットと、
病変の進行の程度が異なる複数の病変部を前記電子内視鏡で撮像した複数の参照画像に基づいて設定された前記重症度に関する２つの基準値を、前記参照画像の前記撮像位置に応じて定まる値として前記電子内視鏡の撮像位置毎に保持する記憶部と、
を備え、
前記統合部は、前記評価対象画像の前記代表評価値と前記重症度とを事前に関連付けた関係式を用いて前記重症度の計算をし、計算結果の値を、前記評価対象画像の前記撮像位置の情報に対応して定まる前記２つの基準値により正規化した正規化値を前記重症度の値として算出する、ことを特徴とする記載の内視鏡用プロセッサ。 From an image of a lesion in a biological tissue in a body cavity obtained with an electronic endoscope, the severity of the lesion is determined by using at least the information of the image to express the degree of progression of the lesion in the biological tissue as a single value. An image processing unit configured to determine a value,
A plurality of external appearance characteristics appearing in the lesioned area are evaluated by evaluation values corresponding to each of the external appearance characteristics, which can be distinguished from characteristics of a healthy area of the biological tissue by the color components exhibited by the lesioned area or the shape of the lesioned area. a feature value calculation unit configured to calculate, from the image, a pixel evaluation value indicating the degree of each of the plurality of features for each pixel regarding the color component or the shape of the lesion;
a representative value calculation unit configured to calculate one representative evaluation value for each of the plurality of features of the biological tissue for each image by summing up the pixel evaluation values of each pixel in the image;
an imaging position information processing unit that associates information about an imaging position in the body cavity when the image is taken with the image;
For the evaluation target image captured by the electronic endoscope, a severity value of the lesion is calculated based on the representative evaluation value of each of the plurality of features, and when calculating the severity value, the evaluation an integrating unit that sets calculation processing of the severity adjusted according to the information of the imaging position corresponding to the target image;
an image processing unit comprising;
The two reference values regarding the severity, which are set based on a plurality of reference images obtained by imaging a plurality of lesion parts with different degrees of progression with the electronic endoscope, are determined according to the imaging position of the reference image. a storage unit that stores a determined value for each imaging position of the electronic endoscope ;
Equipped with
The integrating unit calculates the severity using a relational expression that associates the representative evaluation value of the evaluation target image with the severity in advance, and applies the value of the calculation result to the captured image of the evaluation target image. The endoscope processor according to the description , characterized in that a normalized value normalized by the two reference values determined corresponding to position information is calculated as the severity value. 前記関係式は、事前に用意されている前記病変の進行の程度の評価結果が定まっている参照画像の前記評価結果に、前記複数の特徴それぞれの前記代表評価値から算出される前記重症度の値が対応するように重回帰分析を行って抽出された多項式の回帰式である、請求項１～３のいずれか１項に記載の内視鏡用プロセッサ。 The relational expression is based on the evaluation result of a reference image in which the evaluation result of the degree of progression of the lesion is determined in advance, and the evaluation result of the severity calculated from the representative evaluation value of each of the plurality of features. The processor for an endoscope according to any one of claims 1 to 3 , which is a polynomial regression equation extracted by performing multiple regression analysis so that the values correspond. 前記撮像位置の情報は、管状の臓器の奥行方向の領域を複数の区域に区分けしたときの1つの区域の位置情報である、請求項１～４のいずれか１項に記載の内視鏡用プロセッサ。 The endoscope according to any one of claims 1 to 4 , wherein the imaging position information is position information of one area when a region in the depth direction of a tubular organ is divided into a plurality of areas. processor. 体腔内の生体組織を撮像するように構成された電子内視鏡と、
前記電子内視鏡に接続される、請求項１～５のいずれか1項に記載の内視鏡用プロセッサと、を備える内視鏡システム。 an electronic endoscope configured to image biological tissue within a body cavity;
An endoscope system comprising: the endoscope processor according to claim 1 , which is connected to the electronic endoscope.
JP2020160703A 2020-09-25 2020-09-25 Endoscope processor and endoscope system Active JP7455716B2 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2020160703A JP7455716B2 (en) 2020-09-25 2020-09-25 Endoscope processor and endoscope system
PCT/JP2021/032170 WO2022064987A1 (en) 2020-09-25 2021-09-01 Endoscope processor and endoscope system
EP21872118.1A EP4218535A1 (en) 2020-09-25 2021-09-01 Endoscope processor and endoscope system
CN202180017682.5A CN115190775A (en) 2020-09-25 2021-09-01 Endoscope processor and endoscope system
DE112021005012.5T DE112021005012T5 (en) 2020-09-25 2021-09-01 ENDOSCOPE PROCESSOR AND ENDOSCOPE SYSTEM
US17/912,725 US20230142219A1 (en) 2020-09-25 2021-09-01 Endoscope processor and endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020160703A JP7455716B2 (en) 2020-09-25 2020-09-25 Endoscope processor and endoscope system

Publications (2)

Publication Number Publication Date
JP2022053845A JP2022053845A (en) 2022-04-06
JP7455716B2 true JP7455716B2 (en) 2024-03-26

Family

ID=80996795

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020160703A Active JP7455716B2 (en) 2020-09-25 2020-09-25 Endoscope processor and endoscope system

Country Status (1)

Country Link
JP (1) JP7455716B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024017630A (en) * 2022-07-28 2024-02-08 Hoya株式会社 Image correction method of electronic endoscope system
WO2024111106A1 (en) * 2022-11-25 2024-05-30 日本電気株式会社 Endoscopy assistance device, endoscopy assistance method, and recording medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019159435A1 (en) 2018-02-13 2019-08-22 Hoya株式会社 Endoscopic system
WO2020066807A1 (en) 2018-09-27 2020-04-02 Hoya株式会社 Electronic endoscope system
WO2020066670A1 (en) 2018-09-27 2020-04-02 Hoya株式会社 Electronic endoscope system and data processing device
WO2020189213A1 (en) 2019-03-20 2020-09-24 Hoya株式会社 Endoscope system
WO2020188825A1 (en) 2019-03-20 2020-09-24 Hoya株式会社 Endoscope system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019159435A1 (en) 2018-02-13 2019-08-22 Hoya株式会社 Endoscopic system
WO2019159770A1 (en) 2018-02-13 2019-08-22 Hoya株式会社 Endoscopic system
WO2020066807A1 (en) 2018-09-27 2020-04-02 Hoya株式会社 Electronic endoscope system
WO2020066670A1 (en) 2018-09-27 2020-04-02 Hoya株式会社 Electronic endoscope system and data processing device
WO2020189213A1 (en) 2019-03-20 2020-09-24 Hoya株式会社 Endoscope system
WO2020188825A1 (en) 2019-03-20 2020-09-24 Hoya株式会社 Endoscope system

Also Published As

Publication number Publication date
JP2022053845A (en) 2022-04-06

Similar Documents

Publication Publication Date Title
JP6581730B2 (en) Processor for electronic endoscope and electronic endoscope system
JP7068487B2 (en) Electronic endoscopy system
JP6907398B2 (en) Endoscope system
CN112351723B (en) Electronic endoscope system and data processing device
CN112469323B (en) Endoscope system
US12011142B2 (en) Electronic endoscope system
JP7455716B2 (en) Endoscope processor and endoscope system
EP4218535A1 (en) Endoscope processor and endoscope system
WO2020189213A1 (en) Endoscope system
JP6912608B2 (en) Endoscope system
JP6877672B2 (en) Electronic endoscopy system and data processing equipment
JP6926242B2 (en) Electronic Endoscope Processor and Electronic Endoscope System
JP7455717B2 (en) Endoscope processor and endoscope system
US12029385B2 (en) Electronic endoscope system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240313

R150 Certificate of patent or registration of utility model

Ref document number: 7455716

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150