JP4434705B2 - Image analysis method - Google Patents
Image analysis method Download PDFInfo
- Publication number
- JP4434705B2 JP4434705B2 JP2003397940A JP2003397940A JP4434705B2 JP 4434705 B2 JP4434705 B2 JP 4434705B2 JP 2003397940 A JP2003397940 A JP 2003397940A JP 2003397940 A JP2003397940 A JP 2003397940A JP 4434705 B2 JP4434705 B2 JP 4434705B2
- Authority
- JP
- Japan
- Prior art keywords
- blood vessel
- point
- image
- refraction
- refraction point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
Description
本発明は、１ないし複数の線状パターンを含む画像の解析を行う画像解析方法に関する。 The present invention relates to an image analysis method for analyzing an image including one or more linear patterns.
医療分野においてはＸ線、ＣＴ、ＭＲＩ、超音波観測装置、内視鏡装置等の画像撮像機器を用いた診断が広く行われている。 In the medical field, diagnosis using image capturing devices such as X-rays, CT, MRI, ultrasonic observation apparatuses, and endoscope apparatuses is widely performed.
例えば内視鏡装置においては、細長の挿入部を体腔内に挿入し、固体撮像素子等を撮像手段に用いて体腔内臓器等をモニタ画面により観察し、診断をすることができる。また、前記体腔内臓器へ超音波を照射し、この超音波の反射あるいは透過度等により該体腔内臓器の状況をモニタ画面により観察し、検査あるいは診断することのできる超音波内視鏡装置も広く用いられている。 For example, in an endoscope apparatus, an elongated insertion portion can be inserted into a body cavity, and a body cavity organ or the like can be observed on a monitor screen using a solid-state imaging device or the like as an imaging means for diagnosis. There is also an ultrasonic endoscope apparatus that can irradiate the organ in the body cavity with ultrasound, observe the state of the organ in the body cavity on the monitor screen based on the reflection or transmission of the ultrasound, and inspect or diagnose it. Widely used.
これらの機器により撮像された画像を用いた最終的な診断は、医師の主観に依存している部分が多大であるため、画像解析手法により撮像対象に関する特徴量を算出し、客観的・数値的な診断支援情報を医師に提示することにより、医師の診断行為を支援する、診断支援装置がある。 Since the final diagnosis using images captured by these devices is highly dependent on the subjectivity of the doctor, feature quantities related to the imaging target are calculated using image analysis techniques, and are objective and numerical There is a diagnosis support apparatus that supports a doctor's diagnosis act by presenting the diagnosis support information to the doctor.
ここで、特徴量とは、画像上の様々な所見を反映した数値であり、画像解析手法の適用により得られるものである。 Here, the feature amount is a numerical value reflecting various findings on the image, and is obtained by applying an image analysis method.
例えば内視鏡画像において、粘膜表面の発赤といった色調に関する所見、透見血管像に見られる血管の屈折・蛇行性といった血管の形状に関する所見、胃小区における粘膜模様のパターンに関する所見は、病変の悪性度診断において重要な要素となっている。例えば非特許文献１（「”消化器内視鏡”2001vol.13 No.3 voI.13 東京医学社刊 P349-354」）は、粘膜所見及び血管の形状に関する所見による病変良悪性の鑑別についての例である。 For example, in endoscopic images, findings relating to color tone such as redness of the mucosal surface, findings relating to the shape of blood vessels such as refraction and tortuousness of blood vessels seen in fluoroscopic blood vessel images, and findings relating to mucosal pattern in the gastric subdivision are malignant lesions. Is an important factor in diagnostics. For example, Non-Patent Document 1 (“Gastrointestinal Endoscopy” 2001vol.13 No.3 voI.13 published by Tokyo Medical Co., Ltd. P349-354) describes the identification of benign and malignant lesions based on mucosal findings and vascular shape findings. It is an example.
このような画像解析手法による特徴量算出手法及び診断支援装置として、特開平１０−１４８６４号公報がある。 Japanese Patent Laid-Open No. 10-14864 discloses a feature amount calculation method and a diagnosis support apparatus based on such an image analysis method.
また、血管新生の成長度合いを客観化する特徴量として、血管の分岐点を算出する例として、特開２００３−４４８６２号公報がある。 Japanese Patent Laid-Open No. 2003-44862 discloses an example of calculating a branch point of a blood vessel as a feature amount that makes the growth degree of angiogenesis objective.
また、血管形状の特徴量として血管の屈折点を検出する際に、非特許文献１（「”細線化図形の屈折点検出の一手法”小山ら、電子通信学会研究会資料PRL80-107 PP,80-90(1980)」）に基づく手法が、従来技術として利用されている。
しかしながら、従来の画像解析装置においては，以下の（１）〜（３）のような問題があった。 However, the conventional image analysis apparatus has the following problems (1) to (3).
（１）血管を画像解析の撮像対象とするとき、対象となる血管の血管新生の度合いや、血管の存在する粘膜層の深さ、観察倍率に応じて、撮像画像として表示される血管の形態は様々である。画像表示上の血管形態を大きく分類すると、点状に散在する点状血管、血管が樹枝状に不規則に分岐する樹枝状血管、複数の血管要素が多数組み合わさり網状に複雑に絡み合う網状血管と分類される。これらの血管の各形態分類に関して、病変の良悪性の診断に有用な特徴量を得るための処理は、各形態分類ごとに使用する手法が異なる。若しくは、手法が同一であっても使用するパラメータが異なる。また、特定の形態分類においてしか、有用な特徴量を得られない場合がある。 (1) When a blood vessel is an imaging target for image analysis, the form of the blood vessel displayed as a captured image according to the degree of neovascularization of the target blood vessel, the depth of the mucosa layer where the blood vessel exists, and the observation magnification Are various. When the blood vessel morphology on the image display is roughly classified, the dotted blood vessels, the dendritic blood vessels in which the blood vessels branch irregularly in a dendritic shape, and the reticulated blood vessels in which a plurality of blood vessel elements are combined and complicatedly intertwined in a net shape being classified. Regarding the morphological classification of these blood vessels, the processing used to obtain the feature quantity useful for the benign / malignant diagnosis of the lesion differs in the method used for each morphological classification. Or even if the method is the same, the parameters used are different. In some cases, a useful feature amount can be obtained only in a specific form classification.
しかしながら撮像画像の内容は、これらの血管形態が混在した画像であることが多く、算出対象となる血管形態以外の血管形態を含んでいるため、正確な特徴量を算出することが困難であった。 However, the content of the captured image is often an image in which these blood vessel forms are mixed, and includes a blood vessel form other than the blood vessel form to be calculated, so it is difficult to calculate an accurate feature amount. .
（２）血管を撮像対象とするとき、撮像された血管を抽出し、血管の要素ごとに血管の特徴量を求める処理が一般に行われる。例えば、１血管あたりの全長、１血管あたりに含まれる分岐点の数、１血管あたりに含まれる屈折点の数を算出し、血管の分岐や蛇行による異常血管の有無を数値化する特徴量として利用する。 (2) When a blood vessel is to be imaged, a process is generally performed in which the imaged blood vessel is extracted and a blood vessel characteristic amount is obtained for each blood vessel element. For example, the total length per blood vessel, the number of branch points included per blood vessel, the number of refraction points included per blood vessel, and the feature quantity for quantifying the presence or absence of abnormal blood vessels due to blood vessel branching or meandering Use.
しかしながら、撮像画像へのノイズの混入により、実際には存在しない偽血管を抽出してしまい、実際には存在しない分岐点を誤検出してしまう問題があった。 However, there is a problem in that false blood vessels that do not actually exist are extracted due to noise mixed in the captured image, and branch points that do not actually exist are erroneously detected.
また、複数の血管が撮像画像の奥行き方向に絡み合っている場合には、実際には交差または分岐していないのに画像上では交差または分岐してしまうため、誤った血管抽出処理を行ってしまい、正確な分岐点数及び又は血管数を算出することができなかった。 In addition, when a plurality of blood vessels are intertwined in the depth direction of the captured image, they do not actually intersect or branch, but intersect or branch on the image, so that an erroneous blood vessel extraction process is performed. The exact number of branch points and / or the number of blood vessels could not be calculated.
（３）非特許文献１（「”細線化図形の屈折点検出の一手法”小山ら、電子通信学会研究会資料PRL80-107 PP,80-90(1980)」）に示す屈折点の検出手法では、図２２に示すように、血管の屈折位置の頂点ではなく、屈折点周辺の複数の点を検出してしまったり、頂点から少しずれた点を検出してしまい、正確な屈折点の検出ができなかった。 (3) Refractive point detection method shown in Non-Patent Document 1 ("" A method for detecting the refraction point of thinned figures "Koyama et al., PRL 80-107 PP, 80-90 (1980), IEICE Technical Committee Meeting) Then, as shown in FIG. 22, a plurality of points around the refraction point are detected instead of the vertex of the blood vessel refraction position, or a point slightly deviated from the vertex is detected. I could not.
本発明は、上記事情に鑑みてなされたものであり、特徴量を利用した所見の客観化結果に基づく病変判定精度を向上させることのできる画像解析方法を提供することを目的としている。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an image analysis method capable of improving lesion determination accuracy based on an objectification result of a finding using feature amounts.
本発明の画像解析方法は、医用画像に対して画像解析を行う画像解析方法において、前記医用画像に対して２値化処理及び細線化処理を行って１以上の血管の芯線を表す画像を抽出する線状パターン抽出ステップと、前記線状パターン抽出ステップにおいて抽出された各線状パターンに関して、全長と分岐点数を第１の特徴量として算出する第１の特徴量算出ステップと、前記各線状パターンの前記全長が所定の第１の閾値未満であるときはその血管を点状血管とし、前記各線状パターンの前記全長が前記所定の第１の閾値以上であって前記分岐点数が所定の第２の閾値未満であるときはその血管を樹枝状血管とし、前記各線状パターンの前記全長が前記所定の第１の閾値以上であって前記分岐点数が前記所定の第２の閾値以上であるときはその血管を網状血管と判定して、その判定結果の中から、解析の対象となる前記線状パターンを選択するパターン選択ステップと、前記パターン選択ステップにより選択された前記線状パターンについて、前記医用画像中の血管数と１血管当たりの分岐点数を第２の特徴量として算出する第２の特徴量算出ステップと、前記算出された前記第２の特徴量を表示装置上に表示する表示ステップと、を備えて構成される。
The image analysis method of the present invention is an image analysis method for performing image analysis on a medical image, and performs binarization processing and thinning processing on the medical image to extract an image representing one or more blood vessel core lines. a linear pattern extraction step of, by regarding the respective linear pattern extracted in the linear pattern extraction step, the first feature quantity calculating step of calculating the total length and branching points as the first feature amount, wherein each line When the total length of the linear pattern is less than a predetermined first threshold value, the blood vessel is set as a dotted blood vessel, the total length of each linear pattern is equal to or greater than the predetermined first threshold value, and the number of branch points is predetermined. When the blood pressure is less than the second threshold, the blood vessel is a dendritic blood vessel, the total length of each linear pattern is equal to or greater than the predetermined first threshold, and the number of branch points is equal to or greater than the predetermined second threshold. when The blood vessel is determined reticulated vessels, from the determination result, the pattern selection step of selecting the linear pattern to be analyzed, for the linear pattern selected by said pattern selecting step, the medical display step of displaying the branch points of the blood vessel number and per vessel in the image to a second feature quantity calculation step and, prior SL calculated second feature quantity display device on which calculated as the second feature quantity And comprising.
本発明によれば、特徴量を利用した所見の客観化結果に基づく病変判定精度を向上させるができるという効果がある。 According to the present invention, there is an effect that it is possible to improve the lesion determination accuracy based on the objectification result of the findings using the feature amount.
以下、図面を参照しながら本発明の実施例について述べる。 Embodiments of the present invention will be described below with reference to the drawings.
図１ないし図１１は本発明の実施例１に係わり、図１は内視鏡画像解析装置の構成を示すブロック図、図２は図１のメモリ上に記憶される情報を示す図、図３は図１の情報処理装置の処理により表示装置上に表示される血管画像解析結果ウィンドウを示す図、図４は図１のＣＰＵにより実行される画像解析プログラムの処理の流れを示すフローチャート、図５は図４の画像解析処理の流れを示すフローチャート、図６は図５の処理により生成される２値化画像の画像データの例を示す図、図７は図６の２値化画像をラベリング処理した画像データを表す図、図８は図７のラベリング画像を細線化処理した画像データを表す図、図９は図４の形状特徴量算出処理における周囲８近傍を説明する図、図１０は図４の形状特徴量算出処理の流れを示すフローチャート、図１１は図１０の形状特徴量算出処理による選択すべき血管形状として樹枝状血管を選択した時の修正細線化画像を示す図である。 FIGS. 1 to 11 relate to the first embodiment of the present invention, FIG. 1 is a block diagram showing the configuration of the endoscope image analysis apparatus, FIG. 2 is a diagram showing information stored in the memory of FIG. FIG. 4 is a view showing a blood vessel image analysis result window displayed on the display device by the processing of the information processing device of FIG. 1, FIG. 4 is a flowchart showing the flow of processing of the image analysis program executed by the CPU of FIG. Is a flowchart showing the flow of the image analysis processing of FIG. 4, FIG. 6 is a diagram showing an example of image data of the binarized image generated by the processing of FIG. 5, and FIG. 7 is a labeling process for the binarized image of FIG. 8 is a diagram illustrating image data obtained by thinning the labeling image of FIG. 7, FIG. 9 is a diagram for explaining the vicinity of the surrounding 8 in the shape feature amount calculation processing of FIG. 4, and FIG. 4 shows the flow of shape feature calculation processing Flowchart, Fig. 11 is a diagram showing a modified thinned image when you select dendritic vessels as vascular shape should be selected according to the shape feature amount calculation processing of FIG. 10.
（構成）
図１に示すように、本実施例の内視鏡画像解析装置１は、生体内を撮像してアナログ画像信号を出力する内視鏡観察装置２と、内視鏡観察装置２の出力するアナログ画像信号から画像データを生成すると共に生成された画像データを蓄積する内視鏡ファイリング装置３と、画像解析処理を行う画像処理装置４とを備えて構成される。
(Constitution)
As shown in FIG. 1, an endoscope
画像処理装置４は、情報処理を行う情報処理装置５と、キーボードとマウス等とからなる操作装置６と、ハードディスク等からなる記憶装置７と、ＣＲＴあるいは液晶ディスプレイあるいはプラズマディスプレイ等の表示手段からなる表示装置８とを具備して構成される。
The image processing device 4 includes an information processing device 5 that performs information processing, an
内視鏡ファイリング装置３と情報処理装置５は、ＴＣＰ／ＩＰをプロトコルとするＬＡＮ９に接続されており、相互に通信可能である。
The
情報処理装置５は、一般のパーソナルコンピュータが用いられており、内視鏡ファイリング装置３に蓄積されている画像データをＬＡＮ９経由で取得し、画像データに対して画像解析処理を行い、画像解析結果を表示装置８に表示するようになっている。ここで、処理を行う画像データの指定、指定された画像データの取得指示、処理実行の指示は、操作装置６を用いた操作によって行われる。
The information processing apparatus 5 uses a general personal computer, acquires image data stored in the
情報処理装置５では、制御・処理を行うＣＰＵ１０と、処理プログラム・データを記憶するメモリ１１と、記憶装置７との間で情報の読み書きを行う外部記憶Ｉ／Ｆ１２と、外部機器との通信を行うネットワークカード１３と、操作装置６との入出力を行う操作Ｉ／Ｆ１４と、表示装置８にビデオ信号を出力するグラフィックボード１５とが、バス１６に接続されており、バス１６を介して相互にやり取りを行うようになっている。
In the information processing device 5, the
ネットワークカード１３は、ＬＡＮ９上に接続されている内視鏡ファイリング装置８とデータの送受信処理を行うようになっている。
The
操作Ｉ／Ｆ１４は、操作装置６のキーボードやマウスによって入力された入力信号を受け取り、必要なデータ処理を行うようになっている。
The operation I /
記憶装置７は情報処理装置５に接続されており、画像解析処理を実行する画像解析プログラムを格納している。該画像解析プログラムは、複数の実行ファイルまたは動的リンクライブラリファイルまたは設定ファイルから構成される。
The
外部記憶Ｉ／Ｆ１２は、記憶装置７に記憶されている画像解析プログラムを読み込み、メモリ１１に記憶させるようになっている。
The external storage I /
図２に示すように、メモリ１１は、画像解析プログラム２０と、解析データ２１を保持している。
As shown in FIG. 2, the
メモリ１１に記憶された画像解析プログラム２０は、ＣＰＵ１０による実行により、操作装置６によって指定された内視鏡画像データを内視鏡ファイリング装置３から取得し、取得した画像データに対して画像解析処理をし、画像解析結果の表示装置８への表示処理を行うプログラムである。
The
メモリ１１に記憶された解析データ２１は、ＣＰＵ１０における各処理により取得及び生成されるデータである。記憶される解析データ２１は、内視鏡ファイリング装置３から取得した画像データである原画像２２及び後述する各種処理により生成される２値化画像２３、ラベリング画像２４、細線化画像２５、血管形状特徴量２６、血管特徴量２７、解析結果画像２８からなる。
The
（作用）
ＣＰＵ１０は、画像解析プログラム２０を実行して生成された解析データ２１を使用して、図３に示すような血管画像解析結果ウィンドウ３０を作成する。またＣＰＵ１０は、グラフィックボード１５を介して、表示装置８への血管画像解析結果ウィンドウ３０の表示処理を行う。
(Function)
The
血管画像解析結果ウィンドウ３０は、解析画像表示領域３１と、解析値表示領域３２とから構成され、解析画像表示領域３１には血管解析処理画像を表示し、解析値表示領域３２には血管解析値を表示する。
The blood vessel image
ＣＰＵ１０にて実行される画像解析プログラム２０の処理について説明する。この処理では、図４に示すように、原画像取得処理ステップＳ１において、操作装置６の操作により指定された画像データを、内視鏡ファイリング装置３から取得し、メモリ１１上に原画像２２として記憶させる処理を行う。
Processing of the
次に、画像解析処理ステップＳ２において、原画像取得処理ステップＳ１により取得した原画像２２を処理し、２値化画像２３と、ラベリング画像２４と、細線化画像２５と、血管形状特徴量２６と、血管特徴量２７と、解析処理画像２８とを生成してメモリ１１上に記憶させる処理を行う。
Next, in the image analysis processing step S2, the
そして、解析結果表示処理ステップＳ３において、血管画像解析結果ウィンドウ３０を表示装置８上に表示する処理を行う。血管画像解析結果ウィンドウ３０の解析画像表示領域３１にはメモリ１１に記憶される解析処理結果画像２８を表示し、解析値表示領域３２にはメモリ１１に記憶される血管特徴量２７に基づき、特徴量の種類と、特徴量の値と、を表示する。
Then, in the analysis result display processing step S3, processing for displaying the blood vessel image
なお、本実施例においては、解析血管表示処理ステップＳ３において、解析処理画像として、原画像に細線化画像を重畳処理した血管芯線画像を表示し、血管特徴量として、画像中に存在する血管数と、１血管あたりの分岐点数と、を表示する処理を行うものとする。 In the present embodiment, in the analysis blood vessel display processing step S3, a blood vessel core image obtained by superimposing the thinned image on the original image is displayed as the analysis processing image, and the number of blood vessels present in the image is used as the blood vessel feature amount. And the number of branch points per blood vessel are displayed.
次に、上記画像解析処理ステップＳ２における処理の詳細を説明する。図５に示すように、２値化処理ステップＳ１０において、原画像２２に対する２値化処理を行う。原画像２２は、Ｒ、Ｇ、Ｂの３プレーンのモノクロ画像データからなるが、そのうちのＧのモノクロ画像データに対して２値化処理を行い、２値化画像２３を生成する。
Next, details of the processing in the image analysis processing step S2 will be described. As shown in FIG. 5, in the binarization processing step S10, binarization processing is performed on the
２値化画像２３は、原画像２２の血管部分の画素値が１、背景部分の画素値が０となる画像データであり、原画像２２から血管を抽出した画像に相当する。２値化処理ステップＳ１０は、生成された２値化画像２３を、メモリ１１上に記憶させる処理を行う。
The
ここで、２値化処理は、対象となる画像データの各画素の画素値について、画素値があらかじめ設定された閾値以上であれば画素値を１とし、閾値よりも小さければ画素値を０とする処理である。２値化画像の画像データの例を図６に示す。 Here, in the binarization processing, regarding the pixel value of each pixel of the target image data, the pixel value is set to 1 if the pixel value is equal to or larger than a preset threshold value, and is set to 0 if the pixel value is smaller than the threshold value. It is processing to do. An example of the image data of the binarized image is shown in FIG.
次に、ラベリング処理ステップＳ１１において、２値化画像２３を基にしてラベリング画像２４を作成する。ラベリング画像２４は、血管の要素ごとにラベルを順次割り振った画像データから構成される。同一のラベルをもち、且つ、隣接する画素を連結した画素は、それぞれ１つの血管を表すことになる。
Next, in a labeling process step S11, a
ここで、ラベリング処理は、２値化画像２３を画像データの左上より順次走査し、画素値が１である点を抽出し、画素値が１であるを起点として、前記起点に連結する全ての画素を、ラベルにより塗りつぶす処理により実現する。ラベルとして２以上の整数を割り当てる。ラベリング画像２４の例として、図６に示す２値化画像をラベリング処理した画像データを表す図を図７に示す。
Here, in the labeling process, the
続いて、細線化処理ステップＳ１２において、ラベリング画像２４に対して細線化処理することにより、血管の幅が１画素である細線化画像２５に変換して、細線化画像２５をメモリ１１に記憶させる。
Subsequently, in the thinning process step S12, the
本実施例においては、細線化画像２５は、血管の芯線を表す画像であって、線の画素値を前記ラベル、背景の画素値を０とする画像データからなる。ラベルにより、細線化画像２５中の血管要素を識別する。
In the present embodiment, the thinned
ここで、細線化処理は、Ｈｉｌｄｉｃｈの細線化手法として公知に知られる手法に基づくものであって、ラベリング画像２４の画素値がラベルである画素について画素の連結性を保持することが可能である場合に、当該画素の画素値を０として線幅を減少させる処理である。
Here, the thinning process is based on a technique known as a Hildich thinning technique, and it is possible to maintain the connectivity of pixels with respect to pixels whose label values of the
なお、Ｈｉｌｄｉｃｈの細線化手法に関しては、非特許文献３：「ソフトバンク刊：Ｃ ＭＡＧＡＺＩＮＥ ２０００．９”画像処理を極めるアルゴリズムラボ”PPI23-129」に詳しい。 The thinning method of Hildic is detailed in Non-Patent Document 3: “Softbank Publishing: C MAGAZINE 2000.9”, Algorithm Lab for Image Processing “PPI 23-129”.
血管の線幅が１になるまで細線化処理を反復処理することにより、線幅１の血管芯線を抽出した細線化画像２５を生成する。細線化画像２５の例として、図７に示すラベリング画像を細線化処理したところの画像データをあらわす図を図８に示す。
By thinning the thinning process until the line width of the blood vessel becomes 1, a thinned
次に、形状特徴量算出ステップＳ１３において、細線化画像２５に関する形状特徴量を算出し、形状特徴量を血管形状特徴量２６としてメモリ１１に記憶させる処理を行う。本実施例では、形状特徴量として、１本の血管の全長と、分岐点数とを算出する。
Next, in a shape feature amount calculation step S13, a shape feature amount related to the thinned
本実施例においては、血管長は、細線化された血管の画素数と同等であるとみなして処理を行う。すなわち、血管長は、細線化画像２５上の各血管要素ごとの画素数をカウントし、血管要素のラベルと前記カウントした画素数とを組とする特徴量として算出する。
In this embodiment, processing is performed assuming that the blood vessel length is equal to the number of pixels of the thinned blood vessel. That is, the blood vessel length is calculated as a feature amount by counting the number of pixels for each blood vessel element on the thinned
また本実施例では、分岐点数は、血管要素の細線上に存在する三叉点数または直交点数の和を示す。分岐点数は、各血管要素ごとに存在する三叉点数と直交点数とをカウントし、血管要素のラベルと前記カウントした三叉点数と直交点数とを組とする特徴量として算出する。 In this embodiment, the number of branch points indicates the sum of the number of tridents or orthogonal points existing on the thin line of the blood vessel element. The number of branch points is calculated as a feature quantity obtained by counting the number of trigeminal points and the number of orthogonal points existing for each vascular element and combining the label of the vascular element and the counted number of trigonal points and the number of orthogonal points.
三叉点と直交点を求める方法は、非特許文献２：「”細線化図形の屈折点検出の一手法”小山ら、電子通信学会研究会資料PRL80-107 PP,80-90(1980)」に述べられているように、血管要素上の各点に対して、対象とする点の３×３論理マスクにおいて、周囲８近傍における血管要素点の数をカウントすることにより、三叉点または直交点であるか否かを判断する処理によるものである。 The method for obtaining the trigeminal point and the orthogonal point is described in Non-Patent Document 2: "" A method for detecting the refraction point of a thinned figure "Koyama et al., PRL80-107 PP, 80-90 (1980) As stated, for each point on a vascular element, by counting the number of vascular element points in the vicinity of the surrounding 8 in the 3 × 3 logical mask of the points of interest, at a trident or orthogonal point This is due to the process of determining whether or not there is.
ここで、上記周囲８近傍（単に、「８近傍」とも記す）について図９を用いて説明する。注目点の画素を、図９の中央の画素Ｏとすると、注目点の周囲８近傍における画素は、画素Ｏの上下左右斜めに位置する画素Ａ〜Ｈが該当する。以降の説明に使用する周囲８近傍の意味も同一である。
Here, the vicinity of the surrounding 8 (also simply referred to as “8 vicinity”) will be described with reference to FIG. Assuming that the pixel of interest is the center pixel O in FIG. 9, pixels in the vicinity of the
以上により、血管要素のラベルと血管要素の全長、血管要素の識別値と三叉点数及び直交点数、の各組を血管形状特徴量２６としてメモリ１１に記憶させる。
As described above, each set of the label of the blood vessel element, the total length of the blood vessel element, the identification value of the blood vessel element, the number of tridents and the number of orthogonal points is stored in the
続いて、血管選択処理ステップＳ１４において、前記形状特徴量算出処理ステップＳ１３において算出された血管形状特徴量２６を基にして、あらかじめ選択された血管形状を有する血管要素を検出して選択する。本実施例において選択する血管形状は、点状血管、樹枝状血管、網状血管のうちのいずれかであるものとする。
Subsequently, in the blood vessel selection processing step S14, based on the blood vessel
図１０を用いて、上記血管選択処理ステップＳ１４における処理の詳細を説明する。 Details of the processing in the blood vessel selection processing step S14 will be described with reference to FIG.
図１０に示すように、血管選択処理ステップＳ１４では、まずステップＳ２１において、対象となる識別値Ｉの初期値として１を設定する。 As shown in FIG. 10, in the blood vessel selection processing step S14, first, in step S21, 1 is set as the initial value of the target identification value I.
そして、ステップＳ２２において、ラベルＩに対して１を加算し、ステップＳ２３において、ラベリング画像２４上に、画素値がラベルＩである画素が存在するか否かを判定する。画素値がラベルＩである画素が、ラベリング画像２４上に存在しない場合には、処理を終了する。
Then, in step S22, 1 is added to the label I, and in step S23, it is determined whether or not there is a pixel whose pixel value is label I on the
次に、ステップＳ２４において、ラベルＩに対応する血管要素の血管長をメモリ１１の血管形状特徴量２６の中から取得し、血管長が閾値Ｔ1未満である場合にはステップＳ２５で点状血管として判定する。血管長が閾値Ｔ1以上である場合には、ステップＳ２６に進む。
Next, in step S24, the blood vessel length of the blood vessel element corresponding to the label I is acquired from the blood vessel
ここで、閾値Ｔ1は、あらかじめ血管選択処理ステップ５４が保持している数値であり、本実施例ではＴ1＝２として処理する。 Here, the threshold value T1 is a numerical value previously stored in the blood vessel selection processing step 54, and is processed as T1 = 2 in this embodiment.
ステップＳ２６において、ラベルＩに対応する血管要素の三叉点数と直交点数の和をメモリ１１の血管形状特徴量２６の中から取得し、三叉点数と直交点数の和が閾値Ｔ2未満である場合には、樹枝状血管であると判定する。三叉点数と直交点数の和が閾値Ｔ2以上である場合には、網状血管であると判定する。
In step S26, the sum of the number of trigeminal points and the number of orthogonal points of the blood vessel element corresponding to the label I is acquired from the blood vessel
ここで、閾値Ｔ2は、あらかじめ血管選択処理ステップ５４が保持している数値である。本実施例ではＴ2＝８として処理する。 Here, the threshold value T2 is a numerical value that the blood vessel selection processing step 54 holds in advance. In this embodiment, processing is performed with T2 = 8.
続いてステップＳ２７において、既定の選択すべき血管形状と、ステップＳ２４、ステップＳ２５、ステップＳ２６における血管形状の判定結果（点状血管または樹枝状血管または網状血管のいずれかの判定結果）とが異なる場合には、ラベリング画像２４及び細線化画像２５の画素値がラベルＩである全ての画素を０にする。また、血管形状特徴量２６のうち、ラベルＩに対応する特徴量を消去する。ステップＳ２７における処理終了後、ステップＳ２２に戻り処理を継続する。
Subsequently, in step S27, the predetermined blood vessel shape to be selected is different from the determination result of the blood vessel shape in step S24, step S25, or step S26 (determination result of either a dotted blood vessel, a dendritic blood vessel, or a reticulated blood vessel). In this case, all the pixels whose label values are the label I in the
例として、図８に示す細線化画像を、血管選択処理ステップＳ１４により、選択すべき血管形状として樹枝状血管を選択した時の修正細線化画像を図１１に示す。 As an example, FIG. 11 shows a modified thinned image when the dendritic blood vessel shown in FIG. 8 is selected as a blood vessel shape to be selected in the blood vessel selection processing step S14.
図５に戻り、血管選択処理ステップＳ１４が終わると、特徴量算出処理ステップＳ１５において、血管選択処理ステップＳ１４により処理された紬線化画像２５及び血管形状特徴量２６を基にして、血管特徴量２７の算出処理を行う。本実施例では血管特徴量２７として、血管数、１血管あたりの分岐点数を算出する。
Returning to FIG. 5, when the blood vessel selection processing step S14 is completed, in the feature amount calculation processing step S15, the blood vessel feature amount is based on the lined
血管数は、血管形状特徴量２６として記憶される血管長が０より大きい血管要素の総数として算出する。１血管あたりの分岐点数は、血管形伏特徴量２６として記憶される三叉点数と直交点数との総和と、上記血管数との比として算出する。
The number of blood vessels is calculated as the total number of blood vessel elements having a blood vessel length greater than 0 stored as the blood vessel
血管数、１血管あたりの分岐点数は、血管特徴量２７としてメモリ１１に記憶させ、血管画像解析結果ウィンドウ３０の表示に利用する。
The number of blood vessels and the number of branch points per blood vessel are stored in the
次に、解析結果画像処理ステップＳ１６において、原画像２２に対して、血管選択処理ステップＳ１４において修正された細線化画像２５を重畳処理する。細線化画像２５の各面家について、画素値が２以上である場合に、原画像２２の対応画素の画素値を、（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）とする。重畳処理画像データを解析結果画像２８としてメモリ１１に記憶させる。
Next, in the analysis result image processing step S <b> 16, the thinned
（効果）
本実施例によれば、対象となる血管形状のみに関する血管特徴量を算出でき、血管の形状に応じて解析対象を選択し、選択した対象に関する特徴量を求めるため、特徴量を利用した所見の客観化結果に基づく病変判定精度を向上させることができる。
(effect)
According to the present embodiment, it is possible to calculate the blood vessel feature amount related only to the target blood vessel shape, select the analysis target according to the shape of the blood vessel, and obtain the feature amount related to the selected target. The lesion determination accuracy based on the objective result can be improved.
なお、本実施例では、血管形状特徴量２６として血管長と分岐点数とを用いて、血管選択処理ステップＳ１４において解析対象となる血管を、血管の形状に基づいて選択したが、血管の特徴量として血管を構成する画素のＲＧＢ値の平均値を求め、ＲＧＢ値平均値を用いて、血管の色調に基づいて血管を選択するようにしてもよい。
In this embodiment, the blood vessel length and the number of branch points are used as the blood vessel
図１２ないし図１６は本発明の実施例２に係わり、図１２はＣＰＵにより実行される画像解析プログラムの処理の流れを示すフローチャート、図１３は図１２の血管分離処理の流れを示すフローチャート、図１４は図１３の処理における直交点の８近傍の画素値の第１の状態を示す図、図１５は図１３の処理における直交点の８近傍の画素値の第２の状態を示す図、図１６は図１２の画像解析プログラムの処理の結果得られる血管画像解析結果ウィンドウを示す図である。 FIGS. 12 to 16 relate to the second embodiment of the present invention, FIG. 12 is a flowchart showing the flow of processing of an image analysis program executed by the CPU, and FIG. 13 is a flowchart showing the flow of blood vessel separation processing of FIG. 14 is a diagram showing a first state of pixel values near eight of the orthogonal points in the processing of FIG. 13, and FIG. 15 is a diagram showing a second state of pixel values near eight of the orthogonal points in the processing of FIG. 16 is a view showing a blood vessel image analysis result window obtained as a result of the processing of the image analysis program of FIG.
実施例２は、実施例１とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。 Since the second embodiment is almost the same as the first embodiment, only different points will be described, and the same components are denoted by the same reference numerals and description thereof will be omitted.
実施例２は、実施例１に対し、画像解析処理ステップＳ２（図４参照）において算出される血管特徴量２７として、１血管あたりの屈折点数を追加することが異なる。実施例１との相違点について説明する。
The second embodiment is different from the first embodiment in that the number of refraction points per blood vessel is added as the blood
（構成）
本実施例では、血管特徴量２７としての屈折点数算出にあたり、メモリ１１に切断血管座標列２９を記憶することが、実施例１との変更点である。切断血管座標列２９については、後述する。
(Constitution)
In the present embodiment, in calculating the number of refraction points as the blood
（作用）
本実施例における画像解析プログラム２０の画像解析処理ステップＳ２における処理フローを図１２に示す。
(Function)
FIG. 12 shows a processing flow in the image analysis processing step S2 of the
実施例１との相違点は、図１２に示すように、血管選択処理ステップＳ１４の後に血管分離処理ステップＳ１７を追加し、特徴量算出ステップＳ１５において算出する血管特徴量２７として、１血管あたりの屈折点数を算出することである。算出された、１血管あたりの屈折点数は、解析結果表示処理ステップＳ３にて、解析結果ウィンドウ３０の解析値表示領域３２に表示する。
The difference from the first embodiment is that, as shown in FIG. 12, a blood vessel separation processing step S17 is added after the blood vessel selection processing step S14, and a blood
また実施例１では、形状特徴量算出ステップＳ１３において血管要素ごとのラベルと、三叉点と、直交点とを組にして血管形状特徴量２６としてメモリ１１に記憶させていたが、本実施例ではさらに、三叉点及び直交点の各座標列を組にして、血管形状特徴量２６としてメモリ１１に記憶させる。
In
血管分離処理ステップＳ１７における処理フローを図１３に示す。 FIG. 13 shows a processing flow in the blood vessel separation processing step S17.
血管分離処理では、図１３に示すように、ステップＳ３１において、細線化画像２５上の全ての画素のラベルを調べて、ラベルの最大値Ｉmaxを取得する。最大値Ｉmaxは、血管のラベルの最大値に相当する。
In the blood vessel separation process, as shown in FIG. 13, in step S31, the labels of all the pixels on the thinned
次に、ステップＳ３２において、対象となるラベルＩの初期値として１を設定し、ステップＳ３３において、ラベルＩに対して１を加算し、ステップＳ３４において、細線化画像２５上に、画素値がラベルＩである画素が存在するか否かを判定する。
Next, in step S32, 1 is set as the initial value of the target label I. In step S33, 1 is added to the label I. In step S34, the pixel value is displayed on the thinned
画素値がラベルＩである画素が細線化画像２５上に存在せず、かつＩ＞Ｉmaxである場合には、処理を終了し、そうでなければステップＳ３５に進む。
If there is no pixel with a pixel value of label I on the thinned
そして、ステップＳ３５において、ラベルＩに対応する直交点数Ｆを取得する。直交点数Ｆは、形状特徴量算出処理ステップＳ１４において血管形状特徴量２６としてメモリ１１に記憶されるものである。ステップＳ３６において直交点数Ｆが０であればステップＳ３８に進み、直交点数Ｆが１以上であればステップＳ３７に進む。
In step S35, the number of orthogonal points F corresponding to the label I is acquired. The number of orthogonal points F is stored in the
直交点の８近傍の画素値の状態は、図１４または図１５のうちのいずれかである。Ｐ0は直交点を表す。ここで、図中”黒塗り□”で示す画素はラベルがＩである画素を示し、”□”で示す画素はラベルが０である画素を示す。直交点における細線化血管の交差は、実際の観察対象上において２本の血管が奥行き方向に重なるために生ずるものである。 The state of the pixel values near eight of the orthogonal points is either of FIG. 14 or FIG. P0 represents an orthogonal point. Here, the pixel indicated by “black” in the figure indicates a pixel whose label is I, and the pixel indicated by “□” indicates a pixel whose label is 0. The crossing of the thinned blood vessels at the orthogonal point occurs because two blood vessels overlap in the depth direction on the actual observation target.
ステップＳ３７での処理は、画像上において分岐して観察される細線化血管線分を分離する処理である。ステップＳ３７では、交差点において交差する血管の線分を分離する処理を行う。交差点の８近傍の画素のラベルを調べ、直交点において交差する２本の線分要素のうち、一方の線分要素の細線化画像２５の画素のラベルをＩmax＋１に全て更新し、次にＩmaxに１を加算する処理を行う。この処理を各交差点に対して実行を繰り返し、ステップＳ３８に進む。
The process in step S37 is a process of separating the thinned blood vessel line segment that is branched and observed on the image. In step S37, processing for separating the line segments of the blood vessels that intersect at the intersection is performed. Check the labels of the pixels near 8 at the intersection, update all the labels of the pixels of the thinned
細線化画像２５の画素のラベルをＩmax＋１に更新する処理について説明する。
A process for updating the pixel label of the thinned
まず、メモリ１１に記憶されている血管形状特徴量２６の中から、該当する直交点の座標を取得する。
First, the coordinates of the corresponding orthogonal point are acquired from the blood vessel
次に、直交点の８近傍について細線化画像２５の画素のラベルを調べ、交差する線分のうちの一方を、細線化画像２５の画素のラベルの更新対象線分として決定する。本実施例では、図１４、図１５におけるＰ及びＰ’を、更新対象の線分の起点画素とする。
Next, the label of the pixel of the thinned
またメモリ１１上に、トレース判定画像を作成する。トレース判定画像は、細線化画像２５と同一の幅及び高さである画像データであって、１または０の画素値を各画素ごとに格納する。トレース判定画像の各画素の画素値の初期値は０とする。
A trace determination image is created on the
次に境界線追跡処理を行い、Ｐ、Ｐ’を起点とする線分のトレースを行う。このトレース処理は、公知の境界線追跡処理により達成され、非特許文献４：「コンピュータ画像処理入門 田村秀行著 総研出版 P.84〜85」に詳しい。 Next, a boundary line tracking process is performed, and a line segment starting from P and P 'is traced. This tracing process is achieved by a well-known boundary line tracking process, and is described in detail in Non-Patent Document 4: “Introduction to Computer Image Processing, Hideyuki Tamura, Research Institute Publishing P.84-85”.
まずＰを起点として、８近傍の細線化画像２５のラベルがＩである画素を順次トレースする。ただし、交差点Ｐ0は、トレースの対象とはしない。トレース済みの座標ついて、トレース判定画像の対応画素の画素値を１にする。トレース点の座標に関して、トレース判定画像の対応画素の画素値が０である場合には、トレース点の座標の細線化画像２５の画素のラベルを、Ｉmax＋１に更新するとともに、トレース判定画像の対応画素の画素値を１にセットする。
First, starting from P, pixels whose label of the thinned
トレース処理において、注目点の８近傍に画素のラベルがＩである画素が注目点の８近傍に存在しない場合には、トレースを終了する。途中、三叉点または直交点をトレースした場合には、その点を起点として接続する各血管に対して同様にトレース及び細線化画像２５の画素のラベルの更新処理を行う。また、三叉点または直交点をトレースした場合には、ラベルＩに関連付けられている、該当する三叉点または交差点を、ラベルＩmax＋１に関連付けるよう更新する。三叉点または直交点であるか否かの判断は、メモリ１１に記憶された血管形状特徴量２６を基にして処理する。
In the trace processing, if there is no pixel whose pixel label is I in the vicinity of the
Ｐ’に対しても同様の処理を行い、最後に、直交点Ｐ0のラベルをＩmax＋１に更新する。 Similar processing is performed for P ', and finally, the label of the orthogonal point P0 is updated to Imax + 1.
以上により、直交点において交差する２本の血管線分のうちの一方の血管線分に関する細線化画像２５のラベルを更新して、細線化画像２５上での血管線分の分離処理を行う。
As described above, the label of the thinned
ステップＳ３８での処理は、細線血管を、分岐点を含まない血管要素に切断分解するとともに、原画像２２に生ずるノイズにより発生した、実際の観察対象上には存在しない三叉分岐点を除去する処理である。
The process in step S38 is a process of cutting and decomposing the thin blood vessel into blood vessel elements that do not include a branch point, and removing a trident branch point that is generated on the
ステップＳ３８では、細線化画像２５の画素のラベルがＩである細線血管について、三叉点で切断する処理を行い、切断後の血管の座標列を、メモリ１１に切断血管座標列２９として記憶する処理を行う。切断血管点列２９を記憶する際に、ラベルＩと、切断血管点列の点数とを組として関連付けて記憶するよう処理する。
In step S38, processing for cutting the thin line blood vessel whose pixel label of the thinned
三叉点での細線血管の切断処理について説明する。まず、メモリ１１に記憶されている血管形状特徴量２６の中から、識別値Ｉに対応する三叉点座標を１つ取得する。
A process of cutting a thin blood vessel at a trident point will be described. First, one trident point coordinate corresponding to the identification value I is acquired from the blood vessel
また、ステップＳ３７での処理と同様に、メモリ１１上に、トレース判定画像を作成する。
Further, a trace determination image is created on the
次に、三叉点の８近傍について細線化画像２５の画素のラベルを調べ、ラベルがＩである点を起点として、８近傍の画素のラベルがＩである画素を、トレースする。
Next, the label of the pixel of the thinned
トレース済みの座標ついて、トレース判定画像の対応画素の画素値を１にする。トレース処理において、注目点の８近傍に未トレースの画素がなく、かつ、細線化画像２５のラベルがＩである画素がない場合にはトレースを終了する。また、注目画素が三叉点である場合にもトレースを終了する。トレースした各血管の座標列の点数を切断血管の全長とみなし、血管の全長が閾値Ｔ3以上である場合には、トレース点の座標列を切断血管座標列２９（図１２参照）として、ラベルＩと、切断血管の全長とみなされた座標列の点数とを組にして、メモリ１１に記憶させる。
For the traced coordinates, the pixel value of the corresponding pixel in the trace determination image is set to 1. In the trace processing, if there is no untraced pixel in the vicinity of the
なお、閾値Ｔ3は、あらかじめ血管分離処理ステップＳ１７が保持している数値である。本実施例ではＴ3＝２として処理する。 Note that the threshold value T3 is a numerical value held in advance in the blood vessel separation processing step S17. In this embodiment, processing is performed with T3 = 2.
以上の処理を、各三叉点について実行した後、ステップＳ３３に戻り、処理を継続する。 After the above process is executed for each trident point, the process returns to step S33 to continue the process.
特徴量算出ステップＳ１６（図１２参照）では、切断血管座標列２９をメモリ１１から取得し、切断血管座標列２９を基にして屈折点の検出を行う。屈折点の検出方法として、非特許文献２：「”細線化図形の屈折点検出の一手法”小山ら、電子通信学会研究会資料PRL80-107 PP,80-90(1980)」に紹介される手法を使用する。
In the feature amount calculation step S <b> 16 (see FIG. 12), the cut blood vessel coordinate
切断血管座標列２９には、識別値が関連付けられている。識別値は一意な値であり、識別値の総数は、血管要素の数に相当する。各切断血管座標列２９に関する屈折点の総和を、識別値の総数で除することにより、１本あたりの屈折点数を算出し、血管特徴量２７としてメモリ１１に記憶させる。
The cut blood vessel coordinate
本実施例における解析結果表示処理ステップＳ３では、血管画像解析結果ウィンドウ３０の解析値表示領域３２に、１血管あたりの屈折点数を追加表示する。図１６は、本実施例における血管画像解析結果ウィンドウ３０を示す。実施例１における血管画像解析結果ウィンドウ３０を示す図３と比較して、交差するＡ血管６０と、Ｂ血管６１とを別個の血管として区別するとともに、血管線分６２の全長が短いため実際には存在しない血管線分とみなして細線化画像から除外している。
In the analysis result display processing step S3 in the present embodiment, the number of refraction points per blood vessel is additionally displayed in the analysis
（効果）
本実施例では、実施例１の効果に加え、交差する血管を分離するとともに、血管の誤抽出を補正するため、血管特徴量の精度が向上する。すなわち、本実施例によれば、画像中の交差する血管を別個の血管として認識するとともに、血管上のノイズを除去するため、特徴量の精度を向上させるとともに、特徴量を利用した所見の客観化結果に基づく病変判定精度を向上させることができる。
(effect)
In this embodiment, in addition to the effects of the first embodiment, the intersecting blood vessels are separated and the erroneous extraction of the blood vessels is corrected, so that the accuracy of the blood vessel feature amount is improved. That is, according to the present embodiment, the intersecting blood vessels in the image are recognized as separate blood vessels, and noise on the blood vessels is removed, so that the accuracy of the feature amount is improved and the observation of the observation using the feature amount is performed. The accuracy of lesion determination based on the conversion result can be improved.
図１７ないし図２１は本発明の実施例３に係わり、図１７は特徴量算出処理の流れを示すフローチャート、図１８は図１７の特徴量算出処理における屈折点頂点評価値Ａを算出方法及び屈折点頂点評価値Ａを用いての屈折候補点検出処理を説明するための説明図、図１９は図１７の屈折点決定処理の流れを示すフローチャート、図２０は図１９の処理において屈折点候補点の中から屈折点を決定することを説明する図、図２１は図１９の処理における移動平均法による切断血管座標列の平滑化を説明する図である。 FIGS. 17 to 21 relate to the third embodiment of the present invention, FIG. 17 is a flowchart showing a flow of the feature amount calculation process, and FIG. 18 is a calculation method and a refraction point evaluation value A in the feature amount calculation process of FIG. FIG. 19 is a flow chart showing the flow of the refraction point determination process in FIG. 17, and FIG. 20 is a refraction point candidate point in the process of FIG. FIG. 21 is a diagram for explaining the smoothing of the cut blood vessel coordinate sequence by the moving average method in the processing of FIG. 19.
実施例３は、実施例２とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。 Since the third embodiment is almost the same as the second embodiment, only different points will be described, and the same components are denoted by the same reference numerals and description thereof will be omitted.
実施例３は、実施例２に対し、画像解析処理ステップＳ２において算出される血管特徴量２７である屈折点数の算出方法が異なる。実施例２との相違点について説明する。
The third embodiment differs from the second embodiment in a method of calculating the number of refraction points that are the blood
本実施例においては、血管の屈折部付近に屈折点候補点を数点検出し、その中から最も適切な屈折点を選択的に決定することにより屈折点数・位置の検出精度を向上させることが可能となる画像処理手法について説明する。 In this embodiment, it is possible to improve the detection accuracy of the number of refraction points and positions by checking a number of refraction point candidate points in the vicinity of the refraction part of the blood vessel and selectively determining the most suitable refraction point from among them. An image processing method will be described.
本実施例において、特徴量算出処理ステップＳ１６は、屈折点候補点を検出する屈折点候補点検出処理と、屈折点候補点の中から最終的な屈折点を決定する屈折点決定処理とを順次実行することにより、屈折点を検出し、屈折点数を算出するところの屈折点数算出処理を含んでいる。実施例２との相違点は特徴量算出ステップＳ１６において算出する屈折点数の算出方法であるため、相違について説明する。 In this embodiment, the feature amount calculation processing step S16 sequentially performs a refraction point candidate point detection process for detecting a refraction point candidate point and a refraction point determination process for determining a final refraction point from among the refraction point candidate points. By executing this, a refraction point calculation process for detecting a refraction point and calculating a refraction point is included. Since the difference from the second embodiment is the method of calculating the number of refraction points calculated in the feature amount calculation step S16, the difference will be described.
図１７に示すように、本実施例における屈折点候補点検出処理は、ステップＳ４１において、メモリ１１に記憶されたN_Points個の点から成る切断血管座標列２９を取得する。
As shown in FIG. 17, in the refraction point candidate point detection process in the present embodiment, a cut blood vessel coordinate
ステップＳ４２において、処理の対象となる切断血管の最小点数の閾値threlとの比較を行う。本実施例では、thre1＝１０とする。N_Points＞thre1であればステップＳ４３に進み、そうでなければ処理を終了する。 In step S42, a comparison is made with the threshold threl of the minimum number of cut blood vessels to be processed. In this embodiment, thre1 = 10. If N_Points> thre1, the process proceeds to step S43, and if not, the process ends.
ステップＳ４３において、各点における屈折点頂点評価値Ａ（ｉ）（1≦i≦N_Points）を算出する。ステップＳ４３の詳細については後述する。 In step S43, the refraction point vertex evaluation value A (i) (1 ≦ i ≦ N_Points) at each point is calculated. Details of step S43 will be described later.
ステップＳ４４においてｉを初期化し、ステップＳ４５において、点Ｐ（ｉ）を対象点とし対象点における屈折点頂点評価値Ａ（ｉ）と、対象点からｋ点前後する点Ｐ（ｉ−ｋ），Ｐ（ｉ＋ｋ）におる屈折点頂点評価値Ａ（ｉ−ｋ），Ａ（ｉ＋ｋ）を取得する。値ｋは、ステップＳ４６における比較対象を選択するパラメータであり、本実施例ではｋ＝５とする。ステップＳ４５の詳細については後述する。 In step S44, i is initialized, and in step S45, the point P (i) is set as the target point, the refraction point vertex evaluation value A (i) at the target point, and the point P (i−k) around k points from the target point, Refraction point vertex evaluation values A (i−k) and A (i + k) at P (i + k) are acquired. The value k is a parameter for selecting a comparison target in step S46, and in this embodiment, k = 5. Details of step S45 will be described later.
ステップＳ４６において、屈折点頂点評価値Ａ（ｉ），Ａ（ｉ−ｋ），Ａ（ｉ＋ｋ）の比較を行う。Ａ（ｉ）＜Ａ（ｉ−ｋ）かつＡ（ｉ）＜Ａ（ｉ＋ｋ）であればステップＳ４７に進み、そうでなければステップＳ４９に進む。ステップＳ４６の詳細については後述する。 In step S46, the refraction point vertex evaluation values A (i), A (i−k), and A (i + k) are compared. If A (i) <A (i−k) and A (i) <A (i + k), the process proceeds to step S47. Otherwise, the process proceeds to step S49. Details of step S46 will be described later.
ステップ４７において、屈折検出のための屈折の大きさを制限する閾値thre2との比較を行う。本実施例では、thre2＝０．９７とする。Ａ（ｉ）／Ｌ＜thre2であれば、ステップＳ４８に進み、そうでなければ処理を終了する。 In step 47, a comparison is made with a threshold thre2 that limits the magnitude of refraction for refraction detection. In this embodiment, thre2 = 0.97. If A (i) / L <thre2, the process proceeds to step S48, and if not, the process ends.
ステップＳ４８において、対象点Ｐ（ｉ）を屈折点候補点として検出してメモリ１１に記憶させる。
In step S48, the target point P (i) is detected as a refraction point candidate point and stored in the
ステップＳ４９において、対象点Ｐ（ｉ）が切断血管座標列２９の最終点つまりｉ＝N_PointsであればステップＳ５０で屈折点を決定して処理を終了し、ｉ≠N_PointsであればステップＳ５１に進む。
In step S49, if the target point P (i) is the final point of the cut blood vessel coordinate
ステップＳ５１において、ｉ＝ｉ＋1として対象点を更新し、ステップＳ４５ないしＳ４９に示す一連の処理を繰り返す。 In step S51, the target point is updated with i = i + 1, and the series of processing shown in steps S45 to S49 is repeated.
ステップＳ５０においての、屈折点決定処理は流れを図１９に示し、詳細については後述する。 The flow of the refraction point determination process in step S50 is shown in FIG. 19 and will be described in detail later.
次に、ステップＳ４３における屈折点頂点評価値Ａを算出方法と、ステップＳ４５、ステップＳ４６における屈折点頂点評価値Ａを用いての屈折候補点検出処理の詳細について説明する。 Next, a method for calculating the refraction point vertex evaluation value A in step S43 and the details of the refraction candidate point detection process using the refraction point vertex evaluation value A in steps S45 and S46 will be described.
図１８は本実施例における屈折点頂点評価値Ａを算出方法と、屈折点頂点評価値Ａを用いての屈折候補点検出処理を説明するための説明図である。 FIG. 18 is an explanatory diagram for explaining a method for calculating a refraction point vertex evaluation value A and a refraction candidate point detection process using the refraction point vertex evaluation value A in the present embodiment.
屈折点頂点評価値Ａの算出方法としては、非特許文献２：「”細線化図形の屈折点検出の一手法”小山ら、電子通信学会研究会資料PRL80-107 PP,80-90(1980)」に示される手法を使用する。 As a method for calculating the refraction point apex evaluation value A, Non-Patent Document 2: "" A method for detecting the refraction point of a thinned figure "Koyama et al., IEICE Technical Committee Materials PRL80-107 PP, 80-90 (1980) Is used.
取得した切断血管座標列２９の各点について、細線血管像に沿って、各点を中心とする図１８に太線にて示す長さＬの曲線を抽出し、その曲線の始点終点の距離（弦長）を屈折点頂点評価値Ａ（ｉ）として算出する。ただし、点Ｐ（ｉ）が切断血管座標列２９の両端から［Ｌ／２］の範囲に存在し、長さＬの曲線が抽出できない場合、Ａ（ｉ）＝Ｌとする。ここで［］はガウス記号である。
For each point in the acquired cut blood vessel coordinate
また、屈折候補点検出処理において点Ｐ（ｉ）が両端からｋの範囲に存在し、点Ｐ（ｉ−ｋ），Ｐ（ｉ＋ｋ）が切断血管座標列２９上の点に成り得ない場合、Ａ（ｉ−ｋ）＝Ｌ，Ａ（ｉ＋ｋ）＝Ｌとする。点Ｐ（ｉ）における屈折点頂点評価値Ａ（ｉ）が、ｋ点前の点Ｐ（ｉ−ｋ）における屈折点頂点評価値Ａ（ｉ−ｋ）、かつｋ点後の点Ｐ（ｉ＋ｋ）における屈折点頂点評価値Ａ（ｉ＋ｋ）より小さい場合は、Ｐ（ｉ）における屈折が点Ｐ（ｉ−ｋ），Ｐ（ｉ＋ｋ）より大であることを示すから、屈折候補点として検出する。
Further, when the point P (i) exists in the range of k from both ends in the refraction candidate point detection process, and the points P (i−k) and P (i + k) cannot be points on the cut blood vessel coordinate
この比較評価を、切断血管座標列２９を形成するすべての点に対して順に行う。切断血管座標列２９の両端から［Ｌ／２］の範囲では、上述した通りＡ(ｉ)＝Ｌとしたため、屈折点候補点の検出からは除外される。
This comparative evaluation is sequentially performed on all the points forming the cut blood vessel coordinate
次に屈折点決定処理における処理フローを図１９に示す。 Next, FIG. 19 shows a processing flow in the refraction point determination processing.
ステップＳ６１において、前述の屈折点候補点検出処理により検出された屈折点候補点を、メモリ１１から取得する。屈折点候補点が隣接して連続している場合は、その点列を一つの組（以下、パターンと称する）として抽出する。ここで切断血管座標列２９において生成されたパターン数をN_pattern（１≦N_pattern≦屈折点候補点数）とし、各パターンを形成する屈折点候補点数Ｃn（１≦ｎ≦N_pattern）を算出する。
In
そして、ステップＳ６２において、最初のパターンを示すｎ＝１に初期化し、ステップＳ６３において、ステップＳ６１にて生成されたパターンのうちの１つを対象点pattern(n)（１≦ｎ≦N_pattern）として取得し、対象パターンpattern(n)の屈折点候補点数Ｃn=１であれば、他の屈折候補点が隣接しておらず単独で存在すると判断し、その屈折点候補点を屈折点と決定する。対象パターンpattern(n)の屈折点候補点数Ｃn≧２であれば、ステップＳ６４に進み、対象パターンの屈折点候補点列の中から１点を屈折点と決定する。 In step S62, n = 1 indicating the first pattern is initialized. In step S63, one of the patterns generated in step S61 is set as a target point pattern (n) (1 ≦ n ≦ N_pattern). If the number of refraction point candidate points Cn = 1 of the target pattern pattern (n) is acquired, it is determined that the other refraction candidate points are not adjacent and exist independently, and the refraction point candidate points are determined as refraction points. . If the number of refraction point candidate points Cn ≧ 2 of the target pattern pattern (n), the process proceeds to step S64, and one point from the refraction point candidate point sequence of the target pattern is determined as the refraction point.
ステップＳ６４において、対象パターンpattern(n)中で、Ａ(ｉ)が最小となる点を屈折点と決定する。図２０は、屈折点候補点の中から屈折点を決定することを表す図である。
In step S64, the point at which A (i) is minimum in the target pattern pattern (n) is determined as the refraction point. FIG. 20 is a diagram illustrating determining a refraction point from among refraction point candidate points.
ステップＳ６５において、対象パターンpattern(n)が最終パターン、つまりｎ=N_patternであれば処理を終了し、ｎ≠N_patternであればステップＳ６６に進む。 In step S65, if the target pattern pattern (n) is the final pattern, that is, n = N_pattern, the process ends. If n ≠ N_pattern, the process proceeds to step S66.
ステップＳ６６において、ｎ＝ｎ＋1として屈折点決定の対象パターンを更新し、ステップＳ６３ないしＳ６５に示す一連の処理を繰り返す。 In step S66, the target pattern for refraction point determination is updated with n = n + 1, and the series of processing shown in steps S63 to S65 is repeated.
なお、切断血管座標列２９が滑らかでない場合は、ステップＳ４１で取得した切断血管座標列２９を、非特許文献２：「”細線化図形の屈折点検出の一手法”小山ら、電子通信学会研究会資料PRL80-107 PP,80-90(1980)」に示されるように、移動平均法により座標値を平滑化する。ここでの移動平均法とは、点Ｐの座標値を座標列の前後［ｍ／２］点の座標値の平均値に設定する手法である。値ｍは移動平均点数、すなわち平滑化の強さを決定するパラメータである。本実施例では図２１に示すようにｍ＝９、すなわち９点の移動平均をもちいる。
If the cut blood vessel coordinate
また、切断血管座標列29の両端から［Ｌ／２］の範囲では、Ａ(ｉ)＝Ｌと仮定するため、屈折点候補点は検出されないが、検出対象に含める場合には、非特許文献２：「”細線化図形の屈折点検出の一手法”小山ら、電子通信学会研究会資料PRL80-107 PP,80-90(1980)」に示されるようにステップＳ４１で取得した切断血管座標列29の両端の延長を行えばよい。
In addition, in the range of [L / 2] from both ends of the cut blood vessel coordinate
また、ステップＳ４５におけるパラメータｋは、切断血管座標列２９を形成する点数N_Pointsに基づいて決定してもよい。
The parameter k in step S45 may be determined based on the number N_Points of points forming the cut blood vessel coordinate
また、本実施例では、ステップＳ６４において、対象パターン中の屈折点候補点列のＡ(ｉ)が極小となる点を屈折点として決定したが、対象パターン中の屈折点候補点列の中心点、すなわち［Ｃn／２］番目の点と決定するようにしてもよい。 In this embodiment, in step S64, the point at which A (i) of the refraction point candidate point sequence in the target pattern is minimized is determined as the refraction point. However, the center point of the refraction point candidate point sequence in the target pattern is determined. That is, the [Cn / 2] th point may be determined.
（効果）
本実施例では、実施例２の効果に加え、屈折点頂点評価値Ａ(ｉ)をｋ点前後の屈折点頂点評価値Ａ（ｉ−ｋ），Ａ（ｉ＋ｋ）と比較することにより、血管の屈折部付近に屈折点候補点が数点検出され、その中から最も適切な屈折点を選択的に決定することにより屈折点数・位置の検出精度が向上する。すなわち、本実施例によれば、血管の屈折点数、位置の検出精度を向上させるとともに、血管屈折点数、位置を利用した所見の客観化結果に基づく病変判定精度を向上させることができる。
(effect)
In the present embodiment, in addition to the effects of the second embodiment, the refraction point vertex evaluation value A (i) is compared with the refraction point vertex evaluation values A (i−k) and A (i + k) before and after the k point. Several refraction point candidate points are detected in the vicinity of the refraction part, and the most appropriate refraction point is selectively determined from among the refraction point candidate points, thereby improving the refraction point number / position detection accuracy. That is, according to the present embodiment, it is possible to improve the accuracy of detecting the refraction point and position of the blood vessel, and to improve the accuracy of lesion determination based on the objectification result of the finding using the blood vessel refraction point and position.
本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。 The present invention is not limited to the above-described embodiments, and various changes and modifications can be made without departing from the scope of the present invention.
１…内視鏡画像解析装置
２…内視鏡観察装置
３…内視鏡ファイリング装置
４…画像処理装置
５…情報処理装置
６…操作装置
７…記憶装置
８…表示装置
９…ＬＡＮ
１０…ＣＰＵ
１１…メモリ
１２…外部記憶Ｉ／Ｆ
１３…ネットワークカード
１４…操作Ｉ／Ｆ
１５…グラフィックボード
１６…バス
２０…画像解析プログラム
２１…解析データ
２２…原画像
２３…２値化画像
２４…ラベリング画像
２５…細線化画像
２６…血管形状特徴量
２７…血管特徴量
２８…解析結果画像
代理人 弁理士 伊藤 進
DESCRIPTION OF
10 ... CPU
11 ...
13 ...
DESCRIPTION OF
Claims (16)
前記医用画像に対して２値化処理及び細線化処理を行って１以上の血管の芯線を表す画像を抽出する線状パターン抽出ステップと、
前記線状パターン抽出ステップにおいて抽出された各線状パターンに関して、全長と分岐点数を第１の特徴量として算出する第１の特徴量算出ステップと、
前記各線状パターンの前記全長が所定の第１の閾値未満であるときはその血管を点状血管とし、前記各線状パターンの前記全長が前記所定の第１の閾値以上であって前記分岐点数が所定の第２の閾値未満であるときはその血管を樹枝状血管とし、前記各線状パターンの前記全長が前記所定の第１の閾値以上であって前記分岐点数が前記所定の第２の閾値以上であるときはその血管を網状血管と判定して、その判定結果の中から、解析の対象となる前記線状パターンを選択するパターン選択ステップと、
前記パターン選択ステップにより選択された前記線状パターンについて、前記医用画像中の血管数と１血管当たりの分岐点数を第２の特徴量として算出する第２の特徴量算出ステップと、
前記算出された前記第２の特徴量を表示装置上に表示する表示ステップと、
を備えたことを特徴とする画像解析方法。 In an image analysis method for performing image analysis on a medical image,
A linear pattern extraction step of performing binarization processing and thinning processing on the medical image to extract an image representing one or more blood vessel cores ;
And concerning each linear pattern extracted in the linear pattern extraction step, the first feature quantity calculating step of calculating the total length and branching points as the first feature amount,
When the total length of each linear pattern is less than a predetermined first threshold value, the blood vessel is a pointed blood vessel, the total length of each linear pattern is equal to or greater than the predetermined first threshold value, and the number of branch points is When it is less than the predetermined second threshold, the blood vessel is a dendritic blood vessel, the total length of each linear pattern is equal to or greater than the predetermined first threshold, and the number of branch points is equal to or greater than the predetermined second threshold. A pattern selection step of determining the blood vessel as a reticulated blood vessel and selecting the linear pattern to be analyzed from the determination result ;
A second feature amount calculating step of calculating, as the second feature amount , the number of blood vessels in the medical image and the number of branch points per blood vessel for the linear pattern selected in the pattern selection step;
A display step of displaying the second feature amount before Symbol calculated on a display device,
An image analysis method comprising:
前記第２の特徴量算出ステップは、分離された血管の線分パターンを含む前記選択された前記線状パターンから、前記血管数、前記１血管当たりの分岐数、及び屈折点を、前記第２の特徴量として算出することを特徴とする請求項１に記載の画像解析方法。 The second feature amount calculating step calculates the number of blood vessels, the number of branches per blood vessel, and the refraction point from the selected linear pattern including the segment pattern of separated blood vessels. The image analysis method according to claim 1, wherein the image amount is calculated as a feature amount.
前記第１の特徴量算出ステップ及び前記第２の特徴量算出ステップの算出する特徴量は、前記線状パターンを構成する画素の前記ＲＧＢ値に基づく前記線状パターンの色調を表す色調特徴量であることを特徴とする請求項１から６のいずれか１つに記載の画像解析方法。 The feature quantity calculated by the first feature quantity calculation step and the second feature quantity calculation step is a color tone feature quantity that represents the color tone of the linear pattern based on the RGB values of the pixels constituting the linear pattern. The image analysis method according to claim 1, wherein the image analysis method is provided.
前記線状パターンから屈折点候補点を検出する屈折点候補点検出ステップと、 A refraction point candidate point detecting step for detecting a refraction point candidate point from the linear pattern;
前記屈折点候補点検出ステップの検出する前記屈折点候補点の中から、前記線状パターンの屈折点を決定する屈折点決定ステップとを備えたことを特徴とする請求項５に記載の画像解析方法。 The image analysis according to claim 5, further comprising: a refraction point determination step for determining a refraction point of the linear pattern from the refraction point candidate points detected by the refraction point candidate point detection step. Method.
前記線状パターンを構成する各座標点に対して屈折点頂点評価値を算出し、前記屈折点頂点評価値に基づいた評価により、前記屈折点候補点を検出することを特徴とする請求項８に記載の画像解析方法。 9. A refraction point vertex evaluation value is calculated for each coordinate point constituting the linear pattern, and the refraction point candidate point is detected by evaluation based on the refraction point vertex evaluation value. The image analysis method described in 1.
前記走行形状パターン抽出手段により抽出された各走行形状パターンに関して、全長と分岐点数を第１の特徴量として算出する第１の特徴量算出手段と、
前記各走行パターンの前記全長が所定の第１の閾値未満であるときはその血管を点状血管とし、前記各走行パターンの前記全長が前記所定の第１の閾値以上であって前記分岐点数が所定の第２の閾値未満であるときはその血管を樹枝状血管とし、前記各走行パターンの前記全長が前記所定の第１の閾値以上であって前記分岐点数が前記所定の第２の閾値以上であるときはその血管を網状血管と判定して、その判定結果の中から、解析の対象となる前記走行形状パターンを選択するパターン選択手段と、
前記パターン選択手段により選択された前記走行形状パターンについて、前記画像データ中の血管数と１血管当たりの分岐点数を第２の特徴量として算出する第２の特徴量算出手段と、
前記算出された前記第２の特徴量を表示装置上に表示させる表示ステップと、
を備えたことを特徴とする画像解析装置。 A travel shape pattern extracting means for extracting a running shape pattern of one or more blood vessels contained in the image data by performing binarization processing and skeletonization processing on image data obtained by imaging the subject tissue,
First feature amount calculating means for calculating the total length and the number of branch points as the first feature amount for each traveling shape pattern extracted by the traveling shape pattern extracting means;
When the total length of each traveling pattern is less than a predetermined first threshold value, the blood vessel is a pointed blood vessel, the total length of each traveling pattern is equal to or greater than the predetermined first threshold value, and the number of branch points is When it is less than the predetermined second threshold, the blood vessel is a dendritic blood vessel, the total length of each traveling pattern is equal to or greater than the predetermined first threshold, and the number of branch points is equal to or greater than the predetermined second threshold. When it is, the blood vessel is determined as a reticular blood vessel, and from the determination result, a pattern selection means for selecting the running shape pattern to be analyzed,
Second feature amount calculating means for calculating the number of blood vessels in the image data and the number of branch points per blood vessel as a second feature amount for the running shape pattern selected by the pattern selecting means ;
A display step of displaying the calculated second feature amount on a display device;
An image analysis apparatus comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003397940A JP4434705B2 (en) | 2003-11-27 | 2003-11-27 | Image analysis method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003397940A JP4434705B2 (en) | 2003-11-27 | 2003-11-27 | Image analysis method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005157902A JP2005157902A (en) | 2005-06-16 |
| JP4434705B2 true JP4434705B2 (en) | 2010-03-17 |
Family
ID=34722956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003397940A Expired - Fee Related JP4434705B2 (en) | 2003-11-27 | 2003-11-27 | Image analysis method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4434705B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014132694A1 (en) | 2013-02-27 | 2014-09-04 | オリンパス株式会社 | Image processing device, image processing method and image processing program |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4891636B2 (en) | 2006-03-14 | 2012-03-07 | オリンパスメディカルシステムズ株式会社 | Image analysis device |
| JP4891637B2 (en) | 2006-03-14 | 2012-03-07 | オリンパスメディカルシステムズ株式会社 | Image analysis device |
| JP2008052701A (en) * | 2006-07-28 | 2008-03-06 | Sony Corp | Image processing method, image processing device, and program |
| JP4991278B2 (en) * | 2006-12-25 | 2012-08-01 | パナソニック株式会社 | Image processing device |
| JP4902735B2 (en) * | 2007-04-24 | 2012-03-21 | オリンパスメディカルシステムズ株式会社 | Medical image processing apparatus and medical image processing method |
| JP5100261B2 (en) * | 2007-08-29 | 2012-12-19 | 株式会社東芝 | Tumor diagnosis support system |
| WO2010082383A1 (en) * | 2009-01-15 | 2010-07-22 | オリンパスメディカルシステムズ株式会社 | Endoscope system |
| JP5658873B2 (en) * | 2009-11-13 | 2015-01-28 | オリンパス株式会社 | Image processing apparatus, electronic apparatus, endoscope system, and program |
| JP5438571B2 (en) * | 2010-03-24 | 2014-03-12 | 富士フイルム株式会社 | Electronic endoscope system |
| JP5435746B2 (en) * | 2011-01-24 | 2014-03-05 | 富士フイルム株式会社 | Endoscope device |
| CN103327883B (en) * | 2011-02-22 | 2016-08-24 | 奥林巴斯株式会社 | Medical image-processing apparatus and medical image processing method |
| WO2012153568A1 (en) * | 2011-05-10 | 2012-11-15 | オリンパスメディカルシステムズ株式会社 | Medical image processing device and medical image processing method |
| CN103561631B (en) | 2011-09-08 | 2016-01-13 | 奥林巴斯株式会社 | Image processing apparatus and image processing method |
| CN104427927B (en) * | 2012-06-28 | 2018-04-13 | 皇家飞利浦有限公司 | For visualization of blood vessels and the navigation guided by fibre optical sensor of monitoring |
| JP5749864B2 (en) * | 2012-12-19 | 2015-07-15 | オリンパス株式会社 | Image processing device |
| US11344690B2 (en) | 2014-09-16 | 2022-05-31 | Truphatek International Ltd. | Imaging device and data management system for medical device |
| CA2969327C (en) * | 2014-12-29 | 2023-04-18 | Ventana Medical Systems, Inc. | Vessel analysis in multiplexed images |
| EP3357403B1 (en) * | 2015-09-28 | 2019-08-21 | Fujifilm Corporation | Image processing device, endoscope system, and image processing method |
| EP3357404A4 (en) | 2015-09-29 | 2018-10-31 | FUJIFILM Corporation | Image processing device, endoscopic system, and image processing method |
| WO2017057573A1 (en) * | 2015-09-29 | 2017-04-06 | 富士フイルム株式会社 | Image processing device, endoscopic system, and image processing method |
-
2003
- 2003-11-27 JP JP2003397940A patent/JP4434705B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014132694A1 (en) | 2013-02-27 | 2014-09-04 | オリンパス株式会社 | Image processing device, image processing method and image processing program |
| US9959481B2 (en) | 2013-02-27 | 2018-05-01 | Olympus Corporation | Image processing apparatus, image processing method, and computer-readable recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005157902A (en) | 2005-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4434705B2 (en) | Image analysis method | |
| JP4891636B2 (en) | Image analysis device | |
| US10803582B2 (en) | Image diagnosis learning device, image diagnosis device, image diagnosis method, and recording medium for storing program | |
| EP1994878B1 (en) | Medical image processing device and medical image processing method | |
| US8244009B2 (en) | Image analysis device | |
| EP1975877B1 (en) | Method for point-of-interest attraction in digital images | |
| EP1774910A1 (en) | Medical image diagnosis assisting system, device and image processing program | |
| CN109830289B (en) | Rib image display device | |
| JP2006246941A (en) | Image processing apparatus and vessel tracking method | |
| JP5635980B2 (en) | Image processing, in particular a method and apparatus for processing medical images | |
| WO2012114600A1 (en) | Medical image processing device and medical image processing method | |
| JP2012192125A (en) | Network construction apparatus, method and program | |
| CN111214255A (en) | Medical ultrasonic image computer-aided diagnosis method | |
| WO2014038428A1 (en) | Image processing device and image processing method | |
| JP5105997B2 (en) | Medical image processing apparatus, medical image diagnostic apparatus, and program | |
| KR20160118037A (en) | Apparatus and method for detecting lesion from medical image automatically | |
| JP6458166B2 (en) | MEDICAL IMAGE PROCESSING METHOD, DEVICE, SYSTEM, AND PROGRAM | |
| WO2018088055A1 (en) | Image processing device, image processing method, image processing system, and program | |
| US9123163B2 (en) | Medical image display apparatus, method and program | |
| JP7298949B2 (en) | MEDICAL IMAGE PROCESSING APPARATUS, MEDICAL IMAGE PROCESSING SYSTEM AND MEDICAL IMAGE PROCESSING METHOD | |
| JP2009078161A (en) | Image diagnosis supporting device | |
| WO2010035520A1 (en) | Medical image processing apparatus and program | |
| JP2023103170A (en) | Image processing device, image processing method, and program | |
| CN115023171A (en) | Medical image data generation device for study, medical image data generation method for study, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060925 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090825 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090901 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091029 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091201 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091222 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4434705 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130108 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140108 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |