JP2018167018A - Three-dimensional image processing system, method, and program - Google Patents
Three-dimensional image processing system, method, and program Download PDFInfo
- Publication number
- JP2018167018A JP2018167018A JP2017182196A JP2017182196A JP2018167018A JP 2018167018 A JP2018167018 A JP 2018167018A JP 2017182196 A JP2017182196 A JP 2017182196A JP 2017182196 A JP2017182196 A JP 2017182196A JP 2018167018 A JP2018167018 A JP 2018167018A
- Authority
- JP
- Japan
- Prior art keywords
- projection
- image
- point
- dimensional image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title abstract description 28
- 238000002910 structure generation Methods 0.000 claims abstract description 9
- 210000000621 bronchi Anatomy 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013276 bronchoscopy Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Landscapes
- Endoscopes (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
Description
本発明は、被検体を撮影して得られた３次元画像を用いて気管支のような体内の管路への内視鏡の挿入を支援する３次元画像処理装置および方法並びにプログラムに関するものである。 The present invention relates to a three-dimensional image processing apparatus, method, and program for supporting insertion of an endoscope into a body duct such as a bronchus using a three-dimensional image obtained by imaging a subject. .
近年、撮影装置の進歩に伴い、撮影装置で撮影された画像データの分解能が向上しており、画像データに基づいて被検体の詳細な解析が可能になっている。たとえば、マルチスライスＣＴ（Multi Detector-row Computed Tomography）は、一度に複数枚の断層画像を撮影することが可能であり、薄いスライス厚で断層画像を撮影することが可能である。スライス厚が薄くなることで、複数の断層画像を積層した３次元画像の体軸方向の分解能が上がり、より詳細な３次元画像を得ることができる。このような３次元画像を表示し解析することで、これまで見つけることが困難であった病変などを見つけることも可能になっている。 In recent years, with the advancement of imaging apparatuses, the resolution of image data captured by the imaging apparatus has improved, and detailed analysis of a subject can be performed based on the image data. For example, multi-slice CT (Multi Detector-row Computed Tomography) can take a plurality of tomographic images at a time, and can take a tomographic image with a thin slice thickness. By reducing the slice thickness, the resolution in the body axis direction of a three-dimensional image obtained by stacking a plurality of tomographic images increases, and a more detailed three-dimensional image can be obtained. By displaying and analyzing such a three-dimensional image, it is also possible to find a lesion that has been difficult to find.
上述したような３次元画像を用いた表示方法の１つとして、仮想内視鏡表示がある（たとえば特許文献１および特許文献２参照）。仮想内視鏡表示とは、管腔の内部に視点位置を設定し、その視点位置に基づいて透視投影画像を生成して表示する方法である。仮想内視鏡表示では、ユーザが逐次的に視点位置を変更することで、あたかも内視鏡のカメラが身体内部を移動しながら撮影したような画像を提供することができる。 As one of the display methods using a three-dimensional image as described above, there is a virtual endoscope display (see, for example, Patent Document 1 and Patent Document 2). Virtual endoscopy display is a method of setting a viewpoint position inside a lumen and generating and displaying a perspective projection image based on the viewpoint position. In the virtual endoscope display, the user can change the viewpoint position sequentially to provide an image as if the endoscope camera was moving while moving inside the body.
特に、内視鏡を用いた検査である気管支鏡検査では、気管支の分岐が非常に複雑であるため、上述した仮想内視鏡表示を「地図」として参照しながら、内視鏡を挿入することが行われている。この際、実際の内視鏡の動きに合わせて、仮想内視鏡表示を手動で順次変更するのは煩わしいため、内視鏡の先端が体内のどこになるかを推定して、仮想内視鏡画像を作成することが行われている。 In particular, in bronchoscopy, which is an inspection using an endoscope, the branching of the bronchus is very complicated, so it is necessary to insert an endoscope while referring to the virtual endoscope display described above as a “map”. Has been done. At this time, it is troublesome to manually change the virtual endoscope display sequentially in accordance with the actual movement of the endoscope, so it is estimated where the tip of the endoscope is in the body, and the virtual endoscope is Creating an image has been done.
たとえば特許文献１においては、内視鏡の先端位置を推定するために、仮想内視鏡画像と、内視鏡によって実際に撮影された内視鏡画像との位置合わせ処理を行うことが提案されている。 For example, in Patent Document 1, it is proposed to perform alignment processing between a virtual endoscopic image and an endoscopic image actually captured by the endoscope in order to estimate the tip position of the endoscope. ing.
ここで、ナビゲーションのために内視鏡の先端位置の推定を行うには、複数の視点からの仮想内視鏡画像を生成し、それらを実際に撮影された内視鏡画像と位置合わせ処理をして最も一致するものを選ぶ必要がある。 Here, in order to estimate the tip position of the endoscope for navigation, virtual endoscopic images from a plurality of viewpoints are generated, and they are aligned with the actually captured endoscopic images. You need to choose the best match.
しかしながら、内視鏡の先端位置の推定精度や安定性を上げるには、仮想内視鏡画像を大量に生成する必要があるが、仮想内視鏡画像を生成する処理であるボリュームレンダリング処理は非常に時間がかかる。 However, in order to improve the estimation accuracy and stability of the tip position of an endoscope, it is necessary to generate a large amount of virtual endoscopic images. However, volume rendering processing, which is a process for generating virtual endoscopic images, is extremely difficult. Takes time.
なお、特許文献３においては、気管支の３次元画像からグラフ構造を生成し、そのグラフ構造に含まれる複数の分岐点のそれぞれについて、その分岐点からの分岐先をその分岐点を含む２次元平面上に投影した投影画像を生成することが提案されているが、その投影画像は、分岐先を示す模式的な画像であり、気管支の穴の形状などを正確に表した画像ではないため、上述したような内視鏡画像との位置合わせ処理には適していない。 In Patent Document 3, a graph structure is generated from a three-dimensional image of a bronchus, and for each of a plurality of branch points included in the graph structure, a branch destination from the branch point is a two-dimensional plane including the branch point. Although it has been proposed to generate a projected image projected above, the projected image is a schematic image showing a branch destination and is not an image accurately representing the shape of a bronchial hole. It is not suitable for the alignment processing with the endoscopic image as described above.
本発明は、上記事情に鑑み、内視鏡画像との位置合わせ処理が可能なように端的な特徴を残した画像を高速な処理によって生成することができる３次元画像処理装置および方法並びにプログラムを提供することを目的とするものである。 In view of the above circumstances, the present invention provides a three-dimensional image processing apparatus, method, and program capable of generating an image having a simple feature so that alignment processing with an endoscopic image can be performed by high-speed processing. It is intended to provide.
本発明の３次元画像処理装置は、被検体を撮影して得られた３次元画像を取得する３次元画像取得部と、３次元画像に含まれる管状構造物のグラフ構造を生成するグラフ構造生成部と、グラフ構造上の各点における管状構造物の輪郭情報を取得する輪郭情報取得部と、管状構造物内における視点情報を取得する視点情報取得部と、視点情報とグラフ構造とに基づいて、グラフ構造上の各点の中から投影点を特定する投影点特定部と、投影点の輪郭情報を２次元平面上に投影した投影画像を生成する投影画像生成部とを備える。 A 3D image processing apparatus according to the present invention includes a 3D image acquisition unit that acquires a 3D image obtained by imaging a subject, and a graph structure generation that generates a graph structure of a tubular structure included in the 3D image. Based on the viewpoint information and the graph structure, the contour information acquisition unit that acquires the contour information of the tubular structure at each point on the graph structure, the viewpoint information acquisition unit that acquires the viewpoint information in the tubular structure, A projection point specifying unit that specifies a projection point from among the points on the graph structure, and a projection image generation unit that generates a projection image obtained by projecting the outline information of the projection point on a two-dimensional plane.
また、上記本発明の３次元画像処理装置において、投影点特定部は、グラフ構造上の１つの点を起点として特定し、その起点からグラフ構造をたどり、予め設定された範囲内に含まれる点を投影候補点として特定し、投影候補点の中から投影点を特定することができる。 In the three-dimensional image processing apparatus of the present invention, the projection point specifying unit specifies one point on the graph structure as a starting point, traces the graph structure from the starting point, and is included in a preset range. Can be identified as projection candidate points, and projection points can be identified from among the projection candidate points.
また、上記本発明の３次元画像処理装置において、投影点特定部は、輪郭情報の形状情報に基づいて、投影点を特定することができる。 In the three-dimensional image processing apparatus of the present invention, the projection point specifying unit can specify the projection point based on the shape information of the contour information.
また、上記本発明の３次元画像処理装置において、投影画像生成部は、投影点が属する枝の情報を取得し、枝の情報を投影画像に付加することができる。 In the three-dimensional image processing apparatus of the present invention, the projection image generation unit can acquire information on a branch to which a projection point belongs and can add information on the branch to the projection image.
また、上記本発明の３次元画像処理装置においては、投影画像と、その投影画像とは異なる画像との間の位置合わせ処理の結果と投影画像の視点情報とに基づいて、異なる画像の視点情報を推定する視点情報推定部を備えることができる。 In the three-dimensional image processing apparatus of the present invention, the viewpoint information of the different images based on the alignment processing result between the projection image and an image different from the projection image and the viewpoint information of the projection image. Can be provided.
また、上記本発明の３次元画像処理装置においては、投影画像と、その投影画像とは異なる画像との間の位置合せ処理の結果に基づいて、投影画像に含まれる輪郭情報に対応する異なる画像に含まれる輪郭情報を推定する輪郭情報推定部を備えることができる。 In the three-dimensional image processing apparatus of the present invention, a different image corresponding to the contour information included in the projection image based on the result of the alignment process between the projection image and an image different from the projection image. A contour information estimation unit for estimating the contour information included in the.
また、上記本発明の３次元画像処理装置において、投影画像とは異なる画像は、被検体を撮影した２次元画像とすることができる。 In the three-dimensional image processing apparatus of the present invention, the image different from the projection image can be a two-dimensional image obtained by photographing the subject.
また、上記本発明の３次元画像処理装置において、上記２次元画像は、内視鏡によって撮影された画像とすることができる。 In the three-dimensional image processing apparatus of the present invention, the two-dimensional image can be an image photographed by an endoscope.
また、上記本発明の３次元画像処理装置においては、投影画像を表示装置に表示させる表示制御部を備えることができる。 The three-dimensional image processing apparatus according to the present invention may further include a display control unit that displays a projection image on a display device.
また、上記本発明の３次元画像処理装置において、管状構造物は気管支とすることができる。 In the three-dimensional image processing apparatus of the present invention, the tubular structure can be a bronchus.
本発明の３次元画像処理方法は、被検体を撮影して得られた３次元画像を取得し、３次元画像に含まれる管状構造物のグラフ構造を生成し、グラフ構造上の各点における管状構造物の輪郭情報を取得し、管状構造物内における視点情報を取得し、視点情報とグラフ構造とに基づいて、グラフ構造上の各点の中から投影点を特定し、投影点の輪郭情報を２次元平面上に投影した投影画像を生成する。 The three-dimensional image processing method of the present invention acquires a three-dimensional image obtained by imaging a subject, generates a graph structure of a tubular structure included in the three-dimensional image, and tubulars at each point on the graph structure. Acquires contour information of the structure, acquires viewpoint information in the tubular structure, specifies a projection point from each point on the graph structure based on the viewpoint information and the graph structure, and contour information of the projection point Is projected onto a two-dimensional plane.
本発明の３次元画像処理プログラムは、コンピュータを、被検体を撮影して得られた３次元画像を取得する３次元画像取得部と、３次元画像に含まれる管状構造物のグラフ構造を生成するグラフ構造生成部と、グラフ構造上の各点における管状構造物の輪郭情報を取得する輪郭情報取得部と、管状構造物内における視点情報を取得する視点情報取得部と、視点情報とグラフ構造とに基づいて、グラフ構造上の各点の中から投影点を特定する投影点特定部と、投影点の輪郭情報を２次元平面上に投影した投影画像を生成する投影画像生成部として機能させる。 The three-dimensional image processing program of the present invention generates a graph structure of a three-dimensional image acquisition unit that acquires a three-dimensional image obtained by photographing a subject with a computer and a tubular structure included in the three-dimensional image. A graph structure generation unit, a contour information acquisition unit that acquires the contour information of the tubular structure at each point on the graph structure, a viewpoint information acquisition unit that acquires viewpoint information in the tubular structure, the viewpoint information and the graph structure, Based on the above, a projection point specifying unit that specifies a projection point from each point on the graph structure and a projection image generation unit that generates a projection image obtained by projecting the outline information of the projection point on a two-dimensional plane are caused to function.
本発明の他の３次元画像処理装置は、コンピュータに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサを備え、プロセッサが、被検体を撮影して得られた３次元画像を取得し、３次元画像に含まれる管状構造物のグラフ構造を生成する処理と、グラフ構造上の各点における管状構造物の輪郭情報を取得する処理と、管状構造物内における視点情報を取得する処理と、視点情報とグラフ構造とに基づいて、グラフ構造上の各点の中から投影点を特定する処理と、投影点の輪郭情報を２次元平面上に投影した投影画像を生成する処理とを実行するように構成されている。 Another three-dimensional image processing apparatus of the present invention includes a memory for storing instructions to be executed by a computer, and a processor configured to execute the stored instructions. The processor obtains an image of a subject. A process of acquiring the obtained three-dimensional image, generating a graph structure of the tubular structure included in the three-dimensional image, a process of acquiring contour information of the tubular structure at each point on the graph structure, and inside the tubular structure Processing for acquiring viewpoint information in, processing for specifying projection points from points on the graph structure based on the viewpoint information and the graph structure, and projection in which the contour information of the projection points is projected onto a two-dimensional plane And processing for generating an image.
本発明の３次元画像処理装置および方法並びプログラムによれば、被検体を撮影して得られた３次元画像を取得し、３次元画像に含まれる管状構造物のグラフ構造を生成し、グラフ構造上の各点における管状構造物の輪郭情報を取得する。そして、管状構造物内における視点情報を取得し、視点情報とグラフ構造とに基づいて、グラフ構造上の各点の中から投影点を特定し、投影点の輪郭情報を２次元平面上に投影した投影画像を生成する。 According to the three-dimensional image processing apparatus and method arrangement program of the present invention, a three-dimensional image obtained by imaging a subject is acquired, and a graph structure of a tubular structure included in the three-dimensional image is generated. The contour information of the tubular structure at each upper point is acquired. Then, the viewpoint information in the tubular structure is acquired, the projection point is identified from each point on the graph structure based on the viewpoint information and the graph structure, and the contour information of the projection point is projected on the two-dimensional plane. The projected image is generated.
したがって、内視鏡画像との位置合わせ処理が可能なように端的な特徴を残した投影画像を、高速な処理によって生成することができる。 Therefore, it is possible to generate a projection image that leaves a simple feature so that the alignment processing with the endoscopic image can be performed by high-speed processing.
以下、本発明の３次元画像処理装置および方法並びにプログラムの一実施形態を用いた内視鏡画像診断支援システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の内視鏡画像診断支援システムの概略構成を示すブロック図である。 Hereinafter, an endoscopic image diagnosis support system using an embodiment of a three-dimensional image processing apparatus and method and program of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram illustrating a schematic configuration of an endoscopic image diagnosis support system according to the present embodiment.
本実施形態の内視鏡画像診断支援システム１は、図１に示すように、３次元画像処理装置１０と、表示装置２０と、入力装置３０と、３次元画像保管サーバ４０とを備えている。 As shown in FIG. 1, the endoscopic image diagnosis support system 1 according to the present embodiment includes a three-dimensional image processing device 10, a display device 20, an input device 30, and a three-dimensional image storage server 40. .
３次元画像処理装置１０は、コンピュータに本実施形態の３次元画像処理プログラムをインストールすることによって構成されたものである。 The three-dimensional image processing apparatus 10 is configured by installing the three-dimensional image processing program of the present embodiment on a computer.
そして、３次元画像処理装置１０は、中央処理装置（ＣＰＵ）および半導体メモリや上述した３次元画像処理プログラムがインストールされたハードディスクやＳＳＤ(Solid State Drive)等のストレージデバイスなどを備えており、これらのハードウェアによって The three-dimensional image processing apparatus 10 includes a central processing unit (CPU), a semiconductor memory, a hard disk in which the above-described three-dimensional image processing program is installed, and a storage device such as an SSD (Solid State Drive). By hardware
、図１に示すような３次元画像取得部１１、グラフ構造生成部１２、輪郭情報取得部１３、視点情報取得部１４、投影点特定部１５、投影画像生成部１６、気管支３次元画像生成部１７および表示制御部１８が構成されている。そして、ハードディスクにインストールされた３次元画像処理プログラムが中央処理装置によって実行されることによって上記各部がそれぞれ動作する。 1, a three-dimensional image acquisition unit 11, a graph structure generation unit 12, a contour information acquisition unit 13, a viewpoint information acquisition unit 14, a projection point specification unit 15, a projection image generation unit 16, a bronchial three-dimensional image generation unit 17 and the display control part 18 are comprised. Then, each of the above units operates when the central processing unit executes a three-dimensional image processing program installed on the hard disk.
３次元画像取得部１１は、内視鏡装置を用いた手術前または検査前などに予め撮影された被検体の３次元画像を取得するものである。３次元画像としては、たとえばＣＴ装置およびＭＲＩ（Magnetic Resonance Imaging）装置などから出力されたスライスデータから再構成されたボリュームデータ、並びにＭＳ（Multi Slice）ＣＴ装置およびコーンビー The three-dimensional image acquisition unit 11 acquires a three-dimensional image of a subject that has been captured in advance before surgery or examination using the endoscope apparatus. Examples of the three-dimensional image include volume data reconstructed from slice data output from, for example, a CT apparatus and an MRI (Magnetic Resonance Imaging) apparatus, and an MS (Multi Slice) CT apparatus and a Cornbee.
ムＣＴ装置から出力されたボリュームデータなどがある。３次元画像は、３次元画像保管サーバ４０に被検体の識別情報と併せて予め保管されており、３次元画像取得部１１は、入力装置３０において入力された被検体の識別情報に対応する３次元画像を３次元画像保管サーバ４０から読み出すものである。 Volume data output from a computer CT device. The 3D image is stored in advance in the 3D image storage server 40 together with the identification information of the subject, and the 3D image acquisition unit 11 corresponds to the identification information of the subject input in the input device 30. A three-dimensional image is read from the three-dimensional image storage server 40.
グラフ構造生成部１２は、３次元画像取得部１１によって取得された３次元画像が入力され、その入力された３次元画像に含まれる管状構造物のグラフ構造を生成するものである。本実施形態においては、管状構造物のグラフ構造として気管支のグラフ構造を生成する。以下、このグラフ構造の生成方法の一例を説明する。 The graph structure generation unit 12 receives the 3D image acquired by the 3D image acquisition unit 11 and generates a graph structure of a tubular structure included in the input 3D image. In the present embodiment, a bronchial graph structure is generated as the graph structure of the tubular structure. Hereinafter, an example of a method for generating the graph structure will be described.
３次元画像に含まれる気管支は、気管支の内部の画素は空気領域に相当するためＣＴ画像上では低いＣＴ値（画素値）を示す領域として表れるが、気管支壁は比較的高いＣＴ値を示す円柱あるいは管状の構造物であると考えられる。そこで、画素毎にＣＴ値の分布に基づく形状の構造解析を行なって気管支を抽出する。 The bronchus included in the three-dimensional image appears as a region showing a low CT value (pixel value) on the CT image because the pixels inside the bronchi correspond to the air region, but the bronchial wall is a cylinder showing a relatively high CT value. Or it is thought that it is a tubular structure. Therefore, a bronchus is extracted by performing a structural analysis of the shape based on the distribution of CT values for each pixel.
気管支は多段階に分岐し末端に近づくほど気管支の径は小さくなっていく。異なるサイズの気管支を検出することができるように、三次元画像を多重解像度変換したガウシアンピラミッド画像、つまり異なる解像度の複数の三次元画像を予め生成し、その生成したガウシアンピラミッドの画像毎に検出アルゴリズムを走査することで異なるサイズの管状構造物を検出する。 The bronchus branches in multiple stages, and the diameter of the bronchus decreases as the end approaches. In order to detect bronchus of different sizes, a Gaussian pyramid image obtained by multi-resolution conversion of a three-dimensional image, that is, a plurality of three-dimensional images having different resolutions, is generated in advance, and a detection algorithm is generated for each generated Gaussian pyramid image Are detected to detect tubular structures of different sizes.
まず、各解像度の三次元画像の各画素のヘッセ行列を算出し、ヘッセ行列の固有値の大小関係から管状構造物内の画素であるかを判定する。ヘッセ行列は、各軸（三次元画像のｘ軸、ｙ軸、ｚ軸）方向における濃度値の２階の偏微分係数を要素とする行列であり、下式のように３×３行列となる。 First, the Hessian matrix of each pixel of the three-dimensional image of each resolution is calculated, and it is determined whether the pixel is in the tubular structure from the magnitude relationship of the eigenvalues of the Hessian matrix. The Hessian matrix is a matrix whose elements are second-order partial differential coefficients of density values in the directions of the respective axes (the x-axis, y-axis, and z-axis of the three-dimensional image), and is a 3 × 3 matrix as shown in the following equation. .
任意の画素におけるヘッセ行列の固有値をλ１、λ２、λ３としたとき、固有値のうち２つの固有値が大きく、１つの固有値が０に近い場合、例えば、λ３、λ２≫λ１、λ１≒０を満たすとき、その画素は管状構造物であることが知られている。また、ヘッセ行列の最小の固有値（λ１≒０）に対応する固有ベクトルが管状構造物の主軸方向に一致する。 When the eigenvalues of the Hessian matrix in an arbitrary pixel are λ1, λ2, and λ3, when two eigenvalues are large and one eigenvalue is close to 0, for example, when λ3, λ2 >> λ1, λ1≈0 is satisfied The pixel is known to be a tubular structure. In addition, the eigenvector corresponding to the minimum eigenvalue (λ1≈0) of the Hessian matrix coincides with the principal axis direction of the tubular structure.
気管支はグラフ構造で表すことができるが、このようにして抽出された管状構造物は、腫瘍などの影響により、全ての管状構造物が繋がった１つのグラフ構造として検出されるとは限らない。そこで、三次元画像全体の判別が終了後、検出された管状構造物が一定の距離内にあり、かつ抽出された二つの管状構造物上の任意の点を結ぶ基本線の向きと各管状構造物の主軸方向とが成す角が一定角度以内であるかについて評価することにより、複数の管状構造物が接続されるものであるか否かを判定して抽出された管状構造物の接続関係を再構築する。この再構築により、気管支のグラフ構造の抽出が完了する。 Although the bronchi can be represented by a graph structure, the tubular structure extracted in this way is not always detected as one graph structure in which all the tubular structures are connected due to the influence of a tumor or the like. Therefore, after the discrimination of the entire three-dimensional image is completed, the detected tubular structure is within a certain distance, and the direction of the basic line connecting any point on the two extracted tubular structures and each tubular structure By evaluating whether or not the angle formed by the principal axis direction of the object is within a certain angle, it is determined whether or not a plurality of tubular structures are connected, and the connection relationship of the extracted tubular structures is determined. Rebuild. This reconstruction completes the extraction of the bronchial graph structure.
そして、抽出したグラフ構造を、開始点、端点、分岐点および枝に分類し、開始点、端点および分岐点を枝で連結することによって、気管支を表すグラフ構造を得ることができる。本実施形態においては、このグラフ構造の各位置における気管支の径や各枝の長さ（気管支の分岐点間の長さ）などの特徴量もグラフ構造と併せて取得する。図２は、グラフ構造の一例を示すものである。図２では、Ｓｐが開始点であり、分岐点Ｂｐを白丸、端点Ｅｐを黒丸、枝Ｅを線で表している。 Then, the extracted graph structure is classified into a start point, an end point, a branch point, and a branch, and a graph structure representing a bronchus can be obtained by connecting the start point, the end point, and the branch point with branches. In the present embodiment, feature quantities such as the diameter of the bronchus and the length of each branch (the length between the branch points of the bronchi) at each position of the graph structure are also acquired together with the graph structure. FIG. 2 shows an example of the graph structure. In FIG. 2, Sp is the start point, the branch point Bp is represented by a white circle, the end point Ep is represented by a black circle, and the branch E is represented by a line.
なお、グラフ構造の生成方法としては、上述した方法に限らず、その他の公知な方法を用いることができる。 Note that the graph structure generation method is not limited to the above-described method, and other known methods can be used.
輪郭情報取得部１３は、グラフ構造上の各点における気管支の輪郭情報を取得するものである。本実施形態の輪郭情報取得部１３は、上述したように気管支のグラフ構造を生成する際に検出された管状構造物の輪郭情報を取得するものである。輪郭情報は、グラフ構造の各点について取得されるが、各点の間隔は、気管支の分岐点間よりも小さい間隔を任意に設定することができる。たとえば１ｍｍ〜２ｍｍ程度に設定することが好ましい。図３は、グラフ構造上の各点における気管支の輪郭情報の一例を示す図である。なお、図３では、気管支のグラフ構造も含まれている。 The contour information acquisition unit 13 acquires bronchus contour information at each point on the graph structure. The contour information acquisition unit 13 of the present embodiment acquires the contour information of the tubular structure detected when the bronchial graph structure is generated as described above. The contour information is acquired for each point of the graph structure, and the interval between the points can be arbitrarily set to be smaller than the interval between the bronchial bifurcation points. For example, it is preferable to set to about 1 mm to 2 mm. FIG. 3 is a diagram illustrating an example of bronchial outline information at each point on the graph structure. FIG. 3 also includes a bronchial graph structure.
視点情報取得部１４は、気管支内における視点情報を取得するものである。視点情報は、ユーザが入力装置３０を用いて任意に設定入力されるものであり、視点情報取得部１４は、入力装置３０において受け付けられた視点情報を取得するものである。視点情報の設定入力は、たとえば表示装置２０に表示された気管支の３次元画像上においてユーザがマウスなどの入力装置３０を用いて指定するようにすればよい。 The viewpoint information acquisition unit 14 acquires viewpoint information in the bronchi. The viewpoint information is arbitrarily set and input by the user using the input device 30, and the viewpoint information acquisition unit 14 acquires the viewpoint information received by the input device 30. The setting input of the viewpoint information may be specified by the user using the input device 30 such as a mouse on the bronchial three-dimensional image displayed on the display device 20, for example.
なお、本実施形態においては、視点情報をユーザが設定入力するようにしたが、これに限らず、予め設定された条件に基づいて、自動的に視点情報を設定するようにしてもよい。具体的には、たとえば気管支の基端部に視点情報を設定するようにしてもよいし、基端部から最初の分岐に視点情報を設定するようにしてもよい。 In the present embodiment, the user sets and inputs the viewpoint information. However, the present invention is not limited to this, and the viewpoint information may be automatically set based on preset conditions. Specifically, for example, the viewpoint information may be set at the proximal end of the bronchus, or the viewpoint information may be set at the first branch from the proximal end.
投影点特定部１５は、視点情報に基づいて、グラフ構造上の１つの点を起点として特定し、起点からグラフ構造をたどり、グラフ構造上の各点の中から投影点を特定するものである。以下、投影点特定部１５による投影点の特定について、図４に示すフローチャートおよび図５〜図１０を参照しながら説明する。 The projection point specifying unit 15 specifies one point on the graph structure as a starting point based on the viewpoint information, traces the graph structure from the starting point, and specifies a projection point from each point on the graph structure. . Hereinafter, the specification of the projection point by the projection point specifying unit 15 will be described with reference to the flowchart shown in FIG. 4 and FIGS.
投影点特定部１５は、まず、図５に示すように、ユーザによって設定入力された視点情報Ｓから最も近いグラフ構造上の点を起点Ｎｓとして特定する（Ｓ１０）。そして、起点Ｎｓから気管支の下流側（基端側とは反対側）に向けてグラフ構造をたどり、予め設定された範囲ＮＲ内に含まれる点を投影候補点として特定する（Ｓ１２）。範囲ＮＲとしては、たとえば起点Ｎｓからの予め設定された距離の範囲としたり、起点Ｎｓからグラフ構造をたどった際に、通過する分岐点が予め設定された数となる範囲とすることができる。 First, as shown in FIG. 5, the projection point specifying unit 15 specifies a point on the graph structure closest to the viewpoint information S set and input by the user as the starting point Ns (S10). Then, the graph structure is traced from the starting point Ns toward the downstream side of the bronchus (opposite to the base end side), and points included in the preset range NR are specified as projection candidate points (S12). As the range NR, for example, a range of a preset distance from the starting point Ns can be set, or a range in which the number of branch points that pass when the graph structure is traced from the starting point Ns is a preset number.
次に、投影点特定部１５は、予め設定された範囲ＮＲ内に含まれる複数の投影候補点の中から、予め設定された投影点条件に基づいて一部の投影点を特定する（Ｓ１４）。予め設定された条件としては、たとえば範囲ＮＲにおけるグラフ構造における各枝の中央の点、最初の点または最後の点を投影点として特定することができる。なお、最初の点および最後の点とは、グラフ構造を下流側にたどった際の各辺の最初の点および最後の点である。また、範囲ＮＲにおけるグラフ構造における各枝について、分岐点から予め設定された距離以上離れた最初の点を投影点として特定することができる。図４は、Ｓ１４において特定された投影点Ｎｐの一例を点線丸印で示している。 Next, the projection point specifying unit 15 specifies some projection points based on a preset projection point condition from among a plurality of projection candidate points included in a preset range NR (S14). . As the preset condition, for example, the center point, the first point, or the last point of each branch in the graph structure in the range NR can be specified as the projection point. The first point and the last point are the first point and the last point on each side when the graph structure is traced downstream. Further, for each branch in the graph structure in the range NR, the first point that is more than a preset distance from the branch point can be specified as the projection point. FIG. 4 shows an example of the projection point Np identified in S14 with a dotted circle.
次いで、投影点特定部１５は、Ｓ１４において特定された投影点が、予め設定された投影画像条件を満たすか否かを確認する（Ｓ１６）。図６は、範囲ＮＲ内のグラフ構造上の各点の輪郭情報の一例を示す図である。なお、図６においては、見やすくするために一部の点の輪郭情報を図示省略している。また、図６に示す０〜６の数値は、各枝に付加された枝番号であり、各輪郭情報の近傍に示す数値は、グラフ構造上の各点に付加されたノード番号である。ここでは、たとえば上述した起点Ｎｓが図６に示すノード８０にある場合の投影点の特定方法について説明する。 Next, the projection point specifying unit 15 checks whether or not the projection point specified in S14 satisfies a preset projection image condition (S16). FIG. 6 is a diagram illustrating an example of the contour information of each point on the graph structure within the range NR. In FIG. 6, the outline information of some points is omitted for the sake of clarity. Also, the numerical values 0 to 6 shown in FIG. 6 are branch numbers added to the respective branches, and the numerical values shown in the vicinity of the respective contour information are node numbers added to the respective points on the graph structure. Here, for example, a method for specifying a projection point when the above-described starting point Ns is at the node 80 shown in FIG. 6 will be described.
まず、Ｓ１４において特定された投影点が、図６に示すノード９８とノード９９である場合、この２つのノード点の輪郭情報を２次元平面上に投影して投影画像を生成すると図７に示すような投影画像となる。なお、上記２次元平面とは、被検体の体軸方向に直交する平面である。図７に示す投影画像では、２つの輪郭情報が重なり合ってしまっているので投影画像としてはあまり好ましくない。これはＳ１４によって特定された投影点が分岐点に対して近すぎるからである。 First, when the projection points specified in S14 are the node 98 and the node 99 shown in FIG. 6, the projection information is generated by projecting the outline information of these two node points on a two-dimensional plane as shown in FIG. It becomes such a projection image. The two-dimensional plane is a plane orthogonal to the body axis direction of the subject. In the projection image shown in FIG. 7, since two pieces of contour information overlap each other, it is not preferable as a projection image. This is because the projection point specified by S14 is too close to the branch point.
そこで、投影点特定部１５は、図７に示す投影画像のように２つの輪郭情報が重なり合う場合には、投影点を変更し、その変更後の投影点の輪郭情報を用いて、再び投影画像を生成し、その投影画像の輪郭情報が重なり合うか否かを確認する。具体的には、ノード９８とノード９９の投影点の少なくとも一方を分岐点から遠い投影点に変更し、変更後の投影点の輪郭情報を用いて、再び投影画像を生成する。たとえばノード９８の投影点をノード１０７の投影点に変更し、ノード９９の投影点をノード１１０の投影点に変更する。 Therefore, when two pieces of contour information overlap as in the projection image shown in FIG. 7, the projection point specifying unit 15 changes the projection point, and again uses the contour information of the projection point after the change to project the projection image again. Is generated, and it is confirmed whether or not the contour information of the projected image overlaps. Specifically, at least one of the projection points of the node 98 and the node 99 is changed to a projection point far from the branch point, and the projection image is generated again using the contour information of the projection point after the change. For example, the projection point of the node 98 is changed to the projection point of the node 107, and the projection point of the node 99 is changed to the projection point of the node 110.
すなわち、投影点特定部１５は、投影画像の輪郭情報が重なり合わないという投影画像条件を満たすか否かを確認し、投影画像条件を満たさない場合には（Ｓ１６，ＮＯ）、投影点を予め設定された条件に基づいて変更する（Ｓ１８）。そして、変更後の投影点の輪郭情報を用いて、再び投影画像を生成し、投影画像条件を満たすか否かを確認し、投影画像条件を満たすまで投影点の変更と投影画像の生成とを繰り返す。図８は、投影画像条件を満たすノード１２３とノード１１９の投影点の輪郭情報を用いて生成された投影画像を示す図である。 That is, the projection point specifying unit 15 checks whether or not the projection image condition that the contour information of the projection image does not overlap is satisfied. If the projection image condition is not satisfied (S16, NO), the projection point is set in advance. Changes are made based on the set conditions (S18). Then, using the contour information of the projection point after the change, a projection image is generated again, it is confirmed whether the projection image condition is satisfied, and the projection point is changed and the projection image is generated until the projection image condition is satisfied. repeat. FIG. 8 is a diagram illustrating a projection image generated using the contour information of the projection points of the node 123 and the node 119 that satisfy the projection image condition.
そして、図６に示す枝１の先に繋がる枝３および枝４と、枝２に繋がる枝５および枝６とについても、上記と同様に、投影画像の輪郭情報が重なり合わないという投影画像条件を満たすまで、投影点の変更と投影画像の生成とを繰り返す。その結果、図９に示すような投影画像が生成されたとすると、親の枝である枝１のノード１２３からはみ出した枝４のノード２８９および枝３のノード２９６と、親の枝である枝２のノード１１９の輪郭情報からはみ出した枝６のノード２１４の輪郭情報とについては、起点であるノード８０から実際に気管支内を撮影した内視鏡画像上では見えない輪郭情報であるので削除することが好ましい。 As in the case described above, the projection image condition that the contour information of the projection image does not overlap for the branch 3 and the branch 4 connected to the tip of the branch 1 and the branch 5 and the branch 6 connected to the branch 2 shown in FIG. Until the condition is satisfied, the projection point change and the generation of the projection image are repeated. As a result, if a projection image as shown in FIG. 9 is generated, the node 289 of the branch 4 and the node 296 of the branch 3 that protrude from the node 123 of the branch 1 that is the parent branch, and the branch 2 that is the parent branch The outline information of the node 214 of the branch 6 that protrudes from the outline information of the node 119 is deleted because it is outline information that cannot be seen on the endoscopic image obtained by actually imaging the inside of the bronchus from the node 80 that is the starting point. Is preferred.
したがって、投影点特定部１５は、子の枝については、親の枝のノードの輪郭情報内に子の枝の輪郭情報が包含されるという投影画像条件を満たす投影点を特定する。なお、子の枝についての投影画像条件としては、これに限らず、たとえば親の枝のノードの輪郭情報内に子の枝の輪郭情報が包含されていない場合でも、親の枝のノードの輪郭情報と子の枝の輪郭情報との距離が予め設定された閾値以内である場合には、削除することなく、最終的な投影点として残すようにしてもよい。具体的には、図９に示す枝６のノード２１４の輪郭情報については、枝２のノード１１９の輪郭情報に近いので残すようにしてもよい。また、子の枝のノードの輪郭情報が、親の枝のノードの輪郭情報内に包含されていたとしても、その輪郭情報の形状が、図９に示すノード２８９の輪郭情報のように、長径に対する短径の比率が予め設定された閾値以下の楕円である場合、または子の枝のノードの輪郭情報が投影できない場合もしくは親の枝のノードの輪郭情報の大きさに対する子の枝のノードの輪郭情報の大きさの比率が閾値以下であって、子の枝のノードの輪郭情報が小さすぎる場合には、その輪郭情報を削除するようにしてもよい。 Therefore, the projection point specifying unit 15 specifies, for the child branch, a projection point that satisfies the projection image condition that the contour information of the child branch is included in the contour information of the parent branch node. The projection image condition for the child branch is not limited to this. For example, even when the contour information of the child branch is not included in the contour information of the parent branch node, the contour of the parent branch node is included. When the distance between the information and the contour information of the child branch is within a preset threshold value, the final projection point may be left without being deleted. Specifically, the contour information of the node 214 of the branch 6 shown in FIG. 9 may be left because it is close to the contour information of the node 119 of the branch 2. Further, even if the contour information of the child branch node is included in the contour information of the parent branch node, the shape of the contour information is the major axis as in the contour information of the node 289 shown in FIG. If the ratio of the minor axis to the ellipse is equal to or less than a preset threshold, or if the contour information of the child branch node cannot be projected, or the size of the contour information of the parent branch node, When the ratio of the size of the contour information is equal to or less than the threshold value and the contour information of the child branch node is too small, the contour information may be deleted.
上述したようにして投影画像条件を満たすように投影点の変更および削除を繰り返して行って最終的な投影点を特定する（Ｓ２０）。図１０は、最終的に特定された投影点の輪郭情報を用いて生成された投影画像を示す図である。 As described above, the final projection point is specified by repeatedly changing and deleting the projection point so as to satisfy the projection image condition (S20). FIG. 10 is a diagram showing a projection image generated using the contour information of the finally identified projection point.
なお、上述した投影画像条件を満たしているか否かの確認については、投影点の輪郭情報の形状情報を用いるようにすればよい。具体的には、形状情報として、輪郭情報の径（半径、直径、短径および長径など）および中心間の距離などを用いるようにすればよい。 In addition, what is necessary is just to use the shape information of the outline information of a projection point about confirmation whether the projection image conditions mentioned above are satisfy | filled. Specifically, the diameter of the contour information (radius, diameter, minor axis, major axis, etc.), the distance between the centers, and the like may be used as the shape information.
また、上記説明では、仮に特定した投影点の輪郭情報を用いて投影画像を一旦生成し、その投影画像が、投影画像条件を満たすか否かを確認することによって最終的な投影点を特定するようにしたが、必ずしも投影画像を生成しなくてもよく、仮の特定した投影点の３次元座標空間上における位置関係とその投影点の輪郭情報の大きさとに基づいて、投影画像条件を満たすか否かを確認するようにしてもよい。 Further, in the above description, a projection image is once generated using the contour information of the projection point that has been specified, and the final projection point is specified by confirming whether or not the projection image satisfies the projection image condition. However, the projection image does not necessarily have to be generated, and the projection image condition is satisfied based on the positional relationship of the temporarily specified projection point in the three-dimensional coordinate space and the size of the outline information of the projection point. It may be confirmed whether or not.
また、上記説明では、仮に特定した投影点の輪郭情報が投影画像条件を満たすか否かを確認することによって最終的な投影点を特定するようにしたが、投影画像条件については必ずしも確認しなくてもよく、Ｓ１４において投影点条件に基づいて特定された投影点を最終的な投影点とし、その輪郭情報を用いて投影画像を生成するようにしてもよい。 In the above description, the final projection point is specified by checking whether or not the contour information of the specified projection point satisfies the projection image condition. However, the projection image condition is not necessarily checked. Alternatively, the projection point specified based on the projection point condition in S14 may be a final projection point, and the projection image may be generated using the contour information.
図１に戻り、気管支３次元画像生成部１７は、３次元画像取得部１１において取得された３次元画像に対してボリュームレンダリング処理を施すことによって、気管支の形態を表す気管支３次元画像を生成し、この気管支３次元画像を表示制御部１８に出力するものである。 Returning to FIG. 1, the bronchial 3D image generation unit 17 generates a bronchial 3D image representing the form of the bronchi by performing volume rendering processing on the 3D image acquired by the 3D image acquisition unit 11. The bronchial three-dimensional image is output to the display control unit 18.
表示制御部１８は、投影画像生成部１６によって生成された投影画像および気管支３次元画像生成部１７によって生成された気管支３次元画像を表示装置２０に表示させるものである。 The display control unit 18 causes the display device 20 to display the projection image generated by the projection image generation unit 16 and the bronchial three-dimensional image generated by the bronchial three-dimensional image generation unit 17.
表示装置２０は、たとえば液晶ディスプレイなどを備えたものである。また、表示装置２０をタッチパネルによって構成し、入力装置４３と兼用するようにしてもよい。 The display device 20 includes, for example, a liquid crystal display. Further, the display device 20 may be configured by a touch panel and may also be used as the input device 43.
入力装置３０は、マウスやキーボードなどを備えたものであり、ユーザによる種々の設定入力を受け付けるものである。 The input device 30 includes a mouse, a keyboard, and the like, and accepts various setting inputs by the user.
上記実施形態の内視鏡画像診断支援システムによれば、被検体を撮影して得られた３次元画像を取得し、３次元画像に含まれる管状構造物のグラフ構造を生成し、グラフ構造上の各点における管状構造物の輪郭情報を取得する。そして、管状構造物内における視点情報を取得し、視点情報に基づいて、グラフ構造上の１つの点を起点として特定し、起点からグラフ構造をたどり、グラフ構造上の各点の中から投影点を特定し、投影点の輪郭情報を２次元平面上に投影した投影画像を生成する。 According to the endoscopic image diagnosis support system of the above embodiment, a three-dimensional image obtained by imaging a subject is acquired, a graph structure of a tubular structure included in the three-dimensional image is generated, and the graph structure The contour information of the tubular structure at each point is acquired. Then, the viewpoint information in the tubular structure is acquired, and based on the viewpoint information, one point on the graph structure is specified as the starting point, the graph structure is traced from the starting point, and the projected point is selected from each point on the graph structure. And the projection image in which the contour information of the projection point is projected onto the two-dimensional plane is generated.
したがって、内視鏡画像との位置合わせ処理が可能なように端的な特徴を残した投影画像を、高速な処理によって生成することができる。 Therefore, it is possible to generate a projection image that leaves a simple feature so that the alignment processing with the endoscopic image can be performed by high-speed processing.
また、上記実施形態においては、投影画像生成部１６が、投影点が属する枝の情報を取得し、その枝の情報を投影画像に付加することによって、投影画像上に枝の情報を表示させるようにしてもよい。図１１は、投影画像に対して枝の情報として「Ａ」〜「Ｄ」を付加して表示させた例を示す図である。 In the above-described embodiment, the projection image generation unit 16 acquires information on the branch to which the projection point belongs, and adds the information on the branch to the projection image, thereby displaying the branch information on the projection image. It may be. FIG. 11 is a diagram illustrating an example in which “A” to “D” are added to the projected image as branch information and displayed.
また、上記実施形態において、さらに内視鏡装置５０によって実際に気管支内を撮影した２次元画像の内視鏡画像を取得し、その内視鏡画像と投影画像との関係に基づいて、内視鏡画像の視点情報（内視鏡の先端位置に相当する）を推定するようにしてもよい。すなわち、図１２に示すように、視点情報推定部２１を設けるようにしてもよい。視点情報推定部２１は、具体的には、投影画像生成部１６によって生成された投影画像Ａと、内視鏡装置５０から出力された内視鏡画像Ｂとの間で位置合わせ処理を行う。位置合わせ処理としては、たとえば剛体レジストレーションまたは非剛体レジストレーションを用いることができる。 In the above embodiment, an endoscopic image of a two-dimensional image obtained by actually imaging the inside of the bronchus is further acquired by the endoscopic device 50, and the endoscopic image is obtained based on the relationship between the endoscopic image and the projected image. You may make it estimate the viewpoint information (equivalent to the front-end | tip position of an endoscope) of a mirror image. That is, as shown in FIG. 12, a viewpoint information estimation unit 21 may be provided. Specifically, the viewpoint information estimation unit 21 performs alignment processing between the projection image A generated by the projection image generation unit 16 and the endoscope image B output from the endoscope apparatus 50. As the alignment processing, for example, rigid registration or non-rigid registration can be used.
そして、視点情報推定部２１は、図１３に示すように、位置合わせ処理によって得られた投影画像Ａと内視鏡画像Ｂとのずれ量と、投影画像Ａの視点情報とに基づいて、内視鏡画像Ｂの視点情報ｂを推定する。なお、位置合わせ処理の対象の投影画像Ａは、たとえばグラフ構造の分岐点毎に生成されており、その複数の投影画像Ａのうち、ずれ量が最も小さい投影画像Ａとその視点情報とに基づいて、内視鏡画像の視点情報ｂが推定されるものとする。内視鏡画像Ｂの視点情報ｂの推定方法としては、たとえば投影画像Ａに含まれる輪郭情報の大きさと内視鏡画像Ｂに含まれる気管支の穴の大きさだけが異なる場合には、その大きさの拡縮率と投影画像Ａの視点情報ａと投影面との距離に基づいて、視点情報ａを投影面に対して移動させることによって視点情報ｂを推定することができる。なお、視点情報ｂの推定方法としては、このような方法に限らず、幾何学的な関係に基づく種々の推定方法を用いることができる。 Then, as shown in FIG. 13, the viewpoint information estimation unit 21 determines the internal information based on the deviation amount between the projection image A and the endoscope image B obtained by the alignment process and the viewpoint information of the projection image A. The viewpoint information b of the endoscopic image B is estimated. Note that the projection image A to be subjected to the alignment process is generated, for example, for each branch point of the graph structure, and based on the projection image A having the smallest deviation amount and the viewpoint information among the plurality of projection images A. Assume that the viewpoint information b of the endoscopic image is estimated. As an estimation method of the viewpoint information b of the endoscopic image B, for example, when only the size of the contour information included in the projection image A and the size of the bronchial hole included in the endoscopic image B are different, The viewpoint information b can be estimated by moving the viewpoint information a with respect to the projection plane based on the scaling ratio and the distance between the viewpoint information a of the projection image A and the projection plane. Note that the viewpoint information b estimation method is not limited to such a method, and various estimation methods based on a geometric relationship can be used.
視点情報推定部２１によって推定された視点情報ｂは、たとえばその３次元座標を表示装置２０に表示させるようにしてもよいし、表示装置２０に表示された気管支３次元画像上に表示させるようにしてもよい。 The viewpoint information b estimated by the viewpoint information estimation unit 21 may be displayed, for example, on the display device 20 with its three-dimensional coordinates or displayed on the bronchial three-dimensional image displayed on the display device 20. May be.
また、投影画像に含まれる輪郭情報とその輪郭情報に付加された枝の情報に基づいて、内視鏡装置５０から出力された内視鏡画像に含まれる穴に対して、枝の情報を付加するようにしてもよい。すなわち、図１２に示すように、輪郭情報推定部２２を設けるようにしてもよい。輪郭情報推定部２２は、具体的には、投影画像生成部１６によって生成された投影画像Ａと、内視鏡装置５０から出力された内視鏡画像Ｂとの間で位置合わせ処理を行う。位置合わせ処理としては、たとえば剛体レジストレーションまたは非剛体レジストレーションを用いることができる。そして、輪郭情報推定部２２は、位置合わせ処理を行うことによって、図１４に示すように、投影画像Ａに含まれる輪郭情報に対応する内視鏡画像Ｂに含まれる穴（輪郭情報）を推定する。そして、輪郭情報推定部２２は、投影画像Ａの各輪郭情報に付加された枝の情報「Ａ」〜「Ｄ」を内視鏡画像に含まれる対応する穴に付加する。内視鏡画像の各穴に付加された枝の情報は、たとえば内視鏡画像と併せて表示装置２０に表示される。 Further, branch information is added to the hole included in the endoscopic image output from the endoscope apparatus 50 based on the contour information included in the projection image and the branch information added to the contour information. You may make it do. That is, as shown in FIG. 12, an outline information estimation unit 22 may be provided. Specifically, the contour information estimation unit 22 performs alignment processing between the projection image A generated by the projection image generation unit 16 and the endoscope image B output from the endoscope apparatus 50. As the alignment processing, for example, rigid registration or non-rigid registration can be used. Then, the contour information estimation unit 22 estimates a hole (contour information) included in the endoscopic image B corresponding to the contour information included in the projection image A, as shown in FIG. To do. Then, the contour information estimation unit 22 adds the branch information “A” to “D” added to each contour information of the projection image A to the corresponding holes included in the endoscopic image. Information on the branches added to each hole of the endoscopic image is displayed on the display device 20 together with the endoscopic image, for example.
また、上記説明では、視点情報推定部２１および輪郭情報推定部２２において、位置合わせ処理を行う際、内視鏡装置５０から出力された内視鏡画像そのものを用いるようにしたが、これに限らず、図１５に示すように、内視鏡画像から穴の輪郭を抽出した輪郭画像を用いるようにしてもよい。輪郭画像の生成方法としては、たとえば輝度が閾値以下の画素が円状に分布している領域を内視鏡画像から検出し、その領域の輪郭を穴の輪郭として抽出して輪郭画像を生成するようにすればよい。 Further, in the above description, when the alignment processing is performed in the viewpoint information estimation unit 21 and the contour information estimation unit 22, the endoscope image itself output from the endoscope apparatus 50 is used. Instead, as shown in FIG. 15, a contour image obtained by extracting the contour of the hole from the endoscopic image may be used. As a method for generating a contour image, for example, a region where pixels having a luminance equal to or lower than a threshold value are distributed in a circle is detected from an endoscopic image, and the contour of the region is extracted as a contour of a hole to generate a contour image. What should I do?
１ 内視鏡画像診断支援システム
１０ ３次元画像処理装置
１１ ３次元画像取得部
１２ グラフ構造生成部
１３ 輪郭情報取得部
１４ 視点情報取得部
１５ 投影点特定部
１６ 投影画像生成部
１７ 気管支３次元画像生成部
１８ 表示制御部
２０ 表示装置
２１ 視点情報推定部
２２ 輪郭情報推定部
３０ 入力装置
４０ ３次元画像保管サーバ
４３ 入力装置
５０ 内視鏡装置
Ｂｐ 分岐点
Ｅ 枝
Ｅｐ 端点
Ｎｐ 投影点
ＮＲ 予め設定された範囲
Ｎｓ 起点
Ｓ 視点情報
DESCRIPTION OF SYMBOLS 1 Endoscopic image diagnosis support system 10 3D image processing apparatus 11 3D image acquisition part 12 Graph structure generation part 13 Outline information acquisition part 14 Viewpoint information acquisition part 15 Projection point specification part 16 Projection image generation part 17 Bronchial 3D image Generation unit 18 Display control unit 20 Display device 21 Viewpoint information estimation unit 22 Contour information estimation unit 30 Input device 40 3D image storage server 43 Input device 50 Endoscope Bp Branch point E Branch Ep End point Np Projection point NR Preset Range Ns origin S viewpoint information
Claims (12)
前記３次元画像に含まれる管状構造物のグラフ構造を生成するグラフ構造生成部と、
前記グラフ構造上の各点における前記管状構造物の輪郭情報を取得する輪郭情報取得部と、
前記管状構造物内における視点情報を取得する視点情報取得部と、
前記視点情報と前記グラフ構造とに基づいて、前記グラフ構造上の各点の中から投影点を特定する投影点特定部と、
前記投影点の前記輪郭情報を２次元平面上に投影した投影画像を生成する投影画像生成部とを備えた３次元画像処理装置。 A three-dimensional image acquisition unit that acquires a three-dimensional image obtained by imaging a subject;
A graph structure generation unit for generating a graph structure of the tubular structure included in the three-dimensional image;
An outline information acquisition unit for acquiring outline information of the tubular structure at each point on the graph structure;
A viewpoint information acquisition unit for acquiring viewpoint information in the tubular structure;
Based on the viewpoint information and the graph structure, a projection point specifying unit that specifies a projection point from among the points on the graph structure;
A three-dimensional image processing apparatus comprising: a projection image generation unit configured to generate a projection image obtained by projecting the contour information of the projection point onto a two-dimensional plane.
前記３次元画像に含まれる管状構造物のグラフ構造を生成し、
前記グラフ構造上の各点における前記管状構造物の輪郭情報を取得し、
前記管状構造物内における視点情報を取得し、
前記視点情報と前記グラフ構造とに基づいて、前記グラフ構造上の各点の中から投影点を特定し、
前記投影点の前記輪郭情報を２次元平面上に投影した投影画像を生成する３次元画像処理方法。 Acquire a three-dimensional image obtained by imaging the subject,
Generating a graph structure of the tubular structure included in the three-dimensional image;
Obtaining contour information of the tubular structure at each point on the graph structure;
Obtaining viewpoint information in the tubular structure;
Based on the viewpoint information and the graph structure, a projection point is identified from each point on the graph structure,
A three-dimensional image processing method for generating a projection image obtained by projecting the contour information of the projection point onto a two-dimensional plane.
被検体を撮影して得られた３次元画像を取得する３次元画像取得部と、
前記３次元画像に含まれる管状構造物のグラフ構造を生成するグラフ構造生成部と、
前記グラフ構造上の各点における前記管状構造物の輪郭情報を取得する輪郭情報取得部と、
前記管状構造物内における視点情報を取得する視点情報取得部と、
前記視点情報と前記グラフ構造とに基づいて、前記グラフ構造上の各点の中から投影点を特定する投影点特定部と、
前記投影点の前記輪郭情報を２次元平面上に投影した投影画像を生成する投影画像生成部として機能させる３次元画像処理プログラム。 Computer
A three-dimensional image acquisition unit that acquires a three-dimensional image obtained by imaging a subject;
A graph structure generation unit for generating a graph structure of the tubular structure included in the three-dimensional image;
An outline information acquisition unit for acquiring outline information of the tubular structure at each point on the graph structure;
A viewpoint information acquisition unit for acquiring viewpoint information in the tubular structure;
Based on the viewpoint information and the graph structure, a projection point specifying unit that specifies a projection point from among the points on the graph structure;
A three-dimensional image processing program that functions as a projection image generation unit that generates a projection image obtained by projecting the contour information of the projection point onto a two-dimensional plane.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/906,235 US10475235B2 (en) | 2017-03-29 | 2018-02-27 | Three-dimensional image processing apparatus, three-dimensional image processing method, and three-dimensional image processing program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017065096 | 2017-03-29 | ||
| JP2017065096 | 2017-03-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018167018A true JP2018167018A (en) | 2018-11-01 |
| JP6847011B2 JP6847011B2 (en) | 2021-03-24 |
Family
ID=64018129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017182196A Active JP6847011B2 (en) | 2017-03-29 | 2017-09-22 | 3D image processing equipment and methods and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6847011B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009056238A (en) * | 2007-09-03 | 2009-03-19 | Olympus Medical Systems Corp | Endoscope apparatus |
| JP2009279251A (en) * | 2008-05-23 | 2009-12-03 | Olympus Medical Systems Corp | Medical apparatus |
| JP2013188440A (en) * | 2012-03-15 | 2013-09-26 | Fujifilm Corp | Device, method and program for medical image diagnosis support |
| JP2013192741A (en) * | 2012-03-21 | 2013-09-30 | Fujifilm Corp | Medical image diagnosis support device and method and program |
| JP2016039874A (en) * | 2014-08-13 | 2016-03-24 | 富士フイルム株式会社 | Endoscopic image diagnosis support device, system, method, and program |
-
2017
- 2017-09-22 JP JP2017182196A patent/JP6847011B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009056238A (en) * | 2007-09-03 | 2009-03-19 | Olympus Medical Systems Corp | Endoscope apparatus |
| JP2009279251A (en) * | 2008-05-23 | 2009-12-03 | Olympus Medical Systems Corp | Medical apparatus |
| JP2013188440A (en) * | 2012-03-15 | 2013-09-26 | Fujifilm Corp | Device, method and program for medical image diagnosis support |
| JP2013192741A (en) * | 2012-03-21 | 2013-09-30 | Fujifilm Corp | Medical image diagnosis support device and method and program |
| JP2016039874A (en) * | 2014-08-13 | 2016-03-24 | 富士フイルム株式会社 | Endoscopic image diagnosis support device, system, method, and program |
Non-Patent Citations (1)
| Title |
|---|
| 鳥脇 純一郎 他１名: ""バーチャル気管支鏡"", 肺癌の臨床, vol. 第３巻・第４号, JPN6020038223, November 2000 (2000-11-01), pages 115 - 467, ISSN: 0004362271 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6847011B2 (en) | 2021-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10475235B2 (en) | Three-dimensional image processing apparatus, three-dimensional image processing method, and three-dimensional image processing program | |
| JP5785120B2 (en) | Medical image diagnosis support apparatus and method, and program | |
| US9563978B2 (en) | Image generation apparatus, method, and medium with image generation program recorded thereon | |
| CN107111875B (en) | Feedback for multi-modal auto-registration | |
| JP5826082B2 (en) | Medical image diagnosis support apparatus and method, and program | |
| JP5777070B2 (en) | Region extraction apparatus, region extraction method, and region extraction program | |
| US8411914B1 (en) | Systems and methods for spatio-temporal analysis | |
| JP2011212156A (en) | Projection image generation device, projection image generation program, and projection image generation method | |
| CN109035141B (en) | Rib deployment device and method | |
| CN108320314B (en) | Image processing method and device based on CT transverse image and display system | |
| US10970875B2 (en) | Examination support device, examination support method, and examination support program | |
| JP6201255B2 (en) | Medical image processing system and medical image processing program | |
| JP6293619B2 (en) | Image processing method, apparatus, and program | |
| US10290099B2 (en) | Image processing device and image processing method | |
| JP5835881B2 (en) | Medical image processing apparatus and medical image processing program | |
| JP6820805B2 (en) | Image alignment device, its operation method and program | |
| JP2018077667A (en) | Image processing apparatus, image processing method, image processing system and program | |
| US9585569B2 (en) | Virtual endoscopic projection image generating device, method and program | |
| WO2015111308A1 (en) | Three-dimensional medical image display control device, operation method thereof, and three-dimensional medical image display control program | |
| JP6847011B2 (en) | 3D image processing equipment and methods and programs | |
| JP5701208B2 (en) | Medical image display device and medical image display method | |
| US11003946B2 (en) | Examination support device, examination support method, and examination support program | |
| JP2015023997A (en) | Diagnosis support apparatus and diagnosis support method, and diagnosis support program | |
| JP2017023834A (en) | Picture processing apparatus, imaging system, and picture processing method | |
| CN114972228A (en) | Imaging and processing method and system for target organ in endoscopic surgery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200428 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200616 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201013 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201217 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20201217 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20201225 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210209 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210302 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6847011 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |