WO2005111944A1

WO2005111944A1 - Data display method, data display, data display program, and computer-readable recording medium where the program is recorded

Info

Publication number: WO2005111944A1
Application number: PCT/JP2005/009145
Authority: WO
Inventors: Shinobu Mizuta
Original assignee: Kyoto University
Priority date: 2004-05-19
Filing date: 2005-05-19
Publication date: 2005-11-24
Also published as: JPWO2005111944A1

Abstract

The coupling/inclusion relation between isosurfaces is extracted in the form of a tree structure from multi-dimensional digital image data where each pixel has a scalar value, and the relation is displayed. A data display method comprises steps (S22, S23) of creating connection region sets from the multidimensional digital data by applying different pixel connection conditions to the foreground image region and the background image region, a step of creating an isosurface set by extracting the boundary as an isosurface of each connection region with the surrounding outside, and a step (S23) of creating a tree structure showing the coupling/inclusion relation between the isosurfaces which are the elements of the isosurface set. The method further comprises a step of expressing each element of the isosurface set for which a tree structure is shown by using two-dimensional figures and two-dimensionally displaying the tree structure by using a nested structure of two-dimensional figures. With this, a data displaying method and data display for extracting a contour tree describing the phase structure of isosurfaces from the multi-dimensional digital image data and displaying the contour tree consistently are provided.

Description

明細書 Specification

データ表示方法、データ表示装置、データ表示プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体 Data display method, data display device, data display program, and computer-readable recording medium recording the same

技術分野 Technical field

[0001] 本発明は、電子装置 (システム)に関し、多次元画像を取得し表示する装置にあって The present invention relates to an electronic device (system), and more particularly to an apparatus for acquiring and displaying a multidimensional image.

、得られた画像の構造を表現するための方法及び装置 (システム)に関する。 And a method and apparatus (system) for representing the structure of the obtained image.

背景技術 Background art

[0002] 近年、計算機性能の向上と画像化技術の発達に伴い、特に医学分野においてディジタル画像の利用機会は急速に増加してヽる。医用画像としては X線投影像等の 2 次元画像の他、 MRI (核磁気共鳴画像)等、断層像を積み重ねた 3次元画像、 3次元画像の時系列により構成される 4次元画像等、種々の次元の画像が用いられる。 [0002] In recent years, with the improvement of computer performance and the development of imaging technology, the use opportunity of digital images has been rapidly increasing, especially in the medical field. As medical images, in addition to two-dimensional images such as X-ray projection images, three-dimensional images obtained by stacking tomographic images such as MRI (nuclear magnetic resonance images), four-dimensional images composed of time series of three-dimensional images, etc. Images of various dimensions are used.

[0003] したがって、これらの画像から接続'包含等、観察対象間の位相関係を抽出し、利用者に提示する手法を確立することは重要である。特に、 3次元以上の多次元画像では、画像の直接的な観察力ゝら対象の位相構造を把握することは困難であり、手法の確立は、対象の理解に大きく寄与する。 [0003] Therefore, it is important to extract a phase relationship between observation objects, such as connection and inclusion, from these images and establish a method of presenting it to the user. In particular, it is difficult to grasp the topological structure of an object based on the direct observation power of the image in a multidimensional image of three or more dimensions, and establishment of a method greatly contributes to understanding of the object.

[0004] ここで、上記位相構造とは、スカラ値を場の値として持つ、濃淡画像等の多次元空間（多次元スカラ場）について、種々の場の値に対して得られる等値面間の接続 '包含関係の全体をいうものとする。 [0004] Here, the above-mentioned phase structure is an isosurface obtained for various field values in a multidimensional space (multidimensional scalar field) such as a grayscale image having a scalar value as a field value. The connection between 'the entire entailment relation is referred to.

[0005] 多次元スカラ場の位相構造は、物体内部の温度分布や応力分布、医療用 X線 CT [0005] The phase structure of a multidimensional scalar field is based on temperature distribution and stress distribution inside an object, medical X-ray CT

(Computerized Tomography)画像により撮影される人体の内部構造等を理解する上で、有力な手がかりとなる。例えば、現在では、既存の医療装置を用いて二次元、三次元、時間項を含む四次元等の様々な人体腹部のデータが生成されると共に、そのディジタル画像が二次元的に表示される。この場合に、人体腹部における腎臓、心臓、肝臓、胃、腸等の各臓器について、その部位に指標をつけ、その部位と一体を形成する部位を切り出して任意に表示できれば、例えば、各臓器の立体画像等を表示することができ、疾患部位を検出する場合における判断の質の向上に役立てることができる。 [0006] この種の従来技術として、例えば、等値面（Contour)の位相構造を、 Contour Tree と呼ばれる手法により木構造表現することが可能である。この Contour Treeと呼ばれる木構造表現において、該 Contour Treeの各節は、場の値の変化に伴い等値面が生成 '合併'分岐及び消失する点 (特異点)と、この特異点を通過する等値面とを表現し、各枝上の任意の 2点は、一方が他方を包含する等値面を表現している。なお、これを拡張し、特異点を通過しない等値面も節として Contour Treeを構成する場合もある。 (Computerized Tomography) This is a powerful clue for understanding the internal structure of the human body captured by images. For example, at present, data of various human abdominal parts such as two-dimensional, three-dimensional, and four-dimensional including a time term are generated using existing medical devices, and digital images thereof are displayed two-dimensionally. In this case, for each organ in the human abdomen, such as kidney, heart, liver, stomach, and intestine, if an index is assigned to the site and a region that forms an integral part with the site can be cut out and displayed arbitrarily, for example, This makes it possible to display a three-dimensional image or the like, which can be used to improve the quality of judgment in detecting a diseased part. As a conventional technique of this kind, for example, it is possible to represent a topological structure of an isosurface (Contour) in a tree structure by a method called Contour Tree. In this tree structure representation called the Contour Tree, each node of the Contour Tree defines a point (singular point) where the isosurface is generated and merged with the change of the field value. It represents a passing isosurface, and any two points on each branch represent an isosurface in which one encompasses the other. It should be noted that this may be extended to construct Contour Trees with nodes that do not pass through the singularity.

[0007] 例えば、図 16 (a)は 2次元空間の等値面 (ここでは等高線)集合を示し、図 16 (b) は対応する Contour Treeを示している。同図（a)において、 P、 Q、 Rl、 R2は等値面である。また、点 A〜点 Eは、等値面が位相変化を起こす特異点 (極大点、極小点、及び鞍点)である。さら〖こ、処理対象となるスカラ場全体を囲む閉曲面上の 1点を特殊な特異点として定義し、これを根 (root)と呼ぶ。 For example, FIG. 16A shows a set of isosurfaces (here, contour lines) in a two-dimensional space, and FIG. 16B shows a corresponding contour tree. In FIG. 6A, P, Q, Rl, and R2 are isosurfaces. Points A to E are singular points (maximum point, minimum point, and saddle point) at which the isosurface undergoes a phase change. Furthermore, one point on the closed surface surrounding the entire scalar field to be processed is defined as a special singularity, and this is called the root.

[0008] 上記 Contour Treeによる位相構造表現の基本的な概念は、例えば、文献 1 (Boyell 他 Hybrid techniques for real-time radar simulation (IEEE Proceedings Fall Joint Computer Conference 63, pp.36- 37, 1963))等に開示されている。また、多次元スカラ場における Contour Treeの具体的な構築手法は、文献 2 (Carr他著 " し omputing contour trees in all dimensions (Computational Geometry, Vol. 24, pp.73-94, 2003))等に開示されている。 [0008] The basic concept of the topological structure expression by the Contour Tree is described in, for example, Reference 1 (Boyell et al., Hybrid techniques for real-time radar simulation (IEEE Proceedings Fall Joint Computer Conference 63, pp.36-37, 1963)). Etc. A specific method for constructing a Contour Tree in a multidimensional scalar field is described in Reference 2 (Carr et al., Omputing contour trees in all dimensions (Computational Geometry, Vol. 24, pp. 73-94, 2003)). It has been disclosed.

[0009] ところで、ディジタル画像データにより多次元スカラ場を表現する場合、等値面が囲む領域における画素間の連結条件には、領域間で連結関係に矛盾が生じることを回避するために、前景と背景とで異なるものを用いる必要がある。なお、前景とは利用者が注目する対象物を含む画像中の領域をいう。また、背景とはそれ以外の領域をいう。 [0009] When a multidimensional scalar field is represented by digital image data, the connection conditions between pixels in the area surrounded by the iso-surface are to avoid inconsistency in the connection relationship between the areas. It is necessary to use different ones for the foreground and the background. Note that the foreground is an area in an image that includes an object of interest to the user. The background refers to other areas.

[0010] し力しながら、従来の Contour Tree構築手法では、多次元スカラ場が多面体 (例えば 4面体）のメッシュにより記述されていることを前提としており、多次元ディジタル画像における画素間の連結条件の、前景及び背景での差異を考慮して、な、と、う問題点を有している。 [0010] However, in the conventional Contour Tree construction method, it is assumed that the multidimensional scalar field is described by a mesh of a polyhedron (for example, tetrahedron). Considering the differences in the consolidation conditions between the foreground and the background, there is a problem that

[0011] また、多次元スカラ場力得られた Contour Treeについて、等値面の位相構造の表示は、木構造を直接二次元表示することにより実現される。この際、 Contour Treeの各部に該当する等値面は、二次元表示された木構造の特定部位を指定することにより選択表示可能である。このような従来の Contour Tree表示方法及び等値面の選択表示方法は、具体的には、例えば、文献 3 (Carr他著 "Path seeds and flexible isosurfaces using topology for exploratory visualization (Proceedings of ΙϋΕΕ TCVG Symposium on Visualization, pp.49- 59, 2003))等に開示されている。 [0011] In addition, for the obtained Contour Tree, a table of the topological structure of the isosurface is shown. The indication is realized by directly displaying the tree structure in two dimensions. At this time, the isosurface corresponding to each part of the Contour Tree can be selectively displayed by designating a specific part of the two-dimensionally displayed tree structure. Such a conventional Contour Tree display method and isosurface selection display method are specifically described in, for example, Reference 3 (Carr et al., "Path seeds and flexible isosurfaces using topology for exploratory visualization (Proceedings of ΙϋΕΕTCVG Symposium on). Visualization, pp.49-59, 2003)).

[0012] しかしながら、上記文献 3に示す従来の Contour Tree表示方法は、等値面の位相構造を理解するために木構造表現との対応関係を予め把握している必要があり、また、雑音等による微小領域の等値面と、観察対象となり得る大領域の等値面との間に表現上の差異が無、ことから、木構造表現の観察により等値面の位相構造を直感的に理解することが困難であるという問題点を有している。また、これに伴い、木構造表現された Contour Tree上で注目等値面を選択することが困難となるという問題点を有している。 [0012] However, the conventional Contour Tree display method disclosed in the above-mentioned reference 3 needs to know in advance the correspondence relationship with the tree structure representation in order to understand the phase structure of the iso-surface, Since there is no difference in the expression between the isosurface of a small area due to the above and the isosurface of a large area that can be observed, the topological structure of the isosurface can be intuitively observed by observing the tree structure representation. There is a problem that it is difficult to understand. In addition, there is a problem that it becomes difficult to select a target isosurface on the Contour Tree represented by a tree structure.

[0013] 本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、多次元ディジタル画像データから等値面の位相構造を記述する Contour Treeを抽出し、矛盾なく表示し得るデータ表示方法、データ表示装置、データ表示プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体を提供することにある。 The present invention has been made in view of the above-described conventional problems, and has as its object to extract a Contour Tree describing a topological structure of an isosurface from multidimensional digital image data and display the contour tree without contradiction. It is an object of the present invention to provide a data display method, a data display device, a data display program, and a computer-readable recording medium recording the same.

[0014] また、本発明は、従来の Contour Tree構築手法が考慮してヽな、ディジタル画像の前景'背景による画素間連結条件の差異を考慮し、等値面が囲む領域間の連結関係に矛盾を生じることなく木構造を求めることを目的とする。 [0014] The present invention also considers the difference in inter-pixel connection conditions due to the foreground and background of a digital image, which is considered by the conventional Contour Tree construction method, and considers the connection relationship between the regions surrounded by the iso-surface. The goal is to find a tree structure without inconsistency.

[0015] さらに、本発明は、 Contour Treeにより表現された等値面の位相構造を、等値面の囲む領域の大きさを反映し直感的に理解できる形式で表示することを目的とする。また、その表示を観察し、特定の部位を選択することにより、元画像の対応する等値面集合を表示し得ることを目的として!、る。 A further object of the present invention is to display the topological structure of the isosurface represented by the Contour Tree in a format intuitively reflecting the size of the area surrounding the isosurface. Also, by observing the display and selecting a specific part, the corresponding isosurface set of the original image can be displayed!

発明の開示 Disclosure of the invention

[0016] 本発明のデータ表示方法は、上記課題を解決するために、スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続'包含関係を木構造の形で抽出して表示するデータ表示方法にお!、て、上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求めるステップと、上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得るステップと、上記等値面集合について、要素となる等値面間の接続'包含関係を示す木構造を構築するステップと、を備えていることを特徴としている。 [0016] In order to solve the above-mentioned problem, the data display method of the present invention extracts connections' inclusive relations between iso-surfaces in the form of a tree structure from multidimensional digital image data having scalar values in pixels. In the data display method to display! Applying different inter-pixel connection conditions between the image region and the background image region to obtain each connected region set; and extracting, for each of the connected region sets, a boundary between the surrounding region and the outside as an isosurface. And a step of constructing a tree structure indicating the connection 'inclusive relation between the isosurfaces, which is an element, with respect to the isosurface set. .

[0017] また、本発明のデータ表示装置は、上記課題を解決するために、スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続'包含関係を木構造の形で抽出して表示するデータ表示装置にお!、て、上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求める手段と、上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得る手段と、上記等値面集合について、要素となる等値面間の接続'包含関係を示す木構造を構築する手段と、を備えて、ることを特徴として！/、る。 [0017] Further, in order to solve the above problem, the data display device of the present invention extracts, from multidimensional digital image data having a scalar value in a pixel, a connection 'inclusive relation between isosurfaces in the form of a tree structure. Means for obtaining respective connected region sets by applying different inter-pixel connection conditions between the foreground image region and the background image region from the multidimensional digital image data; For each connected region set, a means for obtaining an isosurface set by extracting the boundary with the outside surrounding it as an isosurface, Means for constructing a tree structure showing connections' inclusion relations! /

[0018] また、本発明のデータ表示方法は、上記課題を解決するために、スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続'包含関係を木構造の形で抽出して表示するデータ表示方法にお!、て、上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求めるステップと、上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得るステップと、上記等値面集合から要素となる複数の等値面を選択するステップと、上記選択された複数等値面の間の接続 ·包含関係を上記木構造力抽出するステップと、を備えていることを特徴としている。 Further, in order to solve the above-mentioned problem, the data display method of the present invention extracts, from multidimensional digital image data having a scalar value in a pixel, a connection ′ inclusive relation between isosurfaces in the form of a tree structure. Obtaining a set of connected regions from the multidimensional digital image data by applying different inter-pixel connection conditions between the foreground image region and the background image region; and For each connected area set, a step of obtaining a set of isosurfaces by extracting a boundary between the surrounding area and the outside as an isosurface, and a step of selecting a plurality of isosurfaces that are elements from the set of isosurfaces And extracting the connection / inclusive relation between the selected plurality of iso-surfaces and the tree structure force.

[0019] また、本発明のデータ表示装置は、上記課題を解決するために、スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続'包含関係を木構造の形で抽出して表示するデータ表示装置にお!、て、上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求める手段と、上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得る手段と、上記等値面集合について、要素となる等値面間の接続 ·包含関係を示す木構造を構築する手段と、上記等値面集合から要素となる複数の等値面を選択する手段と、上記選択された複数等値面の間の接続'包含関係を上記木構造から抽出する手段と、を備えていることを特徴としている。 Further, in order to solve the above-mentioned problem, the data display device of the present invention extracts a connection ′ inclusive relation between iso-surfaces in a tree structure form from multidimensional digital image data having scalar values in pixels. Means for obtaining respective connected region sets by applying different inter-pixel connection conditions between the foreground image region and the background image region from the multidimensional digital image data; Means for obtaining a set of isosurfaces by extracting a boundary between the connected region set and the outside surrounding the set as an isosurface; Means for constructing a tree structure showing connections and inclusion relationships between isosurfaces as elements, means for selecting a plurality of isosurfaces as elements from the above set of isosurfaces, Means for extracting the connection 'inclusive relation between the value planes from the tree structure.

[0020] また、本発明のデータ表示方法は、上記課題を解決するために、スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続'包含関係を木構造の形で抽出して表示するデータ表示方法にお!、て、上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求めるステップと、上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得るステップと、上記等値面集合について、要素となる等値面間の接続'包含関係を示す木構造を構築するステップと、木構造表現された上記等値面集合の各要素を二次元図形で表現し、上記木構造を上記二次元図形の入れ子構造により二次元表示するステップと、を備えていることを特徴としている。 Further, in order to solve the above-mentioned problem, the data display method of the present invention extracts, from multidimensional digital image data having a scalar value in a pixel, a connection ′ inclusive relation between isosurfaces in the form of a tree structure. Obtaining a set of connected regions from the multidimensional digital image data by applying different inter-pixel connection conditions between the foreground image region and the background image region; and For each of the connected area sets, a step of obtaining a set of iso-surfaces by extracting a boundary between the surrounding area and the outside as an iso-surface, and, for the above-mentioned set of iso-surfaces, connecting between the iso-surfaces as elements. Steps for constructing a tree structure showing the relationship, and expressing each element of the isosurface set represented by the tree structure as a two-dimensional figure, and displaying the tree structure two-dimensionally using a nested structure of the two-dimensional figure Steps and Etei is characterized in Rukoto.

[0021] また、本発明のデータ表示装置は、上記課題を解決するために、スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続'包含関係を木構造の形で抽出して表示するデータ表示装置にお!、て、上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求める手段と、上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得る手段と、上記等値面集合について、要素となる等値面間の接続'包含関係を示す木構造を構築する手段と、木構造表現された上記等値面集合の各要素を二次元図形で表現し、上記木構造を上記二次元図形の入れ子構造により二次元表示する手段と、を備えていることを特徴としている。 Further, in order to solve the above-mentioned problems, the data display device of the present invention extracts connections ′ inclusive relations between isosurfaces in the form of a tree structure from multidimensional digital image data having scalar values in pixels. Means for obtaining respective connected region sets by applying different inter-pixel connection conditions between the foreground image region and the background image region from the multidimensional digital image data; For each connected region set, a means for obtaining an isosurface set by extracting the boundary with the outside surrounding it as an isosurface, Means for constructing a tree structure showing connection 'inclusion relations, and expressing each element of the isosurface set represented by the tree structure as a two-dimensional figure, and converting the tree structure into a two-dimensional structure by nesting the two-dimensional figure. Means for displaying. It is a symptom.

[0022] また、本発明のデータ表示方法は、上記課題を解決するために、スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続'包含関係を木構造の形で抽出して表示するデータ表示方法にお!、て、上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求めるステップと、上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得るステップと、上記等値面集合について、要素となる等値面間の接続'包含関係を示す木構造を構築するステップと、木構造表現された上記等値面集合の各要素を二次元図形で表現し、上記木構造を上記二次元図形の入れ子構造により二次元表示するステップと、上記二次元図形集合の一部を選択することにより、これと対応する上記等値面集合の一部を表示するステップと、を備えていることを特徴としている。 Further, in order to solve the above-mentioned problem, the data display method of the present invention extracts, in multi-dimensional digital image data having a scalar value in a pixel, a connection ′ inclusive relation between isosurfaces in the form of a tree structure. In the data display method, different connection conditions between pixels are applied to the foreground image area and the background image area from the multidimensional digital image data, and each connection area is displayed. A step of obtaining an area set; a step of obtaining an isosurface set by extracting a boundary between each of the connected area sets and the outside surrounding it as an isosurface; and an element of the isosurface set. Steps of constructing a tree structure showing the connection between the isosurfaces and the inclusion relation, and expressing each element of the isosurface set represented by the tree structure in a two-dimensional figure, and converting the tree structure to the two-dimensional figure And a step of selecting a part of the set of two-dimensional figures and displaying a part of the set of isosurfaces corresponding thereto by selecting a part of the set of two-dimensional figures. Features.

[0023] また、本発明のデータ表示装置は、上記課題を解決するために、スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続'包含関係を木構造の形で抽出して表示するデータ表示装置にお!、て、上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求める手段と、上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得る手段と、上記等値面集合について、要素となる等値面間の接続'包含関係を示す木構造を構築する手段と、木構造表現された上記等値面集合の各要素を二次元図形で表現し、上記木構造を上記二次元図形の入れ子構造により二次元表示する手段と、上記二次元図形集合の一部を選択することにより、これと対応する上記等値面集合の一部を表示する手段と、を備えて、ることを特徴として、る。 Further, in order to solve the above-mentioned problem, the data display device of the present invention extracts a connection ′ inclusive relation between isosurfaces in the form of a tree structure from multidimensional digital image data having scalar values in pixels. Means for obtaining respective connected region sets by applying different inter-pixel connection conditions between the foreground image region and the background image region from the multidimensional digital image data; For each connected region set, a means for obtaining an isosurface set by extracting the boundary with the outside surrounding it as an isosurface, Means for constructing a tree structure showing connection 'inclusion relations, and expressing each element of the isosurface set represented by the tree structure as a two-dimensional figure, and converting the tree structure into a two-dimensional structure by nesting the two-dimensional figure. Displaying means and the two-dimensional figure set By selecting part, provided with a means for displaying a portion of the corresponding said isosurface assemble this, as characterized Rukoto, Ru.

[0024] 上記の発明にお、て、まず、多次元ディジタル画像データを定義する。多次元ディジタル画像データは、多次元直交格子の格子点位置に配置された画素集合とする。 [0024] In the above invention, first, multidimensional digital image data is defined. The multidimensional digital image data is a set of pixels arranged at the lattice point positions of the multidimensional orthogonal lattice.

[0025] 次に、多次元ディジタル画像の等値面を定義する。ある値 Pに対し、 Pに対応する等値面は、画素値 pと値 Pとの間に、 p≥P 又は p≤ Pの関係がある画素連結領域の、外部領域との境界とする。前者の連結成分を Ri( P)、後者を Sj( P) (i, j = l, 2 , 3,…；)とする。 Next, an isosurface of the multidimensional digital image is defined. For a certain value P, the isosurface corresponding to P is the boundary between the pixel value p and the value P, where the pixel connection area has a relationship of p ≥ P or p ≤ P with the external area. . Let the former connected component be Ri (P) and the latter be Sj (P) (i, j = l, 2, 3, ...;).

[0026] ここで、 Ri( P)、 Sj( P)の一方は前景、他方は背景に属するものとする。前景及び背景について連結領域を求めるための画素間の連結条件は、領域の連結関係の矛盾を避けるため、異なったものとする。画像を構成する各画素値を Pとして連結領域 Ri( P)及び Sj( P)を求め、これらに対応する等値面の位相構造から Contour Treeを構築する。 Here, one of Ri (P) and Sj (P) belongs to the foreground, and the other belongs to the background. The connection conditions between pixels for obtaining a connected region for the foreground and the background are different to avoid inconsistency in the connection relationship between the regions. The connected regions Ri (P) and Sj (P) are obtained with each pixel value constituting the image as P, and a Contour Tree is constructed from the phase structure of the isosurface corresponding to these. Build.

[0027] また、等値面集合内に注目する等値面が複数存在し、それら等値面の接続'包含関係を求める場合には、上記等値面集合カゝら対象となる複数の等値面を選択し、 Further, when there are a plurality of isosurfaces of interest in a set of isosurfaces, and when a connection ′ inclusive relation of these isosurfaces is determined, a plurality of isosurfaces to be subjected to the above isosurface set mapping are obtained. Select the price plane,

Contour Treeに記述された等値面集合の位相構造カゝら接続'包含関係を抽出する。 The topological structure of the set of isosurfaces described in the Contour Tree is extracted.

[0028] Contour Treeの表示は、各等値面をその囲む領域の大きさに比例した面積の二次元図形 (例えば矩形）により表現し、等値面の位相構造を、対応する二次元図形の入れ子構造により表示することで実現する。 [0028] The contour tree is represented by a two-dimensional figure (for example, a rectangle) having an area proportional to the size of the area surrounding each isosurface, and the topological structure of the isosurface is represented by a corresponding two-dimensional figure. It is realized by displaying by the nested structure of.

[0029] 上記の表示を観察し、特定の二次元図形を選択することにより、元画像の対応する等値面を表示する。複数の二次元図形を選択することも可能とし、この場合は複数の対応する等値面集合を表示する。 By observing the above display and selecting a specific two-dimensional figure, a corresponding isosurface of the original image is displayed. It is also possible to select a plurality of two-dimensional figures, in which case a plurality of corresponding isosurface sets are displayed.

[0030] この結果、従来の Contour Tree構築手法が考慮して、な、ディジタル画像の前景 · 背景による画素間連結条件の差異を考慮し、等値面が囲む領域間の連結関係に矛盾を生じることなく木構造を求めることができる。また、得られた木構造を基に、複数等値面間の接続'包含関係を抽出することができる。 [0030] As a result, in consideration of the conventional Contour Tree construction method, the difference in the inter-pixel connection conditions depending on the foreground and background of the digital image is taken into consideration, and contradiction is found in the connection relation between the regions surrounded by the iso-surface. The tree structure can be determined without occurrence. Also, based on the obtained tree structure, it is possible to extract a connection 'inclusion relation between a plurality of isosurfaces.

[0031] さらに、本発明は、 Contour Treeにより表現された等値面の位相構造を、等値面の囲む領域の大きさを反映し直感的に理解できる形式で表示することができる。また、その表示を観察し、特定の部位を選択することにより、元画像の対応する等値面集合を表示することができる。 Further, according to the present invention, the topological structure of the isosurface represented by the Contour Tree can be displayed in a format intuitively understood by reflecting the size of the area surrounding the isosurface. Also, by observing the display and selecting a specific part, a corresponding set of isosurfaces of the original image can be displayed.

[0032] したがって、多次元ディジタル画像データ力等値面の位相構造を記述する [0032] Therefore, the phase structure of a multidimensional digital image data force isosurface is described.

Contour Treeを抽出し、矛盾なく表示し得るデータ表示方法及びデータ表示装置を提供することができる。 It is possible to provide a data display method and a data display device capable of extracting a Contour Tree and displaying it without contradiction.

[0033] なお、上記データ表示装置は、コンピュータによって実現してもよぐこの場合には、コンピュータを上記各手段として動作させることにより上記データ表示装置をコンビユータにて実現させるデータ表示装置の制御データ表示プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 [0033] Note that the data display device may be realized by a computer. In this case, the data display device is controlled by a computer so that the data display device is realized by a computer. The data display program and a computer-readable recording medium on which the data display program is recorded are also included in the scope of the present invention.

[0034] 本発明のさらに他の目的、特徴、および優れた点は、以下に示す記載によって十分わ力るであろう。また、本発明の利益は、添付図面を参照した次の説明で明白になるであろう。図面の簡単な説明 [0034] Still other objects, features, and advantages of the present invention will be made clear by the description below. Also, the advantages of the present invention will become apparent in the following description with reference to the accompanying drawings. Brief Description of Drawings

[図 1]本発明におけるデータ表示方法及びデータ表示装置の実施の一形態を示すものであり、多次元ディジタル画像データの等価面を表示する処理を示すフローチヤートである。 FIG. 1 shows an embodiment of a data display method and a data display device according to the present invention, and is a flowchart showing a process of displaying an equivalent surface of multidimensional digital image data.

[図 2]上記多次元ディジタル画像データの等価面における、前景と背景とを接続状態を示す説明図である。 FIG. 2 is an explanatory diagram showing a connection state between a foreground and a background on the equivalent surface of the multidimensional digital image data.

[図 3]図 1における Contour Treeを構築する処理を示すサブルーチンフローチャートである。 FIG. 3 is a subroutine flowchart showing a process of constructing a Contour Tree in FIG. 1.

[図 4]図 3における Join Treeを構築する処理を示すサブルーチンフローチャートである。 FIG. 4 is a subroutine flowchart showing processing for constructing a Join Tree in FIG. 3.

[05(a)]Join Treeの構築によって、画素と領域とを統合した状態を示す模式図である [05 (a)] A schematic diagram showing a state where pixels and regions are integrated by constructing a Join Tree.

[図 5(b)]Split Treeの構築によって、画素と領域とを統合した状態を示す模式図である [FIG. 5 (b)] A schematic diagram showing a state where pixels and regions are integrated by constructing a Split Tree.

[図 6]図 3における Split Treeを構築する処理を示すサブルーチンフローチャートである。 FIG. 6 is a subroutine flowchart showing processing for constructing a Split Tree in FIG. 3.

[図 7]図 3における Contour Treeを構築する処理を示すサブルーチンフローチャートである。 FIG. 7 is a subroutine flowchart showing a process for constructing a Contour Tree in FIG. 3.

[図 8(a)]Join Treeを示す図である。 FIG. 8 (a) is a diagram showing a Join Tree.

[図 8(b)]Split Treeを示す図である。 [FIG. 8 (b)] A view showing a Split Tree.

[図 8(c)]Contour Treeを示す図である。 FIG. 8 (c) is a view showing a Contour Tree.

[図 9]同一画素値に対応した節の統合を示す説明図である。 FIG. 9 is an explanatory diagram showing integration of nodes corresponding to the same pixel value.

[図 10]図 1における Contour Nestを構築する処理を示すサブルーチンフローチャートである。 FIG. 10 is a subroutine flowchart showing a process of constructing Contour Nest in FIG. 1.

[図 11]図 10における処理 Aの処理を示すサブルーチンフローチャートである。 FIG. 11 is a subroutine flowchart showing a process A in FIG. 10.

[図 12]Contour Nestの具体例を示す図である。 FIG. 12 is a diagram showing a specific example of Contour Nest.

[図 13]卵割の生じた受精卵の三次元物体に対する多次元ディジタル画像データ及びその切り出し部分を示す図である。 [図 14]図 13の Contour Nestを示す図である。 FIG. 13 is a diagram showing multidimensional digital image data of a three-dimensional object of a fertilized egg in which cleavage has occurred and a cut-out portion thereof. FIG. 14 is a view showing Contour Nest in FIG. 13.

[図 15]上記データ表示装置の構成を示すブロック図である。 FIG. 15 is a block diagram showing a configuration of the data display device.

[図 16(a)]Contour Treeの概念を示すものであり、 2次元空間の等値面集合を示す図である。 [FIG. 16 (a)] This is a view showing the concept of Contour Tree, and is a diagram showing a set of isosurfaces in a two-dimensional space.

[図 16(b)]図 16 (a)に対応する Contour Treeを示す図である。 FIG. 16 (b) is a diagram showing a Contour Tree corresponding to FIG. 16 (a).

発明を実施するための最良の形態 BEST MODE FOR CARRYING OUT THE INVENTION

[0036] 本発明の一実施形態について図 1ないし図 14に基づいて説明すれば、以下の通りである。 One embodiment of the present invention is described below with reference to FIGS. 1 to 14.

[0037] 本実施の形態のデータ表示方法では、図 1に示すように、多次元ディジタル画像データを入力した後（Sl)、図 8 (c)に示すような Contour Treeを構築し (S2)、さらに、図 12に示すような Contour Nestを構築する（S3)。次いで、 Contour Nest中の矩开を選択し (S4)、選択矩形に対応する等値面を表示する（S5)。これにより、多次元ディジタル画像データにおける特定の部位について、切り出して任意に表示することが可能となる。 In the data display method of the present embodiment, as shown in FIG. 1, after inputting multidimensional digital image data (S1), a contour tree as shown in FIG. S2), and construct a Contour Nest as shown in FIG. 12 (S3). Next, a rectangle in the contour nest is selected (S4), and an isosurface corresponding to the selected rectangle is displayed (S5). This makes it possible to cut out and display arbitrarily a specific part in the multidimensional digital image data.

[0038] 以下、本実施の形態のデータ表示方法の具体的手順にっ、て説明する。 Hereinafter, a specific procedure of the data display method according to the present embodiment will be described.

[0039] まず、本実施の形態では、多次元ディジタル画像データを、多次元直交格子の格子点位置に配置された画素集合として定義する。 First, in the present embodiment, multidimensional digital image data is defined as a set of pixels arranged at grid point positions of a multidimensional orthogonal lattice.

[0040] また、多次元ディジタル画像の等値面にっ、ては、ある値 Pに対し、値 Pに対応する等値面は、画素値 pと値 Pの間に（式 1)の関係がある画素連結領域の、外部領域との境界と定義する。 [0040] In addition, for an isosurface of a multidimensional digital image, for a certain value P, an isosurface corresponding to the value P is defined by the equation (1) between the pixel value p and the value P. It is defined as the boundary between the related pixel connection area and the external area.

[0041] p≥P 又は p≤P (式 1) [0041] p≥P or p≤P (Equation 1)

前者の連結成分を Ri ( P )、後者を Sj( P ) (i, j = l, 2, 3, · ·· ·) The former connected component is Ri (P) and the latter is Sj (P) (i, j = l, 2, 3,

と置くと、 Pを閾値とする二値ィヒにより得られる等値面の集合は、連結成分の集合 {Ri , The set of isosurfaces obtained by binary thresholding with P as the threshold is the set of connected components (Ri

( P ) , Sj( P— 1) }により求まる。 (P), Sj (P-1)}.

[0042] ここで、 Ri ( P ) 、 Sj( P )の一方は前景、他方は背景に属するものとする。 Here, one of Ri (P) and Sj (P) belongs to the foreground, and the other belongs to the background.

[0043] 前景及び背景について、連結領域を求めるための画素間の連結条件は、領域の連結関係の矛盾を避けるため、異なったものとする。画像を構成する各画素値を Pとして連結領域 Ri ( P ) ' Sj( P )を求め、これらに対応する等値面の位相構造から Contour Treeを構築する。 For the foreground and the background, the connection conditions between pixels for obtaining a connected region are different to avoid inconsistency in the connection relationship between the regions. The connected region Ri (P) 'Sj (P) is obtained by defining each pixel value constituting the image as P, and the phase structure of the isosurface corresponding thereto is obtained. Build a Contour Tree.

[0044] Contour Treeの表示は、各等値面をその囲む領域の大きさに比例した面積の二次元図形 (例えば矩形）により表現し、等値面の位相構造を、対応する二次元図形の入れ子構造により表示することによって、実現する。 The display of the Contour Tree is represented by a two-dimensional figure (for example, a rectangle) having an area proportional to the size of the area surrounding each isosurface, and the topological structure of the isosurface is represented by the corresponding two-dimensional figure. It is realized by displaying by the nested structure of.

[0045] 次いで、上記の表示を観察し、特定の二次元図形を選択することにより、元画像の対応する等値面を表示する。複数の二次元図形を選択することも可能とし、この場合は複数の対応する等値面集合を表示する。その際、選択された等値面間の接続'包含関係を抽出し、例えば 2つの等値面の一方が他方を包含している場合に、内側の等値面の観察を容易にするように、外側の等値面の透明度を自動的に高くすることを可能とする。 Next, by observing the above display and selecting a specific two-dimensional figure, the corresponding isosurface of the original image is displayed. It is also possible to select a plurality of two-dimensional figures, in which case a corresponding set of isosurfaces is displayed. At that time, the connection 'inclusion relation between the selected iso-surfaces is extracted, and if one of the two iso-surfaces includes the other, the inner iso-surface is easily observed. In addition, it is possible to automatically increase the transparency of the outer iso-surface.

[0046] 図 2に示すように、 2次元ディジタル画像データについて、例えば、 R ( P )を前景、 S ( P )を背景とする。このとき、本実施の形態では、例えば、前景 R_;( P )では注目画素 Xの周囲 8画素、背景 S ( P )では注目画素 Yの上下左右 4画素を連結対象とす As shown in FIG. 2, for two-dimensional digital image data, for example, R (P) is set as the foreground and S (P) is set as the background. At this time, in the present embodiment, for example, eight pixels around the pixel of interest X in the foreground R _; (P), and four pixels above, below, left, and right of the pixel of interest Y in the background S (P) are connected.

1 i 1 1 i 1

る隣接画素として、 2次元画像の連結領域を求める。 The connected area of the two-dimensional image is determined as the adjacent pixels.

[0047] 上述のように、前景と背景とに異なる連結関係を用いることにより、前景 R (3)を境 [0047] As described above, by using different connection relations between the foreground and the background, the foreground R (3) is demarcated.

1 1

界として背景 S (1)と背景 S (1)とは適切に分離される。具体的には、同図に示すよ The background S (1) and the background S (1) are properly separated as a field. Specifically, it is shown in the figure.

1 2 1 2

うに、前景 R (3)では注目画素 Xと画素 Xとが連結することが分かる。また、背景 S ( Thus, in the foreground R (3), the target pixel X and the pixel X are connected. Also, the background S (

1 1 2 1 1 1 2 1

1)の注目画素 Yと背景 S (1)の注目画素 Yとは連結しないことが分かる。 It can be seen that the target pixel Y of 1) and the target pixel Y of the background S (1) are not connected.

1 2 2 1 2 2

[0048] 仮に、前景'背景共に注目画素の周囲 8画素を連結対象とすると、前景 R (3)の存 [0048] Assuming that eight pixels around the pixel of interest are to be connected to both the foreground and the background, the existence of the foreground R (3)

1 在にも関わらず背景 S (1)と背景 S (1)とは連結し、矛盾が生じる。 1 Despite the presence, the background S (1) and the background S (1) are connected, and contradictions occur.

1 2 1 2

[0049] 図 2に示す前景と背景とで差異を設けた画素間連結条件を用いて、図 3に示す手順でディジタル画像データから Contour Treeを構築する。 Contour Tree is constructed from digital image data by the procedure shown in FIG. 3 using the inter-pixel connection condition in which the foreground and the background shown in FIG. 2 are different.

[0050] ディジタル画像データは、画素値として非負の有限整数値をとるものとする。デイジタル画像データの外周に属する画素は、対象となる画像データの画素値のうち最小の値 0をとるものとする。このとき、外周の画素を含む連結領域 R (0)及び S (0)は、（式 1)の関係により得られる等値面が、共に画像全体を囲む。 It is assumed that digital image data takes a non-negative finite integer value as a pixel value. Pixels belonging to the outer periphery of the digital image data take the minimum value 0 among the pixel values of the target image data. At this time, in the connected regions R (0) and S (0) including the peripheral pixels, the iso-surfaces obtained by the relationship of (Equation 1) together surround the entire image.

[0051] ディジタル画像データの各画素を、画素値の大きさに従ってソートする（S21)。同一の画素値を持つ画素群については、他の条件 (例えば座標値)を基準にソートを行う。 [0051] Each pixel of the digital image data is sorted according to the magnitude of the pixel value (S21). Pixels with the same pixel value are sorted based on other conditions (for example, coordinate values). Do.

[0052] 次、で、上記で得られた画素系列に対し、画素値の大き、画素力順に全ての画素について Join Treeを構築し（S22)、画素値の小さい画素力順に全ての画素について Split Treeを構築し（S23)、さらに Contour Treeの構築及び出力の処理を行う (S24)。 Next, for the pixel sequence obtained above, a Join Tree is constructed for all the pixels in the order of the pixel value and the pixel power (S22). Then, a Split Tree is constructed (S23), and a Contour Tree is constructed and output (S24).

[0053] まず、 Join Treeの構築では、図 4に示すように、注目する画素と、それまでに処理した画素群から構成される連結領域との連結関係を、前景の画素間連結関係を用いて探索し、当該画素と連結領域との統合による、領域の「拡張」（1つの領域と連結）、領域の「合併」（2つ以上の領域と連結)、又は領域の「生成」（当該画素単独での領域生成）を行う。図 5 (a)は前景における「合併」の例である。 First, in the construction of the Join Tree, as shown in FIG. 4, the connection relationship between a pixel of interest and a connection region composed of a pixel group processed so far is defined by the connection relationship between pixels in the foreground. Searching and integrating the pixel with the connected region to “extend” the region (connected to one region), “merge” the region (connected to two or more regions), or “generate” the region ( Region generation using the pixel alone) is performed. Figure 5 (a) is an example of a “merger” in the foreground.

[0054] 上記の処理を行う際、処理の内容を木構造により記述する。具体的には、図 4に示すサブルーチンフローチャートに基づいて行う。注目画素及び上記の処理により得られる連結領域に対応する節を新たに設定する。「拡張」及び「合併」では、連結対象となる領域に対応する節と、新たに設定した節とを枝で結ぶ。 When performing the above processing, the contents of the processing are described in a tree structure. Specifically, this is performed based on the subroutine flowchart shown in FIG. A node corresponding to the pixel of interest and the connected region obtained by the above processing is newly set. In “expansion” and “merger”, the node corresponding to the area to be connected and the newly set node are connected by branches.

[0055] 次に、 Split Treeの構築では、図 6に示すように、注目する画素と、それまでに処理した画素群から構成される連結領域との連結関係を、背景の画素間連結関係を用いて探索し、当該画素と連結領域との統合による領域の「拡張」（1つの領域と連結)、「合併」（2つ以上の領域と連結)、「生成」（当該画素単独での領域生成)を行う。前記図 5 (b)は背景における「合併」の例である。同図（b)において、斜めの破線矢印は、領域 7が画素の連結条件に合わないために合併されないことを示すものである。この結果、領域 7は、注目画素 Vとは繋がっていないと判断される。 Next, in the construction of the Split Tree, as shown in FIG. 6, the connection relationship between the pixel of interest and the connection region composed of the pixels processed up to that point is defined as the connection relationship between the background pixels. Search, and use the integration of the pixel and the connected area to “expand” (connect to one area), “merge” (connect to two or more areas), and “generate” (area using the pixel alone) Generation). Fig. 5 (b) shows an example of "merger" in the background. In FIG. 7B, the oblique broken arrow indicates that the region 7 is not merged because it does not meet the pixel connection condition. As a result, it is determined that the region 7 is not connected to the target pixel V.

[0056] 上記の処理を行う際、処理の内容を木構造により記述する。具体的には、図 6に示すサブルーチンフローチャートに基づいて行う。すなわち、注目画素及び上記処理により得られる連結領域に対応する節を新たに設定する。「拡張」「合併」では、連結対象となる領域に対応する節と、新たに設定した節とを枝で結ぶ。 When performing the above processing, the contents of the processing are described in a tree structure. Specifically, it is performed based on the subroutine flowchart shown in FIG. That is, a node corresponding to the pixel of interest and the connected region obtained by the above processing is newly set. In “expansion” and “merger”, the node corresponding to the area to be connected and the newly set node are connected by branches.

[0057] 前記ステップ 22の処理により得られた木構造は、 Join Treeと呼ばれ、図 8 (a)に示すものとなる。一方、前記ステップ 23の処理により得られた木構造は、 Split Treeと呼ばれ、図 8 (b)に示すものとなる。 Join Tree及び Split Treeの各節は共に元ディジタル画像データの各画素に対応しており、両者の節の対応関係を直ちに求めることができることから、これらと対応する節を持ち、双方の分岐を反映する木構造を求め、これを図 8 (c)に示すよう〖こ、 Contour Treeとする。 [0057] The tree structure obtained by the processing in step 22 is called a Join Tree and is as shown in FIG. 8 (a). On the other hand, the tree structure obtained by the processing in step 23 is called a Split Tree, and is shown in FIG. 8B. Join Tree and Split Tree clauses are both original digital Since each pixel in the image data corresponds to each pixel and the correspondence between the two nodes can be immediately obtained, a tree structure that has nodes corresponding to these and reflects both branches is obtained. As shown in (c), this is a Contour Tree.

[0058] Contour Treeの各節には、 Join Treeの対応する節に対応する連結領域を囲む等値面と、 Split Treeの対応する節とに対応する連結領域を囲む等値面のうち、囲む領域のより小さなものを選択し対応付ける。 [0058] Each node of the Contour Tree includes an isosurface surrounding the connected region corresponding to the corresponding node of the Join Tree and an isosurface surrounding the connected region corresponding to the corresponding node of the Split Tree. Select and map the smaller ones.

[0059] 複数の画素が同一の値を持つ場合、上記処理で得られる Contour Treeは画素の処理順序の影響を受けるが、これは等値面の位相構造を記述する上では意味を持たない。この影響を排除するため、枝の両端の節に対する以下の処理を、該当する節の組がなくなるまで行う。図 9に処理例を示す。 When a plurality of pixels have the same value, the contour tree obtained by the above processing is affected by the processing order of the pixels, but this has no meaning in describing the phase structure of the iso-surface. . In order to eliminate this effect, the following processing is performed on the nodes at both ends of the branch until there is no corresponding node set. Figure 9 shows a processing example.

[0060] Contour Treeの枝のうち、両端の節に対応する画素が同じ画素値をとるものを探索する。該当する枝がある場合は、両端の節を統合し、該当する枝を除去し 1つの節として再記述する。統合後の節に対応する等値面には、両者のうちでより大きいものを対応付ける。 [0060] Among the branches of the Contour Tree, a search is made for a pixel whose pixels corresponding to the nodes at both ends have the same pixel value. If there is a corresponding branch, merge the nodes at both ends, remove the corresponding branch, and re-describe as a single node. The larger of the two is assigned to the isosurface corresponding to the combined node.

[0061] 画像全体を含む等値面に対応する Contour Treeの節を根（root)とすると、 Contour Treeは根付き木として表現され、節間に親子関係が生じる。このとき、以下の 2つの定理が成立する。 Assuming that a node of the Contour Tree corresponding to an isosurface including the entire image is a root, the Contour Tree is expressed as a rooted tree, and a parent-child relationship occurs between the nodes. Then, the following two theorems hold.

[0062] ここで、ある節 Vに対応する等値面が囲む領域を γ (V)、等値面の大きさ（ γ (V)を構成する画素数)を S (V)と置く。 Here, a region surrounded by an iso-surface corresponding to a certain node V is set as γ (V), and a size of the iso-surface (the number of pixels forming γ (V)) is set as S (V).

〔定理 1〕 Contour Treeの任意の節を V、 Vの子節を Wとすると包含関係（式 2)が成り立つ。 [Theorem 1] If an arbitrary clause of Contour Tree is V and a child clause of V is W, an inclusive relation (Equation 2) holds.

[0063] γ (V)コ γ (W) (式 2) [0063] γ (V) co γ (W) (Equation 2)

〔定理 2〕 Contour Tree上の任意の節 V、 Vの全ての子節を Wi (i= 1 · · ·Ν, Ν≥ 1) とすると、（式 3)が成り立つ。 [Theorem 2] If an arbitrary clause V on the Contour Tree and all child clauses of V are Wi (i = 1 ··· Ν, Ν≥1), (Equation 3) holds.

[0064] S (V) >∑ Si (Wi) (式 3) [0064] S (V)> ∑ Si (Wi) (Equation 3)

前記 2つの定理に基づき、 Contour Treeを矩形の入れ子構造の形で表現する。この表現形態を Contour Nestと呼ぶ。 Based on the two theorems, the Contour Tree is represented as a rectangular nested structure. This form of expression is called Contour Nest.

[0065] Contour Nestの作成は、根（root)から順に子節をたどる形で、各節について、図 10 及び図 11に示すサブルーチンフローチャートに基づく処理を行うことにより実現する [0065] Contour Nest is created by following child clauses in order from the root. And by performing processing based on the subroutine flowchart shown in FIG.

[0066] 例えば、図 12に示すように、注目している節を表す矩形の高さ hと幅 w、子節の数 For example, as shown in FIG. 12, the height h and width w of the rectangle representing the node of interest and the number of child nodes

P P P P

N、注目節及び各々の子節に対応する領域の大きさ S , S , · ··, S を既知とする。 ( p cl cN It is assumed that N, the size of the region corresponding to the attention clause and each of the child clauses S 1, S 2,..., S are known. (p cl cN

式 4)により、子節を表す矩形領域の共通の高さ hと、全ての子節を表す矩形領域の幅の総和 w とを求める。 Using Equation 4), the common height h of the rectangular area representing child clauses and the sum w of the widths of the rectangular areas representing all child clauses are obtained.

c— all c—all

[0067] [数 1] [0067] [Number 1]

w. (式 4 )w. (Equation 4)

(式 5)により、各々の子節を表す矩形領域の幅 wを求める。 From (Equation 5), the width w of the rectangular area representing each child clause is obtained.

[0068] [数 2] [0068] [Equation 2]

(式 5 )(Equation 5)

(式 4)と〔定理 2〕とから、 From (Equation 4) and (Theorem 2),

w >w , h h (式 6) w> w, h h (Equation 6)

p c— all p c p c—all p c

となるので、〔定理 1〕に従って注目節を表す矩形内部に、その子節を表す矩形を、対応する元画像の等値面の大きさに比例する面積で、はみ出すことなく全て配置する。 Therefore, according to [Theorem 1], the rectangles representing the child clauses are all arranged inside the rectangle representing the target clause without protruding in an area proportional to the size of the isosurface of the corresponding original image.

[0069] 2次元表示された Contour Nestを構成する各矩形は、元画像の 1つの等値面に対応している。これより、 Contour Nestの矩形を選択することにより、対応する等値面を選択し表示する。複数の矩形を選択することも可能とし、この場合は複数の対応する等値面集合を表示する。 2次元表示された矩形の選択は、マウス操作等によって実現される。等値面の表示は、三次元画像ではサーフェスレンダリング等により実現する。複数等値面を表示する際には、まず、 Contour Treeにより選択された等値面間の接続'包含関係を抽出する。次に、抽出された関係に基づき、例えば 2つの等値面の一方が他方を包含している場合に、内側の等値面の観察を容易にするように、レンダリングの際に、外側の等値面の透明度を自動的に高くする。 Each rectangle constituting the two-dimensionally displayed Contour Nest corresponds to one isosurface of the original image. From this, by selecting the Contour Nest rectangle, the corresponding isosurface is selected and displayed. It is also possible to select multiple rectangles, in which case a corresponding set of isosurfaces is displayed. Selection of the two-dimensionally displayed rectangle is realized by mouse operation or the like. The display of the isosurface is realized by surface rendering or the like in a three-dimensional image. When displaying multiple iso-surfaces, first, the connection 'inclusion relation between iso-surfaces selected by the Contour Tree is extracted. Next, based on the extracted relationship, for example, The transparency of the outer iso-surface is automatically increased during rendering so that the inner iso-surface is easier to observe when one contains the other.

[0070] 上記の処理によって得られる表示の具体例として、例えば、卵割の生じた受精卵の三次元物体に対する処理例を、図 13に示す。同図に示すように、受精卵外形 10からは透明体 12と呼ばれる領域におおわれて複数の細胞 14からなる受精卵の構造がわずかに観察される。この三次元物体を、 X線 CTや超音波断層装置を用いて撮影し、三次元ディジタル画像を求める。これを本実施の形態の処理にて処理し、図 14〖こ示すように、 Contour Nestを得る。表示された Contour Nest中の矩形を選択すると、対応する等値面を表示することができる（S4、 S5) ₀複数の等値面を選択した場合は、等値面間の接続'包含関係に基づいた透明度の自動的な設定等により、これらの等値面を適切に表示することができる。 As a specific example of the display obtained by the above processing, for example, FIG. 13 shows a processing example of a fertilized egg having a cleavage in a three-dimensional object. As shown in the figure, the structure of the fertilized egg composed of a plurality of cells 14 is slightly observed from the outer shape 10 of the fertilized egg in a region called the transparent body 12. The three-dimensional object is photographed using an X-ray CT or an ultrasonic tomography apparatus, and a three-dimensional digital image is obtained. This is processed in the processing of the present embodiment, and a contour nest is obtained as shown in FIG. If you select a rectangle in the displayed Contour Nest, the corresponding isosurface can be displayed (S4, S5) _{0 If} multiple isosurfaces are selected, the connection between isosurfaces These isosurfaces can be displayed appropriately by automatically setting the transparency based on the information.

[0071] 本実施の形態のデータ表示方法及び装置では、「医療機器」「非破壊検査機器」等三次元以上の多次元ディジタル画像データを扱う分野にお!、て画像解析装置、構造評価装置としての利用が想定される。 [0071] The data display method and apparatus according to the present embodiment can be used in the field of handling three-dimensional or more multi-dimensional digital image data such as "medical equipment" and "non-destructive inspection equipment". It is assumed to be used as a device.

[0072] 前者「医療機器」について効果の詳細例を示せば以下のようである。人体腹部には腎臓、心臓、肝臓、胃、腸等複数の臓器が存在する。既存の医療装置を用いて二次元、三次元、時間項を含む四次元等、様々なデータが生成される。多次元スカラ場を表現するこれらのデータは、データ構造として多次元ディジタル画像の形をとる場合が大多数である。観察者である医師又は放射線技師は過去に学んだ解剖図を想像しこれらの装置が表示する画像とマッチングさせて正常部位と疾患部位を判断する。しかし、疾患部の浸潤が激しくなると標準的な解剖図から程遠く判断の困難な画像として表示される。このとき明らかに疾患部であることが判る部位に指標をつけその部位と一体を形成する部位を切り出して表示できれば判断の質は向上する。実在の臓器では手術によって連続する部位を都度判断しつつ切り分けることが可能である力こでは画像を取り扱う方法によって手術同様の手法を仮想的に展開することが可能となる。 A detailed example of the effect of the former “medical device” is as follows. The human abdomen contains multiple organs such as kidney, heart, liver, stomach, and intestine. Various data, such as two-dimensional, three-dimensional, and four-dimensional including time terms, are generated using existing medical devices. The majority of these data representing multidimensional scalar fields take the form of multidimensional digital images as data structures. The observer, a doctor or radiologist, imagines the anatomical diagrams learned in the past and matches them with the images displayed by these devices to determine the normal and diseased sites. However, when the invasion of the diseased part becomes severe, it is displayed as an image that is far from the standard anatomical map and difficult to judge. At this time, the quality of the judgment is improved if an index is assigned to a site that is clearly found to be a diseased portion and a site that forms an integral part with the site can be cut out and displayed. Real organs can be separated by judging successive parts by surgery each time. Force This makes it possible to virtually develop a technique similar to surgery by using images.

[0073] このように、本実施の形態のデータ表示方法及び装置は、ディジタル画像データに対し等値面の位相構造を表現するものであり、医用分野で広く使われていることから応用対象は広範囲にわたる。ディジタル画像における前景 ·背景による画素間連結関係を考慮することにより、現実に即した位相構造の抽出が可能となる。位相構造を矩形等二次元図形の入れ子構造により表示し、また等値面が囲む領域の大きさを反映しているため、位相構造が直感的に理解可能である。これに伴い、形状把握のためには表示を要する等値面の選択が、容易に実現可能となる。三次元以上で等値面の位相構造が観察困難なデータについても、二次元表示により直接確認することができる。心臓のように時間領域の動きが含まれるデータ類にも適用できる。医用三次元画像解析上、外表皮に包含された病変部の存在を認識することが容易に可能となる。 As described above, the data display method and apparatus according to the present embodiment represent the phase structure of the isosurface with respect to the digital image data, and are widely used in the medical field. The applications are extensive. By taking into account the pixel-to-pixel connection relationship between the foreground and background in a digital image, it is possible to extract a realistic phase structure. The topological structure is displayed as a nested structure of a two-dimensional figure such as a rectangle, and the size of the area surrounded by the iso-surface is reflected, so that the topological structure can be intuitively understood. Along with this, it is possible to easily select an isosurface that needs to be displayed in order to grasp the shape. Even for data in which the topological structure of the isosurface is difficult to observe in three or more dimensions, it can be directly confirmed by two-dimensional display. The present invention can be applied to data including motion in the time domain such as the heart. In medical three-dimensional image analysis, it becomes easy to recognize the presence of a lesion contained in the outer epidermis.

[0074] 最後に、本実施の形態では、上記のデータ表示方法は、図 15に示すデータ表示装置 20によって行われる。その際、データ表示装置 20の各手段は、ハードウェア口ジックによって構成してもよ、し、次のように CPUを用いてソフトウェアによって実現してもよい。 Finally, in the present embodiment, the above data display method is performed by the data display device 20 shown in FIG. At that time, each unit of the data display device 20 may be configured by hardware logic, or may be realized by software using a CPU as described below.

[0075] すなわち、データ表示装置 20は、各機能を実現する制御プログラムの命令を実行する CPU (central processing unit ) 21、上記プログラムを格納した ROM (read only memory) 22、上記プログラムを展開する RAM (random access memory) 23、上記プログラムおよび各種データを格納するメモリ等の記憶装置 (記録媒体) 24などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記憶装置 (記録媒体） 24を、上記データ表示装置 20に供給し、そのコンピュータ (または CPU21や MPU)が記憶装置 (記録媒体） 24に記録されて、るプログラムコードを読み出し実行することによつても、達成可能である。 That is, the data display device 20 includes a CPU (central processing unit) 21 for executing instructions of a control program for realizing each function, a ROM (read only memory) 22 storing the program, and a RAM for expanding the program. (random access memory) 23 and a storage device (recording medium) 24 such as a memory for storing the program and various data. An object of the present invention is to provide a storage device (a computer-readable storage medium for recording program codes (executable format programs, intermediate code programs, and source programs) of a control program of a data display device, which is software for realizing the above-described functions. Recording medium) 24 to the data display device 20, and the computer (or CPU 21 or MPU) reads and executes the program code stored in the storage device (recording medium) 24. It is possible.

[0076] 上記 CPU21は、多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合算出部 21aと、連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得る等値面集合算出部 21bと、等値面集合について、要素となる等値面間の接続，包含関係を示す木構造を構築する木構造構築部 21cと、等値面集合から要素となる複数の等値面を選択する等値面選択部 21dと、選択された複数等値面の間の接続'包含関係を上記木構造から抽出する接続'包含関係抽出部 21eと、木構造表現された等値面集合の各要素を二次元図形で表現し、木構造を二次元図形の入れ子構造により二次元表示するための二次元図形配置算出部 21f、二次元図形の一部を選択することにより、これと対応する上記等値面集合の一部を抽出し、後述する表示部 26での抽出等値面の表示を駆動する等値面選択表示駆動部 21g とを備えている。 The CPU 21 applies different inter-pixel connection conditions between the foreground image area and the background image area from the multi-dimensional digital image data, and calculates each of the connected area set calculation units 21a. The isosurface set calculation unit 21b that obtains an isosurface set by extracting the boundary with the exterior surrounding the isosurface as an isosurface, and shows the connections and inclusion relationships between the isosurfaces that are the elements for the isosurface set Tree structure builder 21c for building a tree structure, and isosurface set An iso-surface selecting unit 21d for selecting a plurality of iso-surfaces as elements from; a connection 'inclusive relationship extracting unit 21e for extracting a connection' inclusive relationship between the selected iso-surfaces from the tree structure '; A two-dimensional figure arrangement calculation unit 21f for expressing each element of a set of isosurfaces represented by a tree structure in a two-dimensional figure and displaying the tree structure in a two-dimensional manner using a nested structure of a two-dimensional figure. And an isosurface selection / display drive unit 21g for extracting a part of the isosurface set corresponding to the selected isosurface, and driving the display of the extracted isosurface on a display unit 26 described later. ing.

[0077] また、データ表示装置 20は、上記二次元図形集合の一部を選択する等のためのキ一ボード等の入力部 25と、データ等を表示するための表示部 26とを備えて、る。 [0077] The data display device 20 includes an input unit 25 such as a keyboard for selecting a part of the two-dimensional figure set and a display unit 26 for displaying data and the like. RU

[0078] ここで、上記記憶装置 (記録媒体） 24としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク Zハードディスク等の磁気ディスクや CD—ROM/MO/MD/DVD/CD—R等の光ディスクを含むディスク系、 IC力ード（メモリカードを含む） Z光カード等のカード系、あるいはマスク ROMZEPROM ZEEPROMZフラッシュ ROM等の半導体メモリ系などを用いることができる。 Here, as the storage device (recording medium) 24, for example, a tape system such as a magnetic tape or a cassette tape, a magnetic disk such as a floppy (registered trademark) Z hard disk, or a CD-ROM / MO / MD A disk system including an optical disk such as / DVD / CD-R, an IC card (including a memory card), a card system such as a Z optical card, or a semiconductor memory system such as a mask ROM ZEPROM ZEEPROMZ flash ROM can be used.

[0079] また、データ表示装置 20を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、 LAN, ISDN, VAN, CATV通信網、仮想専用網（virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、 IEEE1394、 USB、電力線搬送、ケーブル T V回線、電話線、 ADSL回線等の有線でも、 IrDAやリモコンのような赤外線、 Bluet ooth (登録商標）、 802. 11無線、 HDR、携帯電話網、衛星回線、地上波ディジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。 Further, the data display device 20 may be configured to be connectable to a communication network, and the program code may be supplied via the communication network. The communication network is not particularly limited. For example, the Internet, intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, mobile communication network, satellite communication A net or the like can be used. The transmission medium constituting the communication network is not particularly limited. For example, even if the transmission medium is a cable such as IEEE1394, USB, power line carrier, cable TV line, telephone line, or ADSL line, infrared rays such as IrDA and remote control, and bluetooth. ooth (registered trademark), 802.11 wireless, HDR, mobile phone network, satellite line, terrestrial digital network, etc. can also be used. It should be noted that the present invention can also be realized in the form of a computer data signal embedded in a carrier wave, in which the program code is embodied by electronic transmission.

[0080] 尚、発明を実施するための最良の形態の項においてなした具体的な実施態様または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなぐ本発明の精神と特許請求の範囲内で、レ、ろレ、ろと変更して実施することができるものである。 [0080] It should be noted that the specific embodiments or examples made in the section of the best mode for carrying out the invention merely clarify the technical contents of the present invention, and such specific The spirit of the invention and its patent application are not to be construed in a narrow sense, but only by way of example. Within the scope of the requirements, the present invention can be carried out by changing to レ, レ, ろ.

産業上の利用の可能性 Industrial potential

本発明のデータ表示方法及び装置では、「医療機器」「非破壊検査機器」等三次元以上の多次元ディジタル画像データを扱う分野におヽて画像解析装置、構造評価装置としての適用が可能である。 INDUSTRIAL APPLICABILITY The data display method and device of the present invention can be applied as an image analysis device and a structure evaluation device in fields handling multidimensional digital image data of three or more dimensions such as “medical equipment” and “non-destructive inspection equipment”. It is.

Claims

請求の範囲 The scope of the claims

[1] スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続'包含関係を木構造の形で抽出して表示するデータ表示方法において、 [1] In a data display method for extracting and displaying connections and inclusion relations between isosurfaces in a tree structure form from multidimensional digital image data having scalar values in pixels,

上記多次元ディジタル画像データカゝら前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求めるステップと、 Obtaining different connected region sets by applying different inter-pixel connection conditions between the foreground image region and the background image region in the multidimensional digital image data camera;

上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得るステップと、 Obtaining a set of isosurfaces by extracting a boundary with the outside surrounding the set of connected regions as an isosurface,

上記等値面集合について、要素となる等値面間の接続 ·包含関係を示す木構造を構築するステップと、 Constructing a tree structure indicating the connection / inclusive relation between the isosurfaces as elements for the isosurface set;

を備えて!/ヽることを特徴とするデータ表示方法。 A data display method characterized by having! / ヽ.

[2] スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続'包含関係を木構造の形で抽出して表示するデータ表示方法において、 [2] A data display method that extracts and displays connections' inclusion relations between isosurfaces in the form of a tree structure from multidimensional digital image data having scalar values in pixels.

上記等値面集合力要素となる複数の等値面を選択するステップと、 Selecting a plurality of isosurfaces to be the isosurface collective force element;

上記選択された複数等値面の間の接続'包含関係を上記木構造から抽出するステップと、 Extracting the connection 'inclusion relation between the selected plurality of isosurfaces from the tree structure;

[3] スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続'包含関係を木構造の形で抽出して表示するデータ表示方法において、 [3] In a data display method for extracting and displaying connections and inclusion relations between isosurfaces in a tree structure from multidimensional digital image data having scalar values in pixels,

上記等値面集合について、要素となる等値面間の接続 ·包含関係を示す木構造を構築するステップと、木構造表現された上記等値面集合の各要素を二次元図形で表現し、上記木構造を上記二次元図形の入れ子構造により二次元表示するステップと、 Constructing a tree structure indicating the connection / inclusive relation between the isosurfaces as elements for the isosurface set; Expressing each element of the isosurface set represented by the tree structure by a two-dimensional figure, and displaying the tree structure two-dimensionally by a nested structure of the two-dimensional figure;

[4] スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続'包含関係を木構造の形で抽出して表示するデータ表示方法において、 [4] In a data display method for extracting and displaying connections' inclusion relations between isosurfaces in the form of a tree structure from multidimensional digital image data having scalar values in pixels,

木構造表現された上記等値面集合の各要素を二次元図形で表現し、上記木構造を上記二次元図形の入れ子構造により二次元表示するステップと、 Expressing each element of the isosurface set represented by the tree structure by a two-dimensional figure, and displaying the tree structure two-dimensionally by a nested structure of the two-dimensional figure;

上記二次元図形集合の一部を選択することにより、これと対応する上記等値面集合の一部を表示するステップと、 Selecting a part of the set of two-dimensional figures to display a part of the set of isosurfaces corresponding thereto;

[5] スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続'包含関係を木構造の形で抽出して表示するデータ表示装置において、 [5] A data display device that extracts and displays connections' inclusion relations between isosurfaces in the form of a tree structure from multidimensional digital image data having scalar values in pixels.

上記多次元ディジタル画像データカゝら前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求める手段と、 Means for obtaining each connected region set by applying different inter-pixel connection conditions between the foreground image region and the background image region,

上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得る手段と、 Means for obtaining a set of isosurfaces by extracting a boundary with the outside surrounding each set of connected regions as an isosurface,

上記等値面集合について、要素となる等値面間の接続 ·包含関係を示す木構造を構築する手段と、 Means for constructing a tree structure indicating the connection and inclusive relation between isosurfaces as elements for the isosurface set;

を備えて!/ヽることを特徴とするデータ表示装置。 A data display device comprising:

[6] スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続'包含関係を木構造の形で抽出して表示するデータ表示装置において、 [6] In a data display device that extracts and displays connections' inclusion relations between isosurfaces in the form of a tree structure from multidimensional digital image data having scalar values in pixels,

上記多次元ディジタル画像データカゝら前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求める手段と、 The multidimensional digital image data is different in the foreground image area and the background image area. Means for obtaining each connected region set by applying element connection conditions;

上記等値面集合から要素となる複数の等値面を選択する手段と、 Means for selecting a plurality of isosurfaces to be elements from the isosurface set,

上記選択された複数等値面の間の接続'包含関係を上記木構造から抽出する手段と、 Means for extracting the connection 'inclusion relation between the selected plurality of isosurfaces from the tree structure;

[7] スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続'包含関係を木構造の形で抽出して表示するデータ表示装置において、 [7] A data display device that extracts and displays connections' inclusion relations between isosurfaces in the form of a tree structure from multidimensional digital image data having scalar values in pixels,

上記多次元ディジタル画像データカゝら前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求める手段と、 Means for obtaining respective connected region sets by applying different inter-pixel connection conditions in the foreground image region and the background image region in the multidimensional digital image data camera;

木構造表現された上記等値面集合の各要素を二次元図形で表現し、上記木構造を上記二次元図形の入れ子構造により二次元表示する手段と、 Means for representing each element of the isosurface set represented by a tree structure in a two-dimensional figure, and displaying the tree structure two-dimensionally by a nested structure of the two-dimensional figure;

[8] スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続'包含関係を木構造の形で抽出して表示するデータ表示装置において、 [8] In a data display device that extracts and displays connections' inclusion relations between isosurfaces in the form of a tree structure from multidimensional digital image data having scalar values in pixels,

上記等値面集合について、要素となる等値面間の接続 ·包含関係を示す木構造を構築する手段と、木構造表現された上記等値面集合の各要素を二次元図形で表現し、上記木構造を上記二次元図形の入れ子構造により二次元表示する手段と、 Means for constructing a tree structure indicating the connection and inclusive relation between isosurfaces as elements for the isosurface set; Means for representing each element of the isosurface set represented by a tree structure in a two-dimensional figure, and displaying the tree structure two-dimensionally by a nested structure of the two-dimensional figure;

上記二次元図形集合の一部を選択することにより、これと対応する上記等値面集合の一部を表示する手段と、 Means for selecting a part of the set of two-dimensional figures to display a part of the set of isosurfaces corresponding thereto,

[9] 請求項 5から 8の、ずれか 1項に記載のデータ表示装置を動作させるデータ表示プログラムであって、コンピュータを上記の各手段として機能させるためのデータ表示プログラム。 [9] A data display program for operating the data display device according to any one of claims 5 to 8, wherein the data display program causes a computer to function as each of the above means.

[10] 請求項 9に記載のデータ表示プログラムを記録したコンピュータ読み取り可能な記録媒体。 [10] A computer-readable recording medium recording the data display program according to claim 9.