JP5161991B2 - Image processing device - Google Patents

Image processing device Download PDF

Info

Publication number
JP5161991B2
JP5161991B2 JP2011068200A JP2011068200A JP5161991B2 JP 5161991 B2 JP5161991 B2 JP 5161991B2 JP 2011068200 A JP2011068200 A JP 2011068200A JP 2011068200 A JP2011068200 A JP 2011068200A JP 5161991 B2 JP5161991 B2 JP 5161991B2
Authority
JP
Japan
Prior art keywords
image
unit
mip
processing
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2011068200A
Other languages
Japanese (ja)
Other versions
JP2011134352A (en
Inventor
久育 弓座
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Engineering Co Ltd filed Critical Toshiba Corp
Priority to JP2011068200A priority Critical patent/JP5161991B2/en
Publication of JP2011134352A publication Critical patent/JP2011134352A/en
Application granted granted Critical
Publication of JP5161991B2 publication Critical patent/JP5161991B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Generation (AREA)

Description

本発明の実施形態は、画像処理装置に関し、特に、三次元画像の表示を行うものに関する。     Embodiments described herein relate generally to an image processing apparatus, and more particularly, to an apparatus that displays a three-dimensional image.

近年、診断・治療のような医療行為を行う場で、X線CT装置、X線診断装置、核磁気共鳴イメージング(MRI)装置等の医用画像診断装置上で作成した画像を、診断若しくは治療を目的として三次元的な画像に表示することが行われている。このような三次元画像診断の分野では、例えばボリュームで画像を撮影し、ボリュームレンダリングにて三次元画像を表示したり、あるいはMPR等によりアキシャル、コロナル、サジタルの各断面を読影することで三次元的に画像を把握することが多い。   In recent years, in medical practice such as diagnosis and treatment, diagnosis or treatment of images created on medical diagnostic imaging equipment such as X-ray CT equipment, X-ray diagnostic equipment, nuclear magnetic resonance imaging (MRI) equipment, etc. For the purpose, it is displayed on a three-dimensional image. In such a field of 3D image diagnosis, for example, an image is taken with a volume, a 3D image is displayed by volume rendering, or an axial, coronal, or sagittal cross section is read by MPR or the like to obtain a 3D image. The image is often grasped.

ボリュームレンダリング法は、例えばCT装置、MRI装置等により得られたスライス画像を積み重ねた後に、複数のスライス画像のそれぞれの値(例えばCT値)をボクセルという正方形の中に填め込んだ三次元構造のボリュームモデル(ボクセル空間)を作り、このボリュームモデルに対して視線方向を決めて任意の視点からボクセル追跡(レイトレーシング)を行い、ボクセルにおける明るさ(CT値ないしはボクセル値)を求めて、この明るさに基づく画像情報を投影面のピクセルに投影して、臓器等を立体的に抽出して三次元画像を得る。   The volume rendering method has a three-dimensional structure in which slice images obtained by, for example, a CT apparatus, an MRI apparatus, etc. are stacked, and each value (for example, CT value) of a plurality of slice images is embedded in a square called a voxel. Create a volume model (voxel space), determine the line-of-sight direction for this volume model, perform voxel tracking (ray tracing) from an arbitrary viewpoint, and obtain the brightness (CT value or voxel value) in the voxel. The image information based on the height is projected onto the pixels of the projection surface, and the organs and the like are extracted three-dimensionally to obtain a three-dimensional image.

一方、画像診断装置における画像表示として、MIP(Maximum Intensity Projection)処理が知られている。ここで、MIP処理とは、処理対象である全ての原画像に対して、それぞれの観察方向上にある全てのピクセルについて、最大値等を取り出して投影画像<IP(Image Projection)イメージ>を生成する処理である。この処理では、得られたMIPイメージにより、病変部を観察することが可能になり、腫瘍の大きさと悪性/良性の精密判断に役立つと考えられる。また、ヘリカルスキャン等により得られる多数のイメージデータから、一枚の画像を得ることで診断が容易になるとして期待されている。     On the other hand, MIP (Maximum Intensity Projection) processing is known as image display in an image diagnostic apparatus. Here, the MIP processing is to generate a projection image <IP (Image Projection) image> by extracting the maximum value and the like for all pixels in each observation direction for all original images to be processed. It is processing to do. In this process, the obtained MIP image makes it possible to observe a lesion, and is considered to be useful for precise determination of tumor size and malignancy / benignity. Further, it is expected that diagnosis can be facilitated by obtaining a single image from a large number of image data obtained by helical scanning or the like.

ところで、三次元画像表示、例えばボリュームレンダリング画像により、腫瘍等を見る場合、医者は、画像を見る際には腫瘍のみを見たいのではなく、何らかの理由で例えば、腫瘍の周囲の血管自体がどのように走っているのかなどの情報も必要であり、周囲の血管等の構造との位置関係を把握しつつ、周囲の構造も共に見たいとの要望がある。   By the way, when viewing a tumor or the like with a three-dimensional image display, for example, a volume rendering image, the doctor does not want to see only the tumor when viewing the image, but for some reason, for example, which blood vessel around the tumor itself In addition, there is a demand to see the surrounding structures together while grasping the positional relationship with the surrounding blood vessels and other structures.

しかしながら、通常のボリュームレンダリングによる画像表示では、例えば腫瘍のCT値と、血管の領域のCT値とが近似しているために、例えば、図17に示すように、腫瘍ai等の位置が血管bi、di等に隠れた状態で表示されてしまう。このため、遮られて隠れる部分に関して視ることができないという問題がある。乃ち、腫瘍と血管の各CT値が近似しているために、互いのオブジェクトが重なると背後に位置するオブジェクトが見えないという問題点があった。さらに、「半透明表示」モードにしたとしても、画像がよく解らず、かつ、どの領域を半透明にすればよいのかも不明であるため装置使用者は画像に対して的確な処理を行うことができないという問題があった。   However, in the image display by normal volume rendering, for example, since the CT value of the tumor and the CT value of the blood vessel region are approximate, for example, as shown in FIG. , Di, etc., it is displayed in a hidden state. For this reason, there exists a problem that it cannot see about the part hidden and obstructed. In other words, since the CT values of the tumor and the blood vessel are approximated, there is a problem that an object located behind cannot be seen when the objects overlap each other. Furthermore, even if the “translucent display” mode is set, the image is not understood well, and it is not clear which region should be made translucent. There was a problem that could not.

さらにまた、腫瘍等の見たい部位が他の構造物に遮られて隠れてしまうことから、腫瘍をあらゆる方向から見ようとする場合には、腫瘍を見ることができる方向が制限されてしまう。従って、血管のない方向から腫瘍を見る必要があり、一画面において腫瘍と周囲の血管の関係とを同時に見ることが容易にできないという課題があった。   Furthermore, since the site to be seen, such as a tumor, is hidden by being blocked by other structures, the direction in which the tumor can be seen is limited when attempting to view the tumor from any direction. Therefore, it is necessary to view the tumor from a direction without blood vessels, and there is a problem that it is not easy to simultaneously see the relationship between the tumor and the surrounding blood vessels on one screen.

また、腫瘍等の存在診断や鑑別診断のために、原画像として読影したい場合には、数十枚の画像であれば1枚ずつ表示して読影を行っても、あまり苦にならなかったが、特にヘリカルスキャンCTなどの普及とともに、高速CTでは、患者一人あたり通常数十枚〜数百枚のイメージが得られ、画像枚数が増大するため、数百枚の画像を1枚ずつ表示し、読影するのは、時間がかかる大変な作業であった。   In addition, if you want to interpret as an original image for the presence diagnosis and differential diagnosis of tumors etc., even if it is several tens of images, it is not difficult to display them one by one. In particular, with the spread of helical scan CT and the like, high-speed CT usually obtains tens to hundreds of images per patient, and the number of images increases, so hundreds of images are displayed one by one, Interpreting images was a time-consuming and difficult task.

本発明の実施形態は、上記事情に鑑みてなされたものであり、数百枚単位の画像を生成する高精度の医用画像診断装置における画像を読影する際に、短時間での読影が可能となる画像処理装置を提供することにある。   The embodiments of the present invention have been made in view of the above circumstances, and can interpret images in a short time when interpreting images in a high-accuracy medical image diagnostic apparatus that generates hundreds of images. An image processing apparatus is provided.

上記の目的を達成するために、請求項1に記載の発明は、複数枚の原断層像を積層してなる三次元原画像に基づいて、前記三次元原画像を所定方向から投影面に投影した投影画像を表示する画像処理を行う画像処理装置であって、前記三次元画像における前記所定方向を設定する第1の設定、および前記複数枚の原断層像を該第1の設定による所定方向にて所定枚数毎の複数のグループに区分する第2の設定を行う設定手段と、前記設定手段にて設定された前記複数のグループ毎に、1グループを構成する各前記原断層像に対し、各前記原断層像の積層方向上にある1グループ枚数分のピクセルの画素値に対して前記画素値に基づく画像処理を施すことで所定方向の投影画像を作成する画像作成手段と、を含むことを特徴とする。
また、請求項3に記載の発明は、複数枚の原断層像を積層してなる三次元原画像に基づいて、前記三次元原画像を所定方向から投影面に投影した投影画像を表示する画像処理を行う画像処理装置であって、前記三次元画像における前記所定方向を設定する第1の設定、および前記複数枚の原断層像を、該第1の設定による所定方向にて所定枚数毎に重ね合わせる第2の設定を行う設定手段と、前記設定手段にて設定された所定枚数毎に重ね合わせられた前記原断層像のピクセルの画素値に対して前記画素値に基づく画像処理を施すことで所定方向の投影画像を作成する画像作成手段と、を含むことを特徴とする。
In order to achieve the above object, according to the first aspect of the present invention, the three-dimensional original image is projected from a predetermined direction onto a projection plane based on a three-dimensional original image formed by stacking a plurality of original tomographic images. An image processing apparatus for performing image processing to display a projected image, wherein a first setting for setting the predetermined direction in the three-dimensional image and a predetermined direction for the plurality of original tomographic images according to the first setting For each of the original tomographic images constituting one group for each of the plurality of groups set by the setting means, a setting means for performing a second setting to divide into a plurality of groups for each predetermined number of sheets Image creating means for creating a projected image in a predetermined direction by performing image processing based on the pixel values for pixel values of one group of pixels in the stacking direction of the original tomographic images. It is characterized by.
According to a third aspect of the present invention, there is provided an image for displaying a projection image obtained by projecting the three-dimensional original image onto a projection plane from a predetermined direction based on a three-dimensional original image formed by stacking a plurality of original tomographic images. An image processing apparatus that performs processing, wherein a first setting for setting the predetermined direction in the three-dimensional image, and the plurality of original tomographic images for each predetermined number of sheets in a predetermined direction according to the first setting. A setting unit configured to perform a second setting for superimposing; and performing image processing based on the pixel value with respect to pixel values of the pixels of the original tomographic image superimposed for each predetermined number of sheets set by the setting unit. And an image creating means for creating a projected image in a predetermined direction.

本発明の実施の形態にかかる画像処理装置の概略構成の一例を示す機能ブロック図である。It is a functional block diagram which shows an example of schematic structure of the image processing apparatus concerning embodiment of this invention. 図1の画像処理装置を備えたX線CT装置の構成の一例を示す機能ブロック図である。It is a functional block diagram which shows an example of a structure of the X-ray CT apparatus provided with the image processing apparatus of FIG. 図1の画像処理装置の一例を示す外観図である。It is an external view which shows an example of the image processing apparatus of FIG. 図1の画像処理装置の表示部に表示される頭部の3次元画像の表示例を示す説明図である。It is explanatory drawing which shows the example of a display of the three-dimensional image of the head displayed on the display part of the image processing apparatus of FIG. ボリュームレンダリングに関する説明を行うための説明図である。It is explanatory drawing for demonstrating volume rendering. 図1の画像処理装置におけるレンダリング処理を説明するための説明図である。It is explanatory drawing for demonstrating the rendering process in the image processing apparatus of FIG. 従来のボリュームレンダリング後の画像表示について説明するための説明図である。It is explanatory drawing for demonstrating the image display after the conventional volume rendering. 図1の画像処理装置においてボリュームレンダリング後の画像表示について説明するための説明図である。FIG. 2 is an explanatory diagram for explaining image display after volume rendering in the image processing apparatus of FIG. 1. 図1の画像処理装置における処理手順の一例を示すフローチャートである。3 is a flowchart illustrating an example of a processing procedure in the image processing apparatus of FIG. 1. 同図(A)(B)は、重み関数の一例を示す説明図である。FIGS. 9A and 9B are explanatory diagrams showing an example of a weight function. 本発明の実施の形態にかかる画像処理装置の概略構成の一例を示す機能ブロック図である。It is a functional block diagram which shows an example of schematic structure of the image processing apparatus concerning embodiment of this invention. 図11の画像処理装置におけるMIP処理の原理を説明するための説明図である。It is explanatory drawing for demonstrating the principle of the MIP process in the image processing apparatus of FIG. 図11の画像処理装置におけるMIP処理の原理を説明するための説明図である。It is explanatory drawing for demonstrating the principle of the MIP process in the image processing apparatus of FIG. 図11の画像処理装置におけるMIP処理の設定画面の一例を示す説明図である。It is explanatory drawing which shows an example of the setting screen of the MIP process in the image processing apparatus of FIG. ある条件の下でMIP処理を行う場合の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence in the case of performing MIP process on a certain condition. MIP処理を他の条件の下で処理を行う場合の原理を説明するための説明図である。It is explanatory drawing for demonstrating the principle in the case of processing a MIP process on other conditions. 従来のボリュームレンダリング後の画像表示を説明するための説明図である。It is explanatory drawing for demonstrating the image display after the conventional volume rendering.

以下、本発明の好適な実施の形態の一例について、図面を参照して具体的に説明する。   Hereinafter, an example of a preferred embodiment of the present invention will be specifically described with reference to the drawings.

[第1の実施の形態]
(システムの全体構成)
先ず、本発明にいう「画像処理装置」ないしは「医用画像診断装置」を、いわゆる「医用画像診断システム」に適用した場合の一実施の形態について説明を行うこととする。
[First Embodiment]
(Overall system configuration)
First, an embodiment in which the “image processing apparatus” or “medical image diagnostic apparatus” according to the present invention is applied to a so-called “medical image diagnostic system” will be described.

ここに、本発明の特徴は、CT装置又はMRI等で得られたスライス画像に基づく立体的画像をボリュームレンダリングで画面に表示し、このボリュームレンダリング画像上において、特定領域(オブジェクト)の指定点をポインタ等にて押下すると、当該指定されたオブジェクト(腫瘍ai)が鮮明に表示されるように、重み係数をCT値に相関させることにより、当該オブジェクトより前方に表示されている他のオブジェクト(血管bi)等の透明度を変換し、例えば腫瘍aiと血管biなどとの組織関係を把握しながらも当該血管biにより遮蔽される腫瘍aiの形状を明確に表示できるようにするものである。   The feature of the present invention is that a stereoscopic image based on a slice image obtained by a CT apparatus or MRI is displayed on a screen by volume rendering, and a specified point of a specific region (object) is displayed on the volume rendering image. By pressing the pointer or the like, the weighting coefficient is correlated with the CT value so that the designated object (tumor ai) is clearly displayed, thereby other objects (blood vessels) displayed in front of the object. bi) and the like are converted so that the shape of the tumor ai shielded by the blood vessel bi can be clearly displayed while grasping the tissue relationship between the tumor ai and the blood vessel bi, for example.

このような本発明の特徴の具体的な説明に先立って、先ずは医用画像診断システムの全体の概略構成について、図1ないし図2を参照して説明する。図1及び図2は、本実施形態の医用画像診断システムの概略構成を示す機能ブロック図である。   Prior to specific description of the features of the present invention, first, an overall schematic configuration of the medical image diagnostic system will be described with reference to FIGS. 1 and 2 are functional block diagrams showing a schematic configuration of the medical image diagnostic system of the present embodiment.

本実施形態の医用画像診断システム1は、図1及び図2に示すように、「X線CT装置」などのX線源、X線検出器等のデータを収集するための機構を備えたモダリティ2と、モダリティ2からの各種画像情報等に基づいて、例えば三次元画像などを表示するための画像処理装置10と、を有している。   As shown in FIGS. 1 and 2, the medical image diagnostic system 1 of the present embodiment includes a modality including a mechanism for collecting data of an X-ray source such as an “X-ray CT apparatus”, an X-ray detector, and the like. 2 and an image processing apparatus 10 for displaying, for example, a three-dimensional image based on various image information from the modality 2.

前記モダリティ2(医用画像診断装置)は、例えば「X線CT装置」等が挙げられ、当該モダリティ2がX線CT装置である場合には、架台3a内に備えられたX線管3d及びX線検出器3e、X線検出器3eからのデータを収集するデータ収集部4、各種データ処理を行う前処理部5、画像再構成処理などを行う再構成部6、各種データを処理するデータ処理部7、などを備え、さらに、各種データを格納する記憶部、データ転送を行う転送処理部、X線CT装置本体を操作するための操作部や表示部(いずれも不図示)なども含まれている。   Examples of the modality 2 (medical image diagnostic apparatus) include an “X-ray CT apparatus” and the like. When the modality 2 is an X-ray CT apparatus, the X-ray tubes 3d and X provided in the gantry 3a are used. Data detector 4e for collecting data from the line detector 3e, the X-ray detector 3e, a preprocessing unit 5 for performing various data processing, a reconstruction unit 6 for performing image reconstruction processing, and data processing for processing various data In addition, a storage unit for storing various data, a transfer processing unit for transferring data, an operation unit for operating the X-ray CT apparatus main body and a display unit (all not shown) are also included. ing.

なお、医用画像診断システム1の構成としては、図2に示すように、「X線CT装置」としてその操作卓側に画像処理装置(2a)の機能を搭載する場合や、「X線CT装置」とネットワークを介して接続された(X線CT装置本体とは別に構成にされた)画像参照用コンピュータに画像処理装置(10)の機能を搭載する場合等、そのシステムのハードウエア構成はいずれであっても、もしくはその組み合わせであってもよい。   As shown in FIG. 2, the medical image diagnostic system 1 has a configuration in which the function of the image processing apparatus (2a) is mounted on the console side as an “X-ray CT apparatus” or “X-ray CT apparatus” When the function of the image processing apparatus (10) is mounted on an image reference computer (configured separately from the X-ray CT apparatus main body) connected via a network, the hardware configuration of the system Or a combination thereof.

この際、上記X線CT装置の各構成要素は概略次のように作用する。すなわち、X線管11により発せられ、被検体を透過したX線は、X線検出器3eによりアナログ電気信号に変換され、以下、データ収集部4によるデジタル変換処理、前処理部5による各種補正処理等を受け、投影データとして不図示の記憶部に蓄えられる。そして、前記X線管3d及びX線検出器3eが、被検体周囲を例えば1周(=360°)した結果得られる投影データに基づいて、前記再構成部6による断層像等その他の画像情報の再構成を行い、データ処理部7で種々の処理を行い断層像等の画像情報の表示が可能となる。なお、架台3aには、環状の穴部3cが設けられ、被検者を載せた寝台天板3bが矢印方向に所定速度で移動することで、ヘリカルスキャン等を行い得、被検者の複数の断層像(スライス画像)を得る。   At this time, each component of the X-ray CT apparatus generally operates as follows. That is, X-rays emitted from the X-ray tube 11 and transmitted through the subject are converted into analog electric signals by the X-ray detector 3e, and hereinafter, digital conversion processing by the data acquisition unit 4 and various corrections by the preprocessing unit 5 In response to the processing, it is stored as projection data in a storage unit (not shown). Then, the X-ray tube 3d and the X-ray detector 3e, for example, other image information such as a tomogram by the reconstruction unit 6 based on projection data obtained as a result of, for example, one round (= 360 °) around the subject. Thus, it is possible to display image information such as a tomographic image by performing various processes in the data processing unit 7. The gantry 3a is provided with an annular hole 3c, and the couchtop 3b on which the subject is placed can move at a predetermined speed in the direction of the arrow, so that a helical scan or the like can be performed. A tomographic image (slice image) is obtained.

一方、図1に説明を戻すと、画像処理装置1は、CT装置又はMR等で得られたスライス画像が積み重ねられて記憶された各スライス画像を順次読み出してスライス画像に厚みをもたせ、その空間分解能(x、y)とスライス厚(z)とが等しい三次元空間を構成した3次元構造のボクセル空間を生成して三次元画像を表示可能とする機能を有するものであり、モダリティ2からの各種画像情報やその他の情報(付帯情報など)を記憶する画像記憶部11含んで構成される。この画像記憶部11は、スライス画像等の情報を格納するスライス画像情報格納部11aと、スライス画像情報格納部11aのスライス画像に基づいて、ボリュームレンダリング等のボリュームモデル情報を格納するボリュームモデル情報格納部11bとを有してなる。   On the other hand, returning to FIG. 1, the image processing apparatus 1 sequentially reads out the slice images stored by stacking slice images obtained by the CT apparatus or MR, etc., and gives the slice images a thickness. It has a function of generating a three-dimensional voxel space that constitutes a three-dimensional space in which resolution (x, y) and slice thickness (z) are equal, and displaying a three-dimensional image. The image storage unit 11 is configured to store various image information and other information (such as incidental information). The image storage unit 11 stores a slice model information storage unit 11a that stores information such as a slice image, and a volume model information storage that stores volume model information such as volume rendering based on the slice image stored in the slice image information storage unit 11a. Part 11b.

また、画像処理装置1は、ボリュームモデル情報格納部11bでのボリュームモデル情報に基づいて、3D画像等の立体モデルを生成する立体モデル生成部12と、生成された立体モデルに対して投影処理などを施す投影処理部15と、視線方向位置算出部13と、ボリュームモデル位置算出部14と、投影処理部15と、視線方向距離算出部16と、画像処理部17と、グラフィックデータ生成部18と、関心領域演算部19と、重み演算手段20と、表示部31と、操作部32と、その他の処理33と、これらの制御を司る制御部34と、を有している。   Further, the image processing apparatus 1 includes a stereo model generation unit 12 that generates a stereo model such as a 3D image based on the volume model information in the volume model information storage unit 11b, and a projection process for the generated stereo model. A projection processing unit 15, a line-of-sight direction position calculation unit 13, a volume model position calculation unit 14, a projection processing unit 15, a line-of-sight direction distance calculation unit 16, an image processing unit 17, and a graphic data generation unit 18. The region-of-interest calculation unit 19, the weight calculation unit 20, the display unit 31, the operation unit 32, other processing 33, and the control unit 34 that controls these operations.

立体モデル生成部12(ボリュームモデル生成手段、3D画像生成部)は、例えばレンダリング処理等により三次元画像を生成するものであり、組織の色情報又は透明度に基づくボリュームモデルをファイルに生成するものであり、前述の三次元構造のボクセル空間の一つ一つのボクセルの数値に応じた透明度又は色情報を割り付けて三次元物体をモデルとして定義して、三次元物体の表面のみならず内部の多重構造も可視できる構造のボリュームモデルを生成する。乃ち、ファイルのスライス画像(X、Y)を順次抽出して、スライス画像の空間分解能(x、y)とスライス厚(z)とが等しい三次元空間座標系(X、Y、Z)を構成し、その一つ一つのボクセルの数値に応じた色情報を割り付けたボリュームモデルをファイルに定義する。   The three-dimensional model generation unit 12 (volume model generation means, 3D image generation unit) generates a three-dimensional image by, for example, rendering processing, and generates a volume model based on color information or transparency of a tissue in a file. Yes, by defining the 3D object as a model by assigning transparency or color information according to the numerical value of each voxel in the 3D structure voxel space described above, not only the surface of the 3D object but also the internal multiple structure Generate a volume model with a visible structure. After that, the slice images (X, Y) of the file are sequentially extracted to form a three-dimensional spatial coordinate system (X, Y, Z) in which the spatial resolution (x, y) of the slice image and the slice thickness (z) are equal. Then, a volume model to which color information corresponding to the numerical value of each voxel is assigned is defined in the file.

オブジェクト空間に定義された三次元物体(対象物)は、立体モデル生成部12がCT装置又はMRI等のモダリティ2で得られた被検体のスライス画像に厚みを持たせ、その空間分解能(x、y)とスライス厚(z)とが原則として等しい三次元空間(ボクセル空間)を構成し、その一つ一つのボクセルにCT値等の数値を割り付けて生成している。   The three-dimensional object (target object) defined in the object space has a thickness of the slice image of the subject obtained by the 3D model generation unit 12 using the modality 2 such as a CT apparatus or MRI, and its spatial resolution (x, A three-dimensional space (voxel space) in which y) and slice thickness (z) are equal in principle is formed, and a numerical value such as a CT value is assigned to each voxel.

視線方向位置算出部13は、操作部32(例えばマウス等)の操作に伴うイベントの発生に伴って表示部31の画面に表示された画像(ボリュームレンダリング画像)上における指示ポイント(ポインタ)の位置を、画像処理部17の画像メモリ(不図示)等から読み出し、当該指示ポイントの位置をボリュームモデル位置算出部14に知らせる。前述の画像メモリには、投影処理部15における投影空間、投影面(スクリーン空間)と同じ画像が一次記憶される、座標系は投影面と同じ2次元座標であり、画面の表示分解能に比例させている。なお、前述の指示ポイントとは、画像処理部17がマウスの操作に伴って移動させられる画面(画像メモリ)上のポインタである。また、視線方向位置算出部16は、操作部32の操作に伴う操作量から視線方向を求めている。   The line-of-sight direction position calculation unit 13 is the position of the instruction point (pointer) on the image (volume rendering image) displayed on the screen of the display unit 31 in response to the occurrence of an event associated with the operation of the operation unit 32 (for example, a mouse). Are read from an image memory (not shown) of the image processing unit 17 and the volume model position calculation unit 14 is notified of the position of the designated point. In the image memory, the same image as the projection space and projection plane (screen space) in the projection processing unit 15 is temporarily stored. The coordinate system has the same two-dimensional coordinates as the projection plane and is proportional to the display resolution of the screen. ing. Note that the above-described instruction points are pointers on a screen (image memory) to which the image processing unit 17 is moved in accordance with the mouse operation. Further, the line-of-sight direction position calculation unit 16 obtains the line-of-sight direction from the operation amount accompanying the operation of the operation unit 32.

ボリュームモデル位置算出部14は、投影処理部15の投影面を介して3次元位置を決定するものであり、視線方向位置算出部13で得られたボリュームレンダリング画像上の指定位置(スクリーン空間の2次元位置)を読み、この指定位置の座標をボクセルを用いた座標に対応するように3次元位置(Xi、Yi、Zi)を求め、これを指定ポイントのボリュームモデルの3次元位置(Xi、Yi、Zi)として投影処理部15に送出する。   The volume model position calculation unit 14 determines a three-dimensional position via the projection plane of the projection processing unit 15, and designates a specified position (2 in the screen space) on the volume rendering image obtained by the line-of-sight direction position calculation unit 13. The three-dimensional position (Xi, Yi, Zi) is obtained so that the coordinates of the designated position correspond to the coordinates using the voxels, and this is obtained as the three-dimensional position (Xi, Yi) of the volume model at the designated point. , Zi) is sent to the projection processing unit 15.

投影処理部15は、オブジェクト空間にボクセルで定義された三次元物体(対象物)に対して投影面を視線方向に基づいて向け、この投影面の各ピクセルから仮想的なレイ(光)を発してボクセル追跡を行い、前方の光り、或いは光源に照らされた光に照らされて反射する光とを合成して、次々とボクセルに渡していき最後のボクセルから出る光をレンダリング画像のピクセル値として投影面のピクセルに投影する。乃ち、所定の視点位置及び視線方向からボクセルで定義された三次元物体にレイトレーシングを行い、ぶつかったボクセルまでの距離とボクセルにおけるレイの方向とから明るさ(CT値)等を求めて、オパシティカーブの透明度αiを読み、この明るさhiと透明度等を積算した画像情報を順次合成して行く。   The projection processing unit 15 directs the projection plane to the three-dimensional object (target object) defined by the voxel in the object space based on the line-of-sight direction, and emits a virtual ray (light) from each pixel of the projection plane. The voxel tracking is performed, and the light reflected in front of the light or the light illuminated by the light source is combined and passed to the voxel one after another, and the light emitted from the last voxel is used as the pixel value of the rendered image. Project to the projection plane pixels. In other words, ray tracing is performed on a three-dimensional object defined by voxels from a predetermined viewpoint position and line-of-sight direction, and the brightness (CT value) etc. is obtained from the distance to the colliding voxel and the ray direction in the voxel. The curve transparency αi is read, and the image information obtained by integrating the brightness hi and the transparency is sequentially synthesized.

具体的には、視線方向位置算出部13で得られた投影面8スクリーン空間)の座標に対応する2次元の視線方向及び視線位置を基準としてボリュームモデルに対してレイキャスティング等を行って投影面に投影する。前記投影面への投影はオブジェクト空間からの投影法に応じた変換により投影している。また、投影処理部15は、ボリュームモデル位置算出部14によって求められた3次元位置及び視点方向位置算出部13からの視線方向から投影したときのボリュームモデルの3次元的な画像(ボリュームレンダリング画像)を投影面に得て画面上に表示している。   Specifically, the projection plane is subjected to ray casting or the like on the volume model with reference to the two-dimensional gaze direction and gaze position corresponding to the coordinates of the projection plane 8 screen space obtained by the gaze direction position calculation unit 13. Project to. The projection onto the projection plane is performed by conversion according to the projection method from the object space. Further, the projection processing unit 15 is a three-dimensional image (volume rendering image) of the volume model when projected from the three-dimensional position obtained by the volume model position calculation unit 14 and the line-of-sight direction from the viewpoint direction position calculation unit 13. Is obtained on the projection plane and displayed on the screen.

そして、投影面の投影に際して、投影処理部15は、例えば投影するピクセルが関心領域aiの場合は、画像記憶部11のオパシィティーカーブを用いた透明度で投影する。   When projecting the projection plane, for example, when the pixel to be projected is the region of interest ai, the projection processing unit 15 projects the image with transparency using the opacity curve of the image storage unit 11.

視線方向距離算出部16は、ポインタされた位置と視点位置とに基づいて、3次元空間上の視点位置からポインタで指示された位置までの視線方向(視軸、投影線)の距離を算出する。視線方向距離算出部16は、視線方向位置算出部13からボクセル空間のどの位置に指示された指示位置があるかの情報を得て、ボクセル空間内の軸Lと平面H(図5:詳細は後述)との交差する位置から指示位置までの距離を算出する。   The line-of-sight direction distance calculation unit 16 calculates the distance of the line-of-sight direction (visual axis, projection line) from the viewpoint position in the three-dimensional space to the position indicated by the pointer based on the pointed position and the viewpoint position. . The line-of-sight direction distance calculation unit 16 obtains information on which position in the voxel space is indicated from the line-of-sight direction position calculation unit 13, and the axis L and the plane H in the voxel space (FIG. 5: details) The distance from the position intersecting with (described later) to the designated position is calculated.

画像処理部17は、スクリーン空間の画像を画像メモリに一次記憶して、当該画像メモリの画像データを表示部31の表示画面上に表示する。また、操作部32(マウス等)の操作に基づくカーソル等を表示部31の表示画面上に表示する。この画像処理部及び制御部により本発明にいう「画像処理手段」を構成できる。   The image processing unit 17 temporarily stores an image of the screen space in the image memory, and displays the image data of the image memory on the display screen of the display unit 31. In addition, a cursor or the like based on the operation of the operation unit 32 (such as a mouse) is displayed on the display screen of the display unit 31. The “image processing means” referred to in the present invention can be configured by the image processing unit and the control unit.

グラフィックデータ生成部18は、表示部31の表示画面上に3次元画像とともに表示される操作カーソル等の各種グラフィック表示データを生成する。前記グラフィックデータ生成部18からの画像データは、画像処理部17に入力され、この画像処理部17を介して表示部31に表示されることとなる。   The graphic data generation unit 18 generates various graphic display data such as an operation cursor displayed on the display screen of the display unit 31 together with the three-dimensional image. The image data from the graphic data generation unit 18 is input to the image processing unit 17 and displayed on the display unit 31 via the image processing unit 17.

関心領域演算部19は、関心領域や不透明度等の各種の制御演算を行うものであり、操作部32により指定された指定領域のボクセルの位置と、視線方向とに基づいて、関心領域のボクセル値を算出するものである。ここに、関心領域演算部19は、ボクセル位置と関心領域の表示態様を規定する関心領域パラメータとに基づいて、関心領域のボクセル値を抽出する。オブジェクト空間に定義された三次元物体のボクセル情報を投影面に投影するとき投影面の投影領域の関心領域の座標を画像記憶部11に設定する。なお、関心領域の画像表示パラメータとしては、例えば不透明度等が挙げられる。この不透明度とは、オブジェクトの関心領域の強調表示の強調度を示すものである。   The region-of-interest calculation unit 19 performs various control calculations such as the region of interest and opacity, and the voxel of the region of interest is based on the position of the voxel in the designated region designated by the operation unit 32 and the line-of-sight direction. The value is calculated. Here, the region-of-interest calculation unit 19 extracts the voxel value of the region of interest based on the voxel position and the region-of-interest parameter that defines the display mode of the region of interest. When the voxel information of the three-dimensional object defined in the object space is projected onto the projection plane, the coordinates of the region of interest in the projection area of the projection plane are set in the image storage unit 11. Note that the image display parameter of the region of interest includes, for example, opacity. This opacity indicates the emphasis degree of the highlight display of the region of interest of the object.

重み演算手段20は、予め設定された重み係数の場合にはボクセルに対してその重み係数を抽出し、予め設定された重み関数の場合には当該重み関数に基づいて各ボクセルに対応する重み係数を各々算出する重み係数演算部21と、操作部32にて操作指示された位置のボクセル値を基準とした境界より視点位置側のボクセル空間の各ボクセルのボリュームモデル上の位置を、視点位置、視線方向並びに操作部32にて指示された位置などから抽出するボクセル位置抽出部22と、前記ボクセル位置抽出部22にて算出された位置情報と前記重み係数演算部21にて算出された前記位置に対応する重み係数とに基づいて、当該各ボクセルの各CT値(各ボクセル値)を各々算出するCT値(ボクセル値)演算部23と、その他種々の演算処理(例えば、前記各ボクセルに対して重み係数を相関させたボクセル値をボリュームモデル上の視軸部分について算出した場合には、前記ボクセル空間に亘って演算する処理、あるいはこれらの演算制御を司る処理等)を行うその他の演算処理部24と、を含んで構成されている。なお、この重み演算手段は、本発明にいう「演算手段」に該当し、重み係数演算部は、本発明にいう「重み係数算出手段」に該当する。   In the case of a preset weighting factor, the weight calculation means 20 extracts the weighting factor for the voxel, and in the case of a preset weighting function, the weighting factor corresponding to each voxel based on the weighting function. Each of the voxel volume in the voxel space on the viewpoint position side from the boundary based on the voxel value of the position instructed by the operation unit 32, the position on the volume model, The voxel position extraction unit 22 that extracts from the line-of-sight direction and the position specified by the operation unit 32, the position information calculated by the voxel position extraction unit 22, and the position calculated by the weighting factor calculation unit 21 And a CT value (voxel value) calculating unit 23 for calculating each CT value (each voxel value) of each voxel based on the weighting factor corresponding to For example, when a voxel value obtained by correlating a weighting factor with respect to each voxel is calculated for the visual axis portion on the volume model, a process for calculating over the voxel space or a process for controlling these calculations, etc. And the other arithmetic processing unit 24 that performs (). The weight calculation means corresponds to “calculation means” according to the present invention, and the weight coefficient calculation unit corresponds to “weight coefficient calculation means” according to the present invention.

重み係数演算部21は、予め定義された重み関数に基づいて、視線方向の距離に応じた、重み係数(透明度を補正する補正値)を算出するものである。   The weighting factor calculation unit 21 calculates a weighting factor (a correction value for correcting transparency) according to the distance in the line-of-sight direction based on a predefined weighting function.

表示部31は、立体モデル生成部12からの画像を表示させる機能を有し、例えば図3に示すようなTVモニタ等から形成され、単体又はデュアル(2画面や合成)表示を可能とする。   The display unit 31 has a function of displaying an image from the three-dimensional model generation unit 12, and is formed from, for example, a TV monitor as shown in FIG. 3, and enables single or dual (two-screen or composite) display.

操作部32は、図3に示すように、例えばマウス、トラックボール及び/又はキーボード等の入力装置を用いて構成され、表示部31上で診断部位の指定や、各種画像表示パラメータの入力設定等を行うためのものである。これにより、制御部34は、操作部32により指定された表示画面上の点に基づいて、腫瘍等の画像の表示をみやすくするように変更制御する。この操作部は、本発明にいう「操作手段」に該当する。   As shown in FIG. 3, the operation unit 32 is configured using an input device such as a mouse, a trackball, and / or a keyboard, for example, and designates a diagnostic part on the display unit 31 or inputs various image display parameters. Is for doing. Accordingly, the control unit 34 performs change control so that the display of an image of a tumor or the like is easy to see based on the point on the display screen designated by the operation unit 32. This operation unit corresponds to the “operation means” referred to in the present invention.

なお、表示部31には、表示画面上に表示された表示操作部たる不図示の重み係数設定部ないしは重み関数設定部31aを構成してよい。この重み関数設定部31aは、例えば、画面のボリュームレンダリング画像の特定領域の境界位置より視点位置側のボクセル空間内の各ボクセルに対する各重み係数(透明度)を設定するためのある種の重み関数を任意に設定するものである。具体的には、重み関数の各パラメータ(勾配部のCT値と重み係数)を入力させ、このパラメータに基づく重み関数を生成して前記ボクセル空間と対応させて画像記憶部11に記憶する。   The display unit 31 may include a weight coefficient setting unit or a weight function setting unit 31a (not shown) that is a display operation unit displayed on the display screen. The weight function setting unit 31a uses, for example, a certain weight function for setting each weight coefficient (transparency) for each voxel in the voxel space on the viewpoint position side from the boundary position of the specific region of the volume rendering image on the screen. It is set arbitrarily. Specifically, each parameter of the weight function (CT value and weight coefficient of the gradient part) is input, a weight function based on this parameter is generated, and stored in the image storage unit 11 in association with the voxel space.

重み関数設定部31aは、画面に表示されるボリュームレンダリング画像の全体の重み係数を決定する複数の重み関数を画像記憶部11に記憶する。例えば、図10(A)(B)の重み関数F1は、距離が点A〜点Cまでの範囲の透明度が0〜1になるように変化する関数を有する重み関数にされている。この際、画像記憶部11には、投影面の各ピクセル座標kiに対応するピクセル座標P1(Xi、Yi)、P2、P3、……に重み関数を用いて演算されたCT値が割付けられて記憶されている。なお、本実施の形態の重み関数設定部は、本発明にいう「重み関数設定手段」に該当する。   The weight function setting unit 31a stores in the image storage unit 11 a plurality of weight functions that determine the overall weight coefficient of the volume rendering image displayed on the screen. For example, the weighting function F1 in FIGS. 10A and 10B is a weighting function having a function that changes so that the distance in the range from the point A to the point C becomes 0 to 1. At this time, the CT value calculated using the weighting function is assigned to the pixel coordinates P1 (Xi, Yi), P2, P3,... Corresponding to the pixel coordinates ki on the projection plane. It is remembered. The weight function setting unit of the present embodiment corresponds to “weight function setting means” according to the present invention.

なお、表示部31には、オペレータによって入力された関心領域のオパシティカーブを生成して画像記憶部11に設定するオパシティカーブ設定部(不図示)を形成してよい。   The display unit 31 may include an opacity curve setting unit (not shown) that generates an opacity curve of the region of interest input by the operator and sets the opacity curve in the image storage unit 11.

上記のように構成された画像処理装置10について、ボリューム表示を行う場合は、概略以下のように作用する。   The image processing apparatus 10 configured as described above generally operates as follows when performing volume display.

モダリティ2より転送されてきたスライス画像情報が画像記憶部11に格納されると、立体モデル生成部12は、画像記憶部11のスライス画像情報格納部11aより複数のスライス画像(マルチスライス画像)の取得を行う。   When the slice image information transferred from the modality 2 is stored in the image storage unit 11, the stereo model generation unit 12 stores a plurality of slice images (multi-slice images) from the slice image information storage unit 11 a of the image storage unit 11. Acquire.

立体モデル生成部12は、ボリューム表示に伴って、ファイルのスライス画像(X、Y)を順次抽出して、スライス画像の空間分解能(x、y)とスライス厚(z)とが等しい三次元空間座標系(X、Y、Z)を構成し、その一つ一つのボクセルの数値に応じたは色情報を割り付けたボリュームモデルをファイルに定義する。例えば、各ボクセルにCT値に応じた色情報を割り付けたボリュームモデル、つまり、組織間の境界面のみならず内部の情報構造も多重に見えるようなモデルを生成する。   The three-dimensional model generation unit 12 sequentially extracts the slice images (X, Y) of the file along with the volume display, and the three-dimensional space in which the spatial resolution (x, y) and the slice thickness (z) of the slice images are equal. A coordinate system (X, Y, Z) is configured, and a volume model to which color information is assigned according to the numerical value of each voxel is defined in the file. For example, a volume model in which color information corresponding to the CT value is assigned to each voxel, that is, a model in which not only a boundary surface between tissues but also an internal information structure looks multiple is generated.

また、立体モデル生成部12はボリュームモデルの生成に伴って、三次元空間座標系(X、Y、Z)に、3次元構造のボクセル空間の一つ一つのボクセルに対して、しきい値処理を行った複数の2値ボクセルの隣接関係から一つ一つのボクセル内を定義する。   In addition, as the volume model is generated, the three-dimensional model generation unit 12 performs threshold processing on each voxel in the three-dimensional voxel space in the three-dimensional space coordinate system (X, Y, Z). The inside of each voxel is defined from the adjacency relationship of the plurality of binary voxels subjected to the above.

そして、投影処理部15は、ファイルのボリュームモデルを所定の視線位置及び視線方向から投影したときのボリュームレンダリング画像を表示させる。例えば、図4に示すようなボリュームレンダリングの画像を表示する。図4は頭部のボリュームレンダリングの画像であり、腫瘍、血管、他の器官等が見えるようになっている。   Then, the projection processing unit 15 displays a volume rendering image when the volume model of the file is projected from a predetermined gaze position and gaze direction. For example, a volume rendering image as shown in FIG. 4 is displayed. FIG. 4 is a volume rendering image of the head, in which tumors, blood vessels, other organs, and the like can be seen.

ここで、レンダリング処理の中でも特にレイトレーシング法を用いて3次元画像を構成する場合には、3次元画像に対して、視線方向すなわち投影面(プロジェクションプレーン)を決め、ボクセルに対して視線方向から光線(=レイ)を飛ばし、経由するボクセルデータ値で決まる不透明度により、減衰透過する光線量を計算しながらレイ上の各サンプル点の反射光総量に輝度やカラー処理を施して3次元画像を得る。   Here, in particular, when a three-dimensional image is constructed using the ray tracing method in rendering processing, a viewing direction, that is, a projection plane (projection plane) is determined for the three-dimensional image, and the viewing direction from the viewing direction with respect to the voxel is determined. A ray (= ray) is skipped, and the total amount of reflected light at each sample point on the ray is subjected to brightness and color processing while calculating the amount of light that is attenuated and transmitted according to the opacity determined by the voxel data value that passes through. obtain.

このようなボリュームレンダリング画像を表示部31に表示しているとき、例えば、オペレータが操作部32のマウス等によって特定箇所を指示し、視点位置がジャンプされたとき、視線方向位置算出部13は、画面に表示されているボリュームレンダリング画像上の現在の二次元位置(スクリーン空間での二次元位置)を読み、この二次元位置及び視線方向を知らせる。   When such a volume rendering image is displayed on the display unit 31, for example, when the operator indicates a specific location with the mouse of the operation unit 32 and the viewpoint position is jumped, the line-of-sight direction position calculation unit 13 The current two-dimensional position (two-dimensional position in the screen space) on the volume rendering image displayed on the screen is read, and the two-dimensional position and the line-of-sight direction are notified.

ボリュームモデル位置算出部14は、視線方向位置算出部13からの二次元位置を読み、この位置の座標変換を行い、投影処理部15の投影面を介して前記位置に対応する三次元位置を求め、この三次元位置を、ボリュームレンダリング画像の指定ポイントのボリュームモデルの三次元位置として投影処理部15に送出する。すなわち、視線方向位置算出部13からの二次元位置に対応する三次元位置をボリュームモデルの三次元位置とする。   The volume model position calculation unit 14 reads the two-dimensional position from the line-of-sight direction position calculation unit 13, performs coordinate conversion of this position, and obtains a three-dimensional position corresponding to the position via the projection plane of the projection processing unit 15. The three-dimensional position is sent to the projection processing unit 15 as the three-dimensional position of the volume model at the specified point of the volume rendering image. That is, the three-dimensional position corresponding to the two-dimensional position from the line-of-sight direction position calculation unit 13 is set as the three-dimensional position of the volume model.

そして、投影処理部15は、ボリュームモデル位置算出部14からの三次元位置及び視線方向位置算出部13からの視線方向に基づいてボリュームモデルを投影面(スクリーン空間)に投影し、この投影面のボリュームレンダリング画像を画面に表示させる。このように、ボリュームレンダリング画像において、指定された位置の正確なボリューム画像を画面に表示できる。   Then, the projection processing unit 15 projects the volume model on the projection plane (screen space) based on the three-dimensional position from the volume model position calculation unit 14 and the line-of-sight direction from the line-of-sight direction position calculation unit 13, and Display the volume rendering image on the screen. Thus, an accurate volume image at a designated position can be displayed on the screen in the volume rendering image.

(本実施形態の特徴的構成)
ここで、本実施形態の特徴、すなわち、重み係数によりCT値を算出するための原理について図4〜図8を用いて説明する。
(Characteristic configuration of this embodiment)
Here, the feature of this embodiment, that is, the principle for calculating the CT value by the weighting coefficient will be described with reference to FIGS.

本実施の形態では、図4に示すようなCT等を用いて撮影された画像を用いて、頭部の3次元画像Gを表示する場合について説明する。なお、説明のため画像サイズは512×512とし、画像枚数は、512枚であり、ピクセルサイズ(xy平面における画素サイズ)とスライスピッチ(z方向の画素サイズ)は同じであるとする。また、座標系は、図4に示す通りであるとし、表示部31における重み関数設定部31aなどによって、重み関数が予め設定されている場合を想定する。   In the present embodiment, a case will be described in which a three-dimensional image G of the head is displayed using an image taken using CT or the like as shown in FIG. For the sake of explanation, it is assumed that the image size is 512 × 512, the number of images is 512, and the pixel size (pixel size on the xy plane) and the slice pitch (pixel size in the z direction) are the same. Further, it is assumed that the coordinate system is as shown in FIG. 4 and a weight function is set in advance by the weight function setting unit 31a in the display unit 31 or the like.

本実施の形態では、ユーザーが見たいと所望する部分(関心領域)の1点をクリック等の操作を行うことにより、当該クリックされた座標値(x、y、z)から視点位置側に離間するに従い、各画素(ボクセル値ないしCT値)の透明度を変更することで、前記関心領域を濃く表示し、前記関心領域から離間するに従い薄く表示する。このようにすることで、前記関心領域を明確に見えるようにし、前記関心領域の周囲の構造、例えば、血管等の走行具合を比較的解るように表示可能となる。例えば、図5に示すように、腫瘍aiの領域を操作部32を用いてクリックすると、腫瘍aiは極力見えるようになる。なお、クリックした点が腫瘍ai(関心領域)の中心であるとすると、当該中心点に対して腫瘍ai(関心領域)の視点位置側も若干薄く表示されるようにしてもよい。   In the present embodiment, by performing an operation such as clicking one point of a desired portion (region of interest) that the user wants to see, the user is separated from the clicked coordinate values (x, y, z) toward the viewpoint position. Accordingly, the transparency of each pixel (voxel value or CT value) is changed, so that the region of interest is displayed darkly, and the pixel is displayed lightly as the distance from the region of interest is increased. By doing so, the region of interest can be clearly seen, and the surrounding structure of the region of interest, for example, a blood vessel or the like can be displayed so as to be relatively understood. For example, as shown in FIG. 5, when the region of the tumor ai is clicked using the operation unit 32, the tumor ai becomes visible as much as possible. If the clicked point is the center of the tumor ai (region of interest), the viewpoint position side of the tumor ai (region of interest) may be displayed slightly lighter than the center point.

具体的には、先ず、装置使用者が表示部31の表示画面上に表示された三次元画像であるボリュームレンダリング画像のうち、注目すべき見たい部分(特定領域)を操作部32を用いてクリック等を行うことにより指定する。   Specifically, first, the operation unit 32 is used to select a portion (specific region) to be noticed in the volume rendering image that is a three-dimensional image displayed on the display screen of the display unit 31 by the apparatus user. Specify by clicking.

当該指定された特定領域内の指定点の指定位置は、ボリュームモデル位置算出部14により当該指定位置に対応するボリュームモデルM上の位置(図3に示す点A)に変換される。この際、視線方向Vなどによって投影面やボリュームモデルMの方向は決まっているものとする。   The designated position of the designated point in the designated specific area is converted by the volume model position calculation unit 14 into a position on the volume model M (point A shown in FIG. 3) corresponding to the designated position. At this time, it is assumed that the direction of the projection plane and the volume model M is determined by the line-of-sight direction V or the like.

ボリュームモデルM上の指定位置(点A)と、視線方向に基づくボリュームモデル上の視点位置(点C)により、投影線L上の前記指定位置(点A)と視点位置(点C)との間の距離(AC)を視線方向距離算出部16が算出する。   Based on the specified position (point A) on the volume model M and the viewpoint position (point C) on the volume model based on the viewing direction, the specified position (point A) and the viewpoint position (point C) on the projection line L The line-of-sight direction distance calculation unit 16 calculates the distance (AC) between them.

ここで、ボリュームモデルM内の前記指定位置(点A)より視点位置側のボクセル空間(VO)において、前記投影線L上にオブジェクト(CT値ないしボクセル値の高い分布領域)Bが存在する場合には、ボクセル位置抽出部22は、当該オブジェクトBの中心位置の前記ボリュームモデルM上の位置を抽出する。すなわち、表示部31において、指定された指定領域のオブジェクトAの手前側に何らかのオブジェクトBが存在する場合には、当該オブジェクトBの三次元位置を抽出することとなる。   Here, in the voxel space (VO) closer to the viewpoint position than the specified position (point A) in the volume model M, an object (a distribution area having a high CT value or voxel value) B exists on the projection line L. The voxel position extraction unit 22 extracts the position on the volume model M of the center position of the object B. That is, in the display unit 31, when any object B exists on the near side of the object A in the designated area, the three-dimensional position of the object B is extracted.

なおよって、視線方向距離算出部16は、指定位置(点A)と位置Bとの距離(AB)、位置Bと位置Cとの距離(BC)などをも算出することとなる。   Accordingly, the line-of-sight direction distance calculation unit 16 also calculates a distance (AB) between the designated position (point A) and the position B, a distance (BC) between the position B and the position C, and the like.

そして、重み係数演算部21は、予め設定された重み関数に基づいて、指定位置(点A)に対応する重み係数(第1重み係数)、位置(点B)に対応する重み係数(第2重み係数)を算出する。ここで、重み関数は、例えば、指定した部分の重みを大きくし、指定した部分から離れるに従い重みが小となる特性を有する関数であることが好ましい。   Then, the weighting factor calculation unit 21 based on a preset weighting function, a weighting factor (first weighting factor) corresponding to the designated position (point A) and a weighting factor (second second) corresponding to the position (point B). (Weighting coefficient) is calculated. Here, the weight function is preferably a function having a characteristic that, for example, the weight of the designated portion is increased and the weight becomes smaller as the distance from the designated portion increases.

例えば、重み係数により透明度を変更していき、例えば、視線方向から見て点Cにおける光(ボクセルデータないしはCT値)が200であるとすると、血管biのある点Bでは光は100となり、倍の距離で腫瘍aiのある点Aでは光は50となる。ここで、重み係数は、距離に比例した重みとなっているので、血管biのある点Bでは、0.5、腫瘍aiのある点Aでは、1となっている。なお、本例では、腫瘍aiと血管biとの間の距離と、血管biから点Cまでの距離が等しいものであるとしたが、等しくない場合、距離が変われば、この重みも距離に応じて変化する。   For example, if the transparency is changed by the weighting factor, and the light at point C (voxel data or CT value) is 200 when viewed from the line-of-sight direction, for example, the light at point B where blood vessel bi is present is 100 and doubled. The light is 50 at the point A where the tumor ai is at a distance of. Here, since the weight coefficient is a weight proportional to the distance, it is 0.5 at the point B where the blood vessel bi is present and 1 at the point A where the tumor ai is present. In this example, it is assumed that the distance between the tumor ai and the blood vessel bi and the distance from the blood vessel bi to the point C are the same. However, if the distance is not the same, the weight also depends on the distance. Change.

そして、ボリュームモデルM上の指定位置(点A)における重み係数・ボクセル値(CT値)、位置(点B)における重み係数・ボクセル値(CT値)等の各種データ条件が揃うと、当該データに基づいて、CT値演算部23は、例えば((第1重み係数)(第1ボクセル値)+(第2重み係数)(第2ボクセル値))/((第1重み係数)+(第2重み係数))等の計算式により、投影線上のピクセルに対応するCT値の算出を行う。   When various data conditions such as a weighting coefficient / voxel value (CT value) at a specified position (point A) on the volume model M and a weighting coefficient / voxel value (CT value) at the position (point B) are met, the data Based on the above, the CT value calculation unit 23, for example, ((first weighting factor) (first voxel value) + (second weighting factor) (second voxel value)) / ((first weighting factor) + (first The CT value corresponding to the pixel on the projection line is calculated by a calculation formula such as 2 weighting factors)).

上記例では、直線L上における点の表示として用いるCT値としては、{(点Aの重み係数)×(点Aの光)+(点Bの重み係数)×(点Bの光)}/{(点Aの重み係数)+(点Bの重み係数)}=66.7となり、従って、直線のL上の点の表示で用いる値(CTであればCT値)は66.7となる。ここに、CT値は、100、200等の許容範囲程度である。   In the above example, the CT value used to display the points on the straight line L is {(weight coefficient of point A) × (light of point A) + (weight coefficient of point B) × (light of point B)} / {(Weighting coefficient of point A) + (weighting coefficient of point B)} = 66.7, and therefore the value used to display the point on L of the straight line (CT value in the case of CT) is 66.7. . Here, the CT value is about an allowable range such as 100 or 200.

このようにして、投影面の一つのピクセルに対してCT値の算出を行うと、上記同様にして投影面の各ピクセルに対応する各CT値の算出、すなわち、図5における平面H全体に亘って同様の処理を行うこととなる。   When the CT value is calculated for one pixel on the projection plane in this way, the calculation of each CT value corresponding to each pixel on the projection plane, that is, the entire plane H in FIG. The same processing is performed.

ここで、仮に、腫瘍Aと血管Bとの距離がきわめて近い場合には、各点における各CT値に差が出ない。そのような場合は、例えば、重み係数を2乗することで、より差異が明確になる。   Here, if the distance between the tumor A and the blood vessel B is very close, there is no difference in the CT values at each point. In such a case, for example, the difference becomes clearer by squaring the weighting factor.

なお、重み係数を算出するための重み関数としては、様々な関数の設定方法がある。例えば、縦軸に重み、横軸に距離をとって、例えば、重みを1にして、距離がある程度、例えば腫瘍の大きさが2cm位であるとすると、2cm位までは真っ直ぐで、ある長さを越えた場合には重みが低減するような、図10(A)に示す非線形の関数でもよい。   There are various function setting methods as the weighting function for calculating the weighting coefficient. For example, when the weight is taken on the vertical axis and the distance is taken on the horizontal axis, for example, the weight is set to 1, and the distance is a certain amount, for example, the size of the tumor is about 2 cm, the length is straight up to about 2 cm. A non-linear function shown in FIG. 10A may be used in which the weight is reduced when the value exceeds.

このようにして、指定した点から重み係数を画像を薄くする場合に、当該重み係数を規定する重み関数の例としては、例えば、前記直線的な関数でもよいし、曲線的(2次曲線、双曲線、その他これに類するもの等)な関数でもよいし、非線形の関数を用いてもよい。   In this way, when the image of the weighting factor is thinned from the designated point, as an example of the weighting function that defines the weighting factor, for example, the linear function or the curvilinear (secondary curve, A hyperbola or other similar function may be used, or a non-linear function may be used.

なお、重みを距離に応じて線形的に一律に変化する場合に比べると、前記重みを2乗したものを重み係数とする方が、距離に応じて光の強さが弱くなるため、指示された点の画像がよりはっきり表示される。なおまた、腫瘍aiが小さい場合には、重み係数として2乗したものを用いた方がよいが、腫瘍aiが大きい場合には、重み係数として2乗しない数値を用いた方が好ましい。乃ち、腫瘍の大きさに応じて重み係数の乗算の手法を変更することが好ましい。またさらに、血管biと腫瘍aiとの大きさや位置関係、つまり、血管biがどの程度、腫瘍aiの先端まで入り込んできているか等に応じても重み係数の演算の手法を変更することが好ましい。   Compared to the case where the weight is linearly changed according to the distance, the weighting factor is a value obtained by squaring the weight, and the light intensity becomes weak according to the distance. The image of the point is displayed more clearly. In addition, when the tumor ai is small, it is better to use a squared weighting factor, but when the tumor ai is large, it is preferable to use a numerical value that does not square as the weighting factor. In other words, it is preferable to change the weighting coefficient multiplication method according to the size of the tumor. Furthermore, it is preferable to change the method of calculating the weighting factor depending on the size and positional relationship between the blood vessel bi and the tumor ai, that is, how much the blood vessel bi has entered the tip of the tumor ai.

このような重み係数の演算手法を変更する場合には、関数を多種多様に変更可能に構成するとよい。ここに、関数の変更は、例えば予め種々の関数を登録しておき、表示画面上に表示された複数の選択部から選択できるように形成しておいてもよい。   When changing the calculation method of such a weighting coefficient, it is preferable that the function can be changed in various ways. Here, the function may be changed by, for example, registering various functions in advance and selecting them from a plurality of selection units displayed on the display screen.

また、図10(A)(B)に示すように、当該重み関数F1は、グラフ状に表示された関数の線部分をポインタP等により摘む等の操作を行うことにより、変更できるように構成されている。図10(A)(B)の例では、横軸を距離、縦軸を重み係数とした場合に、例えば、図10(B)に示すような重み関数F1をF2〜F5のように変更設定することで重み係数による透明度の変更を行うようにしている。   Also, as shown in FIGS. 10A and 10B, the weighting function F1 can be changed by performing an operation such as picking a line portion of the function displayed in a graph with a pointer P or the like. Has been. In the example of FIGS. 10A and 10B, when the horizontal axis is the distance and the vertical axis is the weighting coefficient, for example, the weight function F1 as shown in FIG. 10B is changed and set as F2 to F5. By doing so, the transparency is changed by the weighting factor.

さらに、重み関数としては、上記したような例に限らず、予め専用の関数を設けておき、マニュアル操作により図10(A)(B)に示すようなカーブを画面上に描くことができるように構成してよい。これによって、操作部(マウス)で摘んで当該関数曲線を延ばしたり、あるいは新規に作成したり自由に任意にできることとなる。   Furthermore, the weight function is not limited to the above example, and a dedicated function is provided in advance so that a curve as shown in FIGS. 10A and 10B can be drawn on the screen by manual operation. You may comprise. As a result, the function curve can be extended by being picked by the operation unit (mouse), or can be arbitrarily created.

また、複数の各関数を選択するための例えばファンクションキーを用意しておき(ファンクションキーに複数の関数を登録しておく)、画面を参照しながら最適な関数を選択する構成としてよい。この場合には、いずれか一つのファンクションキーを押下すると、予め登録された関数の画面が呼び出され、当該画面に表示された関数を微調節して設定登録することもできる。あるいは、新たに関数を登録したファンクションキーを生成してもよい。   For example, a function key for selecting a plurality of functions may be prepared (a plurality of functions are registered in the function key), and an optimum function may be selected while referring to the screen. In this case, when any one of the function keys is pressed, a screen of a function registered in advance is called, and the function displayed on the screen can be finely adjusted and registered. Alternatively, a function key in which a new function is registered may be generated.

このようにすることにより、複数のユーザー(医師)の各々の好みに応じた専用の、複数の各ファンクションキーを設けることもできる。これにより、透明度の変え方を複数種類構成でき、例えば、腫瘍の大きさによって、関数によって透明度を変えられ、特定の領域を見るための目的に応じて、自由に変更できる。なお、X線CT装置では、例えば腫瘍用のファンクションキー、血管用のファンクションーなどを構成してもよい。   By doing so, it is possible to provide a plurality of function keys dedicated to each user's (doctor) 's preference. Thereby, a plurality of methods for changing the transparency can be configured. For example, the transparency can be changed by a function depending on the size of the tumor, and can be freely changed according to the purpose for viewing a specific region. In the X-ray CT apparatus, for example, a function key for tumor, a function for blood vessel, and the like may be configured.

(処理手順について)
次に、上述のような構成の画像処理装置において、特に重み係数を考慮したCT値を算出する際のさらに詳細な演算ステップについて、図8を参照しつつ説明する。なお、本実施の形態においては、立体モデル生成部12がCT装置又はMRI等で得られたスライス画像に基づく三次元物体をボクセルでオブジェクト空間に生成している。
(About processing procedure)
Next, in the image processing apparatus having the above-described configuration, a more detailed calculation step when calculating a CT value particularly considering the weight coefficient will be described with reference to FIG. In the present embodiment, the three-dimensional model generation unit 12 generates a three-dimensional object based on a slice image obtained by a CT apparatus or MRI in the object space using voxels.

先ず、初めに重み関数を設定する処理を説明する。重み関数設定部31aを用いて、腫瘍aiにて指定された指定位置(点A)を基準とした重み関数の勾配を決定するための距離、重み係数等からなるパラメータを装置使用者が設定入力を行う。この際、例えば、デフォルトの設定では、図10(A)に示すような重み関数F1が表示され、必要に応じてポインタPを用いて、図10(B)に示すように、種々の特性に変更することが可能となる。設定入力を行うと、対応する重み関数を生成し、重み関数設定部31は、当該重み関数の特性をテーブル形式で画像記憶部11に記憶する。   First, processing for setting a weight function will be described first. Using the weight function setting unit 31a, the apparatus user sets and inputs parameters including a distance, a weight coefficient, and the like for determining the gradient of the weight function with reference to the designated position (point A) designated by the tumor ai. I do. At this time, for example, in the default setting, the weighting function F1 as shown in FIG. 10A is displayed, and various characteristics are obtained as shown in FIG. It becomes possible to change. When setting input is performed, a corresponding weight function is generated, and the weight function setting unit 31 stores the characteristics of the weight function in the image storage unit 11 in a table format.

このような、重み関数を予め設定して、以後に説明する処理を行うことにより、ボリュームレンダリング画像の特定領域の物体をはっきりと表示させる。   By setting such a weight function in advance and performing the processing described later, an object in a specific region of the volume rendering image is clearly displayed.

次に、ボリュームレンダリング画像を表示部31の表示画面上に形成するには、先ず、CT装置又はMRI等で得られて画像記憶部11に記憶されたスライス画像に基づき、立体モデル生成部12は、三次元構造のボクセル空間(座標系)を生成し(ステップ、以下「S」101)、各ボクセルにCT値に応じた色情報を割り付けたボリュームモデルを生成する(S102)。   Next, in order to form a volume rendering image on the display screen of the display unit 31, first, based on the slice image obtained by a CT apparatus or MRI and stored in the image storage unit 11, the three-dimensional model generation unit 12 Then, a voxel space (coordinate system) having a three-dimensional structure is generated (step, hereinafter “S” 101), and a volume model in which color information corresponding to the CT value is assigned to each voxel is generated (S102).

このボリュームモデルを生成して、画像を表示を行う際には、例えば、図4に示す3次元画像から図5に示すようなボリュームレンダリング画像を作成する。ここでは、簡単のために図5に示すように腫瘍aiと血管biとが残るように設定する。   When this volume model is generated and an image is displayed, for example, a volume rendering image as shown in FIG. 5 is created from the three-dimensional image shown in FIG. Here, for simplicity, settings are made so that the tumor ai and the blood vessel bi remain as shown in FIG.

さらに、投影処理部15にて所定の視点位置、視線方向(V)からオブジェクト空間にボクセルで定義された三次元物体(対象物)に、投影処理を行い、腫瘍ai、血管bi等を含むボリュームレンダリング画像を生成し、画像処理部17は、視線方向Vから見た画像を表示部31に表示する(S103)。ここで、投影処理では、投影処理部15が投影面のピクセルから3次元物体に対してレイトレーシングを行うときに、そのピクセル座標kiを読み込む。   Further, the projection processing unit 15 performs a projection process on a three-dimensional object (target object) defined by voxels in the object space from a predetermined viewpoint position and line-of-sight direction (V), and includes a volume including a tumor ai, a blood vessel bi, and the like. The rendering image is generated, and the image processing unit 17 displays the image viewed from the line-of-sight direction V on the display unit 31 (S103). Here, in the projection processing, when the projection processing unit 15 performs ray tracing on the three-dimensional object from the pixel on the projection plane, the pixel coordinate ki is read.

ここで、従来の手法で表示を行う場合には、図5に示す方向Vから入射した光は、血管biで遮られてしまい、図7に示すように、腫瘍aiが血管biに隠れてしまう。   Here, when the display is performed by the conventional method, the light incident from the direction V shown in FIG. 5 is blocked by the blood vessel bi, and the tumor ai is hidden in the blood vessel bi as shown in FIG. .

これに対し本例では、図7に示すように、腫瘍aiの位置を、3次元カーソル、マウス等で操作部32を用いてポインタPにより指定する。この時、図5に示すように、指定した腫瘍aiの位置Aは、ボリューム画像の中心(255、255、255)であるとする。また、点Aと点Cを結ぶ直線L上には、腫瘍aiの位置A(255、255、255)、血管biの位置B(255、383、255)、点C(255、511、255)が存在し、位置Bは、位置Aと点Cの中間にあるものとする。さらに、点Cの方向から光が入射した場合、血管biより腫瘍aiの方が減衰し、その減衰は、距離に反比例するとする。例えば、入射光が200であれば、点Cでは200、血管biでは100、腫瘍aiでは50になるとする。この際、重み関数は、例えば図10(A)の重み関数を用いるとする。   On the other hand, in this example, as shown in FIG. 7, the position of the tumor ai is designated by the pointer P using the operation unit 32 with a three-dimensional cursor, a mouse or the like. At this time, as shown in FIG. 5, it is assumed that the position A of the designated tumor ai is the center (255, 255, 255) of the volume image. On the straight line L connecting the points A and C, the position A (255, 255, 255) of the tumor ai, the position B (255, 383, 255) of the blood vessel bi, and the point C (255, 511, 255) And position B is assumed to be between position A and point C. Furthermore, when light is incident from the direction of the point C, the tumor ai attenuates more than the blood vessel bi, and the attenuation is inversely proportional to the distance. For example, if the incident light is 200, the point C is 200, the blood vessel bi is 100, and the tumor ai is 50. At this time, for example, the weight function shown in FIG.

そして、装置使用者によってボリュームレンダリング画像上の特定領域(図7に示す腫瘍ai)の指定位置にポインタP等が指定されると、ボリュームモデル位置算出部14が当該指定位置がボリュームモデル上のいかなる位置であるのかを算出する。すなわち、操作部12の操作によりポインタPを腫瘍aiの位置に指定した場合には、当該ポインタにて指定された位置(腫瘍ai)の座標を抽出する(S104)。ボクセル位置抽出部22は、AC間に画像(血管bi)がある場合に、ACを結ぶ直線L上の点(例えば血管bi)の座標を抽出する(S105)。なお、投影面のピクセル座標kiに、血管biなどのオブジェクトが含まれていない場合には、重み関数の演算処理は行わない。   When the device user designates the pointer P or the like at the designated position of the specific area (tumor ai shown in FIG. 7) on the volume rendering image, the volume model position calculation unit 14 determines whether the designated position is on the volume model. Calculate whether it is a position. That is, when the pointer P is designated as the position of the tumor ai by operating the operation unit 12, the coordinates of the position designated by the pointer (tumor ai) are extracted (S104). When there is an image (blood vessel bi) between ACs, the voxel position extraction unit 22 extracts the coordinates of a point (for example, blood vessel bi) on the straight line L connecting AC (S105). If the pixel coordinate ki on the projection plane does not include an object such as a blood vessel bi, the weight function calculation process is not performed.

そして、AC間の距離、BC間の距離を各々算出する(S106)。次いで、指定あるいは選択された「重み」を表す重み関数からA、Bにおける重み係数を算出する(S107)。具体的には、重み係数演算部20は、重み関数とAB間の距離、BC間の距離などから点Aにおける重み係数、点Bにおける重み係数、点Cにおける重み係数等を各々算出する。   Then, the distance between AC and the distance between BC are calculated (S106). Next, the weighting coefficients for A and B are calculated from the weight function representing the designated or selected “weight” (S107). Specifically, the weighting factor calculation unit 20 calculates a weighting factor at point A, a weighting factor at point B, a weighting factor at point C, and the like from the distance between the weighting function and AB, the distance between BCs, and the like.

一方、CT値演算部23は、点Cにて入射光が入射する場合には、点Cでのボクセル値(CT値)を所定の値としたときの、点A、Bの各ボクセル値(CT値)を抽出し(S108)、点A、点Bの重み係数、点A、点BのCT値、並びに各点A・B・C間の距離に基づき、L上の点CのCT値を算出する(S109)。そして、平面H上のすべての点について、前記S109の算出を行い、各CT値を算出する(S110)。このように、この重み関数を用いてボクセルの情報の透明度を決定し、重み関数に基づく透明度とボクセルにおける明るさと積算した画像を投影面のピクセルに投影する。乃ち、重み関数を用いて三次元物体のボクセルの情報の透明度を決定し、この透明度とボクセルにおける明るさとを積算した画像を投影面のピクセルに投影する。例えば、頭部がボクセルで三次元物体としてオブジェクト空間に定義され、かつ重み関数が設定されているときに、この重み関数を用いて投影面のピクセルに投影が行われる。この際、投影処理部15は投影面の全てのピクセルに対する投影が終了したかどうかを判断して、終了していないと判定したときは、投影面のピクセルを次の座標のピクセルに更新する。そして、腫瘍aiの輪郭を表示部31に表示する(S111)。   On the other hand, when incident light is incident at the point C, the CT value calculation unit 23 sets the voxel values at the points A and B when the voxel value at the point C (CT value) is a predetermined value ( (CT value) is extracted (S108), and the CT value of point C on L is based on the weight coefficients of point A and point B, the CT value of point A and point B, and the distance between points A, B, and C. Is calculated (S109). Then, the calculation of S109 is performed for all points on the plane H, and each CT value is calculated (S110). Thus, the transparency of the voxel information is determined using this weight function, and an image obtained by integrating the transparency based on the weight function and the brightness in the voxel is projected onto the pixels of the projection plane. Then, the transparency of the voxel information of the three-dimensional object is determined using a weight function, and an image obtained by integrating the transparency and the brightness of the voxel is projected onto the pixels of the projection plane. For example, when the head is a voxel and is defined in the object space as a three-dimensional object and a weight function is set, projection is performed on the pixels on the projection plane using the weight function. At this time, the projection processing unit 15 determines whether or not the projection for all the pixels on the projection plane has been completed. If it is determined that the projection has not ended, the projection processing unit 15 updates the pixel on the projection plane to the pixel of the next coordinate. Then, the outline of the tumor ai is displayed on the display unit 31 (S111).

従来の表示では、点Cから入射した光が血管biで遮られてしまうため、表示するためのCT値は、100を用いて表示していたため、先に説明したが、図7に示すように腫瘍aiが血管biに遮られてしまう。   In the conventional display, since the light incident from the point C is blocked by the blood vessel bi, the CT value for display is displayed using 100, and as described above, as shown in FIG. Tumor ai is blocked by blood vessel bi.

本実施形態では、指定した点(腫瘍ai)から図7に示す平面Hまでの距離の逆数とする重みをつける。例えば、重み関数が重み関数F1に設定されているときは、CT値が50のときに重み係数が「1」にされて、CT値が「200」のときに重み係数が「0」となる勾配を有するカーブにされているので、図5に示すように、腫瘍aiの重みは1であり、血管biの重みは、0.5となる。そして、表示するL上の点の値は、計算により66.7となる。これを平面H上の全ての点について行うと、腫瘍aiを遮断する血管biが半透明化して消えて、腫瘍aiがはっきりと映ることになり、図8に示すように、血管biの下に隠れた腫瘍aiの輪郭が分かる。   In the present embodiment, a weight that is the reciprocal of the distance from the specified point (tumor ai) to the plane H shown in FIG. For example, when the weight function is set to the weight function F1, the weight coefficient is set to “1” when the CT value is 50, and the weight coefficient is set to “0” when the CT value is “200”. Since the curve has a slope, as shown in FIG. 5, the weight of the tumor ai is 1, and the weight of the blood vessel bi is 0.5. And the value of the point on L to display becomes 66.7 by calculation. When this is performed for all points on the plane H, the blood vessel bi that blocks the tumor ai becomes translucent and disappears, and the tumor ai is clearly reflected. As shown in FIG. The outline of the hidden tumor ai can be seen.

このようして、3次元で撮影された画像の中である一点を指定し、指定された点からの距離に応じて透明度を変えて表示することにより、図8に示すように腫瘍等を見たい場合に邪魔な構造物である血管等が半透明になる。よって、あらゆる方向から腫瘍等の形状を認識でき、さらに周囲の構造も把握できる。   In this way, by designating one point in an image photographed in three dimensions and changing the transparency according to the distance from the designated point, the tumor or the like can be seen as shown in FIG. When it wants, the blood vessel etc. which are obstructive structures become translucent. Therefore, the shape of a tumor or the like can be recognized from any direction, and the surrounding structure can also be grasped.

以上のように本実施の形態によれば、腫瘍等の見たい部分から離れるに従って、重みを軽くすることにより、見たい部分以外が半透明になり、腫瘍等の見たい部分と周囲の構造を見やすくすることができ、特に、腫瘍と血管との関係を見ながら、腫瘍の状態を明確に把握することができる。   As described above, according to the present embodiment, as the distance from the part to be seen such as a tumor is increased, the weight is reduced so that the part other than the part to be seen becomes translucent, and the part to be seen such as the tumor and the surrounding structure In particular, the state of the tumor can be clearly grasped while observing the relationship between the tumor and the blood vessel.

なお、本実施の形態では、操作部により指定する指定位置の箇所が1箇所である場合について例示したが、このような場合に限らず、他の複数箇所を指定する場合、例えば2箇所等を指定する場合に適用しても構わない。さらに、本実施の形態では、重み関数の例として、指定した点を基準とした逆数を重みの場合について例示したが、重み関数の例としてはこれに限らず、例えば距離の2乗に反比例する手法等他の種々の手法を用いる場合であって良い。   In addition, in this Embodiment, although illustrated about the case where the location of the designation | designated position designated with an operation part is one place, when not specifying such a case, when designating other multiple places, for example, two places etc. You may apply when you specify. Furthermore, in the present embodiment, as an example of the weight function, the reciprocal number based on the designated point is exemplified as the weight, but the example of the weight function is not limited to this, and is, for example, inversely proportional to the square of the distance. Other various methods such as a method may be used.

また、上記実施の形態では、ボリュームレンダリング画像において、腫瘍、血管等のみが表示された上で指定した場合の処理を説明したが、頭部の他の構造、例えば、他の腫瘍やその他種々の器官等が表示された状態で指定する場合であっても同様である。もちろん、所定の透明度に関する各関数を用いて腫瘍(関心領域)や血管等を抽出した場合でも、前記重み関数によるCT値の補正演算をさらに行うことで容易に実現できる。   Further, in the above embodiment, the processing in the case where the volume rendering image is designated after displaying only the tumor, blood vessel, and the like has been described, but other structures of the head, for example, other tumors and other various types The same applies to the case where an organ or the like is specified in a displayed state. Of course, even when a tumor (region of interest), a blood vessel, or the like is extracted using each function related to predetermined transparency, it can be easily realized by further performing a CT value correction calculation using the weight function.

さらに、腫瘍の大きさが大きい場合には、腫瘍(関心領域)の中の指定した指定点を含む関心領域を、前記重み関数とは別の専用の重み関数(関心領域を抽出する際の不透明度曲線とも異なる)による処理を施すように構成してもよい。この場合、装置使用者によってボリュームレンダリング画像上に関心領域が設定されている場合には、関心領域演算部19が、当該領域を認識して投影面に関心領域を割り当て、関心領域内のピクセル座標kiに対応するピクセル座標Piを画像記憶部11に設定した際に、この投影面の関心領域内の各ピクセル座標Piに関心領域であることを示すコードを付加して画像記憶部11に記憶されているので、重み関数演算部は、上記コードが検出された場合には、関心領域の重み関数を用い、コードが検出されない場合には前記重み関数を用いればよい。このようなのボリュームレンダリング表示によって、腫瘍ai以外の領域は、重み関数F1透明度で表示されると共に、腫瘍aiは重み関数F1とは異なる重み関数で表示されることにより、例えば腫瘍aiにおいては腫瘍がはっきりと映り、腫瘍ai以外の領域の血管biは薄く映るようになり、さらに、腫瘍ai自身も半透明にしたりあるいは逆に強調したりすることもできる。   Furthermore, when the size of the tumor is large, the region of interest including the designated designated point in the tumor (region of interest) is converted into a dedicated weight function different from the weighting function (in the case of extracting the region of interest). You may comprise so that the process by a different from a transparency curve may be performed. In this case, when the region of interest is set on the volume rendering image by the apparatus user, the region of interest calculation unit 19 recognizes the region and assigns the region of interest to the projection plane, and the pixel coordinates in the region of interest. When the pixel coordinate Pi corresponding to ki is set in the image storage unit 11, a code indicating that the region of interest is added to each pixel coordinate Pi in the region of interest on the projection plane and stored in the image storage unit 11. Therefore, the weight function calculation unit may use the weight function of the region of interest when the code is detected and use the weight function when the code is not detected. By such volume rendering display, the area other than the tumor ai is displayed with the weight function F1 transparency, and the tumor ai is displayed with a weight function different from the weight function F1, so that, for example, the tumor in the tumor ai The blood vessel bi in the region other than the tumor ai appears to be thin, and the tumor ai itself can be made translucent or can be emphasized conversely.

またさらに、本実施の形態で例示したような画像処理は、ボリュームレンダリング画像により生成された三次元画像について説明したが、他の種々の表示法にて生成された三次元画像について指定する場合であっても一向に構わない。ここに、種々の表示法とは、ボリュームレンダリング法、サーフェスレンダリング法、MIP法、MinIP法、X線投影法等その他の各種の画像表示方法のことを指す。   Furthermore, the image processing as exemplified in the present embodiment has been described for the three-dimensional image generated by the volume rendering image. However, in the case of designating the three-dimensional image generated by various other display methods. It does n’t matter if it ’s there. Here, various display methods refer to various image display methods such as volume rendering method, surface rendering method, MIP method, MinIP method, and X-ray projection method.

[第2の実施の形態]
次に、本発明にかかる第2の実施の形態について、図11〜図16に基づいて説明する。なお、以下には、前記第1の実施の形態の実質的に同様の構成に関しては説明を省略し、異なる部分についてのみ述べる。図10は、本実施の形態の医用画像診断システムの構成の一例を示す機能ブロック図である。
[Second Embodiment]
Next, a second embodiment according to the present invention will be described with reference to FIGS. In the following, description of the substantially similar configuration of the first embodiment will be omitted, and only different parts will be described. FIG. 10 is a functional block diagram showing an example of the configuration of the medical image diagnostic system of the present embodiment.

本実施形態の医用画像診断システム1は、図11に示すように、X線CT装置、X線診断装置、MRI装置、超音波診断装置、SPECT装置等の各種のモダリティ201(医用画像診断装置)と、当該モダリティ201にて取得された画像情報に対して種々の画像処理を施して例えば三次元画像等を表示可能な画像処理装置200aと、から構成されている。   As shown in FIG. 11, the medical image diagnostic system 1 of the present embodiment includes various modalities 201 (medical image diagnostic apparatus) such as an X-ray CT apparatus, an X-ray diagnostic apparatus, an MRI apparatus, an ultrasonic diagnostic apparatus, and a SPECT apparatus. And an image processing apparatus 200a that can perform various image processing on the image information acquired by the modality 201 and display, for example, a three-dimensional image.

画像処理装置200aは、モダリティ201にて取得された画像情報を記憶するための画像記憶部202と、この画像記憶部202での画像情報に基づいて、MIP画像を作成するMIP画像作成処理部203と、設定されたMIP枚数を処理するMIP枚数設定処理部204と、これらの各種画像情報、MIP画像等を表示するための表示部205と、表示部205にて表示される表示モード(例えばMIP画像表示モード、<MIPされていない>断層像表示モード、3D画像表示モード)を切り換える表示モード切換部206と、表示画面上での各種操作を行うための操作部207と、画像記憶部202の画像情報などの転送処理を行うための画像転送部208と、これら各部を制御する制御部209と、を含んで構成されている。なお、本実施の形態のMIP画像作成処理部及び制御部とで、本発明にいう「画像作成手段」を構成し、本実施の形態のMIP枚数設定処理部及び後述する表示設定部とで、本発明にいう「設定手段」を構成できる。   The image processing apparatus 200a includes an image storage unit 202 for storing the image information acquired by the modality 201, and an MIP image creation processing unit 203 that creates an MIP image based on the image information in the image storage unit 202. A MIP number setting processing unit 204 for processing the set MIP number, a display unit 205 for displaying these various image information, MIP images, and the like, and a display mode (for example, MIP) displayed on the display unit 205 Display mode switching unit 206 for switching between image display mode, <not MIP> tomogram display mode, 3D image display mode), operation unit 207 for performing various operations on the display screen, and image storage unit 202 It includes an image transfer unit 208 for performing transfer processing of image information and the like, and a control unit 209 that controls these units. The MIP image creation processing unit and the control unit according to the present embodiment constitute an “image creation unit” according to the present invention, and the MIP number setting processing unit according to the present embodiment and a display setting unit to be described later. The “setting means” according to the present invention can be configured.

上述のような構成を有する画像処理装置200aにおいて、例えばX線CT装置等で撮影された画像を用いて、頭部の3次元画像を表示する場合について説明する。ここに、説明のため画像サイズは、512×512で、画像(スライス画像)枚数は例えば300枚であるとする。また、座標系は、図12に示す通りであるとする。   In the image processing apparatus 200a having the above-described configuration, a case will be described in which a three-dimensional image of the head is displayed using, for example, an image captured by an X-ray CT apparatus or the like. Here, for explanation, it is assumed that the image size is 512 × 512, and the number of images (slice images) is 300, for example. The coordinate system is as shown in FIG.

図12に示すように、そもそもMIP処理とは、複数枚の原断層像を積層してなる三次元原画像に基づいて、前記三次元原画像を所定方向から平面に投影した投影画像を表示する画像処理である。すなわち、処理対象である全ての原画像に対して、それぞれの観察方向上にある全てのピクセルについて、図12に示すように、最大値を取り出して投影画像を生成する。なお、ここに取り出す値としては、最大値に限らず、ある特定の特定値でよい。例えば、二番目に大きい値や、最小値,加算平均値等であってもよい。このようにして、造影撮影によって、病巣部が描出される。   As shown in FIG. 12, in the first place, MIP processing displays a projected image obtained by projecting the three-dimensional original image onto a plane from a predetermined direction based on the three-dimensional original image formed by stacking a plurality of original tomographic images. Image processing. That is, with respect to all the original images to be processed, a projection image is generated by extracting the maximum value for all the pixels in the respective observation directions as shown in FIG. The value extracted here is not limited to the maximum value, and may be a specific value. For example, it may be the second largest value, the minimum value, the addition average value, or the like. In this way, the lesion is depicted by contrast imaging.

そして、上述のような構成を有する画像処理装置200aにおいて、MIP処理を行う場合には、図11に示すように、MIP画像作成処理部203は、画像記憶部202に蓄積されている数十枚の画像データを用いて、変化の小さい画像毎にいくつか領域を定め、この領域毎に画像データを画像記憶部202から読み込んで、この領域毎に最大値、最小値、平均値、特定値等のMIP処理を行う。これにより、MIP処理データが分割した領域毎に生成される。このようにして得られたMIP処理データを参照してMIP処理部が分割した領域毎に分割処理用の画像データを生成する。   When the MIP process is performed in the image processing apparatus 200a having the above-described configuration, the MIP image creation processing unit 203 includes several tens of sheets stored in the image storage unit 202 as illustrated in FIG. Using this image data, several areas are defined for each image with a small change, the image data is read from the image storage unit 202 for each area, and the maximum value, minimum value, average value, specific value, etc. for each area. The MIP process is performed. Thereby, the MIP processing data is generated for each divided area. Image data for division processing is generated for each area divided by the MIP processing unit with reference to the MIP processing data obtained in this way.

そして、得られた分割処理用の画像データを用いて、MIP画像作成処理部203が画像記憶部202に蓄積されている一連の画像群からなる画像データについてMIP処理を分割された領域毎に各々実行処理し、MIP処理済みの画像データを再び画像記憶部202に戻す。この場合、領域毎に各々MIP処理を行うこととなり、効率が良く、MIP処理時間を短縮することができる。この場合も、関心領域を正確に抽出することが可能になる。   Then, the MIP image creation processing unit 203 uses the obtained image data for division processing for each region obtained by dividing the MIP processing for image data including a series of images stored in the image storage unit 202. The execution processing is performed, and the MIP-processed image data is returned to the image storage unit 202 again. In this case, MIP processing is performed for each region, which is efficient and can shorten the MIP processing time. Also in this case, it is possible to accurately extract the region of interest.

そして、画像記憶部202に格納されたMIP処理済みの画像データについて、制御部209が所望の画像処理を行って表示部205に表示する。この場合、画像記憶部202には既にMIP処理された一群の画像データが蓄積されているため、制御部209での画像処理は、どのような画像処理を行うことも可能である。すなわち、任意の角度のMIP処理や3D処理であっても、所望の画像を容易に観察することができるようになる。   The control unit 209 performs desired image processing on the image data that has been subjected to MIP processing stored in the image storage unit 202 and displays the image data on the display unit 205. In this case, since a group of image data that has already undergone MIP processing is stored in the image storage unit 202, any image processing can be performed in the image processing in the control unit 209. That is, a desired image can be easily observed even with MIP processing or 3D processing at an arbitrary angle.

(表示設定部)
ここで、上述の「MIP処理」における各種設定事項を設定可能な表示設定部の一例について、図14を参照しつつ説明する。図14は、当該MIP処理を行う際の表示設定部の表示画面の一例を示す説明図である。
(Display setting part)
Here, an example of a display setting unit capable of setting various setting items in the above-described “MIP processing” will be described with reference to FIG. FIG. 14 is an explanatory diagram illustrating an example of a display screen of the display setting unit when performing the MIP process.

同図に示すように、表示設定部300では、スライス画像の枚数に応じてMIPの対象となる画像枚数を表示した画像枚数表示部301、MIPする場合の区切り方法の設定を行う区切り方法設定部302、区切り枚数が均等である場合に当該区切り枚数の設定を行う第1の区切り枚数設定部303、区切り枚数を不均等に設定したい場合に当該区切り枚数の設定を行う第2の区切り枚数設定部304、区切り方向を設定するための区切り方向設定部305などが形成されている。   As shown in the figure, in the display setting unit 300, an image number display unit 301 that displays the number of images to be subjected to MIP according to the number of slice images, a separation method setting unit that sets a separation method when performing MIP 302, a first delimiter number setting unit 303 for setting the delimiter number when the delimiter number is equal, and a second delimiter number setting unit for setting the delimiter number when setting the delimiter number unevenly 304, a separation direction setting unit 305 for setting a separation direction is formed.

区切り方法設定部302では、例えば、最大値によるMIP処理、最小値による処理、加算平均値による処理、あるいは、その他の各種特定値により処理、・・等各種処理形態を選択設定できるようになっている。   The delimiter setting unit 302 can select and set various processing modes such as MIP processing using the maximum value, processing using the minimum value, processing using the addition average value, or processing using various other specific values. Yes.

第1の区切り枚数設定部303では、例えば、0〜300枚の画像を均等に区分けする場合の設定項目であり、図の例では例えば「10」枚となっていることから、300枚を10枚毎に区切り、当該10枚をMIP処理して1枚の画像とし、MIP処理後の画像は計30枚になることを意味する。   The first delimiter number setting unit 303 is a setting item for equally dividing 0 to 300 images, for example, “10” in the example of the figure. This means that 10 sheets are divided into 10 sheets, and the 10 sheets are subjected to MIP processing to form one image, and the number of images after MIP processing is 30 in total.

第2の区切り枚数設定部304では、例えば、0〜300枚の画像を不均等に区分けする場合の設定項目であり、図の例では、0〜300枚の画像のうち、最初の40枚、最後の40枚は20枚ずつとし、中央部を例えば10枚とするような設定を行っている。このように、不均等に設定する場合には、場所に応じて任意に設定することも可能である。   The second separator number setting unit 304 is a setting item when, for example, 0 to 300 images are unequally divided. In the example in the figure, the first 40 images among 0 to 300 images, The last 40 sheets are set to 20 sheets each, and the central part is set to 10 sheets, for example. Thus, when setting unevenly, it is also possible to set arbitrarily according to a place.

なお、第1の区切り枚数設定部303、第2の区切り枚数設定部304は、例えばチェックボックスによって、均等、不均等の設定を行うことができる。   It should be noted that the first delimiter number setting unit 303 and the second delimiter number setting unit 304 can be set to be equal or unequal by, for example, check boxes.

区切り方向設定部305は、複数のスライス画像を重ね合わせたマルチスライス画像による再構成画像において、区切り方向を設定するための設定項目であり、図の例では体軸に沿ったアキシャル方向(AX)にて区切る場合を意味している。なお、この他、サジタル方向(SA)、コロナル方向(CO)、オブリーク方向(OB)等に設定することも可能である。   The delimiter direction setting unit 305 is a setting item for setting a delimiter direction in a reconstructed image by a multi-slice image obtained by superimposing a plurality of slice images. In the example in the figure, an axial direction (AX) along the body axis is set. It means the case where it delimits with. In addition, the sagittal direction (SA), the coronal direction (CO), the oblique direction (OB), and the like can be set.

このようにして、表示設定部300を利用することによって、MIP処理における種々の設定を行いつつ、OKボタン等を押下することによって設定登録がなされ、不図示のMIP処理開始釦等により、当該設定項目にて設定された設定条件につき、MIP処理が行われることとなる。これらの設定条件は、MIP処理が行われると、画像記憶部202に画像データとともに、例えば付帯情報のファイルとして格納される。   In this way, by using the display setting unit 300, various settings in MIP processing are performed, and setting registration is performed by pressing an OK button or the like, and the setting is performed by a MIP processing start button or the like (not shown). MIP processing is performed for the setting conditions set in the item. When the MIP process is performed, these setting conditions are stored in the image storage unit 202 as image data along with image data, for example.

(処理手順)
次に、上述のような構成の画像処理装置を用いてMIP画像を生成する際の具体的な処理手順について説明する。画像記憶部202にはCT若しくはMRにより得られた多数の画像データが蓄積されている。例えば、ヘリカルスキャンにより得られた胸部や腹部についての数十枚の体軸方向の断層像の一連の画像群からなる画像データが蓄積されているとして説明を行う。
(Processing procedure)
Next, a specific processing procedure when an MIP image is generated using the image processing apparatus configured as described above will be described. The image storage unit 202 stores a large number of image data obtained by CT or MR. For example, a description will be given assuming that image data including a series of image groups of dozens of tomographic images in the body axis direction for the chest and abdomen obtained by the helical scan is accumulated.

より詳細な演算ステップとしては、上述のような構成の画像処理装置において、先ず、図14に示すような表示設定部300を用いて、MIP処理を行う際に区分けされる1グループあたりの枚数(本実施の形態では例えば均等に10枚ずつ)を決める。これによって、MIP枚数設定処理部204は、所定のグループ毎に各スライス画像を区分する処理を行う。そして、図15に示すように、MIP枚数情報を抽出し、区分すべき座標値(x,y,9)、(x,y,19)、(x,y,29)・・・を算出する処理を行う(S201)。   As a more detailed calculation step, in the image processing apparatus having the above-described configuration, first, using the display setting unit 300 as shown in FIG. In this embodiment, for example, 10 sheets are determined equally. As a result, the MIP number setting processing unit 204 performs a process of dividing each slice image for each predetermined group. Then, as shown in FIG. 15, the MIP number information is extracted, and coordinate values (x, y, 9), (x, y, 19), (x, y, 29). Processing is performed (S201).

次いで、MIP画像作成処理部203は、例えば10枚目までのスライス画像に基づいて、MIP画像を作成する処理を行う(S202)。ここで先ず、「MIP画像1」を生成する処理(S210)について説明する。なお、以下では、基準のボクセルの座標値を(x,y,z)=(0,0,0)とし、例えば、x=0列目は、元来「1列目」のことである。   Next, the MIP image creation processing unit 203 performs processing for creating an MIP image based on, for example, up to ten slice images (S202). First, the process of generating “MIP image 1” (S210) will be described. In the following description, the coordinate value of the reference voxel is (x, y, z) = (0, 0, 0). For example, the x = 0th column is originally the “first column”.

そして、座標(x,y,z)=(0,0,0)〜(0,0,9)の各画素値のうち最大の画素値を、MIP画像の座標(X,Y)=(0,0)の画素値とする処理を行う(S211(1、1))。乃ち、図12に示すように、直線M(xとyが同じでzが異なる、z軸方向に沿った画素)上の10点から「MIP画像1」の1番目の画素値を決める。ここで、3次元画像のxy座標系とMIP画像のxy座標系は同じであるものとする。そして、「MIP画像1」の画素値の決め方は、図12及び図13に示すように、直線M上の10点の画素値を見て最大の値を、「MIP画像1」の最初の画素値とする。例えば、図12に示す、z軸方向沿った10画素の各画素値が、図13のようであるとすると、この各画素値のうち最大値は「9」であるから、この画素値「9」を「MIP画像1」の対応する位置の画素値とする。   Then, the maximum pixel value among the pixel values of the coordinates (x, y, z) = (0, 0, 0) to (0, 0, 9) is set to the coordinates (X, Y) = (0 , 0) is performed (S211 (1, 1)). That is, as shown in FIG. 12, the first pixel value of “MIP image 1” is determined from 10 points on the straight line M (pixels along the z-axis direction where x and y are the same and z is different). Here, it is assumed that the xy coordinate system of the three-dimensional image and the xy coordinate system of the MIP image are the same. Then, as shown in FIGS. 12 and 13, the pixel value of “MIP image 1” is determined by looking at the pixel values of 10 points on the straight line M, and setting the maximum value to the first pixel of “MIP image 1”. Value. For example, if the pixel values of 10 pixels along the z-axis direction shown in FIG. 12 are as shown in FIG. 13, the maximum value among these pixel values is “9”. "Is a pixel value at a corresponding position of" MIP image 1 ".

同様にして、座標(x,y,z)=(0,1,0)〜(0,1,9)の各画素値のうち最大の画素値を、MIP画像の座標(X,Y)=(0,1)の画素値とする処理を行う(S211(2、1))。乃ち、直線Mに隣り合った直線N上の10点から「MIP画像1」の2番目の画素値を決める。この際にも、「MIP画像1」の画素値の決め方は、図12及び図13に示すように、直線N上の10点の画素値を見て最大の画素値を「MIP画像1」の次の画素値とする。例えば、図12に示す、z軸方向沿った10画素の各画素値が、図12のようであるとすると、この各画素値のうち最大値は「7」であるから、この画素値「7」を「MIP画像1」の対応する位置の画素値とする。   Similarly, the maximum pixel value among the pixel values of coordinates (x, y, z) = (0, 1, 0) to (0, 1, 9) is set to the coordinates (X, Y) = Processing for setting a pixel value of (0, 1) is performed (S211 (2, 1)). That is, the second pixel value of the “MIP image 1” is determined from 10 points on the straight line N adjacent to the straight line M. Also in this case, the method of determining the pixel value of “MIP image 1” is as follows. As shown in FIG. 12 and FIG. The next pixel value is used. For example, if the pixel values of 10 pixels along the z-axis direction shown in FIG. 12 are as shown in FIG. 12, the maximum value among these pixel values is “7”. "Is a pixel value at a corresponding position of" MIP image 1 ".

このようにして、yの座標が「0」〜「511」となるまで同様の処理を行う。乃ち、最後に、座標(x,y,z)=(0,511,0)〜(0,511,9)の各画素値のうち最大の画素値を、MIP画像の座標(X,Y)=(0,511)の画素値とする処理を行う(S211(512、1))。これによって、「MIP画像1」のXY座標系におけるX=0列目の画像値の生成が完了する。   In this way, the same processing is performed until the y coordinate becomes “0” to “511”. Finally, the maximum pixel value among the pixel values of coordinates (x, y, z) = (0, 511, 0) to (0, 511, 9) is determined as the coordinates (X, Y) of the MIP image. = (0,511) The pixel value is processed (S211 (512, 1)). Thereby, the generation of the image value of the X = 0th column in the XY coordinate system of “MIP image 1” is completed.

次に、座標(x,y,z)=(1,0,0)〜(1,0,9)の各画素値のうち最大の画素値を、MIP画像の座標(X,Y)=(1,0)の画素値とする処理を行う(S211(1、2))。同様にして、座標(x,y,z)=(1,1,0)〜(1,1,9)の各画素値のうち最大の画素値を、MIP画像の座標(X,Y)=(1,1)の画素値とする処理を行う(S211(2、2))。このようにして、yの座標が「0」〜「511」となるまで同様の処理を行う。乃ち、最後に、座標(x,y,z)=(1,511,0)〜(1,511,9)の各画素値のうち最大の画素値を、MIP画像の座標(X,Y)=(1,511)の画素値とする処理を行う(S211(512、2))。これによって、「MIP画像1」のXY座標系におけるX=1列目の画像値の生成が完了する。   Next, the maximum pixel value among the pixel values of coordinates (x, y, z) = (1, 0, 0) to (1, 0, 9) is set as the coordinates (X, Y) = ( The pixel value of (1, 0) is processed (S211 (1, 2)). Similarly, the maximum pixel value among the pixel values of coordinates (x, y, z) = (1, 1, 0) to (1, 1, 9) is set to the coordinates (X, Y) = Processing for setting the pixel value of (1, 1) is performed (S211 (2, 2)). In this way, the same processing is performed until the y coordinate becomes “0” to “511”. Finally, the maximum pixel value among the pixel values of the coordinates (x, y, z) = (1, 511, 0) to (1, 511, 9) is set to the coordinates (X, Y) of the MIP image. = (1,511) The pixel value is processed (S211 (512, 2)). This completes the generation of the image value of the X = 1st column in the XY coordinate system of “MIP image 1”.

このようにして、X=511列目まで同様の処理を行う。X=511列目においては、先ず、座標(x,y,z)=(511,0,0)〜(511,0,9)の各画素値のうち最大の画素値を、MIP画像の座標(X,Y)=(511,0)の画素値とする処理を行う(S211(1、512))。同様にして、座標(x,y,z)=(511,1,0)〜(511,1,9)の各画素値のうち最大の画素値を、MIP画像の座標(X,Y)=(511,1)の画素値とする処理を行う(S211(2、512))。このようにして、yの座標が「0」〜「511」となるまで同様の処理を行う。乃ち、最後に、座標(x,y,z)=(511,511,0)〜(511,511,9)の各画素値のうち最大の画素値を、MIP画像の座標(X,Y)=(511,511)の画素値とする処理を行う(S211(512、512))。このようにして、xy平面上の全ての位置に関してz軸方向に沿った画素値のうち最大値の画素値を割り当てる処理を行うと、「MIP画像1」のXY座標系におけるX=511列目の画像値が生成されて、「MIP画像1」の作成が完了する。   In this way, the same processing is performed up to the X = 511th column. In the X = 511th column, first, the maximum pixel value among the pixel values of the coordinates (x, y, z) = (511, 0, 0) to (511, 0, 9) is set to the coordinates of the MIP image. Processing to set the pixel value of (X, Y) = (511, 0) is performed (S211 (1, 512)). Similarly, the maximum pixel value among the pixel values of the coordinates (x, y, z) = (511, 1, 0) to (511, 1, 9) is set as the coordinate (X, Y) = Processing for setting the pixel value of (511, 1) is performed (S211 (2, 512)). In this way, the same processing is performed until the y coordinate becomes “0” to “511”. Finally, the maximum pixel value among the pixel values of coordinates (x, y, z) = (511, 511,0) to (511, 511, 9) is determined as the coordinates (X, Y) of the MIP image. = (511, 511) The pixel value is processed (S211 (512, 512)). In this way, when the maximum pixel value among the pixel values along the z-axis direction is assigned to all positions on the xy plane, the X = 511th column in the XY coordinate system of “MIP image 1” Are generated, and the creation of “MIP image 1” is completed.

上記のようにして、「MIP画像1」を生成する処理が終了すると、上記「MIP画像1」と同様にして「MIP画像2」を生成する処理を行う(S212)。この「MIP画像2」を生成する処理では、「MIP画像1」で開始座標を(x,y,z)=(0,0,0)〜(0,0,9)としたのを、(x,y,z)=(0,0,10)〜(0,0,19)とすればよい。このように、次の10枚のスライス画像についても、上記処理を行い「MIP画像2」の作成を行う。   When the process of generating “MIP image 1” is completed as described above, the process of generating “MIP image 2” is performed in the same manner as “MIP image 1” (S212). In the process of generating “MIP image 2”, the start coordinates of “MIP image 1” are (x, y, z) = (0, 0, 0) to (0, 0, 9). x, y, z) = (0, 0, 10) to (0, 0, 19) may be used. In this way, the above-described processing is performed on the next 10 slice images to create “MIP image 2”.

そして、本実施形態では、z方向に沿ってスライス画像の画像枚数が300枚であることから、上記処理を繰り返し、同様にして「MIP画像3」・・・「MIP画像30」の計30枚のMIP画像の作成が行われることとなる。このように、「MIP画像30」までの処理を行うと(S288)、MIP画像の作成処理が終了することとなる。さらに、MIP画像表示処理を行う(S290)ことによって、30枚のMIP画像の表示を行うことができる。   In the present embodiment, since the number of slice images is 300 along the z direction, the above process is repeated, and a total of 30 “MIP images 3” to “MIP images 30” are similarly processed. The MIP image is created. As described above, when the process up to “MIP image 30” is performed (S288), the MIP image creation process ends. Further, by performing the MIP image display process (S290), it is possible to display 30 MIP images.

以上にように本実施の形態によれば、ボリュームで撮影された多数枚の画像を、数枚ずつMIP処理を行い、数枚毎に区切ってMIP表示する。例えば、均等に例えば10で分けた場合には、区切った部分での最大値を付けていき、いくつかに区切りを行って表示する。これにより、読影時間を早くし、かつ、見やすい画像を提供できるとともに、全体をも容易に把握できる。   As described above, according to the present embodiment, MIP processing is performed on several images shot with a volume several times, and MIP display is performed by dividing every several images. For example, in the case of dividing evenly by 10, for example, the maximum value in the divided part is given, and some parts are divided and displayed. Thereby, the interpretation time can be shortened and an easy-to-see image can be provided, and the whole can be easily grasped.

なお、本実施の形態では、10枚ずつ等間隔にMIPしたが、MIPする枚数は、前記に限定されず、他の枚数、例えば図16に示すように、両端部K1では15枚で、中央部では5枚毎(K1)にする等でも良い。例えば頭部の画像を収集した際に、端部領域では情報が少ない。そこで、MIP処理を行う際に、端部領域を15枚位とし、中央部領域を5枚位とし、頭の血管等の部分などの見たい所だけを見やすくすることができる。乃ち、中央部領域では情報量が多いので、分割数を密(細かく分割)した方が好ましい。   In the present embodiment, the MIPs are performed at equal intervals of 10 sheets. However, the number of sheets to be MIP is not limited to the above. For example, as shown in FIG. In the part, it may be every 5 sheets (K1). For example, when an image of the head is collected, there is little information in the end region. Therefore, when performing the MIP processing, the end region is set to about 15 sheets, and the central region is set to about 5 sheets, so that only a desired portion such as a blood vessel of the head can be easily seen. In other words, since the amount of information is large in the central area, it is preferable that the number of divisions is dense (finely divided).

さらに、本実施の形態においては、MIPを算出する場合について例示したが、MIP(最大値を算出する)に限定されるものではない。例えば、この中の平均値を用いる場合や、最大ではなく2番目に高い値を用いる場合、例えば10枚のうちの5枚の加算平均値を用いる場合等であってもよい。あるいは、他の処理形態としては、輝度値の高い方の画素値から半分だけ足して、それの平均をとるような処理であってもよい。要は、複数の画素の中から所定の画素を所定の処理を施して抽出すればよい。あるいは、端部の10枚は最大から2番目の値であるが、中心部方向に向かうほど最大値をとるようにする処理としてもよい。なお、これら種々の中でも、MIP処理の場合は特に血管、腫瘍等が強調されて表示されるので、腫瘍等を見るのであれば、MIP処理の方が特徴点が発見しやすいので好ましい。   Further, in the present embodiment, the case of calculating MIP is exemplified, but the present invention is not limited to MIP (calculating the maximum value). For example, the case where the average value among them is used, the case where the second highest value is used instead of the maximum value, the case where the addition average value of five of the ten images is used, or the like may be used. Alternatively, another processing form may be a process in which only half of the pixel value having the higher luminance value is added and the average is obtained. In short, a predetermined pixel may be extracted from a plurality of pixels by performing a predetermined process. Or although 10 sheets of an edge part is the 2nd value from the maximum, it is good also as a process of taking the maximum value, so that it goes to a center part direction. Of these various types, in the case of MIP processing, blood vessels, tumors, and the like are particularly emphasized and displayed. Therefore, if the tumor is viewed, the MIP processing is preferable because the feature points are easier to find.

なお、本発明にかかる装置と処理手順は、そのいくつかの特定の実施の形態に従って説明してきたが、本発明の主旨および範囲から逸脱することなく本発明の本文に記述した実施の形態に対して種々の変形が可能である。例えば、上述の第1の実施の形態では、モダリティとしてX線CT装置の場合の例を説明したが、これに限定されず、他の例えばMRI(核磁気共鳴イメージング)装置、SPECT又はPET、X線画像装置、超音波診断装置、さらには、X線画像装置としては、「透視撮影装置」や「多目的X線画像診断装置」、IVR―CT装置等であっても良い。   Although the apparatus and processing procedure according to the present invention have been described according to some specific embodiments thereof, the embodiments described in the main text of the present invention are not deviated from the gist and scope of the present invention. Various modifications are possible. For example, in the first embodiment described above, an example in the case of an X-ray CT apparatus as a modality has been described. However, the present invention is not limited to this. For example, another MRI (nuclear magnetic resonance imaging) apparatus, SPECT or PET, X As a line image apparatus, an ultrasonic diagnostic apparatus, and an X-ray image apparatus, a “fluoroscopic apparatus”, a “multipurpose X-ray image diagnostic apparatus”, an IVR-CT apparatus, or the like may be used.

また、上記第1の実施の形態では、操作手段により特定領域(関心領域)を指定する場合について例示したが、これに限らず、事前に登録した特定領域であってもよい。さらに、上記第1の実施の形態においては、ボリュームレンダリングによるボリュームレンダリング画像において指定する場合について例示したが、他の様々な手法によって表示された三次元画像において指定する場合であっても良い。またさらに、上記第1の実施の形態において、重み関数、透明度の変え方は、数種類の中から選択したり、自分で登録する場合であってもよい。   In the first embodiment, the specific area (region of interest) is specified by the operation means. However, the present invention is not limited to this, and a specific area registered in advance may be used. Furthermore, in the first embodiment, the case of specifying in a volume rendering image by volume rendering has been illustrated, but it may be specified in a three-dimensional image displayed by various other methods. Furthermore, in the first embodiment, the weight function and the method of changing the transparency may be selected from several types or registered by oneself.

さらに、前記第2の実施の形態において、三次元で撮影された多数枚の画像を、数枚毎に区切りMIP等の表示をする「MIP」処理について説明したが、このような処理に限らず、各断層像を単に重ね合わせる処理等であってもよい。この際、MIPする枚数や重ね合わせる枚数は変えることができる。また、上記第2の実施の形態では、「MIP」する方向をアキシャル方向とした場合について説明したが、これに限定されず、サジタル方向、コロナル方向、オブリーク方向等、任意の方向での「MIP」処理が可能であることは言うまでもない。   Furthermore, in the second embodiment, the “MIP” process has been described in which a large number of three-dimensional images are separated into several images and displayed, such as MIP. However, the present invention is not limited to such a process. A process of simply superimposing the tomographic images may be used. At this time, the number of sheets to be MIPed and the number of sheets to be superimposed can be changed. In the second embodiment, the case where the “MIP” direction is the axial direction has been described. However, the present invention is not limited to this, and “MIP” in an arbitrary direction such as the sagittal direction, the coronal direction, the oblique direction, or the like. It goes without saying that processing is possible.

またさらに、第2の実施の形態において、モダリティにて例えば画像再構成される際に、原断層像に対してMIP処理を区分けして行い、そのMIP処理されたデータに対して再構成処理を行ってもよい。この場合、被検体の各断層像に対して所定のスライス数毎にMIP処理を施し、被検体の複数のMIP処理データを作成する画像作成手段、画像作成手段によりMIP処理されたデータに対して再構成処理を施し、MIP処理後の断層像を作成する再構成手段、再構成手段で得られた複数の断層画像を表示する表示手段を有することが好ましい。   Furthermore, in the second embodiment, for example, when an image is reconstructed by the modality, the MIP processing is divided and performed on the original tomographic image, and the reconstruction processing is performed on the MIP-processed data. You may go. In this case, MIP processing is performed on each tomographic image of the subject for each predetermined number of slices to create a plurality of MIP processing data of the subject, and data that has been subjected to MIP processing by the image creation unit It is preferable to have a reconstruction unit that performs reconstruction processing and creates a tomographic image after MIP processing, and a display unit that displays a plurality of tomographic images obtained by the reconstruction unit.

また、上述の実施の形態の医用画像診断システムとして、モダリティとネットワークを介して接続された一又は複数の医用画像保管装置(画像サーバー)、一又は複数の画像参照用端末(画像ビューア、3Dワークステーション等も含む)を含んだシステムを構成してもよい。その際、前記端末が3D表示機能を備えている場合には、前記各実施の形態において説明された処理にかかるプログラムを当該端末に搭載してもよい。さらに、医用画像診断システム内において処理される処理プログラム、説明された処理、データの全体もしくは各部を情報記録媒体に記録した構成であってもよい。この情報記録媒体としては、光ディスク、光磁気ディスク、磁気記録媒体等を用いてよく、さらに、CD−ROM、ハードディスク、CD―R、CD―RW、DVDRAM、DVDROM、MO、ROM、RAM、不揮発性メモリカード等に記録して構成して用いてよい。   In addition, as the medical image diagnosis system of the above-described embodiment, one or a plurality of medical image storage devices (image servers) connected to a modality via a network, one or a plurality of image reference terminals (image viewer, 3D work) A system including a station etc.) may be configured. In that case, when the terminal has a 3D display function, a program related to the processing described in each of the embodiments may be installed in the terminal. Further, the processing program processed in the medical image diagnostic system, the described processing, the entire data, or each unit may be recorded on an information recording medium. As this information recording medium, an optical disk, a magneto-optical disk, a magnetic recording medium, or the like may be used. Further, a CD-ROM, a hard disk, a CD-R, a CD-RW, a DVDRAM, a DVDROM, an MO, a ROM, a RAM, a non-volatile It may be recorded and configured on a memory card or the like.

この情報記録媒体を上記各実施の形態によるシステム以外の他のシステムあるいは装置で用い、そのシステムあるいはコンピュータがこの記憶媒体に格納されたプログラムコードを読み出し、実行することによっても、上記各実施の形態と同等の機能を実現できると共に、同等の効果を得ることができる。   The information recording medium is used in another system or apparatus other than the system according to each of the above embodiments, and the system or the computer reads out and executes the program code stored in the storage medium. The same function can be realized, and the same effect can be obtained.

さらに、上記実施形態には種々の段階が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。また、上述の各実施の形態同士、あるいはそれらのいずれかと各変形例のいずれかとの組み合わせによる例をも含むことは言うまでもない。また、実施形態に示される全構成要件から幾つかの構成要件が削除されてもよい。   Furthermore, the above embodiment includes various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. Further, it goes without saying that examples including combinations of the above-described embodiments or any one of them and any of the modifications are included. Moreover, some structural requirements may be deleted from all the structural requirements shown in the embodiment.

1 医用画像診断システム
10 画像処理装置
11 画像記憶部
17 画像処理部
21 重み係数演算部
23 CT値演算部
31 表示部
31a 重み関数設定部
32 操作部
34 制御部
200 医用画像診断システム
200a 画像処理装置
202 画像記憶部
203 MIP画像作成処理部
204 MIP枚数設定処理部
205 表示部
206 操作部
209 制御部
300 表示設定部
DESCRIPTION OF SYMBOLS 1 Medical image diagnostic system 10 Image processing apparatus 11 Image memory | storage part 17 Image processing part 21 Weight coefficient calculating part 23 CT value calculating part 31 Display part 31a Weight function setting part 32 Operation part 34 Control part 200 Medical image diagnostic system 200a Image processing apparatus 202 Image storage unit 203 MIP image creation processing unit 204 MIP number setting processing unit 205 Display unit 206 Operation unit 209 Control unit 300 Display setting unit

Claims (3)

複数枚の原断層像を積層してなる三次元原画像に基づいて、前記三次元原画像を所定方向から投影面に投影した投影画像を表示する画像処理を行う画像処理装置であって、
前記三次元画像における前記所定方向を設定する第1の設定、および前記複数枚の原断層像を該第1の設定による所定方向にて所定枚数毎の複数のグループに区分する第2の設定を行う設定手段と、
前記設定手段にて設定された前記複数のグループ毎に、1グループを構成する各前記原断層像に対し、各前記原断層像の積層方向上にある1グループ枚数分のピクセルの画素値に対して前記画素値に基づく画像処理を施すことで所定方向の投影画像を作成する画像作成手段と、
を含むことを特徴とする画像処理装置。
An image processing apparatus that performs image processing based on a three-dimensional original image formed by stacking a plurality of original tomographic images and displays a projection image obtained by projecting the three-dimensional original image on a projection surface from a predetermined direction,
A first setting for setting the predetermined direction in the three-dimensional image, and a second setting for dividing the plurality of original tomographic images into a plurality of groups for each predetermined number of sheets in a predetermined direction according to the first setting. Setting means to perform,
For each of the plurality of groups set by the setting means, for each of the original tomographic images constituting one group, the pixel value of one group of pixels in the stacking direction of each of the original tomographic images. Image creating means for creating a projection image in a predetermined direction by performing image processing based on the pixel value;
An image processing apparatus comprising:
前記画像作成手段は、少なくとも積層方向上にある1グループ内の各ピクセルの各画素値のうち特定値を取り出す処理を行うことを特徴とする請求項1に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the image creating unit performs a process of extracting a specific value from pixel values of pixels in one group at least in the stacking direction. 複数枚の原断層像を積層してなる三次元原画像に基づいて、前記三次元原画像を所定方向から投影面に投影した投影画像を表示する画像処理を行う画像処理装置であって、
前記三次元画像における前記所定方向を設定する第1の設定、および前記複数枚の原断層像を、該第1の設定による所定方向にて所定枚数毎に重ね合わせる第2の設定を行う設定手段と、
前記設定手段にて設定された所定枚数毎に重ね合わせられた前記原断層像のピクセルの画素値に対して前記画素値に基づく画像処理を施すことで所定方向の投影画像を作成する画像作成手段と、
を含むことを特徴とする画像処理装置。
An image processing apparatus that performs image processing based on a three-dimensional original image formed by stacking a plurality of original tomographic images and displays a projection image obtained by projecting the three-dimensional original image on a projection surface from a predetermined direction,
Setting means for performing a first setting for setting the predetermined direction in the three-dimensional image and a second setting for superimposing the plurality of original tomographic images for each predetermined number of sheets in a predetermined direction according to the first setting. When,
Image creating means for creating a projected image in a predetermined direction by performing image processing based on the pixel values for the pixel values of the pixels of the original tomographic image superimposed for each predetermined number of sheets set by the setting means When,
An image processing apparatus comprising:
JP2011068200A 2011-03-25 2011-03-25 Image processing device Expired - Lifetime JP5161991B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011068200A JP5161991B2 (en) 2011-03-25 2011-03-25 Image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011068200A JP5161991B2 (en) 2011-03-25 2011-03-25 Image processing device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001284280A Division JP4776834B2 (en) 2001-09-19 2001-09-19 Image processing device

Publications (2)

Publication Number Publication Date
JP2011134352A JP2011134352A (en) 2011-07-07
JP5161991B2 true JP5161991B2 (en) 2013-03-13

Family

ID=44346927

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011068200A Expired - Lifetime JP5161991B2 (en) 2011-03-25 2011-03-25 Image processing device

Country Status (1)

Country Link
JP (1) JP5161991B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5846373B2 (en) * 2012-01-13 2016-01-20 国立研究開発法人海洋研究開発機構 Image processing apparatus, image processing method, image processing program, and image processing system
JP5961504B2 (en) * 2012-09-26 2016-08-02 富士フイルム株式会社 Virtual endoscopic image generating apparatus, operating method thereof, and program
TWI815842B (en) * 2018-01-16 2023-09-21 日商索尼股份有限公司 Image processing device and method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5297043A (en) * 1987-11-27 1994-03-22 Picker International, Inc. Rapid display of rotated and translated three dimensional image representations
JPH087799B2 (en) * 1992-06-19 1996-01-29 インターナショナル・ビジネス・マシーンズ・コーポレイション Data visualization device and method
JP3704652B2 (en) * 1995-09-08 2005-10-12 株式会社日立メディコ 3D image processing method
JPH09327455A (en) * 1996-06-10 1997-12-22 Ge Yokogawa Medical Syst Ltd Image creation method, image creation device and medical image diagnostic device
JP4253044B2 (en) * 1996-07-09 2009-04-08 株式会社東芝 X-ray CT system
US6123733A (en) * 1996-11-27 2000-09-26 Voxel, Inc. Method and apparatus for rapidly evaluating digital data processing parameters
JP2000090283A (en) * 1998-09-09 2000-03-31 Toshiba Iyo System Engineering Kk Volume rendering image display method, image processor and storage medium storing program for the same method
US6211674B1 (en) * 1999-05-14 2001-04-03 General Electric Company Method and system for providing a maximum intensity projection of a non-planar image
JP4310000B2 (en) * 1999-07-08 2009-08-05 ジーイー横河メディカルシステム株式会社 Three-dimensional image forming method and apparatus, and ultrasonic imaging apparatus
JP2001250133A (en) * 2000-03-03 2001-09-14 Hitachi Medical Corp Image display device

Also Published As

Publication number Publication date
JP2011134352A (en) 2011-07-07

Similar Documents

Publication Publication Date Title
JP4776834B2 (en) Image processing device
US9401019B2 (en) Imaging tomosynthesis system, in particular mammography system
JP6118325B2 (en) Interactive live segmentation with automatic selection of optimal tomographic slices
KR102109588B1 (en) Methods for processing, displaying and navigating breast tissue images
US8553955B2 (en) Image processing apparatus, X-ray computed tomography apparatus, and image processing method
JP5318877B2 (en) Method and apparatus for volume rendering of datasets
JP5495357B2 (en) Image display method and medical image diagnostic system
US8878838B2 (en) Visualizing a time-variant parameter in a biological structure
JP2019069232A (en) System and method for navigating x-ray guided breast biopsy
US10319119B2 (en) Methods and systems for accelerated reading of a 3D medical volume
JP5417609B2 (en) Medical diagnostic imaging equipment
US20090174729A1 (en) Image display device and control method thereof
JP2009034503A (en) Method and system for displaying tomosynthesis image
JP4388104B2 (en) Image processing method, image processing program, and image processing apparatus
JP2004180932A (en) Computer aided diagnostic apparatus
JP6058286B2 (en) Medical image diagnostic apparatus, medical image processing apparatus and method
JP5980776B2 (en) Medical image display apparatus and medical image display method
US20050110748A1 (en) Tomography-capable apparatus and operating method therefor
JP5161991B2 (en) Image processing device
JP6174860B2 (en) Associating acquired images with objects
CN100583161C (en) Method for depicting an object displayed in a volume data set
JP2001101450A (en) Three-dimensional image display device
JP6487999B2 (en) Information processing apparatus, information processing method, and program
EP3423968B1 (en) Medical image navigation system
JP2001101449A (en) Three-dimensional image display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121214

R150 Certificate of patent or registration of utility model

Ref document number: 5161991

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term