JP6548049B2 - Image processing apparatus and program - Google Patents
Image processing apparatus and program Download PDFInfo
- Publication number
- JP6548049B2 JP6548049B2 JP2017226184A JP2017226184A JP6548049B2 JP 6548049 B2 JP6548049 B2 JP 6548049B2 JP 2017226184 A JP2017226184 A JP 2017226184A JP 2017226184 A JP2017226184 A JP 2017226184A JP 6548049 B2 JP6548049 B2 JP 6548049B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- dimensional
- 3dcg
- alignment
- normal anatomical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 44
- 230000003902 lesion Effects 0.000 claims description 54
- 210000003484 anatomy Anatomy 0.000 claims description 28
- 238000002224 dissection Methods 0.000 description 55
- 238000000034 method Methods 0.000 description 18
- 210000004126 nerve fiber Anatomy 0.000 description 10
- 210000000133 brain stem Anatomy 0.000 description 9
- 210000004556 brain Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000011888 autopsy Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 210000003792 cranial nerve Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000002490 cerebral effect Effects 0.000 description 1
- 210000004720 cerebrum Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000002425 internal capsule Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000337 motor cortex Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、画像処理装置及びプログラムに関する。 The present invention relates to an image processing apparatus and program.
従来から、医用画像処理装置が提案されている。例えば、コンピュータにより生成される仮想的な画像と実際に撮影された写真画像とを照合可能にできる画像処理装置が提案されている（例えば、特許文献１を参照）。この画像処理装置は、コンピュータにより生成された生体内部組織の検査画像と、当該生体内部組織の写真画像とを受け入れる。そして、画像処理装置は、これら検査画像と写真画像との双方の対応点を設定し、生体内部組織を表す仮想表面を生成する。また、画像処理装置は、当該生成した仮想表面に、写真画像をテクスチャとして投影された像を生成するとともに、この写真画像上に設定された対応点を一致させた検査画像をテクスチャとして、生成した像に対して半透明合成した結果を表示する。 Conventionally, a medical image processing apparatus has been proposed. For example, there has been proposed an image processing apparatus capable of collating a virtual image generated by a computer with a photo image actually captured (see, for example, Patent Document 1). The image processing apparatus receives a computer-generated examination image of internal biological tissue and a photographic image of the internal biological tissue. Then, the image processing apparatus sets corresponding points of both the inspection image and the photographic image, and generates a virtual surface representing internal tissue of the living body. Further, the image processing apparatus generates an image obtained by projecting a photographic image as a texture on the generated virtual surface, and generates an inspection image in which corresponding points set on the photographic image are matched as a texture. Display the result of semi-transparent composition on the image.
なお、特許文献１における、コンピュータにより生成された画像とは、ＣＴ画像等の再構成画像やＭＲＩ画像等、可視光を撮像する以外の方法で得られた情報に基づいて生成された画像である（例えば、特許文献１の段落［００１５］を参照）。 The image generated by the computer in Patent Document 1 is an image generated on the basis of information obtained by a method other than imaging visible light, such as a reconstructed image such as a CT image or an MRI image. (See, for example, paragraph [0015] of Patent Document 1).
また、診断する検査画像とそれに該当する部位の正常解剖例画像を自動表示する医用画像表示装置が知られている（例えば、特許文献２）。この医用画像表示装置は、モニタに診断画像を表示しながら、この画像に対応する部位・位置の正常解剖例画像を併置して表示する。 There is also known a medical image display apparatus that automatically displays an examination image to be diagnosed and an image of a normal anatomical example of a region corresponding thereto (for example, Patent Document 2). The medical image display apparatus displays a diagnostic image on a monitor, and also displays a normal anatomical example image of the region and position corresponding to the image.
しかし、上記特許文献１及び特許文献２に記載の画像処理方法では、提示される情報量が不十分であるという課題がある。 However, the image processing methods described in Patent Document 1 and Patent Document 2 have a problem that the amount of information presented is insufficient.
例えば、脳には、医用画像には写らない生体内部組織（例えば、白質線維、脳神経、及び脳神経核等）が存在する。手術検討を行う際に用いられる情報としては、医用画像に写っている生体内部組織よりも、医用画像には写らない生体内部組織の方が重要であることが多い。そのため、上記特許文献１に記載の技術のように、患者の医用画像から得られる情報を提示するのみでは、例えば、手術検討の際に提示される情報量としては不十分であるという課題がある。 For example, in the brain, there are internal biological tissues (eg, white matter fibers, cranial nerves, cranial nerve nuclei, etc.) that are not shown in medical images. As information used when performing a surgical examination, in-vivo internal tissues that are not captured in medical images are often more important than in-vivo internal tissues that are captured in medical images. Therefore, there is a problem that the amount of information presented at the time of a surgical examination is insufficient only by presenting the information obtained from the medical image of the patient as in the technique described in Patent Document 1 above. .
また、上記特許文献２に記載の画像処理方法では、診断する検査画像とそれに該当する部位の正常解剖例画像とを併置して表示する処理が行われる。しかし、２次元画像である検査画像と２次元画像である正常解剖例画像とを単に併置して表示するのみでは、上記特許文献１に記載の技術と同様に、例えば、手術検討の際に提示される情報量としては不十分であるという課題がある。 Further, in the image processing method described in Patent Document 2, processing is performed in which a test image to be diagnosed and a normal anatomical example image of a corresponding portion are displayed in parallel. However, as in the case of the technique described in the above-mentioned Patent Document 1, for example, it is presented at the time of surgical examination only by simply juxtaposing and displaying the examination image which is a two-dimensional image and the normal anatomical example image which is a two-dimensional image. There is a problem that the amount of information to be
本発明は、上記の事情を鑑みてなされたもので、患者から得られる情報と正常解剖に関する情報とを適切に提示することができる画像処理装置及びプログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide an image processing apparatus and program capable of appropriately presenting information obtained from a patient and information on normal dissection.
上記の目的を達成するために本発明に係る画像処理装置は、患者の医用画像から生成された３次元情報である３次元医用情報を受け付ける受付手段と、前記受付手段によって受け付けられた前記３次元医用情報と、前記医用画像には写っていない生体内部組織を含む３次元情報であって、かつ生体の正常解剖構造に応じて予め作成された３次元情報である３次元正常解剖情報とを重ね合わせて表示する表示手段と、を含む。 In order to achieve the above object, an image processing apparatus according to the present invention comprises: accepting means for accepting three-dimensional medical information which is three-dimensional information generated from a medical image of a patient; and the three-dimensional information accepted by the accepting means. Medical information and three-dimensional normal anatomical information which is three-dimensional information including internal tissue of the living body not included in the medical image and which is three-dimensional information prepared in advance according to the normal anatomical structure of the living body are overlapped. And display means for displaying together.
本発明は、前記３次元医用情報と前記３次元正常解剖情報との間の位置合わせを行う位置合わせ手段を更に含み、前記表示手段は、前記位置合わせ手段によって得られた位置合わせ結果に基づいて、前記３次元医用情報と前記３次元正常解剖情報とを重ね合わせて表示することができる。 The present invention further includes alignment means for performing alignment between the three-dimensional medical information and the three-dimensional normal anatomical information, and the display means is based on the alignment result obtained by the alignment means. The three-dimensional medical information and the three-dimensional normal anatomical information can be superimposed and displayed.
本発明の前記位置合わせ手段は、前記３次元医用情報の特定領域と前記３次元正常解剖情報の特定領域とが対応するように、前記３次元医用情報と前記３次元正常解剖情報との間の位置合わせを行うようにすることができる。 The alignment unit according to the present invention may be arranged between the three-dimensional medical information and the three-dimensional normal anatomical information such that the specific region of the three-dimensional medical information corresponds to a specific region of the three-dimensional normal anatomical information. Alignment can be performed.
本発明の前記位置合わせ手段は、前記３次元医用情報の特定領域及び前記３次元正常解剖情報の特定領域の各々に対して対応点を設定し、前記３次元医用情報の前記特定領域の対応点と前記３次元正常解剖情報の前記特定領域の対応点とが対応するように前記３次元正常解剖情報を変形させて、前記３次元医用情報と前記３次元正常解剖情報との間の位置合わせを行うようにすることができる。 The alignment means of the present invention sets corresponding points for each of the specific area of the three-dimensional medical information and the specific area of the three-dimensional normal anatomical information, and corresponds the corresponding area of the specific area of the three-dimensional medical information. The three-dimensional normal anatomical information so as to correspond to the corresponding point of the specific region of the three-dimensional normal anatomical information, and position alignment between the three-dimensional medical information and the three-dimensional normal anatomical information It can be done.
本発明においては、前記３次元正常解剖情報の各部位には病変領域との関係を表す属性情報が予め付与されており、前記位置合わせ手段は、前記３次元正常解剖情報の各部位の前記属性情報に応じて、前記３次元医用情報の病変領域に対して前記３次元正常解剖情報の各部位の形状を変形させて、前記３次元医用情報と前記３次元正常解剖情報との間の位置合わせを行うようにすることができる。 In the present invention, attribute information representing a relationship with a lesion area is provided in advance to each part of the three-dimensional normal anatomical information, and the alignment unit is configured to include the attribute of each part of the three-dimensional normal anatomical information. According to the information, the shape of each part of the three-dimensional normal anatomical information is deformed with respect to the lesion area of the three-dimensional medical information to align the three-dimensional medical information and the three-dimensional normal anatomical information Can be done.
本発明の前記受付手段は、前記３次元医用情報の時系列を更に受け付け、前記位置合わせ手段は、前記受付手段によって受け付けられた前記３次元医用情報の時系列に基づいて、前記３次元医用情報に含まれる病変領域の発生母地と該病変領域の増大方向とを推定し、前記病変領域の発生母地及び前記病変領域の増大方向に応じて、前記３次元正常解剖情報を変形させて、前記３次元医用情報と前記３次元正常解剖情報との間の位置合わせを行うようにすることができる。 The accepting means of the present invention further accepts a time series of the three-dimensional medical information, and the alignment means determines the three-dimensional medical information based on the time series of the three-dimensional medical information accepted by the accepting means. Estimating the generation base of the lesion area included in the lesion area and the increase direction of the lesion area, and deforming the three-dimensional normal anatomical information according to the generation base of the lesion area and the increase direction of the lesion area; The alignment between the three-dimensional medical information and the three-dimensional normal anatomical information can be performed.
本発明の前記受付手段は、前記患者の年齢及び前記患者の性別の少なくとも一方に関する情報である患者情報を更に受け付け、前記位置合わせ手段は、前記受付手段によって受け付けられた前記患者情報に応じて、前記３次元正常解剖情報を変形させて、前記３次元医用情報と前記３次元正常解剖情報との間の位置合わせを行うようにすることができる。 The reception means of the present invention further receives patient information which is information on at least one of the age of the patient and the sex of the patient, and the alignment means is responsive to the patient information received by the reception means. The three-dimensional normal anatomical information may be deformed to perform alignment between the three-dimensional medical information and the three-dimensional normal anatomical information.
また、本発明のプログラムは、コンピュータを、本発明の画像処理装置の各手段として機能させるためのプログラムである。 Further, a program of the present invention is a program for causing a computer to function as each unit of the image processing apparatus of the present invention.
本発明によれば、患者から得られる情報と正常解剖に関する情報とを適切に提示することができる、という効果が得られる。 According to the present invention, it is possible to appropriately present information obtained from a patient and information on normal dissection.
以下、図面を参照して、本発明の一例である実施形態を詳細に説明する。 Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings.
＜第１の実施形態に係る医用画像表示システム＞ <Medical Image Display System According to First Embodiment>
図１は、第１の実施形態の医用画像表示システム１０を示すブロック図である。図１に示されるように、医用画像表示システム１０は、外部装置１２と、操作装置１３と、画像処理装置１４と、出力装置２６とを備える。 FIG. 1 is a block diagram showing a medical image display system 10 according to the first embodiment. As shown in FIG. 1, the medical image display system 10 includes an external device 12, an operation device 13, an image processing device 14, and an output device 26.
外部装置１２は、Ｘ線ＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imager）などの画像診断機器によって撮像された患者の医用画像から、３次元コンピュータグラフィックス（Three-dimensional computer graphics,３ＤＣＧ）を生成する。そして、外部装置１２は、患者の医用画像から生成される３次元コンピュータグラフィックス（以下、単に「医用画像３ＤＣＧ」と称する。）を、画像処理装置１４に対して出力する。医用画像３ＤＣＧは、本発明の３次元医用情報の一例である。また、本実施形態では、３次元情報が３次元コンピュータグラフィックス（Three-dimensional computer graphics,３ＤＣＧ）である場合を例に説明する。 The external device 12 generates three-dimensional computer graphics (Three-dimensional computer graphics (3DCG) from medical images of a patient imaged by an imaging diagnostic apparatus such as X-ray computed tomography (MCT) or magnetic resonance imager (MRI). Do. Then, the external device 12 outputs three-dimensional computer graphics (hereinafter simply referred to as “medical image 3DCG”) generated from the medical image of the patient to the image processing device 14. The medical image 3DCG is an example of the three-dimensional medical information of the present invention. Further, in the present embodiment, a case where three-dimensional information is three-dimensional computer graphics (Three-dimensional computer graphics, 3DCG) will be described as an example.
操作装置１３は、医用画像表示システム１０を操作するユーザからの操作情報を受け付ける。例えば、操作装置１３は、後述する位置合わせ部２２によって用いられる対応点の設定情報を操作情報として受け付ける。 The operation device 13 receives operation information from a user who operates the medical image display system 10. For example, the controller device 13 receives, as operation information, setting information of corresponding points used by the alignment unit 22 described later.
画像処理装置１４は、受付部１６と、正常解剖記憶部２０と、位置合わせ部２２と、表示部２４とを備える。 The image processing device 14 includes a reception unit 16, a normal anatomy storage unit 20, a registration unit 22, and a display unit 24.
受付部１６は、外部装置１２から入力された医用画像３ＤＣＧを受け付ける。また、受付部１６は、操作装置１３から入力された操作情報を受け付ける。 The receiving unit 16 receives the medical image 3DCG input from the external device 12. Further, the receiving unit 16 receives the operation information input from the operating device 13.
正常解剖記憶部２０には、生体の正常解剖構造に応じて予め作成された３次元コンピュータグラフィックス（以下、単に「正常解剖３ＤＣＧ」と称する。）が格納されている。正常解剖３ＤＣＧには、患者の医用画像には写っていない生体内部組織が含まれている。正常解剖３ＤＣＧは、本発明の３次元正常解剖情報の一例である。 The normal anatomical storage unit 20 stores three-dimensional computer graphics (hereinafter simply referred to as “normal anatomical 3DCG”) created in advance according to the normal anatomical structure of the living body. Normal autopsy 3DCG contains internal biological tissue that is not shown in the patient's medical image. Normal dissection 3DCG is an example of three-dimensional normal dissection information of the present invention.
図２は、脳に関する正常解剖３ＤＣＧ３０の一例である。図２に示されるように、正常解剖３ＤＣＧ３０では、医用画像に写っていない生体内部組織（例えば、神経線維３２等）が可視化される。 FIG. 2 is an example of a normal anatomical 3DCG 30 related to the brain. As shown in FIG. 2, in the normal dissection 3DCG 30, internal biological tissue (eg, nerve fibers 32 etc.) not visible in the medical image is visualized.
位置合わせ部２２は、受付部１６によって受け付けた医用画像３ＤＣＧと正常解剖記憶部２０に格納された正常解剖３ＤＣＧとの間の位置合わせを行う。 The alignment unit 22 performs alignment between the medical image 3DCG received by the reception unit 16 and the normal anatomical 3DCG stored in the normal anatomical storage unit 20.
図３に、医用画像３ＤＣＧと正常解剖３ＤＣＧとの間の位置合わせを説明するための説明図を示す。図３に示されるように、脳幹の医用画像３ＤＣＧ３４と脳幹の正常解剖３ＤＣＧ３０との間で位置合わせを行う場合、病変部３５を含む医用画像３ＤＣＧ３４と正常解剖構造に応じて作成された正常解剖３ＤＣＧ３０とでは、形状や各組織の位置関係が異なる。そのため、病変部３５を含む医用画像３ＤＣＧ３４と正常解剖３ＤＣＧ３０とを非線形的に融合させる必要がある。 FIG. 3 shows an explanatory diagram for explaining the alignment between the medical image 3DCG and the normal dissection 3DCG. As shown in FIG. 3, when alignment is performed between the medical image 3DCG34 of the brainstem and the normal dissection 3DCG30 of the brainstem, the medical image 3DCG34 including the lesion 35 and the normal dissection 3DCG30 created according to the normal anatomical structure The shape and the positional relationship of each tissue are different. Therefore, it is necessary to cause the medical image 3DCG 34 including the lesion 35 and the normal dissection 3DCG 30 to be nonlinearly fused.
そこで、本実施形態では、医用画像３ＤＣＧと正常解剖３ＤＣＧとの間において、以下の（１）〜（３）に示す３段階の位置合わせを行う。 So, in this embodiment, three steps of alignment shown in the following (1)-(3) are performed between medical image 3DCG and normal dissection 3DCG.
（１）全体の位置合わせ
医用画像３ＤＣＧの全体と正常解剖３ＤＣＧの全体とを合わせるように位置合わせを行う（等方的な位置合わせ）。
(1) Overall Alignment Alignment is performed so as to align the entire medical image 3DCG with the entire normal anatomical 3DCG (isotropic alignment).
（２）特定領域の位置合わせ
医用画像３ＤＣＧの特定領域（例えば、病変領域）と正常解剖３ＤＣＧの特定領域とを合わせるように位置合わせを行う（異方的な位置合わせ）。
(2) Alignment of Specific Region Alignment is performed so that a specific region (for example, a lesion region) of the medical image 3DCG and a specific region of the normal anatomical 3DCG are aligned (anisotropic alignment).
（３）病変領域と正常解剖との間の関係に応じた位置合わせ
病変領域と正常解剖との間の関係を予め設定しておき、医用画像３ＤＣＧの病変領域と正常解剖３ＤＣＧとを合わせるように位置合わせを行う。
(3) Alignment according to the relationship between the lesion area and the normal anatomy The relationship between the lesion area and the normal anatomy is set in advance so that the lesion area of the medical image 3DCG and the normal anatomy 3DCG are matched. Align.
以下、上記（１）〜（３）の位置合わせ処理について具体的に説明する。 Hereinafter, the alignment process of said (1)-(3) is demonstrated concretely.
（１）全体の位置合わせ
まず、位置合わせ部２２は、医用画像３ＤＣＧと正常解剖３ＤＣＧとの間において全体の位置合わせを行う。具体的には、位置合わせ部２２は、医用画像３ＤＣＧの特定領域と正常解剖３ＤＣＧの特定領域とが一致するように正常解剖３ＤＣＧを移動させることにより、医用画像３ＤＣＧと正常解剖３ＤＣＧとの間の位置合わせを行う。
(1) Overall Alignment First, the alignment unit 22 performs overall alignment between the medical image 3DCG and the normal dissection 3DCG. Specifically, the alignment unit 22 moves the normal anatomical 3DCG such that the specific region of the medical image 3DCG matches the specific region of the normal anatomical 3DCG, whereby the medical image 3DCG and the normal anatomical 3DCG are moved. Perform alignment.
図４に、全体の位置合わせ処理を説明するための説明図を示す。まず、位置合わせ部２２は、図４に示されるように、全体の位置合わせの前処理として、生体内部組織の特定領域（例えば、大脳又は脳幹等）の設定を行う。図４に示される例では、脳幹の領域が特定領域３０Ａ，３４Ａとして設定される。なお、図４の医用画像３ＤＣＧ３４には、脳幹の領域３４Ａのみが示されているが、医用画像３ＤＣＧの他の領域が含まれていてもよい。 FIG. 4 shows an explanatory diagram for explaining the entire alignment processing. First, as shown in FIG. 4, the alignment unit 22 sets a specific region (for example, the cerebrum or brainstem or the like) of the internal tissue of the living body as preprocessing of the entire alignment. In the example shown in FIG. 4, the area of the brainstem is set as the specific areas 30A and 34A. Although only the region 34A of the brain trunk is shown in the medical image 3DCG 34 of FIG. 4, another region of the medical image 3DCG may be included.
次に、位置合わせ部２２は、医用画像３ＤＣＧ３４の特定領域３４Ａの形状情報と正常解剖３ＤＣＧ３０の特定領域３０Ａの形状情報とに基づいて、医用画像３ＤＣＧ３４の特定領域３４Ａと正常解剖３ＤＣＧ３０の特定領域３０Ａとが一致するように、医用画像３ＤＣＧ３４と正常解剖３ＤＣＧ３０との全体の位置合わせを行う。例えば、位置合わせ部２２は、Iterative closest point（ＩＣＰ）法によって、位置合わせを行う。これにより、医用画像３ＤＣＧ３４と正常解剖３ＤＣＧ３０との間の大まかな位置合わせが行われ、位置合わせが行われた３ＤＣＧ３６が位置合わせ結果として得られる。 Next, based on the shape information of the specific region 34A of the medical image 3DCG 34 and the shape information of the specific region 30A of the normal anatomical 3DCG 30, the alignment unit 22 determines the specific region 34A of the medical image 3DCG 34 and the specific region 30A of the normal anatomical 3DCG 30. The entire alignment of the medical image 3DCG 34 and the normal dissection 3DCG 30 is performed so that For example, the alignment unit 22 performs alignment by the iterative closest point (ICP) method. Thereby, the rough alignment between the medical image 3DCG 34 and the normal anatomical 3DCG 30 is performed, and the 3DCG 36 in which the alignment is performed is obtained as the alignment result.
（２）特定領域の位置合わせ
次に、位置合わせ部２２は、医用画像３ＤＣＧと正常解剖３ＤＣＧとの間において特定領域の位置合わせを行う。具体的には、まず、位置合わせ部２２は、医用画像３ＤＣＧの特定領域及び正常解剖３ＤＣＧの特定領域の各々に対して対応点を設定する。そして、位置合わせ部２２は、医用画像３ＤＣＧの特定領域の対応点と正常解剖３ＤＣＧの特定領域の対応点とが一致するように正常解剖３ＤＣＧを変形させて、医用画像３ＤＣＧと正常解剖３ＤＣＧとの間の位置合わせを行う。
(2) Alignment of Specific Region Next, the alignment unit 22 aligns the specific region between the medical image 3DCG and the normal dissection 3DCG. Specifically, first, the alignment unit 22 sets corresponding points for each of the specific area of the medical image 3DCG and the specific area of the normal dissection 3DCG. Then, the alignment unit 22 deforms the normal anatomy 3DCG so that the corresponding point of the specific region of the medical image 3DCG matches the corresponding point of the specific region of the normal anatomy 3DCG, and the medical image 3DCG and the normal anatomy 3DCG Align between them.
具体的には、まず、位置合わせ部２２は、操作装置１３から入力された対応点の設定情報を受け付ける。ユーザの操作によって対応する部位がマーキングされ、操作装置１３を介して対応点の設定情報が入力される。そして、位置合わせ部２２は、対応点の設定情報に応じて、医用画像３ＤＣＧの特定領域及び正常解剖３ＤＣＧの特定領域の各々に対して対応点を設定する。 Specifically, first, the alignment unit 22 receives the setting information of the corresponding points input from the operation device 13. The corresponding part is marked by the operation of the user, and the setting information of the corresponding point is input through the operation device 13. Then, the alignment unit 22 sets corresponding points for each of the specific area of the medical image 3DCG and the specific area of the normal anatomical 3DCG according to the setting information of the corresponding points.
図５に、特定領域の位置合わせ処理を説明するための説明図を示す。図５に示されるように、位置合わせ部２２は、対応点の設定情報に応じて、医用画像３ＤＣＧ３４の特定領域３４Ｂに対して複数の対応点Ｐ１〜Ｐ６を設定する。また、位置合わせ部２２は、対応点の設定情報に応じて、正常解剖３ＤＣＧ３０の特定領域３０Ｂに対して複数の対応点Ｑ１〜Ｑ６を設定する。 FIG. 5 is an explanatory view for explaining the alignment processing of the specific area. As shown in FIG. 5, the alignment unit 22 sets a plurality of corresponding points P 1 to P 6 in the specific area 34 B of the medical image 3DCG 34 according to the setting information of the corresponding points. Further, the alignment unit 22 sets a plurality of corresponding points Q 1 to Q 6 in the specific area 30B of the normal dissection 3DCG 30 according to the setting information of the corresponding points.
そして、位置合わせ部２２は、医用画像３ＤＣＧ３４の特定領域３４Ｂの複数の対応点Ｐ１〜Ｐ６と正常解剖３ＤＣＧ３０の特定領域３０Ｂの複数の対応点Ｑ１〜Ｑ６とが一致するように、正常解剖３ＤＣＧ３０を変形させる。例えば、位置合わせ部２２は、複数の対応点同士の間を線形補間するように、正常解剖３ＤＣＧ３０を変形させる。これにより、位置合わせが行われた３ＤＣＧ３８が位置合わせ結果として得られる。 Then, the alignment unit 22 matches the plurality of corresponding points P 1 to P 6 of the specific area 34 B of the medical image 3DCG 34 with the plurality of corresponding points Q 1 to Q 6 of the specific area 30 B of the normal dissection 3 DCG 30. Transform normal dissection 3DCG30. For example, the alignment unit 22 deforms the normal dissection 3DCG 30 so as to perform linear interpolation between a plurality of corresponding points. Thereby, 3DCG 38 in which alignment has been performed is obtained as an alignment result.
なお、上記（１）の全***置合わせにおける特定領域と上記（１）の特定領域の位置合わせにおける特定領域とは、同一領域であってもよいし、異なる領域であってもよい。 The specific area in the overall alignment of (1) and the specific area in the alignment of the specific area of (1) may be the same area or different areas.
（３）病変領域と正常解剖との間の関係に応じた位置合わせ
次に、位置合わせ部２２は、正常解剖３ＤＣＧの各部位に予め付与された属性情報に応じて、医用画像３ＤＣＧの病変領域に対して正常解剖３ＤＣＧの各部位の形状を変形させ、医用画像３ＤＣＧと正常解剖３ＤＣＧとの間の位置合わせを行う。
(3) Alignment according to the relationship between the lesion area and normal anatomy Next, the alignment unit 22 changes the lesion area of the medical image 3DCG according to the attribute information given in advance to each part of the normal anatomy 3DCG. The shape of each portion of normal dissection 3DCG is deformed, and alignment between medical image 3DCG and normal dissection 3DCG is performed.
例えば、脳幹には様々な神経線維が通っている。これらの神経線維は、脳内において必ず通る箇所（例えば、運動皮質、内包、及び大脳脚等）がある。一方、多くの神経線維は病変領域である腫瘍に圧排されるが、腫瘍内を貫通することはない。 For example, various nerve fibers pass through the brainstem. These nerve fibers are always required to pass through in the brain (e.g., motor cortex, internal capsule, and cerebral legs). On the other hand, many nerve fibers are excluded by the tumor which is a lesion area, but they do not penetrate into the tumor.
そこで、本実施形態では、正常解剖３ＤＣＧの各部位に対して病変領域との関係を表す属性情報を予め付与する。例えば、正常解剖３ＤＣＧに含まれる複数の部位の各々に対して、当該部位が必ず通る箇所を示す情報及び当該部位は病変領域内に存在することが可能であるか否かを示す情報等が、各部位の属性情報として付与される。これにより、医用画像３ＤＣＧの病変領域に対して、正常解剖３ＤＣＧの各部位の形状を適切に変形させることができる。 Therefore, in the present embodiment, attribute information indicating the relationship with the lesion area is given in advance to each part of the normal dissection 3DCG. For example, for each of a plurality of sites included in normal dissection 3DCG, information indicating a location where the site necessarily passes and information indicating whether the site can exist in a lesion area, etc. It is given as attribute information of each part. As a result, the shape of each portion of the normal dissection 3DCG can be appropriately deformed with respect to the lesion area of the medical image 3DCG.
図６に、病変領域と正常解剖との間の関係に応じた位置合わせ処理を説明するための説明図を示す。図６には、脳幹の断面領域の正常解剖３ＤＣＧ３０と脳幹の断面領域の医用画像３ＤＣＧ３４が示されている。脳幹の断面領域の正常解剖３ＤＣＧ３０には、様々な神経線維が含まれている。また、脳幹の断面領域の医用画像３ＤＣＧ３４には、病変領域３４Ｃが含まれているものとする。 FIG. 6 is an explanatory view for explaining alignment processing according to the relationship between a lesion area and normal dissection. FIG. 6 shows normal dissection 3DCG 30 in the cross-sectional area of the brainstem and medical image 3DCG 34 in the cross-sectional area of the brainstem. Normal autopsy 3DCG 30 in the cross-sectional area of brainstem contains various nerve fibers. In addition, the medical image 3DCG 34 in the cross-sectional area of the brainstem includes the lesion area 34C.
この場合、例えば、正常解剖３ＤＣＧ３０の特定の神経線維に対して、病変領域３４Ｃ内には存在し得ないことを示す属性情報が付与されている場合、位置合わせ部２２は、特定の神経線維が病変領域３４Ｃ内を通過しないように、正常解剖３ＤＣＧ３０を変形させる。 In this case, for example, when attribute information indicating that the specific nerve fiber of normal dissection 3DCG 30 can not exist in the lesion area 34C is given, the alignment unit 22 determines that the specific nerve fiber is The normal anatomical 3DCG 30 is deformed so as not to pass through the lesion area 34C.
例えば、位置合わせ部２２は、医用画像３ＤＣＧ３４の領域３０Ｃを病変領域３４Ｃに対応する領域として形成する。この場合、位置合わせ部２２は、特定の神経線維を図６に示す矢印方向へ移動させるように、正常解剖３ＤＣＧ３０の特定の神経線維及び周辺領域を変形又は移動させる。そして、位置合わせ部２２は、正常解剖３ＤＣＧ３０と医用画像３ＤＣＧ３４との間の位置合わせを行う。 For example, the alignment unit 22 forms the area 30C of the medical image 3DCG 34 as an area corresponding to the lesion area 34C. In this case, the alignment unit 22 deforms or moves the specific nerve fiber and the surrounding area of the normal anatomical 3DCG 30 so as to move the specific nerve fiber in the direction of the arrow shown in FIG. Then, the alignment unit 22 performs alignment between the normal dissection 3DCG 30 and the medical image 3DCG 34.
上記（１）〜（３）に示す３段階の位置合わせにより、正常解剖３ＤＣＧと医用画像３ＤＣＧとが非線形的に融合される。 The normal dissection 3DCG and the medical image 3DCG are non-linearly fused by the three-step alignment shown in the above (1) to (3).
表示部２４は、位置合わせ部２２によって得られた位置合わせ結果に基づいて、医用画像３ＤＣＧと正常解剖３ＤＣＧとを重ね合わせて表示する。具体的には、表示部２４は、医用画像３ＤＣＧと正常解剖３ＤＣＧとが重畳表示されるように、後述する出力装置２６を制御する。 The display unit 24 superimposes and displays the medical image 3DCG and the normal dissection 3DCG based on the alignment result obtained by the alignment unit 22. Specifically, the display unit 24 controls an output device 26 described later so that the medical image 3DCG and the normal dissection 3DCG are superimposed and displayed.
出力装置２６は、表示部２４の制御に応じて、医用画像３ＤＣＧと正常解剖３ＤＣＧとが重ね合わされた３ＤＣＧを出力する。出力装置２６は、例えばディスプレイ等によって構成される。医用画像３ＤＣＧと正常解剖３ＤＣＧとが重畳された３ＤＣＧが表示されることにより、手術検討の際に、医師等の医療従事者は適切に情報を共有することができる。 The output device 26 outputs 3DCG in which the medical image 3DCG and the normal dissection 3DCG are superimposed according to the control of the display unit 24. The output device 26 is configured of, for example, a display or the like. By displaying the 3DCG on which the medical image 3DCG and the normal dissection 3DCG are superimposed, medical personnel such as a doctor can appropriately share information at the time of surgical examination.
画像処理装置１４は、例えば、図７に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータ５０は、外部装置１２、操作装置１３、及び出力装置２６等が接続される入出力interface（Ｉ／Ｆ）５４、及び記録媒体５９に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部５５を備える。また、コンピュータ５０は、インターネット等のネットワークに接続されるネットワークＩ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。 The image processing device 14 can be realized by, for example, a computer 50 shown in FIG. The computer 50 includes a CPU 51, a memory 52 as a temporary storage area, and a non-volatile storage unit 53. In addition, the computer 50 controls an input / output interface (I / F) 54 to which the external device 12, the operation device 13, the output device 26 and the like are connected, and read / write (data read / write) The R / W) unit 55 is provided. The computer 50 also includes a network I / F 56 connected to a network such as the Internet. The CPU 51, the memory 52, the storage unit 53, the input / output I / F 54, the R / W unit 55, and the network I / F 56 are connected to one another via a bus 57.
記憶部５３は、Hard Disk Drive（ＨＤＤ）、solid state drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を機能させるためのプログラムが記憶されている。ＣＰＵ５１は、プログラムを記憶部５３から読み出してメモリ５２に展開し、プログラムが有するプロセスを順次実行する。 The storage unit 53 can be realized by Hard Disk Drive (HDD), solid state drive (SSD), flash memory or the like. The storage unit 53 as a storage medium stores a program for causing the computer 50 to function. The CPU 51 reads the program from the storage unit 53, develops the program in the memory 52, and sequentially executes the processes included in the program.
＜医用画像表示システム１０の作用＞ <Operation of Medical Image Display System 10>
次に、図８〜図９を参照して、本実施形態の医用画像表示システム１０の作用について説明する。医用画像表示システム１０が稼動し、外部装置１２から医用画像３ＤＣＧが画像処理装置１４に入力され、かつ正常解剖３ＤＣＧが正常解剖記憶部２０に格納されると、画像処理装置１４は図８に示す画像処理ルーチンを実行する。 Next, the operation of the medical image display system 10 of the present embodiment will be described with reference to FIGS. 8 to 9. When the medical image display system 10 is operated, the medical image 3DCG is input from the external device 12 to the image processing apparatus 14, and the normal anatomical 3DCG is stored in the normal anatomical storage unit 20, the image processing apparatus 14 is shown in FIG. Execute the image processing routine.
＜画像処理ルーチン＞ <Image processing routine>
ステップＳ１００において、受付部１６は、外部装置１２から入力された医用画像３ＤＣＧを受け付ける。 In step S100, the receiving unit 16 receives the medical image 3DCG input from the external device 12.
ステップＳ１０２において、位置合わせ部２２は、正常解剖記憶部２０に格納された正常解剖３ＤＣＧを読み込む。 In step S102, the alignment unit 22 reads the normal dissection 3DCG stored in the normal dissection storage unit 20.
ステップＳ１０４において、位置合わせ部２２は、上記ステップＳ１００で受け付けた医用画像３ＤＣＧと上記ステップＳ１０２で読み込んだ正常解剖３ＤＣＧとの間の位置合わせを行う。ステップＳ１０４の処理は、図９に示す位置合わせ処理ルーチンによって実現される。 In step S104, the alignment unit 22 aligns the medical image 3DCG received in step S100 with the normal anatomical 3DCG read in step S102. The process of step S104 is implemented by the alignment process routine shown in FIG.
＜位置合わせ処理ルーチン＞ <Alignment processing routine>
ステップＳ２００において、位置合わせ部２２は、上記ステップＳ１００で受け付けた医用画像３ＤＣＧの特定領域の形状情報と、上記ステップＳ１０２で読み込んだ正常解剖３ＤＣＧの特定領域の形状情報とに基づいて、医用画像３ＤＣＧの特定領域と正常解剖３ＤＣＧの特定領域とが一致するように、全体の位置合わせを行う。 In step S200, the alignment unit 22 performs medical image 3DCG based on the shape information of the specific region of the medical image 3DCG received in step S100 and the shape information of the specific region of normal anatomy 3DCG read in step S102. The entire alignment is performed so that the specific area of and the specific area of the normal anatomical 3DCG coincide with each other.
ステップＳ２０２において、受付部１６は、操作装置１３から入力された対応点の設定情報を受け付ける。 In step S202, the reception unit 16 receives the setting information of the corresponding point input from the operation device 13.
ステップＳ２０４において、位置合わせ部２２は、上記ステップＳ２０２で受け付けた対応点の設定情報に基づいて、医用画像３ＤＣＧの特定領域及び正常解剖３ＤＣＧの特定領域の各々に対して対応点を設定する。そして、位置合わせ部２２は、医用画像３ＤＣＧの特定領域の複数の対応点と正常解剖３ＤＣＧの特定領域の複数の対応点とが一致するように、正常解剖３ＤＣＧを変形させる。 In step S204, the alignment unit 22 sets corresponding points for each of the specific area of the medical image 3DCG and the specific area of the normal anatomical 3DCG based on the setting information of the corresponding points received in step S202. Then, the alignment unit 22 deforms the normal anatomy 3DCG such that the plurality of corresponding points in the specific region of the medical image 3DCG matches the plurality of corresponding points in the specific region of the normal anatomy 3DCG.
ステップＳ２０６において、位置合わせ部２２は、正常解剖３ＤＣＧの各部位に付与された属性情報に応じて、医用画像３ＤＣＧの病変領域に対して正常解剖３ＤＣＧの各部位の形状を変形させ、医用画像３ＤＣＧと正常解剖３ＤＣＧとの間の位置合わせを行う。例えば、位置合わせ部２２は、正常解剖３ＤＣＧの部位が必ず通る箇所を示す情報及び部位は病変領域内に存在することが可能であるか否かを示す情報に応じて、正常解剖３ＤＣＧの各部位の形状を変形させる。そして、位置合わせ部２２は、正常解剖３ＤＣＧと医用画像３ＤＣＧとの間の位置合わせを行う。 In step S206, the alignment unit 22 deforms the shape of each portion of the normal anatomical 3DCG with respect to the lesion area of the medical image 3DCG according to the attribute information given to each portion of the normal anatomical 3DCG, and thereby the medical image 3DCG. Perform the alignment between and and normal dissection 3DCG. For example, the alignment unit 22 determines each part of the normal anatomical 3DCG according to the information indicating whether or not the part of the normal anatomical 3DCG always passes and the information indicating whether the part can be present in the lesion area. Transform the shape of. Then, the alignment unit 22 performs alignment between the normal dissection 3DCG and the medical image 3DCG.
次に、図８に示す画像処理ルーチンのステップＳ１０６に戻り、表示部２４は、上記ステップＳ１０４で得られた位置合わせ結果に基づいて、医用画像３ＤＣＧと正常解剖３ＤＣＧとを重ね合わせて表示して、画像処理ルーチンを終了する。 Next, the process returns to step S106 of the image processing routine shown in FIG. 8, and the display unit 24 superimposes and displays the medical image 3DCG and normal dissection 3DCG based on the alignment result obtained in step S104. End the image processing routine.
出力装置２６は、表示部２４の制御に応じて、医用画像３ＤＣＧと正常解剖３ＤＣＧとが重畳表示された３ＤＣＧを出力する。 The output device 26 outputs 3DCG in which the medical image 3DCG and the normal dissection 3DCG are superimposed and displayed according to the control of the display unit 24.
以上説明したように、本実施の形態に係る画像処理装置１４は、患者の医用画像から生成された医用画像３ＤＣＧと、医用画像には写っていない生体内部組織を含む３ＤＣＧであって、かつ生体の正常解剖構造に応じて予め作成された３ＤＣＧである正常解剖３ＤＣＧとの間の位置合わせを行う。そして、画像処理装置１４は、医用画像３ＤＣＧと正常解剖３ＤＣＧとの間の位置合わせ結果に基づいて、医用画像３ＤＣＧと正常解剖３ＤＣＧとを重ね合わせて表示する。これにより、患者から得られる情報と正常解剖に関する情報とを適切に提示することができる。このため、例えば、手術検討を行う際に、医師等の医療従事者間で情報の共有を適切にすることができる。 As described above, the image processing apparatus 14 according to the present embodiment is a 3DCG including a medical image 3DCG generated from a medical image of a patient and an internal tissue not shown in the medical image, and is a living body. The alignment is performed with a normal anatomical 3DCG, which is a 3DCG created in advance according to the normal anatomical structure of Then, the image processing device 14 superimposes and displays the medical image 3DCG and the normal anatomy 3DCG based on the alignment result between the medical image 3DCG and the normal anatomy 3DCG. This makes it possible to properly present the information obtained from the patient and the information on normal dissection. For this reason, for example, when performing an operation examination, information sharing can be appropriately made between medical personnel such as a doctor.
また、患者の医用画像に関する情報と医学知識及び医学経験に応じた情報とが重ね合わされた可視化情報を提示することにより、手術検討の精度を向上させることができる。具体的には、患者の医用画像には写っていない生体内部組織が医用画像３ＤＣＧに対して重畳表示されるため、例えば、医用画像には写らない神経線維等がどこを走っているのかが明確になる。このため、手術検討を適切に行うことができる。 Further, the accuracy of the surgical examination can be improved by presenting the visualization information in which the information on the medical image of the patient and the information according to the medical knowledge and the medical experience are superimposed. Specifically, since internal biological tissue not shown in the medical image of the patient is superimposed on the medical image 3DCG, it is clear, for example, where the nerve fiber etc. not shown in the medical image are running. become. For this reason, surgical examination can be appropriately performed.
＜第２の実施形態に係る医用画像表示システム＞ <Medical Image Display System According to Second Embodiment>
次に、第２の実施形態について説明する。なお、第２の実施の形態に係る医用画像表示システムの構成は、第１の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。 Next, a second embodiment will be described. The configuration of the medical image display system according to the second embodiment is the same as that of the first embodiment, so the same reference numerals are given and description thereof is omitted.
第２の実施形態では、患者の医用画像の時系列から生成される医用画像３ＤＣＧの時系列に基づいて、病変領域の発生母地と病変領域の増大方向とを推定する。そして、第２の実施形態では、病変領域の発生母地及び病変領域の増大方向に応じて正常解剖３ＤＣＧを変形させて、医用画像３ＤＣＧと正常解剖３ＤＣＧとの間の位置合わせを行う点が、第１の実施形態と異なる。 In the second embodiment, the generation base of the lesion area and the increasing direction of the lesion area are estimated based on the time series of medical images 3DCG generated from the time series of the medical images of the patient. Then, in the second embodiment, the normal anatomical 3DCG is deformed according to the developmental base of the lesion area and the increasing direction of the lesion area to perform alignment between the medical image 3DCG and the normal anatomical 3DCG. It differs from the first embodiment.
第２の実施形態の受付部１６は、外部装置１２から入力された医用画像３ＤＣＧの時系列を受け付ける。例えば、受付部１６は、特定の日に撮像された医用画像から生成された医用画像３ＤＣＧと、特定の日よりも後に撮像された医用画像から生成された医用画像３ＤＣＧとを、医用画像３ＤＣＧの時系列として受け付ける。 The reception unit 16 of the second embodiment receives a time series of medical images 3DCG input from the external device 12. For example, the reception unit 16 is configured of a medical image 3DCG generated from a medical image captured on a specific day, and a medical image 3DCG generated from a medical image captured on a later date than the specific day. Accept as a time series.
第２の実施形態の位置合わせ部２２は、受付部１６によって受け付けた医用画像３ＤＣＧの時系列に基づいて、医用画像３ＤＣＧに含まれる病変領域の発生母地と当該病変領域の増大方向とを推定する。 The alignment unit 22 of the second embodiment estimates the generation base of the lesion area included in the medical image 3DCG and the increasing direction of the lesion area based on the time series of the medical image 3DCG received by the reception unit 16. Do.
図１０に、医用画像３ＤＣＧの時系列からの病変領域の発生母地及び増大方向の推定処理を説明するための説明図を示す。図１０に示されるように、特定の日に撮像された医用画像から生成された医用画像３ＤＣＧ３４Ｔ１と、特定の日よりも後に撮像された医用画像から生成された医用画像３ＤＣＧ３４Ｔ２とがある場合、病変領域３４Ｄは病変領域３４Ｅへ増大していることがわかる。 FIG. 10 is an explanatory view for explaining estimation processing of the generation base and the increase direction of the lesion area from the time series of the medical image 3DCG. As shown in FIG. 10, if there is a medical image 3DCG34T1 generated from a medical image taken on a specific day and a medical image 3DCG34T2 generated from a medical image taken after a specific day, It can be seen that the area 34D has increased to the lesion area 34E.
そのため、位置合わせ部２２は、医用画像３ＤＣＧの時系列である、医用画像３ＤＣＧ３４Ｔ１と医用画像３ＤＣＧ３４Ｔ２とに基づいて、正常解剖３ＤＣＧ３０における病変領域の発生母地を推定する。例えば、病変領域の発生母地の推定方法としては、増大前の病変領域３０Ｄの中心を発生母地と推定する。または、操作装置１３から入力された操作情報に応じて、発生母地を指定するようにしてもよい。 Therefore, the alignment unit 22 estimates the generation base of the lesion area in the normal dissection 3DCG 30 based on the medical image 3DCG 34T1 and the medical image 3DCG 34T2 that are time series of the medical image 3DCG. For example, as a method of estimating the generational base of the lesion area, the center of the lesion area 30D before the increase is estimated as the generational base. Alternatively, the generation base may be designated in accordance with the operation information input from the operation device 13.
次に、位置合わせ部２２は、医用画像３ＤＣＧ３４Ｔ１と医用画像３ＤＣＧ３４Ｔ２とに基づいて、正常解剖３ＤＣＧ３０における病変領域３０Ｄから病変領域３０Ｅへの増大方向及び増大した領域を推定する。 Next, based on the medical image 3DCG 34T1 and the medical image 3DCG 34T2, the alignment unit 22 estimates an increase direction and an increase region from the lesion area 30D to the lesion area 30E in the normal dissection 3DCG 30.
そして、位置合わせ部２２は、病変領域の発生母地及び病変領域の増大方向に応じて、正常解剖３ＤＣＧ３０を変形させて、医用画像３ＤＣＧ３４と正常解剖３ＤＣＧ３０との間の位置合わせを行う。具体的には、位置合わせ部２２は、病変領域の増大分に応じて正常解剖３ＤＣＧ３０を変形させる。 Then, the alignment unit 22 deforms the normal anatomy 3DCG 30 according to the generation base of the lesion area and the increase direction of the lesion area, and performs alignment between the medical image 3DCG 34 and the normal anatomy 3DCG 30. Specifically, the alignment unit 22 deforms the normal dissection 3DCG 30 according to the increase in the lesion area.
なお、第２の実施形態に係る医用画像表示システムの他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。 The other configuration and operation of the medical image display system according to the second embodiment are the same as those of the first embodiment, and thus the description thereof is omitted.
以上説明したように、第２の実施形態に係る画像処理装置によれば、医用画像３ＤＣＧの時系列に基づいて、病変領域の発生母地と病変領域の増大方向とを推定する。そして、第２の実施形態では、病変領域の発生母地及び病変領域の増大方向に応じて正常解剖３ＤＣＧを変形させて、医用画像３ＤＣＧと正常解剖３ＤＣＧとの間の位置合わせを行う。これにより、病変領域の時系列変化に応じた情報を適切に提示することができる。 As described above, according to the image processing apparatus according to the second embodiment, the generation base of the lesion area and the increasing direction of the lesion area are estimated based on the time series of the medical image 3DCG. Then, in the second embodiment, the normal dissection 3DCG is deformed according to the direction of occurrence of the lesion area and the increase direction of the lesion area, and the alignment between the medical image 3DCG and the normal dissection 3DCG is performed. This makes it possible to properly present information according to the time-series change of the lesion area.
＜第３の実施形態に係る医用画像表示システム＞ <Medical Image Display System According to Third Embodiment>
次に、第３の実施形態について説明する。なお、第３の実施の形態に係る医用画像表示システムの構成は、第１の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。 Next, a third embodiment will be described. The configuration of the medical image display system according to the third embodiment is the same as that of the first embodiment, so the same reference numerals are given and description thereof is omitted.
第３の実施形態では、患者の年齢及び患者の性別に関する情報である患者情報を更に受け付け、当該患者情報に応じて、正常解剖３ＤＣＧを変形させて、医用画像３ＤＣＧと正常解剖３ＤＣＧとの間の位置合わせを行う点が、第１及び第２の実施形態と異なる。 In the third embodiment, patient information which is information on the age of the patient and the sex of the patient is further received, and the normal anatomical 3DCG is deformed according to the patient information, and the medical image 3DCG and the normal anatomical 3DCG are exchanged. The point of performing alignment differs from the first and second embodiments.
第３の実施形態の受付部１６は、例えば、操作装置１３から入力された患者情報を受け付ける。例えば、受付部１６は、特定の日に撮像された医用画像から生成された医用画像３ＤＣＧと、特定の日よりも後に撮像された医用画像から生成された医用画像３ＤＣＧとを、医用画像３ＤＣＧの時系列として受け付ける。 The reception unit 16 of the third embodiment receives, for example, patient information input from the operation device 13. For example, the reception unit 16 is configured of a medical image 3DCG generated from a medical image captured on a specific day, and a medical image 3DCG generated from a medical image captured on a later date than the specific day. Accept as a time series.
医用画像３ＤＣＧには患者の属性等が反映される。例えば、男性の患者の医用画像から生成された医用画像３ＤＣＧと、女性の患者の医用画像から生成された医用画像３ＤＣＧとでは、医用画像３ＤＣＧに写る各部位の位置及び大きさ等が異なる。また、同性であっても、年齢に応じて医用画像３ＤＣＧに写る各部位の位置及び大きさ等が異なる。 Patient attributes and the like are reflected in the medical image 3DCG. For example, between the medical image 3DCG generated from a medical image of a male patient and the medical image 3DCG generated from a medical image of a female patient, the position, size, and the like of each portion shown in the medical image 3DCG are different. Further, even in the same sex, the position, size, and the like of each part shown in the medical image 3DCG differ according to the age.
そこで、第３の実施形態では、患者の年齢及び患者の性別を表す患者情報に応じて、正常解剖３ＤＣＧを変形させる。具体的には、まず、位置合わせ部２２は、正常解剖３ＤＣＧを、患者情報である年齢及び性別から導かれる標準的な大きさに変形（リサイズ）する。 Therefore, in the third embodiment, the normal dissection 3DCG is deformed according to patient information indicating the patient's age and the patient's sex. Specifically, first, the alignment unit 22 deforms (resizes) the normal dissection 3DCG into a standard size derived from the age and sex as patient information.
そして、位置合わせ部２２は、標準的な大きさに変形された正常解剖３ＤＣＧと医用画像３ＤＣＧとを比較し、正常解剖３ＤＣＧと医用画像３ＤＣＧとの間の差分（各部位の距離）に応じて、正常解剖３ＤＣＧを変形させる。 Then, the alignment unit 22 compares the normal anatomical 3DCG transformed to the standard size with the medical image 3DCG, and according to the difference between the normal anatomical 3DCG and the medical image 3DCG (the distance between each part) , Transform normal dissection 3DCG.
例えば、位置合わせ部２２は、クロスディゾルブ法等によって正常解剖３ＤＣＧを変形させることができる。位置合わせ部２２は、例えば、図１１に示されるように、医用画像３ＤＣＧ３４と正常解剖３ＤＣＧ３０とを少しずつ変形させて、２つの３ＤＣＧが重なる位置・部位Ｘを設定する。そして、位置合わせ部２２は、正常解剖３ＤＣＧのみを位置・部位Ｘに一致させるように変形させる。これにより、患者の年齢及び患者の性別に応じて、患者から得られる情報と正常解剖に関する情報とを適切に提示することができる。 For example, the alignment unit 22 can deform the normal dissection 3DCG by a cross dissolve method or the like. For example, as illustrated in FIG. 11, the alignment unit 22 deforms the medical image 3DCG 34 and the normal dissection 3DCG 30 little by little, and sets a position / region X where two 3DCGs overlap. Then, the alignment unit 22 deforms only the normal dissection 3DCG so as to match the position / site X. Thereby, it is possible to appropriately present information obtained from the patient and information on normal dissection according to the age of the patient and the sex of the patient.
なお、第３の実施形態に係る医用画像表示システムの他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。 The other configuration and operation of the medical image display system according to the third embodiment are the same as those of the first embodiment, and thus the description thereof is omitted.
以上説明したように、第３の実施形態に係る画像処理装置によれば、患者情報に応じて、正常解剖３ＤＣＧを変形させて、正常解剖３ＤＣＧと医用画像３ＤＣＧとの間の位置合わせを行う。これにより、患者の年齢及び患者の性別に応じて、患者から得られる情報と正常解剖に関する情報とを適切に提示することができる。 As described above, according to the image processing apparatus according to the third embodiment, the normal anatomy 3DCG is deformed according to the patient information, and the alignment between the normal anatomy 3DCG and the medical image 3DCG is performed. Thereby, it is possible to appropriately present information obtained from the patient and information on normal dissection according to the age of the patient and the sex of the patient.
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present invention is not limited to the above-described embodiment, and various modifications and applications can be made without departing from the scope of the present invention.
例えば、本実施形態では、３次元情報が３次元コンピュータグラフィックスである場合を例に説明したが、これに限定されるものではなく、３次元情報であればどのような形式の情報であってもよい。 For example, in the present embodiment, the case where the three-dimensional information is three-dimensional computer graphics has been described as an example, but the present invention is not limited to this. It is also good.
また、本実施形態では、位置合わせ手法として、ＩＣＰ法及びクロスディゾルブ法等を用いる場合を例に説明したが、これに限定されるものではなく、他の位置合わせ手法を用いても良い。 Further, in the present embodiment, the case of using the ICP method, the cross dissolve method or the like as the alignment method has been described as an example, but the present invention is not limited to this, and another alignment method may be used.
また、本実施形態では、画像処理装置１４が正常解剖記憶部２０を備える場合を例に説明したが、これに限定されるものではない。例えば、画像処理装置１４は、正常解剖記憶部２０を備える外部サーバから、所定の通信手段を用いて、正常解剖３ＤＣＧを読み込むようにしてもよい。 Moreover, although the case where the image processing apparatus 14 is equipped with the normal anatomical storage part 20 was demonstrated to the example in this embodiment, it is not limited to this. For example, the image processing apparatus 14 may read normal anatomy 3DCG from an external server including the normal anatomy storage unit 20 using a predetermined communication unit.
なお、上記第３の実施形態では、患者情報として患者の年齢及び患者の性別を用いる場合を例に説明したが、患者の年齢及び患者の性別の何れか一方のみを患者情報として用いてもよい。また、患者情報として患者の症状等を更に用いてもよい。 In the third embodiment, the case where the patient's age and the patient's gender are used as the patient information is described as an example, but only one of the patient's age and the patient's gender may be used as the patient information. . In addition, patient's symptoms may be further used as patient information.
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。 Furthermore, although the present invention has been described as an embodiment in which the program is installed in advance, it is also possible to provide the program by storing the program in a computer readable recording medium.
１０ 医用画像表示システム
１２ 外部装置
１３ 操作装置
１４ 画像処理装置
１６ 受付部
２０ 正常解剖記憶部
２２ 位置合わせ部
２４ 表示部
２６ 出力装置
５０ コンピュータ
５１ ＣＰＵ
５２ メモリ
５３ 記憶部
５９ 記録媒体
３０ 正常解剖３ＤＣＧ
３４ 医用画像３ＤＣＧ
DESCRIPTION OF SYMBOLS 10 Medical image display system 12 External device 13 Operation device 14 Image processing device 16 Reception part 20 Normal anatomical storage part 22 Alignment part 24 Display part 26 Output device 50 Computer 51 CPU
52 memory 53 storage unit 59 recording medium 30 normal dissection 3DCG
34 Medical image 3DCG
Claims (6)
前記受付手段によって受け付けられた前記３次元医用情報と、前記医用画像には写っていない生体内部組織を含む３次元情報であって、かつ生体の正常解剖構造に応じて予め作成された３次元情報である３次元正常解剖情報との間の位置合わせを行う位置合わせ手段と、
前記位置合わせ手段によって得られた位置合わせ結果に基づいて、前記３次元医用情報と前記３次元正常解剖情報とを重ね合わせて表示する表示手段と、
を含み、
前記３次元正常解剖情報の各部位には病変領域との関係を表す属性情報が予め付与されており、
前記位置合わせ手段は、前記３次元正常解剖情報の各部位の前記属性情報に応じて、前記３次元医用情報の病変領域に対して前記３次元正常解剖情報の各部位の形状を変形させて、前記３次元医用情報と前記３次元正常解剖情報との間の位置合わせを行う、
画像処理装置。 Accepting means for accepting three-dimensional medical information which is three-dimensional information generated from a medical image of a patient;
It is three-dimensional information including the three-dimensional medical information accepted by the accepting means and an internal biological tissue not shown in the medical image, and three-dimensional information created in advance according to the normal anatomical structure of the organism Alignment means for performing alignment with the three-dimensional normal anatomical information ,
Display means for superimposing and displaying the three-dimensional medical information and the three-dimensional normal anatomical information based on the alignment result obtained by the alignment means;
Including
At each part of the three-dimensional normal anatomical information, attribute information representing a relationship with a lesion area is given in advance,
The alignment means deforms the shape of each part of the three-dimensional normal anatomical information with respect to the lesion area of the three-dimensional medical information according to the attribute information of each part of the three-dimensional normal anatomical information. Performing alignment between the three-dimensional medical information and the three-dimensional normal anatomical information;
Image processing device.
前記受付手段によって受け付けられた前記３次元医用情報と、前記医用画像には写っていない生体内部組織を含む３次元情報であって、かつ生体の正常解剖構造に応じて予め作成された３次元情報である３次元正常解剖情報との間の位置合わせを行う位置合わせ手段と、
前記位置合わせ手段によって得られた位置合わせ結果に基づいて、前記３次元医用情報と前記３次元正常解剖情報とを重ね合わせて表示する表示手段と、
を含み、
前記受付手段は、前記３次元医用情報の時系列を更に受け付け、
前記位置合わせ手段は、前記受付手段によって受け付けられた前記３次元医用情報の時系列に基づいて、前記３次元医用情報に含まれる病変領域の発生母地と該病変領域の増大方向とを推定し、前記病変領域の発生母地及び前記病変領域の増大方向に応じて、前記３次元正常解剖情報を変形させて、前記３次元医用情報と前記３次元正常解剖情報との間の位置合わせを行う、
画像処理装置。 Accepting means for accepting three-dimensional medical information which is three-dimensional information generated from a medical image of a patient;
It is three-dimensional information including the three-dimensional medical information accepted by the accepting means and an internal biological tissue not shown in the medical image, and three-dimensional information created in advance according to the normal anatomical structure of the organism Alignment means for performing alignment with the three-dimensional normal anatomical information ,
Display means for superimposing and displaying the three-dimensional medical information and the three-dimensional normal anatomical information based on the alignment result obtained by the alignment means;
Including
The receiving means further receives a time series of the three-dimensional medical information,
The alignment means estimates a generation base of a lesion area included in the three-dimensional medical information and an increasing direction of the lesion area based on the time series of the three-dimensional medical information received by the reception means. The three-dimensional normal anatomical information is deformed according to the generation base of the lesion area and the increasing direction of the lesion area to align the three-dimensional medical information and the three-dimensional normal anatomical information ,
Image processing device.
請求項１又は請求項２に記載の画像処理装置。 The alignment means aligns the three-dimensional medical information and the three-dimensional normal anatomical information so that the specific region of the three-dimensional medical information and the specific region of the three-dimensional normal anatomical information correspond to each other. Do,
The image processing apparatus according to claim 1 .
請求項１〜請求項３の何れか１項に記載の画像処理装置。 The alignment means sets corresponding points for each of the specific area of the three-dimensional medical information and the specific area of the three-dimensional normal anatomical information, and the corresponding points of the specific area of the three-dimensional medical information and the three The three-dimensional normal anatomical information is deformed such that the corresponding points of the specific region of the two-dimensional normal anatomical information correspond to each other, and alignment between the three-dimensional medical information and the three-dimensional normal anatomical information is performed.
The image processing apparatus according to any one of claims 1 to 3.
前記位置合わせ手段は、前記受付手段によって受け付けられた前記患者情報に応じて、前記３次元正常解剖情報を変形させて、前記３次元医用情報と前記３次元正常解剖情報との間の位置合わせを行う、
請求項１〜請求項４の何れか１項に記載の画像処理装置。 The reception means further receives patient information which is information on at least one of the age of the patient and the sex of the patient,
The alignment unit deforms the three-dimensional normal anatomical information according to the patient information received by the reception unit, and aligns the three-dimensional medical information and the three-dimensional normal anatomical information. Do,
The image processing apparatus according to any one of claims 1 to 4.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017226184A JP6548049B2 (en) | 2017-11-24 | 2017-11-24 | Image processing apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017226184A JP6548049B2 (en) | 2017-11-24 | 2017-11-24 | Image processing apparatus and program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019064334A Division JP2019093288A (en) | 2019-03-28 | 2019-03-28 | Image processing system and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019092940A JP2019092940A (en) | 2019-06-20 |
| JP6548049B2 true JP6548049B2 (en) | 2019-07-24 |
Family
ID=66970324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017226184A Active JP6548049B2 (en) | 2017-11-24 | 2017-11-24 | Image processing apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6548049B2 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3179474B2 (en) * | 1990-11-28 | 2001-06-25 | 株式会社日立製作所 | Computer graphic display method and information processing apparatus |
| JP5314614B2 (en) * | 2010-02-05 | 2013-10-16 | 富士フイルム株式会社 | MEDICAL IMAGE DISPLAY DEVICE, MEDICAL IMAGE DISPLAY METHOD, AND PROGRAM |
| FR3023156B1 (en) * | 2014-07-02 | 2016-08-05 | Centre Nat Rech Scient | METHOD AND DEVICE FOR FUNCTIONAL IMAGING OF THE BRAIN |
| US9563979B2 (en) * | 2014-11-28 | 2017-02-07 | Toshiba Medical Systems Corporation | Apparatus and method for registering virtual anatomy data |
| JP6797557B2 (en) * | 2016-05-17 | 2020-12-09 | キヤノンメディカルシステムズ株式会社 | Medical image diagnostic equipment, medical image processing equipment and image display program |
-
2017
- 2017-11-24 JP JP2017226184A patent/JP6548049B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019092940A (en) | 2019-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6530371B2 (en) | Interactive follow-up visualization | |
| JP6316671B2 (en) | Medical image processing apparatus and medical image processing program | |
| EP2719325A1 (en) | Image diagnosis assisting apparatus, and method | |
| JP7522269B2 (en) | Medical image processing method, medical image processing device, medical image processing system, and medical image processing program | |
| EP2380140B1 (en) | Generating views of medical images | |
| JP2013066632A (en) | Medical image processing device, medical image processing method, and program | |
| JP6290723B2 (en) | Surgery support device and surgery support system | |
| JP2007252904A (en) | Imaginary tomographic position setting method in 3d volume data set and medical imaging system | |
| US11978137B2 (en) | Generating reformatted views of a three-dimensional anatomy scan using deep-learning estimated scan prescription masks | |
| Stoyanov et al. | Simulation, image processing, and ultrasound systems for assisted diagnosis and navigation | |
| Frisken et al. | Preliminary results comparing thin plate splines with finite element methods for modeling brain deformation during neurosurgery using intraoperative ultrasound | |
| JP6821036B2 (en) | Medical image processing equipment, methods and programs | |
| JP6967983B2 (en) | Image processing equipment, image processing methods, and programs | |
| JP2014014727A (en) | Image processor and the control method thereof, and program | |
| JP6548049B2 (en) | Image processing apparatus and program | |
| CN110718284A (en) | Three-dimensional medical image data interaction method and system | |
| JP2015036084A (en) | Image processing system | |
| JP2011120827A (en) | Diagnosis support system, diagnosis support program, and diagnosis support method | |
| JP2019093288A (en) | Image processing system and program | |
| EP3695380B1 (en) | Hypersurface reconstruction of microscope view | |
| JP7387280B2 (en) | Image processing device, image processing method and program | |
| US20110242096A1 (en) | Anatomy diagram generation method and apparatus, and medium storing program | |
| Wagner et al. | An integrated tool for automated visualization of subdural electrodes in epilepsy surgery evaluation | |
| JPWO2019044228A1 (en) | Medical image processing apparatus, method and program | |
| JP6548615B2 (en) | Magnetic field distortion calculation device, method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180302 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190312 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190328 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190514 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190612 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6548049 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |