JP2016007502A - Medical image processing apparatus and medical image processing method - Google Patents
Medical image processing apparatus and medical image processing method Download PDFInfo
- Publication number
- JP2016007502A JP2016007502A JP2014131689A JP2014131689A JP2016007502A JP 2016007502 A JP2016007502 A JP 2016007502A JP 2014131689 A JP2014131689 A JP 2014131689A JP 2014131689 A JP2014131689 A JP 2014131689A JP 2016007502 A JP2016007502 A JP 2016007502A
- Authority
- JP
- Japan
- Prior art keywords
- clinical
- region
- display
- depth information
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 81
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims description 53
- 230000008569 process Effects 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 abstract description 2
- 210000004204 blood vessel Anatomy 0.000 description 50
- 238000010586 diagram Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 14
- 239000000284 extract Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000001771 impaired effect Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 229930091051 Arenine Natural products 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 102100036848 C-C motif chemokine 20 Human genes 0.000 description 1
- 101000713099 Homo sapiens C-C motif chemokine 20 Proteins 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Description
本発明の実施の形態は、医用画像処理装置及び医用画像処理方法に関する。 Embodiments described herein relate generally to a medical image processing apparatus and a medical image processing method.
近年、被検体内部の情報を収集し、この収集された情報に基づいて被検体内部を画像化して医用画像を生成する医用画像診断装置（以下、このような機能を備える医用画像診断装置を「モダリティ」と表わす）が用いられるようになっている。このモダリティとしては、例えば、Ｘ線ＣＴ装置（computed tomography：コンピュータ断層撮影装置）や、磁気共鳴診断装置（ＭＲＩ：magnetic resonance imaging）等が該当する。これらのモダリティにおいて生成された医用画像は例えば、ネットワークに接続された医用画像処理装置上に加工されて表示される。 In recent years, a medical image diagnostic apparatus (hereinafter referred to as a medical image diagnostic apparatus having such a function) that collects information inside a subject and generates a medical image by imaging the inside of the subject based on the collected information. "Modality" is used. As this modality, for example, an X-ray CT apparatus (computed tomography: computed tomography apparatus), a magnetic resonance diagnostic apparatus (MRI: magnetic resonance imaging), or the like is applicable. For example, the medical images generated in these modalities are processed and displayed on a medical image processing apparatus connected to a network.
当該加工処理の方法としては、例えば、最大値投影法（Maximum Intensity Projection：ＭＩＰ）を挙げることができる。最大値投影法は、３次元のボリュームデータに対して任意の視点を設定し、その視点と投影面の画素を結ぶ経路上の最大値を２次元的に投影する表示方法である。 An example of the processing method is a maximum intensity projection (MIP). The maximum value projection method is a display method in which an arbitrary viewpoint is set for three-dimensional volume data, and the maximum value on a path connecting the viewpoint and pixels on the projection surface is two-dimensionally projected.
当該最大値投影法を利用して生成されたＭＩＰ画像は、一般的に、画像のイズの影響を受けにくく、低コントラストの画像であってもコントラスト良く抽出することができる、とされる。 An MIP image generated by using the maximum value projection method is generally less susceptible to image distortion, and can be extracted with good contrast even in a low-contrast image.
一方で、最大値投影法を利用して医用画像を表示させると、その表示方法の特徴から、近接する、或いは、重複する表示対象の前後方向（奥行き方向）の位置関係を表示させることは不可能である。そのため、例えば、投影角度を変えた複数の表示を同時に表示させる、或いは、回転させて表示させる、といった表示を行うことで、これらの位置関係を把握することとしている。 On the other hand, when a medical image is displayed using the maximum value projection method, it is impossible to display the positional relationship in the front-rear direction (depth direction) of display objects that are close or overlap due to the characteristics of the display method. Is possible. For this reason, for example, by displaying a plurality of displays with different projection angles displayed at the same time or rotating them, the positional relationship between them is grasped.
この最大値投影法を利用した表示方法であって、上述した弊害を回避させる表示方法として、以下の特許文献１に開示される発明が開示されている。 As a display method using the maximum value projection method and avoiding the above-described adverse effects, an invention disclosed in Patent Document 1 below is disclosed.
しかしながら、上記特許文献１において開示されている発明では、次の点について配慮がなされていない。 However, the invention disclosed in Patent Document 1 does not give consideration to the following points.
すなわち、まず、最大値投影法の最大の問題である奥行きに関する情報の欠損を解消するべく、例えば、上述したように複数の表示を同時に表示させる等の方法が採用されるが、当該医用画像を参照する医療従事者にしてみれば、処置中には、できるだけ１つの表示で多くの情報を確認できた方が便利である。 That is, first, in order to eliminate the lack of information regarding depth, which is the biggest problem of the maximum value projection method, for example, a method of simultaneously displaying a plurality of displays as described above is adopted. For the medical staff to refer to, it is more convenient to check as much information as possible on one display during the procedure.
また、特許文献１に記載の発明は、例えば、重複して表示されている血管のうち、後ろ（奥側）に位置する血管の輝度を落として前面に位置する血管を明確に表示させる方法を採用している。しかし、このような見たい血管を明確に表示させるために輝度を落とすといった処理を行ってしまうと、このような処理が行われた画像はそもそもＭＩＰ画像ではなく、ＭＩＰ画像のメリットを損なう可能性がある。また、見たい血管が奥に位置している場合、前面に位置する血管の輝度を落とす処理を行うことになるが、このような処理では所望の画像を表示させることができないことも考えられる。 Moreover, the invention described in Patent Document 1 is a method of clearly displaying a blood vessel located in the front by reducing the luminance of the blood vessel located behind (back side) among the blood vessels displayed in duplicate. Adopted. However, if processing such as reducing the brightness is performed in order to clearly display the blood vessel to be viewed, the image subjected to such processing is not an MIP image in the first place, and the merit of the MIP image may be impaired. There is. In addition, when the blood vessel to be viewed is located at the back, processing for reducing the luminance of the blood vessel located in the front is performed, but it is possible that a desired image cannot be displayed by such processing.
本発明は上記課題を解決するためになされたものであり、本発明の目的は、医療の現場において、投影画像が備えるメリットを毀損することなく、投影画像として表示される各部の位置関係、特に視線方向の前後（奥行き）を容易に認識することが可能な処理を行う医用画像処理装置及び医用画像処理方法を提供することにある。 The present invention has been made in order to solve the above-mentioned problems, and the object of the present invention is to provide a positional relationship between the respective parts displayed as a projection image, particularly without impairing the merits of the projection image in the medical field. It is an object of the present invention to provide a medical image processing apparatus and a medical image processing method that perform processing capable of easily recognizing front and rear (depth) in the line-of-sight direction.
請求項１に記載の発明の特徴は、医用画像処理装置において、医用画像として生成された投影画像を表示する表示部と、投影画像上にて投影画像を見る者において臨床上必要とする領域である臨床領域とその他の領域である非臨床領域とを区分けするとともに、投影画像が備える奥行き情報に基づいて、臨床領域における奥行きに応じた表示態様で表示部に表示させることで臨床領域における各部のそれぞれの位置関係を明示する表示補助部とを備える。 According to the first aspect of the present invention, in the medical image processing apparatus, a display unit that displays a projection image generated as a medical image, and a region that is clinically necessary for a person who views the projection image on the projection image. A clinical region and other non-clinical regions, which are other regions, are classified and displayed on the display unit in a display mode corresponding to the depth in the clinical region based on the depth information included in the projection image. And a display auxiliary unit that clearly indicates each positional relationship.
請求項１２に記載の発明の特徴は、医用画像処理方法において、投影画像を生成するステップと、投影画像を構成する各画素が備える奥行き情報を取得するステップと、投影画像内において、臨床領域と非臨床領域とを区別して抽出するステップと、臨床領域内において、非臨床領域と接する臨床境界画素を抽出するステップと、抽出された臨床境界画素が備える奥行き情報を把握するステップと、臨床領域と非臨床領域とを区別する境界線を設定するステップと、境界線を非臨床領域に移動させ、臨床境界線を設定するステップと、臨床境界線に臨床境界画素が備える奥行き情報を重ね、当該奥行き情報を基に、臨床領域における奥行きに応じた表示態様で臨床領域における各部のそれぞれの位置関係を明示し表示させるステップとを備える。 According to a twelfth aspect of the present invention, in the medical image processing method, a step of generating a projection image, a step of acquiring depth information included in each pixel constituting the projection image, a clinical region in the projection image, and A step of distinguishing and extracting a non-clinical region; a step of extracting a clinical boundary pixel in contact with the non-clinical region in the clinical region; a step of grasping depth information included in the extracted clinical boundary pixel; The step of setting a boundary line for distinguishing from the non-clinical region, the step of moving the boundary line to the non-clinical region, setting the clinical boundary line, and the depth information included in the clinical boundary pixel are superimposed on the clinical boundary line, and the depth And clearly displaying the positional relationship of each part in the clinical area in a display mode corresponding to the depth in the clinical area based on the information. .
以下、本発明の実施の形態について図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図１は、実施の形態における医用画像処理装置１を含む医用画像システムＳの全体構成を示すブロック図である。医用画像システムＳは、医用画像処理装置１と、モダリティ２と、サーバ３と、これらを互いに接続する通信ネットワークＮから構成される。医用画像システムＳは、それ自体独立したシステムとして構成されても良いが、例えば、病院情報管理システム（ＨＩＳ：Hospital Information System）、放射線部門情報管理システム（ＲＩＳ：Radiological Information System）、医用画像管理システム（ＰＡＣＳ：Picture Archiving Communication System）といった医療機関内に構築された各種管理システムの全て、或いは、その一部を構成するようにされていても良い。 FIG. 1 is a block diagram illustrating an overall configuration of a medical image system S including a medical image processing apparatus 1 according to an embodiment. The medical image system S includes a medical image processing apparatus 1, a modality 2, a server 3, and a communication network N that connects these to each other. The medical image system S may be configured as an independent system. For example, a hospital information management system (HIS), a radiology information management system (RIS), a medical image management system All or some of various management systems built in a medical institution such as (PACS: Picture Archiving Communication System) may be configured.
医用画像処理装置１は、モダリティ２において撮影された被検体の内部情報を基に、医用画像の生成、加工処理を行う。特に、医用画像を投影画像として表示させる際に、表示上の不都合をできるだけ解消するよう処理を行う。医用画像処理装置１は、また、医師等の医療従事者が医用画像を利用して患者の診察を行ったり、或いは、医用画像の読影を行う際に使用されるワークステーションであっても良い。 The medical image processing apparatus 1 generates and processes medical images based on internal information of the subject imaged by the modality 2. In particular, when a medical image is displayed as a projection image, processing is performed so as to eliminate as much as possible display problems. The medical image processing apparatus 1 may also be a workstation used when a medical staff such as a doctor uses a medical image to examine a patient or interprets a medical image.
なお、ここで「投影画像」には、最大値投影法（Maximum Intensity Projection：ＭＩＰ）によって生成されるＭＩＰ画像及び最小値投影法（Minimum Intensity Projection：ＭｉｎＩＰ）によって生成されるＭｉｎＩＰ画像の両者が含まれる。以下においては、ＭＩＰ画像を例に挙げて説明を行う。 Here, the “projection image” includes both the MIP image generated by the maximum projection method (Maximum Intensity Projection: MIP) and the MinIP image generated by the minimum projection method (Minimum Intensity Projection: MinIP). It is. In the following description, an MIP image is taken as an example.
モダリティ２は、被検体を撮影してその内部情報を取得する医用画像取得（撮影）装置である。モダリティ２としては、例えば、上述したようにＸ線ＣＴ装置や磁気共鳴診断装置等が該当する。 The modality 2 is a medical image acquisition (imaging) device that images a subject and acquires its internal information. Examples of the modality 2 include an X-ray CT apparatus and a magnetic resonance diagnostic apparatus as described above.
サーバ３は、モダリティ２で取得された内部情報や生成された医用画像といった画像データを保存しておく装置である。 The server 3 is an apparatus for storing image data such as internal information acquired by the modality 2 and a generated medical image.
なお、図１に示す医用画像システムＳでは、通信ネットワークＮに２つのモダリティ２Ａ及び２Ｂ（以下、適宜これら複数のモダリティをまとめて「モダリティ２」と表わす。）が接続されているが、通信ネットワークＮに接続されるモダリティ、或いは、情報端末の数は単数、或いは複数のいずれでも良く、その数は任意である。 In the medical image system S shown in FIG. 1, two modalities 2A and 2B (hereinafter, these modalities are collectively referred to as “modality 2” as appropriate) are connected to the communication network N. The modality connected to N or the number of information terminals may be singular or plural, and the number is arbitrary.
通信ネットワークＮは、医用画像処理装置１、モダリティ２及び、サーバ３をそれぞれつなぎ、互いの間で、例えば画像データのやりとりを可能とする。通信ネットワークＮの例としては、ＬＡＮ（Local Area Network）やインターネット等のネットワークを挙げることができる。また、この通信ネットワークＮで使用される通信規格は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等、いずれの規格であっても良い。 The communication network N connects the medical image processing apparatus 1, modality 2, and server 3, and enables, for example, exchange of image data between them. Examples of the communication network N include a network such as a LAN (Local Area Network) and the Internet. The communication standard used in the communication network N may be any standard such as DICOM (Digital Imaging and Communication in Medicine).
図２は、本発明の実施の形態における医用画像処理装置１の内部構成を示すブロック図である。 FIG. 2 is a block diagram showing an internal configuration of the medical image processing apparatus 1 according to the embodiment of the present invention.
医用画像処理装置１は、ＣＰＵ（Central Processing Unit）１ａと、ＲＯＭ(Read Only Memory)１ｂと、ＲＡＭ（Random Access Memory）１ｃ及び入出力インターフェイス１ｄがバス１ｅを介して接続されている。入出力インターフェイス１ｄには、入力部１ｆと、表示部１ｇと、通信制御部１ｈと、記憶部１ｉと、リムーバブルディスク３ｊとが接続されている。また、同じく入出力インターフェイス１ｄには、投影画像生成部１０と表示補助部２０も接続されている。 In the medical image processing apparatus 1, a central processing unit (CPU) 1a, a read only memory (ROM) 1b, a random access memory (RAM) 1c, and an input / output interface 1d are connected via a bus 1e. An input unit 1f, a display unit 1g, a communication control unit 1h, a storage unit 1i, and a removable disk 3j are connected to the input / output interface 1d. Similarly, a projection image generation unit 10 and a display auxiliary unit 20 are also connected to the input / output interface 1d.
ＣＰＵ１ａは、入力部１ｆからの入力信号に基づいてＲＯＭ１ｂから医用画像処理装置１を起動するためのブートプログラムを読み出して実行し、記憶部１ｉに格納されている各種オペレーティングシステムを読み出す。またＣＰＵ１ａは、入力部１ｆや入出力インターフェイス１ｄを介して、図２において図示していないその他の外部機器からの入力信号に基づいて各種装置の制御を行う。 The CPU 1a reads out and executes a boot program for starting the medical image processing apparatus 1 from the ROM 1b based on an input signal from the input unit 1f, and reads out various operating systems stored in the storage unit 1i. The CPU 1a controls various devices based on input signals from other external devices not shown in FIG. 2 via the input unit 1f and the input / output interface 1d.
さらにＣＰＵ１ａは、ＲＡＭ１ｃや記憶部１ｉ等に記憶されたプログラム及びデータを読み出してＲＡＭ１ｃにロードするとともに、ＲＡＭ１ｃから読み出されたプログラムのコマンドに基づいて、画像生成のための処理やＭＩＰ画像の画像処理、データの計算、加工等、一連の処理を実現する処理装置である。 Further, the CPU 1a reads out the program and data stored in the RAM 1c, the storage unit 1i, and the like and loads them into the RAM 1c. Based on the program command read out from the RAM 1c, the CPU 1a performs processing for image generation and image of the MIP image. It is a processing device that implements a series of processing such as processing, data calculation, and processing.
入力部１ｆは、医用画像処理装置１の操作者（例えば、医師や検査技師の医療従事者）が各種の操作を入力するキーボード、ダイヤル等の入力デバイスにより構成されており、操作者の操作に基づいて入力信号を作成しバス１ｅを介してＣＰＵ１ａに送信される。 The input unit 1f includes an input device such as a keyboard and a dial for an operator of the medical image processing apparatus 1 (for example, a medical worker such as a doctor or a laboratory technician) to input various operations. Based on this, an input signal is created and transmitted to the CPU 1a via the bus 1e.
表示部１ｇは、例えば液晶ディスプレイである。この表示部１ｇは、ＣＰＵ１ａからバス１ｅを介して出力信号を受信し、例えば奥行きを示す情報を表示させる際の表示方法に関する設定やＣＰＵ１ａの処理結果等を表示する。 The display unit 1g is a liquid crystal display, for example. The display unit 1g receives an output signal from the CPU 1a via the bus 1e, and displays settings relating to a display method when displaying information indicating depth, a processing result of the CPU 1a, and the like.
通信制御部１ｈは、ＬＡＮカードやモデム等の手段であり、医用画像処理装置１をインターネットやＬＡＮ等の通信ネットワークＮに接続することを可能とする手段である。通信制御部１ｈを介して通信ネットワークと送受信したデータは入力信号または出力信号として、入出力インターフェイス１ｄ及びバス１ｅを介してＣＰＵ１ａに送受信される。 The communication control unit 1h is a means such as a LAN card or a modem, and is a means that enables the medical image processing apparatus 1 to be connected to a communication network N such as the Internet or a LAN. Data transmitted / received to / from the communication network via the communication control unit 1h is transmitted / received to / from the CPU 1a via the input / output interface 1d and the bus 1e as input signals or output signals.
記憶部１ｉは、半導体や磁気ディスクで構成されており、ＣＰＵ１ａで実行されるプログラムやデータが記憶されている。 The storage unit 1i is composed of a semiconductor or a magnetic disk, and stores programs and data executed by the CPU 1a.
リムーバブルディスク１ｊは、光ディスクやフレキシブルディスクのことであり、ディスクドライブによって読み書きされた信号は、入出力インターフェイス１ｄ及びバス１ｅを介してＣＰＵ１ａに送受信される。 The removable disk 1j is an optical disk or a flexible disk, and signals read and written by the disk drive are transmitted to and received from the CPU 1a via the input / output interface 1d and the bus 1e.
投影画像生成部１０は、モダリティ２が被検体（患者）を撮影して取得した内部情報である画像データを利用して、投影画像を生成する。投影画像生成部１０において生成される投影画像は、ＭＩＰ画像であってもＭｉｎＩＰ画像のいずれであっても良い。 The projection image generation unit 10 generates a projection image using image data which is internal information acquired by the modality 2 by imaging a subject (patient). The projection image generated by the projection image generation unit 10 may be either a MIP image or a MinIP image.
表示補助部２０は、その特徴として前後関係、すなわち、奥行きに関する情報が欠けるＭＩＰ画像に対して奥行き情報を付加することで、ＭＩＰ画像の表示の補助を行う機能を備えている。 The display assisting unit 20 has a function of assisting display of the MIP image by adding depth information to the MIP image lacking information on the context, that is, depth, as a feature.
図３は、実施の形態における表示補助部２０の内部構成を示すブロック図である。表示補助部２０は、例えば、表示補助の対象となるＭＩＰ画像を投影画像生成部１０から受け付ける受信部２１と、領域抽出部２２と、奥行き情報把握部２３と、境界線設定部２４と、臨床境界線設定部２５と、臨床境界線表示設定部２６と、判断部２７と、補助的な表示がなされたＭＩＰ画像を表示部１ｇに対して送信する送信部２８とから構成される。 FIG. 3 is a block diagram illustrating an internal configuration of the display auxiliary unit 20 according to the embodiment. For example, the display auxiliary unit 20 receives a MIP image that is a display auxiliary target from the projection image generation unit 10, a region extraction unit 22, a depth information grasping unit 23, a boundary line setting unit 24, and a clinical setting. The boundary line setting unit 25, the clinical boundary line display setting unit 26, the determination unit 27, and the transmission unit 28 that transmits the MIP image on which auxiliary display is performed to the display unit 1g.
なお、これら各部の詳細な機能、働きについては、ＭＩＰ画像の表示の補助を行う流れ、すなわち、医用画像処理の流れを説明する際に併せて説明する。 The detailed functions and functions of these units will be described together with the description of the flow of assisting the display of MIP images, that is, the flow of medical image processing.
次に、ＭＩＰ画像の生成からその表示補助が行われて、表示部１ｇに表示されるまでの流れについて、図４ないし図１４を利用して、以下説明する。図４及び図５は、実施の形態における医用画像処理の流れを示すフローチャートである。 Next, the flow from the generation of the MIP image to the display assistance to the display on the display unit 1g will be described below with reference to FIGS. 4 and 5 are flowcharts showing the flow of medical image processing in the embodiment.
まず、医用画像処理装置１は、通信ネットワークＮを介して、例えば、サーバ３に対してＭＩＰ画像を生成する際の基となる画像データの要求を行う。この前提として、図３に示すフローチャートではその内容を示していないが、モダリティ２で取得された被検体の内部情報は、画像データとしてサーバ３に保存されている。 First, the medical image processing apparatus 1 requests, via the communication network N, for example, image data that is a basis for generating a MIP image to the server 3. As a premise of this, although the contents are not shown in the flowchart shown in FIG. 3, the internal information of the subject acquired by the modality 2 is stored in the server 3 as image data.
ＭＩＰ画像は、医療従事者が手術や診断等を行う際に参照する画像である。従って、医用画像処理装置１では、医療従事者によって対象となる被検体（患者）に関する各種データ（例えば、患者ＩＤ等の患者情報）が入力されたことを確認し、当該患者に関する画像データをサーバ３に対して送信するよう要求する。サーバ３では、当該要求に基づいて、該当の要求を出した医用画像処理装置１に対して画像データを送信し、医用画像処理装置１では送信要求に応じて送信された画像データを読み込む（ＳＴ１）。 The MIP image is an image that is referred to when a medical worker performs an operation or a diagnosis. Therefore, in the medical image processing apparatus 1, it is confirmed that various data (for example, patient information such as patient ID) related to the subject (patient) as a target is input by the medical staff, and the image data related to the patient is stored in the server 3 is requested to transmit. Based on the request, the server 3 transmits image data to the medical image processing apparatus 1 that issued the request, and the medical image processing apparatus 1 reads the image data transmitted in response to the transmission request (ST1). ).
医用画像処理装置１では、読み込んだ画像データを用いてＭＩＰ画像を生成する（ＳＴ２）。すなわち、サーバ３から送信された画像データは投影画像生成部１０に送られて、投影画像（ここでは説明上、ＭＩＰ画像）が生成される。 The medical image processing apparatus 1 generates an MIP image using the read image data (ST2). That is, the image data transmitted from the server 3 is sent to the projection image generation unit 10 to generate a projection image (here, an MIP image for explanation).
図６は、生成された投影画像（ＭＩＰ画像）の一例を示す画像例であり、図７は、図６に示す投影画像（ＭＩＰ画像）の一部を拡大して示す画像例である。 FIG. 6 is an image example showing an example of the generated projection image (MIP image), and FIG. 7 is an image example showing an enlarged part of the projection image (MIP image) shown in FIG.
ＭＩＰ画像は、上述したように、３次元のボリュームデータに対して任意の視点を設定し、その視点と投影面の画素を結ぶ経路上の、例えばＣＴ値の最大値を２次元的に投影する表示方法である。従って、図６に示すＭＩＰ画像において白く浮き上がって見えるところが最大値を表示したところ、ということになる。この図６のＭＩＰ画像では、血管が表示されている。 As described above, the MIP image sets an arbitrary viewpoint with respect to the three-dimensional volume data, and two-dimensionally projects, for example, the maximum value of the CT value on the path connecting the viewpoint and the pixel on the projection plane. It is a display method. Therefore, the portion that appears white in the MIP image shown in FIG. 6 is the maximum value displayed. In the MIP image of FIG. 6, blood vessels are displayed.
図６に示すＭＩＰ画像を見ると、血管以外の領域が暗く表示されており、それ故に血管がより明確に表示されていることがわかる。但し、図７の拡大図をみると表示が一部不明瞭であることもわかる。 When the MIP image shown in FIG. 6 is viewed, it can be seen that the area other than the blood vessel is displayed darkly, and therefore the blood vessel is displayed more clearly. However, it can be seen from the enlarged view of FIG. 7 that the display is partially unclear.
すなわち、図７は、図６に示すＭＩＰ画像内において実線の円で囲んだ領域を拡大して示しているが、図７のＭＩＰ画像に示される血管、特に実線の円内に示される領域における血管の位置関係は不明瞭である。円内に示される領域において、血管が水平方向に表示されるとともに、別の血管が垂直方向に表示され、両者が重なり十字形を示している。また、この十字形の左上には、左下に向かって斜めに表示される血管が表示され、この血管及び十字形の血管と重なるように、左上から右下に走る血管が示されている。 That is, FIG. 7 shows an enlarged view of the region surrounded by a solid circle in the MIP image shown in FIG. 6, but in the blood vessel shown in the MIP image of FIG. 7, particularly in the region shown in the solid circle. The positional relationship between blood vessels is unclear. In the region shown in the circle, the blood vessels are displayed in the horizontal direction and the other blood vessels are displayed in the vertical direction, and both of them overlap to show a cross shape. In addition, a blood vessel that is displayed obliquely toward the lower left is displayed at the upper left of the cross shape, and a blood vessel that runs from the upper left to the lower right so as to overlap the blood vessel and the cross-shaped blood vessel is shown.
これらの血管がこの円内の領域に存在することは把握できるとともに、大まかな位置関係を把握することもできる。但し、いずれの血管が手前にあり、いずれの血管が奥に位置しているのか、詳細な、特に前後方向（奥行き方向）の位置関係は把握できない。 It is possible to grasp that these blood vessels exist in the region within this circle, and it is also possible to grasp a rough positional relationship. However, it is not possible to grasp the detailed positional relationship, particularly in the front-rear direction (depth direction), which blood vessel is in front and which blood vessel is in the back.
ＭＩＰ画像は、投影画像における、例えばＣＴ値の最大値を取って表示させていることから、もともと前後方向（奥行き方向）の位置関係は把握できない。一方で、図６のＭＩＰ画像をみても理解できるように、コントラストははっきりとしており、対象となる領域を明瞭に表示することができる。 Since the MIP image is displayed by taking, for example, the maximum CT value in the projection image, the positional relationship in the front-rear direction (depth direction) cannot be grasped originally. On the other hand, as can be understood from the MIP image of FIG. 6, the contrast is clear and the target region can be clearly displayed.
そこで本発明の実施の形態においては、このＭＩＰ画像が持つメリットをいささかも損なうことなく、医療従事者が前後方向（奥行き方向）の位置関係を理解することができるような補助的な表示を行うことで、ＭＩＰ画像で表示する対象を明瞭に表示させることとするものである。 Therefore, in the embodiment of the present invention, an auxiliary display is provided so that a medical worker can understand the positional relationship in the front-rear direction (depth direction) without any loss of the merit of the MIP image. Thus, the object to be displayed as the MIP image is clearly displayed.
なお本発明の実施の形態においては、上述した特許文献１に記載の発明のように生成されたＭＩＰ画像そのものを加工してしまう処理は行わない。ＭＩＰ画像そのものを加工してしまうと、加工されて生成された画像はそもそもＭＩＰ画像ではなく、また、加工によってＭＩＰ画像が備えるメリットを損なう可能性があるからである。 In the embodiment of the present invention, the processing for processing the generated MIP image itself as in the invention described in Patent Document 1 is not performed. This is because if the MIP image itself is processed, the processed and generated image is not an MIP image in the first place, and there is a possibility that the merit provided by the MIP image may be impaired by the processing.
投影画像生成部１０にてＭＩＰ画像が生成される際、併せてＭＩＰ画像の各画素における奥行き情報も取得する（ＳＴ３）。 When the projection image generation unit 10 generates an MIP image, it also acquires depth information for each pixel of the MIP image (ST3).
図８は、実施の形態における医用画像処理の流れを説明する際に使用する説明図であり、特に奥行き情報に関する説明を行う際に使用する説明図である。 FIG. 8 is an explanatory diagram used when explaining the flow of medical image processing in the embodiment, and is an explanatory diagram used particularly when explaining depth information.
ＭＩＰ画像は、３次元のボリュームデータに対して任意の視点を設定し、その視点と投影面の画素を結ぶ経路上の、例えばＣＴ値の最大値を２次元的に投影する表示方法である。図８に示す説明図を使用して説明すると、図８において矢印で示されているのが設定される視点である。すなわち、３次元のボリュームデータを矢印の方向に見た場合、矢印方向（視線方向）には、複数の画素が存在する。図８の説明図では、１０個の画素が示されている。 An MIP image is a display method in which an arbitrary viewpoint is set for three-dimensional volume data, and the maximum value of, for example, a CT value on a path connecting the viewpoint and pixels on the projection plane is two-dimensionally projected. If it demonstrates using explanatory drawing shown in FIG. 8, it will be the viewpoint set with what is shown by the arrow in FIG. That is, when viewing the three-dimensional volume data in the direction of the arrow, there are a plurality of pixels in the direction of the arrow (the direction of the line of sight). In the explanatory diagram of FIG. 8, ten pixels are shown.
このうち、手前（矢印の始点）側から５つ目の画素が、他の画素と異なる色で示されている。これは、矢印方向に並ぶ１０個の画素の中で最も高い値を示す画素であることを示している。すなわち、ＭＩＰ画像では、この５つ目の画素が表示されることになる。 Among these, the fifth pixel from the near side (starting point of the arrow) is shown in a color different from the other pixels. This indicates that the pixel has the highest value among the ten pixels arranged in the arrow direction. That is, in the MIP image, this fifth pixel is displayed.
そして手前（矢印の始点）側から最大値を示す画素までの距離を示す情報が「奥行き情報」である。ここで、「奥行き情報」について便宜上「距離」と表現したが、例えば、３次元のボリュームデータの一方端部である矢印の始点を「１」とし、３次元のボリュームデータの他方端部である矢印の終点を「１００」と数値に置き換えて示すようにしても良い。もちろん、この数値についても如何様にも設定することができる。 Information indicating the distance from the near side (start point of the arrow) to the pixel indicating the maximum value is “depth information”. Here, the “depth information” is expressed as “distance” for convenience. For example, the start point of the arrow which is one end of the three-dimensional volume data is “1”, and the other end of the three-dimensional volume data. The end point of the arrow may be replaced with a numerical value “100”. Of course, this numerical value can be set in any way.
或いは、ここでは奥行き情報を手前（矢印の始点）側から最大値を示す画素までの距離を示す情報と定義したが、例えば、奥（矢印の終点）側から最大値を示す画素までの距離を示す情報と定義することも可能である。すなわち、投影画像として生成された画像を構成する各画素において、表示される画素の投影画像上の奥行き方向を示す情報として定義することができるのであれば、どのように定義しても良い。 Alternatively, here, the depth information is defined as information indicating the distance from the near side (start point of the arrow) to the pixel indicating the maximum value, but for example, the distance from the back side (end point of the arrow) side to the pixel indicating the maximum value is It can also be defined as information to be shown. That is, any pixel may be defined as long as it can be defined as information indicating the depth direction of the displayed pixel on the projected image in each pixel constituting the image generated as the projected image.
ここで奥行き情報を取得するのは、当該奥行き情報を使用して投影画像に表示された各部の前後方向（奥行き方向）の位置関係を把握するためである。 The depth information is acquired here in order to grasp the positional relationship in the front-rear direction (depth direction) of each unit displayed in the projection image using the depth information.
例えば、視点の基である、手前（矢印の始点）の面を構成する画素が１００個あり、この１００個の画素のそれぞれに奥行き方向に１０個の画素が存在すると、３次元のボリュームデータとしては、１０００個の画素で構成されていることになる。そして、元々のもの手前（矢印の始点）の面を構成する１００個の画素それぞれについて、視点と投影面の画素を結ぶ経路が設定されることから、経路も１００個あることになる。 For example, if there are 100 pixels that form the surface of the near side (starting point of the arrow) that is the basis of the viewpoint, and each of these 100 pixels has 10 pixels in the depth direction, three-dimensional volume data is obtained. Is composed of 1000 pixels. Since a path connecting the viewpoint and the pixel on the projection plane is set for each of the 100 pixels constituting the surface immediately before the original (the start point of the arrow), there are 100 paths.
この１００個の経路それぞれにおいて、経路上の最大値を示す画素を取り出し、２次元的に投影することでＭＩＰ画像が生成される。そのため、各経路によって最大値を示す画素が備える奥行き情報は異なる。例えば、奥行き情報として最も手前に位置する画素を「１」とし、最も奥に位置する画素を「１０」とすると、奥行き情報として「２」を備える画素より奥行き情報として「７」を備える画素は奥に位置すると判断することができる。 In each of the 100 paths, a pixel indicating the maximum value on the path is taken out and projected two-dimensionally to generate a MIP image. Therefore, the depth information included in the pixel indicating the maximum value varies depending on each path. For example, assuming that the pixel located closest to the depth information is “1” and the pixel located farthest is “10”, the pixel having “7” as depth information is more than the pixel having “2” as depth information. It can be determined that it is located in the back.
このようにそれぞれの画素が備える奥行き情報を参照することによって、ＭＩＰ画像として生成される画像に表示される各部の前後方向（奥行き方向）の位置関係を把握することができる。 Thus, by referring to the depth information included in each pixel, it is possible to grasp the positional relationship in the front-rear direction (depth direction) of each unit displayed in the image generated as the MIP image.
投影画像生成部１０にて奥行き情報が取得されると、生成されたＭＩＰ画像と当該奥行き情報とは、表示補助部２０へと送信される。表示補助部２０では、奥行き情報を使用して生成されたＭＩＰ画像における各部の前後方向（奥行き方向）の位置関係が明瞭となるように補助的な表示を行う。 When the depth information is acquired by the projection image generation unit 10, the generated MIP image and the depth information are transmitted to the display auxiliary unit 20. The display auxiliary unit 20 performs auxiliary display so that the positional relationship in the front-rear direction (depth direction) of each unit in the MIP image generated using the depth information is clear.
まず、表示補助部２０では、投影画像生成部１０からＭＩＰ画像と奥行き情報を取得すると、領域抽出部２２において臨床領域と非臨床領域とを区別する処理を行う（ＳＴ４）。ここで「臨床領域」とは、投影画像を見る医療従事者が臨床上必要とする、臨床上有益な情報を備える領域のことである。また、特にＭＩＰ画像として表示された各部の前後方向（奥行き方向）の位置関係を明確にしたい領域であっても良い。 First, when the display auxiliary unit 20 acquires the MIP image and the depth information from the projection image generation unit 10, the region extraction unit 22 performs a process of distinguishing between the clinical region and the non-clinical region (ST4). Here, the “clinical region” refers to a region that includes clinically useful information that is clinically required by a medical worker who views a projection image. In particular, it may be an area where it is desired to clarify the positional relationship in the front-rear direction (depth direction) of each part displayed as an MIP image.
この臨床領域は、ＭＩＰ画像上で医療従事者によって設定されても良く、或いは、定型の領域が事前に設定されており、生成されたＭＩＰ画像の表示を基にいずれかの定型領域を臨床領域として自動的に設定されるようにしても良い。 This clinical region may be set by a medical staff on the MIP image, or a fixed region is set in advance, and any one of the fixed regions is set as a clinical region based on the display of the generated MIP image. May be automatically set as
領域抽出部２２では、ＭＩＰ画像を構成する各画素に対して、予め設定されている閾値を利用して、臨床領域と非臨床領域とを抽出する。例えば、図６、或いは、図７に示すＭＩＰ画像においていえば、血管を示す領域が「臨床領域」、その他の領域が「非臨床領域」となる。 The region extraction unit 22 extracts a clinical region and a non-clinical region for each pixel constituting the MIP image using a preset threshold value. For example, in the MIP image shown in FIG. 6 or FIG. 7, the region indicating the blood vessel is the “clinical region”, and the other region is the “non-clinical region”.
ここで領域抽出部２２が臨床領域と非臨床領域とを抽出するのは、投影画像に対する表示補助を行うに当たって、両者の境界に存在する画素を把握することが必要だからである。そこで領域抽出部２２は、さらに臨床領域において非臨床領域と接する画素（以下、このような画素を「臨床境界画素」と表わす）を抽出する（ＳＴ５）。 Here, the reason why the region extraction unit 22 extracts the clinical region and the non-clinical region is that it is necessary to grasp the pixels existing at the boundary between the two in order to assist the display with respect to the projection image. Therefore, the region extraction unit 22 further extracts pixels that contact the non-clinical region in the clinical region (hereinafter, such pixels are referred to as “clinical boundary pixels”) (ST5).
図９は、実施の形態における医用画像処理の流れを説明する際に使用する説明図である。特に図９では、臨床境界画素を抽出する処理について説明する際に使用する説明図である。図９においては、画面を示す枠Ｆの中に細い破線が示されている。いずれの破線も当該枠Ｆとその端部が接している。 FIG. 9 is an explanatory diagram for use in explaining the flow of medical image processing in the embodiment. In particular, FIG. 9 is an explanatory diagram used when describing the process of extracting clinical boundary pixels. In FIG. 9, a thin broken line is shown in a frame F indicating the screen. Any broken line is in contact with the frame F and its end.
そして１本の破線の両端部と枠Ｆが接して形成される領域が非臨床領域である。当該非臨床領域は、図９に示す枠Ｆ内において左上、左下、及び右下の３カ所に示されており、それぞれ、符号ＮＣ１，ＮＣ２，ＮＣ３が与えられている。一方、枠Ｆ内における当該３カ所の非臨床領域以外の領域が臨床領域Ｃとなる。 A region formed by contacting both ends of one broken line and the frame F is a non-clinical region. The non-clinical regions are shown in three places, upper left, lower left, and lower right, within a frame F shown in FIG. 9, and are given reference numerals NC1, NC2, and NC3, respectively. On the other hand, areas other than the three non-clinical areas in the frame F are clinical areas C.
この臨床領域Ｃと非臨床領域ＮＣ１，ＮＣ２，ＮＣ３（なお、以下、非臨床領域ＮＣ１，ＮＣ２，ＮＣ３をまとめて表示する場合には、適宜「非臨床領域ＮＣ」と表わす。）とを区切る境界が図９において細い破線で示されている。投影画像上には、当該破線を含む画素が複数存在する。例えば、図９において臨床領域Ｃ上であって、臨床領域Ｃと非臨床領域ＮＣ１との境界に最も近い領域には、９個の画素が存在する。従って、領域抽出部２２では、このように臨床領域Ｃ上であって、臨床領域Ｃと非臨床領域ＮＣとの境界の最も近い位置に存在する画素（臨床境界画素）を抽出する。図９では、領域抽出部２２によって抽出された臨床領域Ｃと非臨床領域ＮＣ１，ＮＣ２，ＮＣ３との境界上にある臨床境界画素が示されている。 A boundary that separates the clinical region C from the non-clinical regions NC1, NC2, and NC3 (hereinafter, when the non-clinical regions NC1, NC2, and NC3 are collectively displayed, they are appropriately expressed as “non-clinical regions NC”). Is indicated by a thin broken line in FIG. There are a plurality of pixels including the broken line on the projected image. For example, in FIG. 9, there are nine pixels in the region on the clinical region C that is closest to the boundary between the clinical region C and the non-clinical region NC1. Therefore, the region extraction unit 22 extracts pixels (clinical boundary pixels) that are on the clinical region C and are present at the closest position of the boundary between the clinical region C and the non-clinical region NC. In FIG. 9, clinical boundary pixels on the boundary between the clinical region C and the non-clinical regions NC1, NC2, and NC3 extracted by the region extraction unit 22 are shown.
領域抽出部２２では、臨床領域Ｃと非臨床領域ＮＣを抽出した後、臨床境界画素を抽出し、当該臨床境界画素に関する情報を奥行き情報把握部２３へ送信する。奥行き情報把握部２３は、領域抽出部２２が投影画像生成部１０から取得するのと同じく、投影画像生成部１０からＭＩＰ画像に関する情報と当該ＭＩＰ画像に関する各画素の奥行き情報を取得している。 The region extraction unit 22 extracts the clinical boundary pixel after extracting the clinical region C and the non-clinical region NC, and transmits information regarding the clinical boundary pixel to the depth information grasping unit 23. The depth information grasping unit 23 obtains information related to the MIP image and depth information of each pixel related to the MIP image from the projection image generating unit 10 in the same manner as the region extracting unit 22 acquires from the projected image generating unit 10.
そこで、奥行き情報把握部２３では、領域抽出部２２から送られた臨床境界画素に関する情報と投影画像生成部１０から取得した当該ＭＩＰ画像を構成する各画素の奥行き情報とを利用して、臨床境界画素に関する奥行き情報を把握する（ＳＴ６）。 Therefore, the depth information grasping unit 23 uses the information regarding the clinical boundary pixels sent from the region extracting unit 22 and the depth information of each pixel constituting the MIP image acquired from the projection image generating unit 10 to obtain the clinical boundary. Depth information about the pixel is grasped (ST6).
上述したように臨床境界画素として、臨床領域Ｃ上であって、臨床領域Ｃと非臨床領域ＮＣとの境界の最も近い位置に存在する画素を抽出したのは、投影画像上の各部の前後方向（奥行き方向）の位置関係を把握するための表示補助を表示させるためである。そのために奥行き情報を利用するが、当該奥行き情報は、視点と投影面の画素を結ぶ経路上の最大値の位置を示す情報である。従って、奥行き情報を利用するためには、臨床領域Ｃと非臨床領域ＮＣとの境界上の画素ではなく、臨床領域Ｃと非臨床領域ＮＣとの境界に最も近く、かつ、臨床領域Ｃにおける画素を臨床境界画素として把握する必要があるからである。 As described above, as the clinical boundary pixels, the pixels existing on the clinical region C and closest to the boundary between the clinical region C and the non-clinical region NC are extracted in the front-rear direction of each part on the projection image. This is because display assistance for grasping the positional relationship in the (depth direction) is displayed. For this purpose, depth information is used. This depth information is information indicating the position of the maximum value on the path connecting the viewpoint and the pixels on the projection plane. Therefore, in order to use the depth information, not the pixel on the boundary between the clinical region C and the non-clinical region NC but the pixel closest to the boundary between the clinical region C and the non-clinical region NC and the pixel in the clinical region C This is because it is necessary to grasp as a clinical boundary pixel.
図１０は、実施の形態における医用画像処理の流れを説明する際に使用する説明図であり、特に説明のために臨床境界画素の奥行き情報を臨床境界画素ごとに表示させたものである。但し、医用画像の処理の途中で図１０に示す説明図のような図が作成される必要はない。 FIG. 10 is an explanatory diagram used when explaining the flow of medical image processing in the embodiment, and in particular, depth information of clinical boundary pixels is displayed for each clinical boundary pixel for the purpose of explanation. However, it is not necessary to create a diagram like the explanatory diagram shown in FIG. 10 during the medical image processing.
図１０に示す説明図によると、それぞれの臨床境界画素における奥行き情報が数値として示されている。ここでは、例えば、３次元ボリュームデータの最も手前にある画素に関する奥行き情報を「１」とし、最も奥にある画素に関する奥行き情報を「１００」とした場合を例に挙げて説明する。 According to the explanatory diagram shown in FIG. 10, the depth information in each clinical boundary pixel is shown as a numerical value. Here, for example, a case will be described in which the depth information related to the pixel closest to the three-dimensional volume data is “1” and the depth information related to the deepest pixel is “100”.
図１０では、非臨床領域ＮＣ３と臨床領域Ｃとが接する境界における臨床境界画素が抜き出されて示されており、１０個の臨床境界画素が示されている。そして、臨床境界画素のうち最も下に示されている臨床境界画素における奥行き情報は「１６」で表わされている。その１つ上の臨床境界画素における奥行き情報は「１８」、さらにその１つ上の臨床境界画素における奥行き情報は「１９」と示され、右上隅の最も高い位置にある臨床境界画素の奥行き情報は「４３」である。 In FIG. 10, clinical boundary pixels at the boundary where the non-clinical region NC3 and the clinical region C are in contact with each other are extracted, and ten clinical boundary pixels are illustrated. The depth information at the clinical boundary pixel shown at the bottom of the clinical boundary pixels is represented by “16”. The depth information of the clinical boundary pixel one level above is “18”, the depth information of the clinical boundary pixel one level higher is “19”, and the depth information of the clinical boundary pixel at the highest position in the upper right corner Is “43”.
これら各臨床境界画素のそれぞれの奥行き情報をみると、図１０で示される領域における臨床領域Ｃは、下から上にいくにつれて奥行き情報の数値が大きくなっている。ということは、臨床領域Ｃとして表わされている血管は、下から上に行くに従って、徐々に手前から奥にその位置を変化させていることが読み取れる。 Looking at the depth information of each of these clinical boundary pixels, in the clinical region C in the region shown in FIG. 10, the numerical value of the depth information increases from the bottom to the top. This means that the position of the blood vessel represented as the clinical region C is gradually changed from the front to the back as it goes from the bottom to the top.
投影画像生成部１０から領域抽出部２２に送信されるＭＩＰ画像に関する情報と奥行き情報については、領域抽出部２２から境界線設定部２４へとさらに送信される。境界線設定部２４では、臨床領域Ｃと非臨床領域ＮＣとを区切る境界線を設定する（ＳＴ７）。 Information about the MIP image and depth information transmitted from the projection image generation unit 10 to the region extraction unit 22 are further transmitted from the region extraction unit 22 to the boundary line setting unit 24. The boundary line setting unit 24 sets a boundary line that separates the clinical region C and the non-clinical region NC (ST7).
図１１は、実施の形態における医用画像処理の流れを説明する際に使用する説明図であり、特に臨床領域Ｃと非臨床領域ＮＣとの境界を示す境界線を示した図である。図１１においては、臨床領域Ｃと非臨床領域ＮＣとの境界線は、太い破線で示されている。当該破線は、図９において示されている、細い破線と同じ位置に示されている。 FIG. 11 is an explanatory diagram for use in explaining the flow of medical image processing in the embodiment, and particularly shows a boundary line indicating a boundary between the clinical region C and the non-clinical region NC. In FIG. 11, the boundary line between the clinical region C and the non-clinical region NC is indicated by a thick broken line. The broken line is shown at the same position as the thin broken line shown in FIG.
領域抽出部２２では、あくまでも臨床領域Ｃと非臨床領域ＮＣとを抽出するのみで、その境界に境界線を設定する必要はない。図９においては、臨床境界画素の抽出の説明を行うべく細い破線を表示したが、実際にはこのような臨床領域Ｃと非臨床領域ＮＣとの境界を示す破線を設定する必要はない。 The region extraction unit 22 merely extracts the clinical region C and the non-clinical region NC, and it is not necessary to set a boundary line at the boundary. In FIG. 9, a thin broken line is displayed to explain the extraction of clinical boundary pixels. However, it is not actually necessary to set a broken line indicating the boundary between the clinical region C and the non-clinical region NC.
ここで境界線設定部２４において臨床領域Ｃと非臨床領域ＮＣとの境界を示す境界線を設定するのは、表示補助として投影画像上に表示する臨床境界線を設定するためである。臨床境界線は、後述するように投影画像を見る医療従事者が臨床上必要とする、非臨床領域内に設定される臨床上有益な情報を備える臨床領域とその他の領域である非臨床領域とを分けて表示するための境界線である。この臨床境界線を生成するための基となる線が境界線である。 Here, the boundary line setting unit 24 sets the boundary line indicating the boundary between the clinical region C and the non-clinical region NC in order to set the clinical boundary line to be displayed on the projection image as a display aid. The clinical boundary is defined by the clinical area with clinically useful information set in the non-clinical area and the other non-clinical area, which are clinically required by the medical staff who sees the projection image as described later. It is a boundary line for displaying separately. The line that is the basis for generating this clinical boundary line is the boundary line.
次に、当該境界線を基に臨床境界線を生成する流れを説明する。すなわち、境界線設定部２４が設定した臨床領域と非臨床領域との境界にある境界線を、臨床境界線設定部２５が非臨床領域側に移動（収縮）させて臨床境界線を設定する（ＳＴ８）。 Next, a flow for generating a clinical boundary line based on the boundary line will be described. That is, the clinical boundary line is set by moving (shrinking) the boundary line at the boundary between the clinical region and the non-clinical region set by the boundary line setting unit 24 toward the non-clinical region side ( ST8).
図１２、図１３は、実施の形態における医用画像処理の流れを説明する際に使用する説明図であり、臨床境界線を設定する流れを説明する際に使用する説明図である。図１１に示すように、境界線設定部２４によって臨床領域と非臨床領域との境界に境界線が設定される。但しこの状態では、境界線は臨床領域と非臨床領域の両者に跨がった状態で境界線が設定されている。 12 and 13 are explanatory diagrams used when explaining the flow of medical image processing in the embodiment, and are explanatory diagrams used when explaining the flow of setting clinical boundary lines. As shown in FIG. 11, the boundary line setting unit 24 sets a boundary line at the boundary between the clinical region and the non-clinical region. However, in this state, the boundary line is set in a state where the boundary line extends over both the clinical region and the non-clinical region.
つまり設定された境界線が臨床領域の一部に被っている状態であり。この状態では医療従事者は臨床領域の全ての領域を見ることは叶わない。また、投影画像上の各部の前後方向（奥行き方向）の位置関係を把握する際にその細部を確認することができないことも考えられる。もちろん臨床領域と非臨床領域とを分ける線は残しておかなければそもそも臨床領域を把握することができなくなってしまう。そこで、臨床領域と非臨床領域とに被って設定されている境界線を臨床領域からずらして非臨床領域へと動かす。図１２は、その状態を示す説明図である。 In other words, the set boundary line covers a part of the clinical area. In this state, medical staff cannot see all areas of the clinical field. It is also conceivable that the details cannot be confirmed when the positional relationship in the front-rear direction (depth direction) of each part on the projection image is grasped. Of course, unless the line separating the clinical area and the non-clinical area is left, the clinical area cannot be grasped in the first place. Therefore, the boundary set for the clinical area and the non-clinical area is shifted from the clinical area and moved to the non-clinical area. FIG. 12 is an explanatory diagram showing the state.
図１２において、そもそも設定されている境界線が破線で示されている。当該破線は、上述したように、臨床領域と非臨床領域との境界を示す境界線として設定されており、破線の一部が臨床領域に被っている。そこで、臨床境界線設定部２５はこの境界線を非臨床領域側に移動させて、境界線の表示を臨床領域から外す。このような処理を行うことで臨床領域と非臨床領域とを区別する境界線を残しつつ、臨床領域上から境界線の表示を外すことができる。なお、このようにして非臨床領域上に表示される境界線を適宜「臨床境界線」と表わす。 In FIG. 12, the originally set boundary line is indicated by a broken line. As described above, the broken line is set as a boundary line indicating the boundary between the clinical region and the non-clinical region, and a part of the broken line covers the clinical region. Therefore, the clinical boundary line setting unit 25 moves the boundary line to the non-clinical region side and removes the display of the boundary line from the clinical region. By performing such processing, it is possible to remove the display of the boundary line from the clinical region while leaving the boundary line that distinguishes the clinical region from the non-clinical region. In addition, the boundary line displayed on the non-clinical region in this way is appropriately expressed as “clinical boundary line”.
但し、設定されている境界線をそのまま非臨床領域に移動させても臨床領域と非臨床領域との境界を正確に示したことにはならず、むしろずれてしまう。そのため、設定された境界線を臨床境界線として非臨床領域に表示させる際には、境界線を収縮させる処理を行う。 However, even if the set boundary line is moved to the non-clinical region as it is, the boundary between the clinical region and the non-clinical region is not accurately shown, but rather is shifted. Therefore, when the set boundary line is displayed as a clinical boundary line in a non-clinical region, a process for contracting the boundary line is performed.
なお、境界線を収縮させて臨床境界線とするアルゴリズムは、既知の技術を利用する。また、収縮率についても任意に設定することが可能である。また、境界線を収縮させることで、境界を示す画素が重なってしまうことも考えられる。その場合には、重複する画素の値を平均する、或いは、いずれか一方の値を採用することとして対応する。 Note that an algorithm that contracts the boundary line to obtain a clinical boundary line uses a known technique. Further, the shrinkage rate can be arbitrarily set. It is also conceivable that pixels indicating the boundary overlap due to contraction of the boundary line. In that case, it corresponds to averaging the values of overlapping pixels or adopting one of the values.
図１２には、境界線を収縮させて臨床境界線とした状態が示されている。すなわち、破線で示されている境界線を矢印の方向に収縮させて実線で示す臨床境界線を設定する。 FIG. 12 shows a state in which the boundary line is contracted to form a clinical boundary line. In other words, the clinical boundary line indicated by the solid line is set by contracting the boundary line indicated by the broken line in the direction of the arrow.
このようにして設定された臨床境界線上に臨床境界画素を重ね合わせる（ＳＴ９）。これまでに臨床領域において非臨床領域と接する箇所に存在する画素（臨床境界画素）が抽出され、これらの臨床境界画素における奥行き情報が把握されている（ＳＴ５及びＳＴ６）。そこで今回設定された臨床境界線に合致する臨床境界画素を特定し、両者を重ねる。すなわち、図１２の実線で示されている臨床境界線に図１０で示す臨床境界画素の奥行き情報を重ねる。 The clinical boundary pixels are superimposed on the clinical boundary line set in this way (ST9). So far, pixels (clinical boundary pixels) existing in the clinical area in contact with the non-clinical area have been extracted, and depth information on these clinical boundary pixels has been grasped (ST5 and ST6). Therefore, a clinical boundary pixel that matches the clinical boundary line set this time is specified, and both are overlapped. That is, the clinical boundary pixel depth information shown in FIG. 10 is superimposed on the clinical boundary shown by the solid line in FIG.
このような処理を行うことで、臨床境界線を構成する各画素（臨床境界画素）の奥行き情報を把握することができ、設定された臨床境界線の前後方向（奥行き方向）の位置関係が把握できる。 By performing such processing, it is possible to grasp the depth information of each pixel (clinical boundary pixel) constituting the clinical boundary line, and grasp the positional relationship of the set clinical boundary line in the front-rear direction (depth direction). it can.
そしてこの臨床境界線に当該臨床境界画素が備える奥行き情報を反映させることによって、臨床境界線の位置情報を表示部１ｇ上に表示させる（ＳＴ１０）。臨床境界線を表示するに当たっては、例えば、その前後方向（奥行き方向）の位置関係の表示の補助を行って、医療従事者に対して表示された部分が他の部分との関係でどのような位置にあるのかを明示する。 Then, the clinical boundary line position information is displayed on the display unit 1g by reflecting the depth information of the clinical boundary pixel in the clinical boundary line (ST10). When displaying the clinical boundary line, for example, by assisting the display of the positional relationship in the front-rear direction (depth direction), what is the portion displayed to the medical staff in relation to other portions? Specify whether it is in position.
上述したように各臨床境界画素ごとの奥行き情報が反映されていることから、臨床境界線表示設定部２６は、この奥行き情報を複数のグループに分けてそれぞれに割り当てた表示方法を利用して表示させることによって、臨床境界線を見た医療従事者にその位置関係を明確に把握させることができる。 Since the depth information for each clinical boundary pixel is reflected as described above, the clinical boundary line display setting unit 26 displays this depth information by dividing it into a plurality of groups and using a display method assigned to each group. By doing so, the medical staff who has seen the clinical boundary line can clearly grasp the positional relationship.
例えば、図１０で示す臨床境界画素は、１から１００までの１００段階でその奥行き情報を示している。従って、臨床境界線表示設定部２６は、例えば、閾値を「５０」に設定し、「奥行き情報１ないし５０」と「奥行き情報５１ないし１００」の２つに分けてそれぞれ異なった表示態様で表示させるだけでいずれが前に位置しているのか、或いは、いずれが後ろ（奥）に位置しているのかを把握することができる。 For example, the clinical boundary pixels shown in FIG. 10 indicate the depth information in 100 stages from 1 to 100. Therefore, the clinical boundary line display setting unit 26 sets the threshold value to “50”, for example, and divides it into “depth information 1 to 50” and “depth information 51 to 100” and displays them in different display modes. It is possible to ascertain which is located in front or which is located behind (back) simply by making it.
ここで臨床境界画素を区分けする閾値はいくつ設定しても良い。従って、閾値は最も少なく分けるのであれば、上述したように２種類に分けるのであれば、１種類の閾値が設定されていれば足りる。また、最も詳細に区分けするのであれば、臨床境界画素ごとに表示態様を変更することとしても良い。 Here, any number of threshold values for classifying clinical boundary pixels may be set. Therefore, if the threshold value is divided into the smallest number, if it is divided into two types as described above, it is sufficient to set one type of threshold value. Moreover, if it is classified in the most detail, the display mode may be changed for each clinical boundary pixel.
さらに、閾値によって区分けされた臨床境界画素の奥行き情報をどのように表示させるかについても自由に設定することができる。例えば、表示の色彩を変更する、線の種類を変更する、線の太さを変更する、或いは、表示する線の濃淡を変更する、といった態様が考えられる。表示方法については、表示部１ｇを見た医療従事者がその表示を把握することができるのであれば、どのような方法を採用しても構わない。 Furthermore, it is possible to freely set how the depth information of the clinical boundary pixels classified by the threshold is displayed. For example, it is possible to change the display color, change the type of line, change the thickness of the line, or change the shade of the line to be displayed. As for the display method, any method may be adopted as long as the medical staff who has seen the display unit 1g can grasp the display.
すなわち、図５のフローチャートに示すように、医療従事者は、臨床領域をどのように表示させるかの選択を行うことができる（ＳＴ１１）。この段階で、臨床境界線表示設定部２６は、医療従事者に対して表示態様の選択が可能なように選択肢を表示させることとしても良い。医療従事者は、閾値の設定や表示態様の設定を選択して表示させることも（ＳＴ１２）、或いは、これまで設定されている表示方法を踏襲して表示させることも（ＳＴ１３）可能である。 That is, as shown in the flowchart of FIG. 5, the medical staff can select how to display the clinical area (ST11). At this stage, the clinical boundary line display setting unit 26 may display options so that the medical staff can select a display mode. The medical staff can select and display the threshold setting and the display mode setting (ST12), or can follow the display method set so far (ST13).
例えば、閾値の設定や表示態様の設定を選択して表示させる場合、最も詳細に表示させるためには、例えば、各臨床境界画素が持つ奥行き情報ごとに表示の色を変更することが考えられる。この場合、臨床境界線はグラデーションで表示されることになると考えられる。或いは、図１３に示すように表示させることも可能である。 For example, when selecting and displaying a threshold value setting or a display mode setting, for example, it is conceivable to change the display color for each depth information held by each clinical boundary pixel. In this case, it is considered that the clinical boundary line is displayed with gradation. Or it is also possible to display as shown in FIG.
図１３は、臨床境界線表示設定部２６が臨床境界線をそれぞれの臨床境界画素が備える奥行き情報に従って、線種を変えて表示させた表示例である。ここでは実線、破線、点線という３種類の線で臨床境界線が表示されている。 FIG. 13 is a display example in which the clinical boundary line display setting unit 26 displays the clinical boundary line by changing the line type in accordance with the depth information included in each clinical boundary pixel. Here, the clinical boundary line is displayed by three types of lines, a solid line, a broken line, and a dotted line.
すなわち、閾値が２つ設定されており、奥行き情報を示す数値が小さい方から、第１の閾値以下、第１の閾値より大きく第２の閾値以下、第２の閾値より大きい、の３つの領域にそれぞれの奥行き情報が含まれるように区分けし、それぞれに実線、破線、点線を割り当てる。 That is, two threshold values are set, and the three areas, which are smaller than the first threshold value, smaller than the first threshold value, larger than the first threshold value and smaller than the second threshold value and larger than the second threshold value, are set. Are divided so as to include the respective depth information, and a solid line, a broken line, and a dotted line are assigned to each.
この結果、図１３に示すように、一番下が実線、真ん中が破線、一番上の線が点線で示されている。つまりこの表示を見る限り、表示されている部分は、下から上に向けて、手前から奥へ向かって位置していることが理解できる。 As a result, as shown in FIG. 13, the lowermost line is indicated by a solid line, the middle is indicated by a broken line, and the uppermost line is indicated by a dotted line. In other words, as long as this display is viewed, it can be understood that the displayed portion is located from the bottom to the top and from the front to the back.
図１４は、実施の形態における医用画像処理の流れを説明する際に使用する説明図であり、実際のＭＩＰ画像に図１３で示した表示態様を反映させた状態を示している。これによると、図１４に示すＭＩＰ画像では、画面中央よりやや下に横に伸びる血管が示されている。またこの横に伸びる血管に垂直となるように縦に血管が示されているとともに、画面左側には、当該縦の血管から枝分かれして左下に斜めに伸びる血管も示されている。そして、それぞれの血管に対して実線、破線、点線の３種類の線が示され、臨床境界線が設定されている。 FIG. 14 is an explanatory diagram used when explaining the flow of medical image processing in the embodiment, and shows a state in which the display mode shown in FIG. 13 is reflected in an actual MIP image. According to this, in the MIP image shown in FIG. 14, a blood vessel extending laterally slightly below the center of the screen is shown. In addition, blood vessels are shown vertically so as to be perpendicular to the horizontally extending blood vessels, and blood vessels that branch from the vertical blood vessels and extend obliquely to the lower left are also shown on the left side of the screen. Then, three types of lines, solid lines, broken lines, and dotted lines, are shown for each blood vessel, and clinical boundary lines are set.
この画面を見る限り、最も手前に位置するのは、実線で表示されている横に伸びる血管である。実線よりも奥にあるが、点線よりも手前にある領域を示すのは、破線で示されている領域であるが、これは上述した左下に斜めに伸びる血管が該当する。そして横に伸びる血管と交差しているように見える縦の血管は点線で示されていることから、位置的には、最も奥に位置することが理解できる。 As far as this screen is viewed, the blood vessels that are positioned in the foreground are the blood vessels that extend horizontally, which are indicated by solid lines. A region that is behind the solid line but is in front of the dotted line is a region indicated by a broken line, and this corresponds to the above-described blood vessel extending obliquely to the lower left. The vertical blood vessels that seem to intersect with the horizontally extending blood vessels are indicated by dotted lines, so that it can be understood that they are located at the farthest position.
従ってこのように表示の補助を行うことで、当該補助がなければわからない位置関係が明確になる。そしてこの表示補助を行うに当たっては、それぞれの臨床境界画素が備える奥行き情報を利用することで、表示部上で正確な位置関係を表示させることができる。 Therefore, by performing display assistance in this way, a positional relationship that is not known without the assistance becomes clear. And when performing this display assistance, the exact positional relationship can be displayed on a display part by utilizing the depth information with which each clinical boundary pixel is provided.
以上の説明で、ＭＩＰ画像に表示補助を行い、ＭＩＰ画像において把握し難かった前後方向（奥行き方向）の位置関係を明確に表示させることで、医療の現場において、投影画像が備えるメリットを毀損することなく、投影画像として表示される各部の位置関係、特に視線方向の前後（奥行き）を容易に認識することが可能な処理を行う医用画像処理装置及び医用画像処理方法を提供することが可能となる。 In the above description, the display assistance is performed on the MIP image, and the positional relationship in the front-rear direction (depth direction) that is difficult to grasp in the MIP image is clearly displayed, so that the merit provided by the projection image is impaired in the medical field. It is possible to provide a medical image processing apparatus and a medical image processing method for performing processing capable of easily recognizing the positional relationship of each part displayed as a projection image, particularly the front and back (depth) of the line-of-sight direction. Become.
なお、ここでの表示態様は、奥行き情報を用いて表示態様を変化させることによって、前後方向（奥行き方向）の位置関係を明確に表示させるとともに、いわば恒常的に表示されている表示補助である。このような表示補助は、恒常的に表示させることで医療従事者がいつ表示を見ても理解できる一方で、位置関係に関する情報をあまり多く画面上表示させておくことは却って表示が見にくくなってしまうことにもなりかねない。そのため最小限の表示補助で最大限の視覚的な効果を奏するように上述したように表示態様に工夫が凝らされている。 In addition, the display mode here is a display aid that is displayed constantly, in other words, by clearly displaying the positional relationship in the front-rear direction (depth direction) by changing the display mode using depth information. . Such display assistance can be understood whenever a health care professional sees the display by constantly displaying it, but it is difficult to see the display on the screen if too much information on the positional relationship is displayed on the screen. It can also end up. For this reason, the display mode has been devised as described above so as to achieve the maximum visual effect with the minimum display assistance.
但し、医療従事者における臨床領域の位置関係の把握、という観点からいえば、位置関係を示す表示補助が多く表示されていればそれだけ理解に資する、ということも考えられる。後は、表示した際に情報量が整理されず多すぎる、ということにならなければ、表示補助を増やしてより一層の明確な表示という表示態様も考えられないわけではない。この点を考慮して、一時的に表示補助を増加させる表示態様も考えることができる。そこで、以下では、表示補助の一時的な表示態様について説明する。 However, from the viewpoint of grasping the positional relationship of the clinical area in the medical staff, it is conceivable that if many display assistants indicating the positional relationship are displayed, that much contributes to understanding. After that, if it does not mean that the amount of information is not arranged at the time of display and it is not too much, it is not impossible to think of a display mode of more clear display by increasing display assistance. In consideration of this point, a display mode in which display assistance is temporarily increased can be considered. Therefore, hereinafter, a temporary display mode of display assistance will be described.
図１５は、実施の形態における医用画像処理の流れのうち、一時的な表示処理の流れを示すフローチャートである。このフローチャートで示される流れの前に示される流れは、これまで説明してきた、臨床境界線を構成する各臨床境界画素が備える奥行き情報を基にその前後方向（奥行き方向）の位置関係をＭＩＰ画像上で表示させる流れである。従って、画面上では、既に表示補助として奥行き情報に基づいて、例えば、色彩、線種、濃淡等が選択されて表示されている（例えば、図１４に示す画面例の状態）。 FIG. 15 is a flowchart illustrating a temporary display process flow in the medical image process flow according to the embodiment. The flow shown before the flow shown in this flowchart is the MIP image showing the positional relationship in the front-rear direction (depth direction) based on the depth information included in each clinical boundary pixel constituting the clinical boundary line described so far. It is the flow displayed above. Accordingly, on the screen, for example, color, line type, shading, and the like are already selected and displayed based on the depth information as display assistance (for example, the state of the screen example shown in FIG. 14).
このような状態において、さらに医療従事者が臨床領域の位置関係を明示させるための処理を要求した場合がこれから説明する表示処理の流れである。 In such a state, a case where a medical worker requests a process for clarifying the positional relationship of the clinical area is a flow of the display process described below.
上述したように、あまりに多くの位置関係を示す表示補助を画面上、恒常的に表示させておくと、当該画面を見る医療従事者は、必要な情報を瞬時に把握することが困難となりかねない。そこで、医療従事者が欲するいっときだけ、恒常的な表示補助に加えてプラスアルファの表示補助を表示させることで、医療従事者の理解を助けることとしている。 As described above, if display assistance indicating too many positional relationships is constantly displayed on the screen, it may be difficult for a medical worker who sees the screen to quickly grasp necessary information. . Therefore, only when the health care worker wants, in addition to the permanent display assistance, a plus alpha display assistance is displayed to help the medical staff understand.
従って、医用画像処理装置１における判断部２７では、図１４に示すような恒常的な表示補助がなされてから後、医療従事者から一時的な表示要求が出されたか否かを確認している（ＳＴ２１）。その結果、特に医療従事者から一時的な表示要求が出されなければ（ＳＴ２１のＮＯ）、これまで通りの表示補助を画面上表示させておく。 Accordingly, the determination unit 27 in the medical image processing apparatus 1 confirms whether or not a temporary display request has been issued from the medical staff after the constant display assistance as shown in FIG. (ST21). As a result, unless a temporary display request is issued from the medical staff (NO in ST21), the display assistance as before is displayed on the screen.
一方、医療従事者から一時的な表示要求が出された場合には（ＳＴ２１のＹＥＳ）、これまでの表示補助に加えて医療従事者のより一層の理解を深めるような表示をするべく、処理を行う（ＳＴ２２）。 On the other hand, when a temporary display request is issued from a medical worker (YES in ST21), processing is performed to display information that further deepens the understanding of the medical worker in addition to the conventional display assistance. (ST22).
図１６は、実施の形態における医用画像処理の流れのうち、一時的な表示処理の詳細な流れを示すフローチャートである。ここでは、例えば、奥行き情報に基づいて、色彩を変化させる、線種を変化させる、或いは、濃淡を変化させる、といった、表示補助の態様の如何を問わず、いずれも同じ処理の流れを辿ることになる。従って、表示態様については特に言及していない。 FIG. 16 is a flowchart showing a detailed flow of a temporary display process in the medical image process flow in the embodiment. Here, for example, regardless of the display assistance mode such as changing the color, changing the line type, or changing the shading based on the depth information, all follow the same processing flow. become. Therefore, no particular mention is made of the display mode.
まず、表示補助部２０における奥行き情報把握部２３が、臨床領域を構成する各画素が備える奥行き情報を把握する（ＳＴ３１）。奥行き情報の把握の方法については、これまで臨床境界画素の奥行き情報を把握する方法について説明したが、その際説明した方法と同様である。ここでは一時的ではあるがこれまで以上に臨床領域を明確に表示させるための処理であることから、特に臨床領域を構成する各画素が備える奥行き情報のみを把握する。従って、非臨床領域における奥行き情報は不要である。 First, the depth information grasping part 23 in the display assisting part 20 grasps the depth information included in each pixel constituting the clinical region (ST31). As for the method of grasping the depth information, the method for grasping the depth information of the clinical boundary pixel has been described so far, but it is the same as the method explained at that time. Here, it is a process for displaying the clinical region more clearly than ever, but only depth information included in each pixel constituting the clinical region is grasped. Therefore, depth information in the non-clinical area is unnecessary.
次に、奥行き情報把握部２３が把握した臨床領域を構成する各画素が備える奥行き情報を判断部２７へと送信し、判断部２７では、第１の閾値以上の奥行き情報を備える画素によって構成される領域を抽出する（ＳＴ３２）。 Next, the depth information included in each pixel constituting the clinical region grasped by the depth information grasping unit 23 is transmitted to the determining unit 27, and the determining unit 27 includes pixels including depth information equal to or greater than the first threshold value. (ST32).
なお、ここでは第１の閾値「以上」と表現しているが、もちろん「以上」に限定されるわけではなく、「より大きい」といった設定であっても構わず、閾値が示す奥行き情報の数値を含む、或いは、含まないといった設定は、事前に自由に設定することができる。 Here, the first threshold is expressed as “more than”, but of course, it is not limited to “more than”, and may be set to “greater than”. Settings including or not including can be freely set in advance.
判断部２７内には、予め単数、或いは、複数の閾値が設けられ、記憶されている。この設定されている閾値は、これまで表示されている表示補助に加えて一時的ではあるがいずれの臨床領域から表示させるのかを選択するために必要な判断基準である。例えば、ＭＩＰ画像において最も手前に表示されている臨床領域から順に一時的に表示させることも可能である。或いは、臨床領域の最も奥に位置する部分だけを一時的に表示させることもできる。このように表示の順番を決定づけるのが閾値である。 In the determination unit 27, a single threshold or a plurality of thresholds are provided and stored in advance. This set threshold value is a judgment criterion necessary for selecting from which clinical region the display is to be performed temporarily, in addition to the display assistance displayed so far. For example, it is possible to temporarily display the MIP image in order from the clinical region displayed at the forefront. Or only the part located in the innermost part of a clinical field can also be displayed temporarily. The threshold value determines the display order in this way.
判断部２７では、設定されている閾値以上の奥行き情報を備える領域を抽出し、抽出された領域に関して表示補助を行う（ＳＴ３３）。ここでは、最初に表示される表示補助によって示される領域について、便宜上「第１の領域」と表わす。すなわち、ある閾値以上の値を備える奥行き情報を備えているために抽出される領域は、この閾値との関連が大である。従って、便宜上第１の閾値を基に抽出された領域は第１の領域と表記する。 The determination unit 27 extracts a region having depth information equal to or greater than a set threshold value, and performs display assistance for the extracted region (ST33). Here, for the sake of convenience, the region indicated by the display assistance displayed first is referred to as a “first region”. That is, the region extracted because it has depth information having a value equal to or greater than a certain threshold value has a large relationship with this threshold value. Therefore, for convenience, an area extracted based on the first threshold is referred to as a first area.
抽出された第１の領域をどのように表示させるかについては、様々な設定を行うことができると考えられる。例えば、図１４に示すような表示補助が行われる場合、新たに表示される第１の領域についても同様の表示補助が行われることが簡便である。例えば、図１４に示す表示補助は、２つの閾値を利用して前後方向（奥行き方向）の位置関係を３つの段階に分けて表示している。すなわち、実線、破線、点線の順に手前から奥へとその位置関係が変化する。そこでここでも最も手前に位置する領域について、つまり第１の閾値を利用して抽出される第１の領域についても実線を用いて表示させる。 It is considered that various settings can be made as to how to display the extracted first region. For example, when the display assistance as shown in FIG. 14 is performed, it is easy to perform the same display assistance for the newly displayed first area. For example, the display assistance shown in FIG. 14 displays the positional relationship in the front-rear direction (depth direction) in three stages using two threshold values. That is, the positional relationship changes from the front to the back in the order of solid line, broken line, and dotted line. Therefore, the region located at the forefront, that is, the first region extracted using the first threshold is also displayed using the solid line.
ここで、図１７は、実施の形態における医用画像処理のうち、一時的な表示処理の流れを説明する際に使用する説明図である。基本的な図の構成は、上述した図１４と同様であり、実線、破線、点線の順に手前から奥へとその位置関係が変化することが示されている。図１７において新たに表示補助として表示されているのは、横に伸びる血管に対して付加されている実線である。 Here, FIG. 17 is an explanatory diagram used when explaining the flow of temporary display processing in the medical image processing according to the embodiment. The configuration of the basic diagram is the same as in FIG. 14 described above, and it is shown that the positional relationship changes from the front to the back in the order of solid line, broken line, and dotted line. In FIG. 17, what is newly displayed as a display aid is a solid line added to a blood vessel extending horizontally.
これまでの図１４では、横に伸びる血管と縦に伸びて横に伸びる血管と略直角に交差する血管とは、それぞれの臨床境界線における前後方向（奥行き方向）が考慮されて、前者は実線で、後者は点線で示されており、横の血管が手前、縦の血管が奥、との位置関係を示している。一方で、両者が交差する領域には、表示補助は示されていない。これは、交差する領域はいずれにしろ臨床領域であり、当該臨床領域上に臨床境界線が示されることはないからである。 In FIG. 14 so far, the blood vessel extending horizontally and the blood vessel extending vertically and crossing at right angles to each other are considered in the front-rear direction (depth direction) at each clinical boundary line, and the former is a solid line. The latter is indicated by a dotted line, and shows the positional relationship between the horizontal blood vessel in front and the vertical blood vessel in the front. On the other hand, display assistance is not shown in the area where both intersect. This is because the intersecting region is a clinical region anyway, and no clinical boundary line is shown on the clinical region.
ここでは、これまで医療従事者への表示の明確さからその表示補助の表示を回避してきた臨床領域上への表示補助の表示を一時的に行うこととしている。具体的には、臨床境界線を実線で示している横の血管について、縦の血管と交差する部分においても実線を表示させ、これまで表示されている実線とつなげ連続的に表示させている。その結果、図１７に示すように、横の血管は、その臨床境界線の全域にわたって実線で表示されることになる。 Here, display assistance is temporarily displayed on the clinical area where the display assistance display has been avoided because of the clarity of the display to the medical staff. Specifically, for the horizontal blood vessel whose clinical boundary line is indicated by a solid line, a solid line is also displayed at a portion intersecting with the vertical blood vessel, and is continuously displayed by being connected to the solid line displayed so far. As a result, as shown in FIG. 17, the lateral blood vessel is displayed as a solid line over the entire clinical boundary line.
但し、このような表示処理は一時的なものとされる。上述したように、当該表示補助が恒常的に表示されていると、医療従事者がＭＩＰ画像を見る際に障害となりかねないからである。そのため、判断部２７では、表示要求が継続されているか否か、確認する（ＳＴ３４）。この表示要求が継続されているか否かの判断は、例えば、医療従事者が入力部１ｆと構成する特定のボタン等を押し続けているか否か、つまり、入力信号が継続して受信部２１を介して判断部２７に入力されているか否かをもって行う。 However, such display processing is temporary. This is because, as described above, if the display assistance is constantly displayed, it may become an obstacle when the medical staff sees the MIP image. Therefore, the determination unit 27 confirms whether the display request is continued (ST34). The determination as to whether or not the display request is continued is made, for example, by whether or not a medical worker keeps pressing a specific button or the like that constitutes the input unit 1f, that is, the input signal continues and the receiving unit 21 is Whether or not it is input to the determination unit 27.
判断部２７による判断の結果、表示要求が継続していると判断された場合には（ＳＴ３４のＹＥＳ）、次に一時的に表示補助を表示させる対象となる領域を抽出する。すなわち、第２の閾値以上の奥行き情報を備える領域を抽出し（ＳＴ３５）、抽出された第２の領域を表示する（ＳＴ３６）。 As a result of the determination by the determination unit 27, when it is determined that the display request is continued (YES in ST34), an area to be temporarily displayed next is extracted. That is, an area having depth information equal to or greater than the second threshold is extracted (ST35), and the extracted second area is displayed (ST36).
さらに医療従事者による表示要求の継続指示が出されているか否かを判断部２７が判断し（ＳＴ３７）、表示要求が継続されている場合には（ＳＴ３７のＹＥＳ）、さらに次に一時的に表示補助を表示させる対象となる領域を抽出する。すなわち、第ｎの閾値以上の奥行き情報を備える領域を抽出し（ＳＴ３８）、抽出された第ｎの領域を表示する（ＳＴ３９）。そして、再度表示要求が継続されているか否かを確認した上で（ＳＴ４０）、判断部２７は、全ての臨床領域が表示されたか否かを確認する（ＳＴ４１）。 Further, the determination unit 27 determines whether or not an instruction to continue the display request by the medical staff is issued (ST37). If the display request is continued (YES in ST37), then temporarily next. An area to be displayed with the display assistance is extracted. That is, an area having depth information equal to or greater than the nth threshold is extracted (ST38), and the extracted nth area is displayed (ST39). And after confirming whether the display request is continued again (ST40), the determination part 27 confirms whether all the clinical areas were displayed (ST41).
ここで医療従事者の要求に応じて恒常的な表示補助に加えて一時的な表示補助を行うのは、医療従事者のさらなる理解に資するためである。そして一時的な表示補助の対象は臨床領域に限られることから、当該臨床領域の全てについて一時的な表示補助が成されてしまった後は、改めて一時的な表示補助を行う必要はない。従って、判断部２７が全臨床領域について一時的な表示補助がされた、と判断した場合には（ＳＴ４１のＹＥＳ）、一時的な表示補助は終了する。 Here, the temporary display assistance is performed in addition to the permanent display assistance in response to the request of the medical staff in order to contribute to further understanding of the medical staff. Since the object of temporary display assistance is limited to the clinical area, it is not necessary to perform temporary display assistance again after the temporary display assistance has been performed for all the clinical areas. Therefore, when the determination unit 27 determines that temporary display assistance has been provided for all clinical areas (YES in ST41), the temporary display assistance ends.
このように段階的に一時的な表示補助を行うように処理することで、医療従事者が必要とする表示補助を適切な時に適切な表示態様で表示させることができる。例えば、図１７に示すＭＩＰ画像を例に挙げると、第１の領域として最も手前に位置する横に伸びる血管について、当該横に伸びる血管を示す実線の臨床境界線をつなげて連続的に表示させることで、横に伸びる血管が浮き上がり、その他の血管よりも手前に位置していることが明確になる。 By performing processing so that temporary display assistance is performed step by step in this way, display assistance required by a healthcare professional can be displayed in an appropriate display mode at an appropriate time. For example, taking the MIP image shown in FIG. 17 as an example, the horizontally extending blood vessels located at the foremost position as the first region are continuously displayed by connecting the solid clinical boundary lines indicating the horizontally extending blood vessels. Thus, it becomes clear that the blood vessel extending horizontally rises and is positioned in front of other blood vessels.
次に、第２の閾値によって表示対象となる第２の領域として、破線で示される血管について第１の領域同様の処理が行われる。すなわち、点線で示される最も奥に位置する、例えば、縦の血管との関係ではその重複する領域において破線をつなげて連続的に表示させる表示補助が行われる。一方で、最も手前に位置する横に伸びる血管との関係では、破線がつなげられることはない。このような処理が行われることで、破線で示される血管の位置関係が明確に表示されることになる。 Next, as the second region to be displayed by the second threshold, the same processing as the first region is performed on the blood vessel indicated by the broken line. That is, for example, in the relationship with the longitudinal blood vessel located at the innermost position indicated by the dotted line, display assistance is performed in which the broken lines are connected continuously in the overlapping region. On the other hand, the broken line is not connected in relation to the laterally extending blood vessel located in the foreground. By performing such processing, the positional relationship between blood vessels indicated by broken lines is clearly displayed.
なお、医療従事者による表示要求については、例えば、医療従事者がボタンを押し続けているか否かをもって判断しても良い。或いは、一度ボタンを押した後、予め設定されている時間の間は継続して表示要求が出されていると判断しても良い。医療従事者によるどのような操作が表示要求を構成し、表示要求が継続されていると判断するかは任意に設定することが可能である。また、一時的な表示補助について、例えば、手前に位置する血管の全領域に色彩を付す、といったような表示態様も選択することがかのうであると考える。 The display request by the medical staff may be determined based on, for example, whether or not the medical staff keeps pressing the button. Alternatively, after pressing the button once, it may be determined that a display request is continuously issued for a preset time. It is possible to arbitrarily set what operation by the medical staff constitutes the display request and determines that the display request is continued. In addition, regarding the temporary display assistance, for example, it is considered to select a display mode in which a color is added to the entire region of the blood vessel located in front.
以上説明した通りの構成、処理を行うことによって、医療の現場において、投影画像が備えるメリットを毀損することなく、投影画像として表示される各部の位置関係、特に視線方向の前後（奥行き）を容易に認識することが可能な処理を行う医用画像処理装置及び医用画像処理方法を提供することが可能となる。 By performing the configuration and processing as described above, the positional relationship of each part displayed as a projection image, in particular, the front and back (depth) in the line-of-sight direction can be easily obtained without compromising the merits of the projection image in the medical field. Therefore, it is possible to provide a medical image processing apparatus and a medical image processing method that perform processing that can be recognized easily.
特に、恒常的な表示補助を画面上表示させた後、医療従事者の要求に従って、追加的な、かつ、一時的な表示補助を併せて画面上に表示させることによって、医療従事者が投影画像上に表示されている各部の位置関係をこれまで以上に簡易、確実に把握することが可能となる。 In particular, after displaying permanent display assistance on the screen, according to the request of the medical worker, the medical worker can display additional and temporary display assistance together on the screen so that the medical worker can project the projected image. It becomes possible to grasp the positional relationship of each part displayed above more easily and reliably than before.
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。例えば、これまでは医用画像処理装置を例に挙げて表示補助の流れ、方法について説明してきたが、例えば同様の機能、処理をモダリティにおいて行うこととしても良い。 Although an embodiment of the present invention has been described, this embodiment is presented as an example and is not intended to limit the scope of the invention. For example, the flow and method of display assistance have been described so far by taking a medical image processing apparatus as an example. For example, similar functions and processing may be performed in a modality.
この実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 This embodiment can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. This embodiment and its modifications are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
１ 医用画像処理装置
２ モダリティ
３ サーバ
１０ 投影画像生成部
２０ 表示補助部
２１ 受信部
２２ 領域抽出部
２３ 奥行き情報把握部
２４ 境界線設定部
２５ 臨床境界線設定部
２６ 臨床境界線表示設定部
２７ 判断部
２８ 送信部
DESCRIPTION OF SYMBOLS 1 Medical image processing apparatus 2 Modality 3 Server 10 Projection image generation part 20 Display assistance part 21 Reception part 22 Area extraction part 23 Depth information grasping part 24 Boundary line setting part 25 Clinical boundary line setting part 26 Clinical boundary line display setting part 27 Judgment Unit 28 Transmitter
Claims (13)
前記投影画像上にて前記投影画像を見る者において臨床上必要とする領域である臨床領域とその他の領域である非臨床領域とを区分けするとともに、前記投影画像が備える奥行き情報に基づいて、前記臨床領域における奥行きに応じた表示態様で前記表示部に表示させることで前記臨床領域における各部のそれぞれの位置関係を明示する表示補助部と、
を備えることを特徴とする医用画像処理装置。 A display unit for displaying a projection image generated as a medical image;
On the projected image, a clinical area that is clinically necessary for a person who views the projected image is separated from a non-clinical area that is another area, and based on the depth information included in the projected image, A display auxiliary unit that clearly indicates the positional relationship of each unit in the clinical region by displaying on the display unit in a display mode according to the depth in the clinical region;
A medical image processing apparatus comprising:
前記投影画像を前記臨床領域と、前記非臨床領域とに区分けする領域抽出部と、
前記領域抽出部によって抽出された前記臨床領域と前記非臨床領域との境界を構成する臨床境界画素を抽出するとともに、前記臨床境界画素が備える前記奥行き情報を把握する奥行き情報把握部と、
前記領域抽出部によって抽出された前記臨床領域と前記非臨床領域との境界を区切る境界線を設定する境界線設定部と、
設定された前記境界線を前記非臨床領域において表示させる処理を行うとともに、前記奥行き情報把握部において把握された前記奥行き情報を前記処理が行われた前記境界線に当てはめて臨床上必要とされる臨床境界線を設定する臨床境界線設定部と、
設定された前記臨床境界線について、反映された前記奥行き情報に応じた表示態様で前記臨床境界線を表示させるための処理を行う臨床境界線表示設定部と、
を備えることを特徴とする請求項１に記載の医用画像処理装置。 The display auxiliary unit is
A region extraction unit that divides the projection image into the clinical region and the non-clinical region;
A depth information grasping unit for extracting the clinical boundary pixels constituting the boundary between the clinical region and the non-clinical region extracted by the region extraction unit, and grasping the depth information included in the clinical boundary pixels;
A boundary line setting unit that sets a boundary line that separates the boundary between the clinical region and the non-clinical region extracted by the region extraction unit;
A process for displaying the set boundary line in the non-clinical region and clinically required by applying the depth information obtained by the depth information grasping unit to the boundary line on which the process has been performed. A clinical boundary setting unit for setting a clinical boundary;
A clinical boundary line display setting unit that performs processing for displaying the clinical boundary line in a display mode according to the reflected depth information for the set clinical boundary line;
The medical image processing apparatus according to claim 1, further comprising:
前記投影画像を構成する各画素が備える奥行き情報を取得するステップと、
前記投影画像内において、臨床領域と非臨床領域とを区別して抽出するステップと、
前記臨床領域内において、前記非臨床領域と接する臨床境界画素を抽出するステップと、
抽出された前記臨床境界画素が備える前記奥行き情報を把握するステップと、
前記臨床領域と前記非臨床領域とを区別する境界線を設定するステップと、
前記境界線を前記非臨床領域に移動させ、臨床境界線を設定するステップと、
前記臨床境界線に前記臨床境界画素が備える前記奥行き情報を重ね、当該奥行き情報を基に、前記臨床領域における奥行きに応じた表示態様で前記臨床領域における各部のそれぞれの位置関係を明示し表示させるステップと、
を備えることを特徴とする医用画像処理方法。 Generating a projection image;
Obtaining depth information included in each pixel constituting the projection image;
Distinguishing and extracting clinical and non-clinical regions in the projected image;
Extracting clinical boundary pixels in contact with the non-clinical region within the clinical region;
Grasping the depth information included in the extracted clinical boundary pixels;
Setting a boundary line that distinguishes between the clinical region and the non-clinical region;
Moving the boundary to the non-clinical region and setting a clinical boundary;
The depth information included in the clinical boundary pixel is superimposed on the clinical boundary line, and based on the depth information, the positional relationship of each part in the clinical region is clearly displayed in a display mode according to the depth in the clinical region. Steps,
A medical image processing method comprising:
Corresponding to the first to nth threshold values set in advance according to the depth information included in the clinical area while the display request is continued after the positional relationship of the clinical area is displayed. The medical image processing method according to claim 12, further comprising a step of displaying the clinical region step by step for each of the first region to the n-th region having the depth information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014131689A JP6677960B2 (en) | 2014-06-26 | 2014-06-26 | Medical image processing apparatus and medical image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014131689A JP6677960B2 (en) | 2014-06-26 | 2014-06-26 | Medical image processing apparatus and medical image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016007502A true JP2016007502A (en) | 2016-01-18 |
| JP6677960B2 JP6677960B2 (en) | 2020-04-08 |
Family
ID=55225506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014131689A Expired - Fee Related JP6677960B2 (en) | 2014-06-26 | 2014-06-26 | Medical image processing apparatus and medical image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6677960B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018148965A (en) * | 2017-03-10 | 2018-09-27 | コニカミノルタ株式会社 | Dynamic analysis system |
| JP2019154927A (en) * | 2018-03-15 | 2019-09-19 | テルモ株式会社 | Image processing apparatus, image processing method, and program |
| JP2020130657A (en) * | 2019-02-20 | 2020-08-31 | キヤノンメディカルシステムズ株式会社 | Medical image processing apparatus and medical image processing method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000300555A (en) * | 1999-04-16 | 2000-10-31 | Aloka Co Ltd | Ultrasonic image processing device |
| WO2007043310A1 (en) * | 2005-10-07 | 2007-04-19 | Hitachi Medical Corporation | Image displaying method and medical image diagnostic system |
| US20080025587A1 (en) * | 2006-07-17 | 2008-01-31 | Christian Asbeck | Method and apparatus for determining the spatial profile of a vessel axis in volume data records for medical imaging |
| JP2009034494A (en) * | 2007-07-10 | 2009-02-19 | Toshiba Corp | X-ray radiographic apparatus, image processing device, and image processing program |
| WO2010134481A1 (en) * | 2009-05-18 | 2010-11-25 | 株式会社 日立メディコ | Medical image display device and medical image display method |
-
2014
- 2014-06-26 JP JP2014131689A patent/JP6677960B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000300555A (en) * | 1999-04-16 | 2000-10-31 | Aloka Co Ltd | Ultrasonic image processing device |
| WO2007043310A1 (en) * | 2005-10-07 | 2007-04-19 | Hitachi Medical Corporation | Image displaying method and medical image diagnostic system |
| US20080025587A1 (en) * | 2006-07-17 | 2008-01-31 | Christian Asbeck | Method and apparatus for determining the spatial profile of a vessel axis in volume data records for medical imaging |
| JP2009034494A (en) * | 2007-07-10 | 2009-02-19 | Toshiba Corp | X-ray radiographic apparatus, image processing device, and image processing program |
| WO2010134481A1 (en) * | 2009-05-18 | 2010-11-25 | 株式会社 日立メディコ | Medical image display device and medical image display method |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018148965A (en) * | 2017-03-10 | 2018-09-27 | コニカミノルタ株式会社 | Dynamic analysis system |
| JP2019154927A (en) * | 2018-03-15 | 2019-09-19 | テルモ株式会社 | Image processing apparatus, image processing method, and program |
| JP2020130657A (en) * | 2019-02-20 | 2020-08-31 | キヤノンメディカルシステムズ株式会社 | Medical image processing apparatus and medical image processing method |
| JP7242338B2 (en) | 2019-02-20 | 2023-03-20 | キヤノンメディカルシステムズ株式会社 | MEDICAL IMAGE PROCESSING APPARATUS AND MEDICAL IMAGE PROCESSING PROGRAM |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6677960B2 (en) | 2020-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2740259C2 (en) | Ultrasonic imaging sensor positioning | |
| JP6323183B2 (en) | Image processing apparatus and image processing method | |
| US20220012954A1 (en) | Generation of synthetic three-dimensional imaging from partial depth maps | |
| JP6430149B2 (en) | Medical image processing device | |
| JP5698068B2 (en) | Image processing apparatus, image display system, radiographic image capturing system, image processing program, and image processing method | |
| WO2013012042A1 (en) | Image processing system, device and method, and medical image diagnostic device | |
| EP2879094A2 (en) | Medical image processing system and program | |
| CN108734750B (en) | Information processing apparatus, system, method, and storage medium | |
| US20120327080A1 (en) | Image processing system, terminal device, and image processing method | |
| JP5934070B2 (en) | Virtual endoscopic image generating apparatus, operating method thereof, and program | |
| JP6677960B2 (en) | Medical image processing apparatus and medical image processing method | |
| JP2016502917A (en) | System and method for reducing data transmission volume in tomosynthesis | |
| US9093013B2 (en) | System, apparatus, and method for image processing and medical image diagnosis apparatus | |
| JP2014064721A (en) | Virtual endoscopic image generation apparatus, virtual endoscopic image generation method, and virtual endoscopic image generation program | |
| US20120320043A1 (en) | Image processing system, apparatus, and method | |
| JP6274479B2 (en) | Image processing apparatus, medical image diagnostic apparatus, and image processing program | |
| JP2008237839A (en) | Image analysis system, and image analysis program | |
| US20210378748A1 (en) | Anatomical structure visualization systems and methods | |
| JP6017124B2 (en) | Image processing system, image processing apparatus, medical image diagnostic apparatus, image processing method, and image processing program | |
| JP2007097635A (en) | Image analysis system and image analysis program | |
| CN108735283B (en) | Information processing apparatus, system, method, and storage medium | |
| JP2011024620A (en) | Medical image display device, diagnosis support image generation program and medical image display method | |
| JP7451168B2 (en) | Medical image processing devices and medical image processing systems | |
| US11877809B2 (en) | Using a current workflow step for control of medical data processing | |
| JP2012244420A (en) | Image processing system, device, and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20150703 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20160527 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170620 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180316 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180508 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180705 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190903 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200218 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200316 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6677960 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |